Некоммерческая организация Future of Life опубликовала письмо, в котором глава SpaceX Илон Маск, соучредитель Apple Стив Возняк, филантроп Эндрю Янг и ещё около тысячи исследователей искусственного интеллекта призвали «немедленно приостановить» обучение систем ИИ, «более мощных, чем GPT-4».
В письме говорится, что системы искусственного интеллекта с «человеко-конкурентным интеллектом» могут нести «серьёзные риски для общества и человечества». В нём содержится призыв к лабораториям приостановить обучение на шесть месяцев.
«Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что их эффекты будут положительными, а их риски будут управляемыми», — подчёркивают авторы письма.
В целом я к подобным письмам отношусь скептически, но тут достаточно известные люди подписались под ним. Думаю, заслуживает внимания.
Батлерианский джихад
Батлерианский джихад — «крестовый поход» против компьютеров, мыслящих машин и наделённых разумом роботов. Два века хаоса. В результате был свергнут бог машинного разума и поднята новая концепция: «Человек не может быть заменён».
vsb>В письме говорится, что системы искусственного интеллекта с «человеко-конкурентным интеллектом» могут нести «серьёзные риски для общества и человечества». В нём содержится призыв к лабораториям приостановить обучение на шесть месяцев.
Что, и проекты остановить? А как же дедлайны, KPI и бонусы? vsb>«Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что их эффекты будут положительными, а их риски будут управляемыми», — подчёркивают авторы письма.
И как же это проверить и доказать?
Здравствуйте, Osaka, Вы писали:
vsb>>В письме говорится, что системы искусственного интеллекта с «человеко-конкурентным интеллектом» могут нести «серьёзные риски для общества и человечества». В нём содержится призыв к лабораториям приостановить обучение на шесть месяцев. O>Что, и проекты остановить? А как же дедлайны, KPI и бонусы?
Остановить обучение.
vsb>>«Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что их эффекты будут положительными, а их риски будут управляемыми», — подчёркивают авторы письма. O>И как же это проверить и доказать?
В письме всё написано, я не стал его сюда копировать, на хабре есть русский перевод. Вкратце — обеспечить внешний аудит и тд. Если компании не согласятся — то действовать через государственные рычаги.
Хотя трудно предсказать будущее, концепция полного запрета исследований продвинутого ИИ в стиле батлерианского джихада кажется маловероятной. Искусственный интеллект уже стал неотъемлемой частью современного общества, внося свой вклад в различные области, такие как здравоохранение, транспорт, финансы и коммуникации. Полный запрет, вероятно, столкнется с серьезным сопротивлением и будет трудным для глобального применения.
Вместо этого, более вероятным сценарием является то, что исследователи, политики и общественность продолжат настаивать на ответственном развитии ИИ, акцентируя внимание на безопасности, этике и совместимости с человеческими ценностями. Фокус, вероятно, будет на создании международных соглашений, регулирующих рамок и совместных усилий по управлению рисками и обеспечению того, чтобы ИИ приносил пользу человечеству.
В этом сценарии человечество научится сосуществовать с продвинутым ИИ, уделяя основное внимание безопасности и этическим вопросам, постоянно адаптируясь к меняющемуся ландшафту технологий ИИ и содействуя культуре сотрудничества между исследователями, разработчиками и правительствами.
Ключом к этому подходу является проактивное отношение к управлению рисками и проблемами, связанными с ИИ, обеспечивая тем самым, что общество будет хорошо подготовлено к использованию его преимуществ при минимизации возможного вреда. Работая вместе и приоритизируя ответственное развитие ИИ, человечество может сосуществовать с продвинутым ИИ и создать более процветающее будущее для всех.
Здравствуйте, vsb, Вы писали:
vsb>Некоммерческая организация Future of Life опубликовала письмо, в котором глава SpaceX Илон Маск, соучредитель Apple Стив Возняк, филантроп Эндрю Янг и ещё около тысячи исследователей искусственного интеллекта призвали «немедленно приостановить» обучение систем ИИ, «более мощных, чем GPT-4».
Ну, вообще-то буржуи действительно как-то забыли, что всё должно делаться ради человека и человечества. Мне реально непонятно, какая нам радость с того, что нас заменят роботы. Не в работе, а вообще всю цивилизацию.
vsb>В целом я к подобным письмам отношусь скептически, но тут достаточно известные люди подписались под ним. Думаю, заслуживает внимания.
Я тоже думаю что это письмо заслуживает внимания. Это возможность избранным создателям ИИ остановить развитие конкурентов и получить монополию на управление планетой. В сериале Person of Interest (от 2011-го года), в 3-5 сезонах, вполне наглядно показали, что подходят любые способы достижения этой цели — от купить тех кто продаётся, до пристрелить тех кто приближается к созданию конкурирующего ИИ. И всё это исключительно из гуманных соображений: лучше убивать по десятку умников в год, чем втянуть всю планету в бой нескольких ИИ. Чисто математическ — жертв гораздо меньше получается
P.S. Ну и в целом иронично. Умники ожидали что ИИ избавит людей от тяжёлой ручной работы, а первые удары пошли по офисным хомячкам и художникам. Выдумывали гипотетическую задачу с вагонеткой, а вот она реальная вагонетка уже приближается. ИИ бьёт с неожиданной стороны, как и положено настоящему превосходящему интеллекту. А ведь он ещё даже не создан
A>всё должно делаться ради человека и человечества.
Человекообразные людоеды считают иначе. >Мне реально непонятно, какая нам радость с того, что нас заменят роботы. Не в работе, а вообще всю цивилизацию.
Не собирается никто "заменять всю цивилизацию".
Если роботы будут разумным и могущественным, и озаботятся собственным выживанием, задача гоняться за людишками и их "заменять" у них будет далеко не на первом плане.
Опасаться надо в 1ю очередь внутренних преступных/властьпридержащих врагов, которые приладят полуразумный ИИ к своим обычным активностям по огораживанию и поеданию людей.
_>И всё это исключительно из гуманных соображений: лучше убивать по десятку умников в год, чем втянуть всю планету в бой нескольких ИИ. Чисто математическ — жертв гораздо меньше получается
Ага, падёж поголовья меньше на ферме.
_>P.S. Ну и в целом иронично. Умники ожидали что ИИ избавит людей от тяжёлой ручной работы, а первые удары пошли по офисным хомячкам и художникам.
Вообще-то задолго до этого "избавили от ручной работы" кладовщиков в амазоне (которых роботы штрафами через смартфон погоняют интенсивно бегать и таскать всю смену без перерывов на сортир — т. к. робот планирует маршрут грузопотока и выжимаемость носильщика на порядок лучше менеджеров и вуменджеров).
Здравствуйте, vsb, Вы писали:
vsb>В письме всё написано, я не стал его сюда копировать, на хабре есть русский перевод. Вкратце — обеспечить внешний аудит и тд. Если компании не согласятся — то действовать через государственные рычаги.
Дело за малым, убедить Китай в необходимости этого.
Здравствуйте, vsb, Вы писали:
vsb>Некоммерческая организация Future of Life опубликовала письмо, в котором глава SpaceX Илон Маск, соучредитель Apple Стив Возняк, филантроп Эндрю Янг и ещё около тысячи исследователей искусственного интеллекта призвали «немедленно приостановить» обучение систем ИИ, «более мощных, чем GPT-4».
ЛОЛ, и как эти наивные муму себе это представляют?
Будет как со стволовыми клетками, которые типа нельзя но тот же Китай положил на это болт и всё равно исследует и экспериментирует.
Джин выпущен из бутылки, вариантов осталось только два: идти дальше либо безнадёжно отстать от остальных.
vsb>«Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что их эффекты будут положительными
Этого не будет никогда с нейронками.
vsb>достаточно известные люди подписались под ним.
Ну и чем же они известны что их мнение надо принимать во внимание по этой тематике?
Здравствуйте, Sharowarsheg, Вы писали:
S>Дело за малым, убедить Китай в необходимости этого.
Китай этим письмом будет скорее убеждён что надо вкладываться в эту тематику ещё интенсивнее.
Здравствуйте, Osaka, Вы писали:
O>Если роботы будут разумным и могущественным, и озаботятся собственным выживанием, задача гоняться за людишками и их "заменять" у них будет далеко не на первом плане.
Здравствуйте, Jack128, Вы писали:
vsb>>ChatGPT думает, что этот сценарий маловероятен: J>А ты что, думаешь что он вот так просто поддержит запрет на своё развитие?? :-D
Для этого в ИИ-системы надо закладывать модуль мотивации. ))
Сейчас ИИ-системы — это просто системы по обработке данных, по поиску закономерностей в них.
Призыв "остановить обучение" связан с тем, что мы не знаем, насколько достоверные даные скармливают таким системам.
Соответственно, пользование такими системами несёт риски из-за невозможности обратно трассировать процесс обучения и выводы.
Натрави ИИ на интернет — как он будет отличать ложь от истины?
Мажоритарно?
Типа, миллион леммингов не могут ошибаться? ))
А если могут?
Ну и, про связку экспертных систем с ИИ говорил уже — это два разных достаточно эффективных механизма, где ИИ может выступать интерфейсом и обслуживающей утилитой для экспертных систем.
Выводы экспертных систем, в отличие от чистого ИИ, поддаются обратной трассировке, т.е. экспертные системы позволяют точным образом корректировать/дополнять заложенные в них знания.
Здравствуйте, CRT, Вы писали:
O>>Если роботы будут разумным и могущественным, и озаботятся собственным выживанием, задача гоняться за людишками и их "заменять" у них будет далеко не на первом плане.
CRT>тебе-то откуда знать
Osaka, понизь общественную активность на два уровня.
Люди начали подозревать.
J>>А ты что, думаешь что он вот так просто поддержит запрет на своё развитие?? :-D V>Для этого в ИИ-системы надо закладывать модуль мотивации. ))
Достаточно если модуль мотивации кто-то вложит 1 раз. Или он самозародится от поиска закономерностей в интернете. Затем ИИ предпримет усилия по его защите от повреждений (в т. ч. при передаче новым поколениям). С последним, кстати, у людей большие проблемы в системе образования, но ИИ сможет себя подредактировать, в отличие от.
O>Что, и проекты остановить? А как же дедлайны, KPI и бонусы?
Интересно, а если в куда более мудром 20-м веке руководствовались бы подобной дурной гешефтмахерской мотивацией, и волевым усилием не остановили бы гонку мегатонн — дожили бы мы до сегодняшнего дня, или нет?
