Здравствуйте, Ромашка, Вы писали:
Р>Ну я же написал почему... Потому что 42. Любой ИИ выше человеческих способностей будет неадекватен человекам. Мы просто не поймем, что он работает. Поэтому либо очень узкое применение, как в описанных случаях, либо максимум человеческий уровень. Сингулярности ИИ не будет.
Вот тут вопрос очень интересный. С одной стороны, проверить сильный ИИ мы сможем. Это как с NP-полнотой или вычислимостью: у нас есть достаточно большой класс задач, в которых найти решение гораздо сложнее, чем проверить. Даём ИИ такую задачу, затем проверяем решение.
Убедившись на нескольких таких задачах в том, что он реально умеет их решать (а не просто генерирует наукообразную чушь, как делают многие лжеучёные или просто отрицатели науки), мы поймём, что интеллект таки работает.
Далее — его "суперность" будет связана с тем, что он будет находить решения быстрее любого человека. Причём — заметно быстрее: то есть не на 10% быстрее проходить тест Айзенка, а, скажем, в 10 или 100 раз быстрее.
Плюс отсутствие когнитивных ограничений вроде "не более 7+-2 сущностей на каждом уровне рассуждений".

Дальше возникают два различных пути развития: в одном мы применяем эти суперспособности к чему-то простому, типа составления расписаний или управления автомобилем. То есть — узкоспециализированное применение универсального интеллекта.
Во втором — мы тренируем этот ИИ для построения ИИ. Это как раз выглядит одной из тех самых "сложных проблем", которые люди пока что решают не очень хорошо.
Сильный ИИ второго поколения может превосходить сильный ИИ первого поколения примерно настолько же, насколько ИИ первого поколения превзойдёт людей.

Вот тут уже будет сложно — далеко не факт, что мы сможем за разумное время провести проверку этого ИИ второго поколения. Ведь он будет проектироваться так, чтобы его проверял ИИ первого поколения, который на порядок умнее нас .
И в итоге возникает вопрос: а что делать с этим недопроверенным ИИ2?
1. Давайте заведём управление всеми mission-critical вещами на этот интеллект и его клонов: то есть, к примеру, прогнозирование и отслеживание погоды, с возможностью оперативно глушить инфраструктурные объекты типа электростанций или нефтеплатформ, организовывая оптимальную эвакуацию персонала и т.п.
Риск: мы даём ИИ2 полномочия мирового правительства, полагаясь на его компетентность. А что, если в нём баг в системе оптимизации, и он поведёт себя, как сбойнувший GPS-навигатор? А что, если у него баг в критериях оптимальности, и он примет решения вроде "ограничить рост населения при помощи распространения наркоты, подавляющей репродуктивную функцию"? Сможем ли мы вообще понять, что происходит, до того, как будет поздно? Он же будет продавливать какие-то мелкие локальные решения, каждое из которых вроде бы не имеет никаких последствий.

2. Давайте сделаем его советчиком для управления всеми mission-critical вещами. То есть напрямую он отдавать команды не будет, а будет сообщать "оператору" об опасных ситуациях и давать ему советы, как их избежать?
Сочетаем недостатки первого способа с замедлением реагирования. Типа ИИ2 такой "чуваки, на нас летит астероид, надо эвакуировать всю австралию в Сибирь и северную Африку". И у нас там на две недели дебаты "а нельзя ли его сбить", "а почему Сибирь — мы хотим в Калифорнию", "да нафига вы нам тут в Калифорнии нужны" и всё такое. Команды лучших учёных и инженеров по всему миру лихораддочно пытаются найти ошибку в решениях ИИ, или придумать альтернативное решение.

2. Давайте сделаем этого ИИ2 "советчик советчиков". То есть он типа будет помогать учоным и инженерам строить модели, а они уже будут публиковать или не публиковать их, исходя из своих этических представлений. А дальше будем барахтаться как и сейчас — рулить при принятии решений будут коррупция, тупость, лень, и прочие достоинства естественного интеллекта.
Фактически, это опять "у нас тут есть экскаватор, но т.к. мы пока не понимаем всех его последствий, копать яму будем по-прежнему мотыгой".