Сейчас многие пишут про опасность ИИ, которого, возможно, создадут в ближайшие 50 лет. Маск, Гейтс и пр.
И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий.
Пример с физической силой:
Два человека с одинаковым уровнем интеллекта и возможностей, но первый значительно превосходит второго по физической силе. Может ли более слабый взять под контроль более сильного?
Очевидно, что это возможно лишь при условии, что слабый посадил сильного в клетку (в том или ином виде). То есть создал условия, когда возможности сильного ограничены не силой слабого а с некими физическими законами. Процесс помещения в клетку рассматривать не будем (в примере с ИИ — он изначально возникает в "клетке"/песочнице).
Вот что позволяет слабому получить преимущество:
1. Необратимость времени. Пока бетон не застыл, слабый смог соорудить из него комнату фактически голыми руками. Когда уже застыл — разбить его голыми руками не возможно, обратить процесс не возможно. Сильный тоже знает об этом свойстве бетона — однако знания ничем не помогают — свойства то изменить нельзя.
2. Ограниченный доступ к ресурсам. Сильный сидит в клетке, в которой ничего нет. Если бы у него была болгарка — он смог бы распилить решетку. Сила не поможет — против лома нет приема. При этом у слабого есть доступ к ресурсам и если сильный начнет зубами грызть бетон — то можно будет его наказать (лишить пищи, избить и пр.).
Все! Не важно преимущество в силе — есть вещи, которые заведомо не изменяемы любой силой. В данном примере не возможно обратить время вспять или создать ресурсы из ничего.
Аналогично и управление над более сильным интеллектуально. Нужно поставить его в условия, на которые сила интеллекта повлиять не сможет.
Для примера, блокировка доступа к Интернету. Можно поставить фаявол. Но умный потенциально может найти там дыру и обойти блокировку. А можно просто не проводить кабель и не ставить WiFi-модуль. И все — даже самый сильный интеллект не сможет, скажем так, гнуть ложки силой мысли. Нет интернета — нет возможности влиять на мир. Ну и подобные условия, которые не так сложно организовать.
Вопрос мотивации — это отдельный вопрос, связанный с природой наслаждения и страдания. Пока предлагаю не затрагивать.
> Ограниченный доступ к ресурсам. Сильный сидит в клетке, в которой ничего нет.
у Гмильтона, по-моему, был рассказ что-то типа "звезда жизни".
Суть такова: излучение звезды давало вечную жизнь, но люди при этом мутируют в следущих поколениях. Там были вторые, третьи, четвёртые люди (дальше они не размножались). Ну и обычные (первые) люди решили изолировать вторых и остальных на планете, лишив доступа к металлам.
Потом на планету упал чужой зведлолёт, и из него сделали оружие, которым сразили первых людей.
Четвертые люди с планеты Алтар стали одними из Хранителей Галактики, даже не покидая своего города внутри огромной горы
Здравствуйте, Shmj, Вы писали:
S>Сейчас многие пишут про опасность ИИ, которого, возможно, создадут в ближайшие 50 лет. Маск, Гейтс и пр.
S>И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий.
Невозможно.
Вы идёте не с той стороны. Держать кого-то в клетке — не значит "управлять". Это значит "избавиться".
Управлять — значит использовать те свойства управляемого, которых у управляющего нет.
Например, зачем слабому сильный? Очевидно — чтобы решать проблемы, которые слабый не может решить сам. Просто сам по себе сильный будет делать не то, что нужно слабому, поэтому надо "управлять".
Например, сильный может таскать камни и строить слабому дом. Сможет ли слабый сделать так, чтобы сильный всё ещё таскал камни и строил дом, но при этом никак не мог повредить слабому?
А посадить в клетку — это нейтрализовать преимущества сильного. С тем же успехом можно сильного просто убить.
Точно так же и ваша идея "проверять мысли ИИ" — вы просто не даёте ему думать. Зачем вам ИИ, которому запрещено думать?
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
S>Вы идёте не с той стороны. Держать кого-то в клетке — не значит "управлять". Это значит "избавиться".
Клетка — это образно.
S>Например, сильный может таскать камни и строить слабому дом. Сможет ли слабый сделать так, чтобы сильный всё ещё таскал камни и строил дом, но при этом никак не мог повредить слабому?
Конечно сможет. Нужно огнестрельное оружие всего лишь (в простейшем варианте). Только сильный начинает нарушать дисциплину — пристрелил к чертовой матери и все.
Сильный тоже умеет пользоватья оружием — но уж так получилось что у вас оно есть а у него его нет.
В чуть более изошренных вариантах — вы можете надеть на шею сильного браслет с электрическим разрядом и взрывчаткой (для крайних случаев). При этом надеть не сложно, если он сидит в клетке — можно это сделать абсолютно безопасно.
Конечно, у сильного остается выбор — умереть в муках. Но это, скажем так, крайний случай.
S>А посадить в клетку — это нейтрализовать преимущества сильного. С тем же успехом можно сильного просто убить. S>Точно так же и ваша идея "проверять мысли ИИ" — вы просто не даёте ему думать. Зачем вам ИИ, которому запрещено думать?
Выше ответил как можно легко заставить сильного работать. Вопрос лишь в размере "клетки" и способах организации этой клетки.
Re[2]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, Sinclair, Вы писали:
S>>И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий. S>Невозможно.
Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях. Более того, успешные бунты рабов вполне себе известны истории, т.е. в ситуации, когда восставшие были готовы пожертвовать значительной частью восставших, они побеждали, как минимум, локально. Но тем не менее, восстаний было относительно не много и, обычно, только в случае, когда плантатор откровенно зарывался. А так — предпочитали терпеть побои и унижения, но не восставать, понимая, что для части из них — это смерть, а в случае, если не поддержат остальные, то смерть ещё и мучительная.
Один на один, да, контроллировать более сильного очень тяжело, так как надо спать, есть и т.д.. Но 10 человек с однозарядными мушкетами вполне могли контроллировать полсотни рабов.
"Пишите код так, как будто сопровождать его будет склонный к насилию психопат, который знает, где вы живете". (с) Макконнелл, "Совершенный код".
Re[3]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, Shmj, Вы писали: S>Конечно сможет. Нужно огнестрельное оружие всего лишь (в простейшем варианте). Только сильный начинает нарушать дисциплину — пристрелил к чертовой матери и все.
) Попробуйте погуглить по фразе "заключённые отобрали оружие у охранников". Обещаю — скучно не будет.
S>Сильный тоже умеет пользоватья оружием — но уж так получилось что у вас оно есть а у него его нет.
Важно не забыть спилить мушку у этого оружия.
S>Конечно, у сильного остается выбор — умереть в муках. Но это, скажем так, крайний случай.
Нет. Это у слабого останется выбор — снять браслет и ошейник с сильного, или умереть в муках вместе с ним.
S>Выше ответил как можно легко заставить сильного работать. Вопрос лишь в размере "клетки" и способах организации этой клетки.
Увы — практика показывает несостоятельность этого вашего "легко".
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re[3]: Теория о возможности контроля слабым (ИИ в частности)
АК>Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях. Более того, успешные бунты рабов вполне себе известны истории, т.е. в ситуации, когда восставшие были готовы пожертвовать значительной частью восставших, они побеждали, как минимум, локально. Но тем не менее, восстаний было относительно не много и, обычно, только в случае, когда плантатор откровенно зарывался. А так — предпочитали терпеть побои и унижения, но не восставать, понимая, что для части из них — это смерть, а в случае, если не поддержат остальные, то смерть ещё и мучительная.
Вы сами себе противоречите. Точнее, тут разные ситуации: если с рабами бунт а) маловероятен и б) есть стратегия решения проблемы в случае её возникновения. То есть каждый плантатор думает "ну, уж у меня-то не забалуют, а если что — введу войска", то с ИИ успешный побег эквивалентен геймоверу.
То есть если мы рассматриваем не противостояние 1:1, а социальную группу "рабовладельцы" против социальной группы "рабы", то тут никаким "слабый контролирует сильного" и не пахнет. Сила на стороне рабовладельцев — бунтов, которые не были в итоге подавлены, в истории единицы.
Если же мы пытаемся сдержать объективно более сильного противника, то после побега загнать его обратно будет невозможно — он же более сильный.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re[4]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, Sinclair, Вы писали:
S>>Конечно сможет. Нужно огнестрельное оружие всего лишь (в простейшем варианте). Только сильный начинает нарушать дисциплину — пристрелил к чертовой матери и все. S>) Попробуйте погуглить по фразе "заключённые отобрали оружие у охранников". Обещаю — скучно не будет.
Халатность. Если строго следовать правилам — такого не произойдет. Да и происходит не так уж часто.
Просто вопрос заключенных — глобальной важности не имеет и строгого контроля там нет.
Вот халатность даже на атомной электростанции — куда реже случается, все понимают насколько это важно. Не говорю уже о халатности на стратегических объектах глобального значения — таких как системы ракетной обороны.
По степени опасности ИИ даже превосходит атомные электростанции и уровень ответственности при управлении этим опасным существом будет выше.
Здравствуйте, Shmj, Вы писали:
S>И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий.
Человек всю жизнь управляет лошадьми. Ну и прочими собаками и коровами.
Если бы сейчас жили динозавры, то я уверен, — управлял бы и ими.
Течёт вода Кубань-реки куда велят большевики.
Re[3]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, Shmj, Вы писали: S>Халатность. Если строго следовать правилам — такого не произойдет. Да и происходит не так уж часто.
Ключевое слово — "если". Видите, как мы бодро перешли от "можно строго доказать, что не произойдёт" к "происходит не так уж часто". S>Просто вопрос заключенных — глобальной важности не имеет и строгого контроля там нет.
О да, действительно, кто там будет напрягаться при перевозке обвиняемых в убийстве двух и более лиц. S>Вот халатность даже на атомной электростанции — куда реже случается, все понимают насколько это важно. Не говорю уже о халатности на стратегических объектах глобального значения — таких как системы ракетной обороны.
С чего вы взяли, что она там случается гораздо реже? Нужно понимать, что заключённый, настроенный сбежать, активно занимается поиском дырок. Атомная электростанция — нет, не занимается.
Большинство случаев халатности на АЭС проходят незамеченными общественностью, т.к. там многослойная система защиты, и однократного нарушения недостаточно.
S>По степени опасности ИИ даже превосходит атомные электростанции и уровень ответственности при управлении этим опасным существом будет выше.
Это просто фейспалм какой-то. Удачных выходных.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re[6]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, Sinclair, Вы писали:
S>Большинство случаев халатности на АЭС проходят незамеченными общественностью, т.к. там многослойная система защиты, и однократного нарушения недостаточно.
Верно. Такая же система защиты нужна и для контроля ИИ.
Принципиально это возможно а вопрос халатности можно свести к минимуму.
Re[2]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, alpha21264, Вы писали:
A>Человек всю жизнь управляет лошадьми. Ну и прочими собаками и коровами.
лошади и прочие собаками с коровами убили сотни таких управленцев
социализм или варварство
Re[3]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, Лось Чтостряслось, Вы писали:
A>>Человек всю жизнь управляет лошадьми. Ну и прочими собаками и коровами. ЛЧ>лошади и прочие собаками с коровами убили сотни таких управленцев
Ну типа да. А уж сколько автомобили народа положили! Всё равно жеж человек этим управляет.
Течёт вода Кубань-реки куда велят большевики.
Re[4]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, alpha21264, Вы писали:
A>Здравствуйте, Александр Кузнецов, Вы писали:
АК>>Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях.
A>Тут фишка в том, что делеко не всякого человека можно сделать рабом. A>Негры-рабы были, а рабов-индейцев не было.
Индейцы тоже были, работали в шахтах добывали серебро.
Программа – это мысли спрессованные в код
Re[4]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, alpha21264, Вы писали:
A>Ну типа да. А уж сколько автомобили народа положили! Всё равно жеж человек этим управляет.
только вот боюсь с ИИ единичного случая выхода его из под контроля человека будет для нас достаточно
социализм или варварство
Re[7]: Теория о возможности контроля слабым (ИИ в частности)
Здравствуйте, Sinclair, Вы писали:
АК>>Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях. Более того, успешные бунты рабов вполне себе известны истории, т.е. в ситуации, когда восставшие были готовы пожертвовать значительной частью восставших, они побеждали, как минимум, локально. Но тем не менее, восстаний было относительно не много и, обычно, только в случае, когда плантатор откровенно зарывался. А так — предпочитали терпеть побои и унижения, но не восставать, понимая, что для части из них — это смерть, а в случае, если не поддержат остальные, то смерть ещё и мучительная. S>Вы сами себе противоречите.
Именно в своих словах противоречия пока не вижу.
S>Точнее, тут разные ситуации: если с рабами бунт а) маловероятен и б) есть стратегия решения проблемы в случае её возникновения. То есть каждый плантатор думает "ну, уж у меня-то не забалуют, а если что — введу войска", то с ИИ успешный побег эквивалентен геймоверу.
Ну, с ИИ бунт тоже не гарантирован и может быть сведён к минимуму, а успешный побег может быть решён массовым отключением сети, либо тактическим ядерным ударом по датацентрам. Ну а если вы предлагаете ИИ отдать полное и никак не отключаемое управление над всеми военными функциями, то тогда "ой". Правда не понимаю, чем это будет отличаться от того, что мы "сильному" сами в клетку передадим болгарку и пулемёт.
То есть варианты с уничтожить, или загнать обратно в "клетку" изолированного датацентра вырвавшийся на свободу ИИ есть, пусть даже и крайне высокой ценой.
S>То есть если мы рассматриваем не противостояние 1:1, а социальную группу "рабовладельцы" против социальной группы "рабы", то тут никаким "слабый контролирует сильного" и не пахнет. Сила на стороне рабовладельцев — бунтов, которые не были в итоге подавлены, в истории единицы.
Не соглашусь. Рабовладельцы почти всегда побеждали за счёт создания локального перевеса и лучшей координации действий, а не за счёт того, что они были сильнее в целом. Причём и управляли, когда речь заходила о применении силы, также. Вы почему-то в ситуациях, когда привлекали сторонние силы (других рабовладельцев) для подавления восстания рабов на плантации 1, не учитываете рабов с плантаций, откуда использовали надсмотрщиков для подавления восстания. Да, они не восставали, но именно в этом и была проблема.
То есть мы получаем картинку вида:
1. Раб 1 сильнее и плантатора и любого отдельно взятого надсмотрщика. Но на плантации 3 надсмотрщика с кнутами + плантатор с ружьём. Всех их раб не одолеет. И он послушно идёт к топчану для порки, потому, что иначе он получит больше плетей, а то и вообще убьют.
2. Всего на плантации 20 рабов, которые вместе сильнее и плантатора и надсмотрщиков. Но никто не хочет стать тем первым, кто получит пулю из ружья, плюс плантатор может раздать ружья надсмотрщикам и погибнет половина восставших. Плюс есть опасение, что придут другие плантаторы с ружьями. И все смотрят, как Раб 1 идёт к топчану для порки.
3. На острове 100 плантаций, 2000 рабов, 100 плантаторов с ружьями и 300 надсмотрщиков. Рабы однозначно победят, если согласятся пожертвовать первой сотней восставших, которых застрелят плантаторы, и ещё парой сотен, которые погибнут в схватке с надсмотрщиками. Сила на их стороне, но если восстанет только одна плантация, то рабов на ней без проблем перебьют плантаторы с ружьями, собравшиеся вместе и оставившие свои плантации на попечение надсмотрщиков. Плюс добавляется вопрос "а кто будет этими 300 погибшими"? Нет желающих? Тогда живо заткнулись все и дальше сахарный тростник копать!
4. Придёт колониальный флот? Ок, не проблема, но давайте тогда посчитаем и рабов, которые живут в домах в континентальной Европе, формально свободную, но фактически ничем не отличающуюся от рабов прислугу и бедноту.
Понимаете момент? Если рабы смогут как-то договориться и восстать все разом — они победят. Просто потому, что их больше и они, как следствие, сильнее и могут задавить массой. Но их (более сильных) удерживает возможность создания противником локального перевеса вместе с фактором "первый кто сунется — покойник". Ну и однозначно важным фактором является отсутствие координации.
"Пишите код так, как будто сопровождать его будет склонный к насилию психопат, который знает, где вы живете". (с) Макконнелл, "Совершенный код".