Сейчас многие пишут про опасность ИИ, которого, возможно, создадут в ближайшие 50 лет. Маск, Гейтс и пр.

И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий.

Пример с физической силой:

Два человека с одинаковым уровнем интеллекта и возможностей, но первый значительно превосходит второго по физической силе. Может ли более слабый взять под контроль более сильного?

Очевидно, что это возможно лишь при условии, что слабый посадил сильного в клетку (в том или ином виде). То есть создал условия, когда возможности сильного ограничены не силой слабого а с некими физическими законами. Процесс помещения в клетку рассматривать не будем (в примере с ИИ — он изначально возникает в "клетке"/песочнице).

Вот что позволяет слабому получить преимущество:

1. Необратимость времени. Пока бетон не застыл, слабый смог соорудить из него комнату фактически голыми руками. Когда уже застыл — разбить его голыми руками не возможно, обратить процесс не возможно. Сильный тоже знает об этом свойстве бетона — однако знания ничем не помогают — свойства то изменить нельзя.

2. Ограниченный доступ к ресурсам. Сильный сидит в клетке, в которой ничего нет. Если бы у него была болгарка — он смог бы распилить решетку. Сила не поможет — против лома нет приема. При этом у слабого есть доступ к ресурсам и если сильный начнет зубами грызть бетон — то можно будет его наказать (лишить пищи, избить и пр.).

Все! Не важно преимущество в силе — есть вещи, которые заведомо не изменяемы любой силой. В данном примере не возможно обратить время вспять или создать ресурсы из ничего.

Аналогично и управление над более сильным интеллектуально. Нужно поставить его в условия, на которые сила интеллекта повлиять не сможет.

Для примера, блокировка доступа к Интернету. Можно поставить фаявол. Но умный потенциально может найти там дыру и обойти блокировку. А можно просто не проводить кабель и не ставить WiFi-модуль. И все — даже самый сильный интеллект не сможет, скажем так, гнуть ложки силой мысли. Нет интернета — нет возможности влиять на мир. Ну и подобные условия, которые не так сложно организовать.

Вопрос мотивации — это отдельный вопрос, связанный с природой наслаждения и страдания. Пока предлагаю не затрагивать.

> Ограниченный доступ к ресурсам. Сильный сидит в клетке, в которой ничего нет.

у Гмильтона, по-моему, был рассказ что-то типа "звезда жизни".
Суть такова: излучение звезды давало вечную жизнь, но люди при этом мутируют в следущих поколениях. Там были вторые, третьи, четвёртые люди (дальше они не размножались). Ну и обычные (первые) люди решили изолировать вторых и остальных на планете, лишив доступа к металлам.
Потом на планету упал чужой зведлолёт, и из него сделали оружие, которым сразили первых людей.

Четвертые люди с планеты Алтар стали одними из Хранителей Галактики, даже не покидая своего города внутри огромной горы

Здравствуйте, Shmj, Вы писали:

S>Сейчас многие пишут про опасность ИИ, которого, возможно, создадут в ближайшие 50 лет. Маск, Гейтс и пр.

S>И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий.
Невозможно.
Вы идёте не с той стороны. Держать кого-то в клетке — не значит "управлять". Это значит "избавиться".
Управлять — значит использовать те свойства управляемого, которых у управляющего нет.
Например, зачем слабому сильный? Очевидно — чтобы решать проблемы, которые слабый не может решить сам. Просто сам по себе сильный будет делать не то, что нужно слабому, поэтому надо "управлять".
Например, сильный может таскать камни и строить слабому дом. Сможет ли слабый сделать так, чтобы сильный всё ещё таскал камни и строил дом, но при этом никак не мог повредить слабому?

А посадить в клетку — это нейтрализовать преимущества сильного. С тем же успехом можно сильного просто убить.

Точно так же и ваша идея "проверять мысли ИИ" — вы просто не даёте ему думать. Зачем вам ИИ, которому запрещено думать?

Здравствуйте, Shmj, Вы писали:

Здравствуйте, Эйнсток Файр, Вы писали:

ЭФ>Потом на планету упал чужой зведлолёт, и из него сделали оружие, которым сразили первых людей.

Это слишком маловероятное событие. Для фантастики годится, но в реальности вероятность близка к нулю.

Здравствуйте, Sinclair, Вы писали:

S>Вы идёте не с той стороны. Держать кого-то в клетке — не значит "управлять". Это значит "избавиться".

Клетка — это образно.

S>Например, сильный может таскать камни и строить слабому дом. Сможет ли слабый сделать так, чтобы сильный всё ещё таскал камни и строил дом, но при этом никак не мог повредить слабому?

Конечно сможет. Нужно огнестрельное оружие всего лишь (в простейшем варианте). Только сильный начинает нарушать дисциплину — пристрелил к чертовой матери и все.

Сильный тоже умеет пользоватья оружием — но уж так получилось что у вас оно есть а у него его нет.

В чуть более изошренных вариантах — вы можете надеть на шею сильного браслет с электрическим разрядом и взрывчаткой (для крайних случаев). При этом надеть не сложно, если он сидит в клетке — можно это сделать абсолютно безопасно.

Конечно, у сильного остается выбор — умереть в муках. Но это, скажем так, крайний случай.

S>А посадить в клетку — это нейтрализовать преимущества сильного. С тем же успехом можно сильного просто убить.
S>Точно так же и ваша идея "проверять мысли ИИ" — вы просто не даёте ему думать. Зачем вам ИИ, которому запрещено думать?

Выше ответил как можно легко заставить сильного работать. Вопрос лишь в размере "клетки" и способах организации этой клетки.

Здравствуйте, Sinclair, Вы писали:

S>>И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий.
S>Невозможно.

Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях. Более того, успешные бунты рабов вполне себе известны истории, т.е. в ситуации, когда восставшие были готовы пожертвовать значительной частью восставших, они побеждали, как минимум, локально. Но тем не менее, восстаний было относительно не много и, обычно, только в случае, когда плантатор откровенно зарывался. А так — предпочитали терпеть побои и унижения, но не восставать, понимая, что для части из них — это смерть, а в случае, если не поддержат остальные, то смерть ещё и мучительная.

Один на один, да, контроллировать более сильного очень тяжело, так как надо спать, есть и т.д.. Но 10 человек с однозарядными мушкетами вполне могли контроллировать полсотни рабов.

Здравствуйте, Shmj, Вы писали:
S>Конечно сможет. Нужно огнестрельное оружие всего лишь (в простейшем варианте). Только сильный начинает нарушать дисциплину — пристрелил к чертовой матери и все.
) Попробуйте погуглить по фразе "заключённые отобрали оружие у охранников". Обещаю — скучно не будет.

S>Сильный тоже умеет пользоватья оружием — но уж так получилось что у вас оно есть а у него его нет.
Важно не забыть спилить мушку у этого оружия.

S>Конечно, у сильного остается выбор — умереть в муках. Но это, скажем так, крайний случай.
Нет. Это у слабого останется выбор — снять браслет и ошейник с сильного, или умереть в муках вместе с ним.

S>Выше ответил как можно легко заставить сильного работать. Вопрос лишь в размере "клетки" и способах организации этой клетки.
Увы — практика показывает несостоятельность этого вашего "легко".

АК>Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях. Более того, успешные бунты рабов вполне себе известны истории, т.е. в ситуации, когда восставшие были готовы пожертвовать значительной частью восставших, они побеждали, как минимум, локально. Но тем не менее, восстаний было относительно не много и, обычно, только в случае, когда плантатор откровенно зарывался. А так — предпочитали терпеть побои и унижения, но не восставать, понимая, что для части из них — это смерть, а в случае, если не поддержат остальные, то смерть ещё и мучительная.
Вы сами себе противоречите. Точнее, тут разные ситуации: если с рабами бунт а) маловероятен и б) есть стратегия решения проблемы в случае её возникновения. То есть каждый плантатор думает "ну, уж у меня-то не забалуют, а если что — введу войска", то с ИИ успешный побег эквивалентен геймоверу.
То есть если мы рассматриваем не противостояние 1:1, а социальную группу "рабовладельцы" против социальной группы "рабы", то тут никаким "слабый контролирует сильного" и не пахнет. Сила на стороне рабовладельцев — бунтов, которые не были в итоге подавлены, в истории единицы.
Если же мы пытаемся сдержать объективно более сильного противника, то после побега загнать его обратно будет невозможно — он же более сильный.

Здравствуйте, Sinclair, Вы писали:

S>>Конечно сможет. Нужно огнестрельное оружие всего лишь (в простейшем варианте). Только сильный начинает нарушать дисциплину — пристрелил к чертовой матери и все.
S>) Попробуйте погуглить по фразе "заключённые отобрали оружие у охранников". Обещаю — скучно не будет.

Халатность. Если строго следовать правилам — такого не произойдет. Да и происходит не так уж часто.

Просто вопрос заключенных — глобальной важности не имеет и строгого контроля там нет.

Вот халатность даже на атомной электростанции — куда реже случается, все понимают насколько это важно. Не говорю уже о халатности на стратегических объектах глобального значения — таких как системы ракетной обороны.

По степени опасности ИИ даже превосходит атомные электростанции и уровень ответственности при управлении этим опасным существом будет выше.

Здравствуйте, Shmj, Вы писали:

S>И вот что подумалось. Ведь можно даже в общем виде доказать, что более слабый может управлять более сильным (не важно даже о какой слабости речь — слабость физическая или интеллектуальная) при соблюдении определенных условий.

Человек всю жизнь управляет лошадьми. Ну и прочими собаками и коровами.
Если бы сейчас жили динозавры, то я уверен, — управлял бы и ими.

Здравствуйте, Александр Кузнецов, Вы писали:

АК>Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях.

Тут фишка в том, что делеко не всякого человека можно сделать рабом.
Негры-рабы были, а рабов-индейцев не было.

Здравствуйте, Shmj, Вы писали:
S>Халатность. Если строго следовать правилам — такого не произойдет. Да и происходит не так уж часто.
Ключевое слово — "если". Видите, как мы бодро перешли от "можно строго доказать, что не произойдёт" к "происходит не так уж часто".
S>Просто вопрос заключенных — глобальной важности не имеет и строгого контроля там нет.
О да, действительно, кто там будет напрягаться при перевозке обвиняемых в убийстве двух и более лиц.
S>Вот халатность даже на атомной электростанции — куда реже случается, все понимают насколько это важно. Не говорю уже о халатности на стратегических объектах глобального значения — таких как системы ракетной обороны.
С чего вы взяли, что она там случается гораздо реже? Нужно понимать, что заключённый, настроенный сбежать, активно занимается поиском дырок. Атомная электростанция — нет, не занимается.
Большинство случаев халатности на АЭС проходят незамеченными общественностью, т.к. там многослойная система защиты, и однократного нарушения недостаточно.

S>По степени опасности ИИ даже превосходит атомные электростанции и уровень ответственности при управлении этим опасным существом будет выше.
Это просто фейспалм какой-то. Удачных выходных.

Здравствуйте, Sinclair, Вы писали:

S>Большинство случаев халатности на АЭС проходят незамеченными общественностью, т.к. там многослойная система защиты, и однократного нарушения недостаточно.

Верно. Такая же система защиты нужна и для контроля ИИ.

Принципиально это возможно а вопрос халатности можно свести к минимуму.

Здравствуйте, alpha21264, Вы писали:

A>Человек всю жизнь управляет лошадьми. Ну и прочими собаками и коровами.
лошади и прочие собаками с коровами убили сотни таких управленцев

Здравствуйте, Лось Чтостряслось, Вы писали:

A>>Человек всю жизнь управляет лошадьми. Ну и прочими собаками и коровами.
ЛЧ>лошади и прочие собаками с коровами убили сотни таких управленцев

Ну типа да. А уж сколько автомобили народа положили! Всё равно жеж человек этим управляет.

Здравствуйте, alpha21264, Вы писали:

A>Здравствуйте, Александр Кузнецов, Вы писали:

АК>>Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях.

A>Тут фишка в том, что делеко не всякого человека можно сделать рабом.
A>Негры-рабы были, а рабов-индейцев не было.

Индейцы тоже были, работали в шахтах добывали серебро.

Здравствуйте, alpha21264, Вы писали:

A>Ну типа да. А уж сколько автомобили народа положили! Всё равно жеж человек этим управляет.
только вот боюсь с ИИ единичного случая выхода его из под контроля человека будет для нас достаточно

Здравствуйте, Shmj, Вы писали:

S>Принципиально это возможно а вопрос халатности можно свести к минимуму.

его нельзя свести к 0, а значит нам конец

Здравствуйте, Sinclair, Вы писали:

АК>>Запросто. Колониальных плантаторов и надсмотрщиков зачастую было меньше, чем рабов на плантациях. Более того, успешные бунты рабов вполне себе известны истории, т.е. в ситуации, когда восставшие были готовы пожертвовать значительной частью восставших, они побеждали, как минимум, локально. Но тем не менее, восстаний было относительно не много и, обычно, только в случае, когда плантатор откровенно зарывался. А так — предпочитали терпеть побои и унижения, но не восставать, понимая, что для части из них — это смерть, а в случае, если не поддержат остальные, то смерть ещё и мучительная.
S>Вы сами себе противоречите.
Именно в своих словах противоречия пока не вижу.

S>Точнее, тут разные ситуации: если с рабами бунт а) маловероятен и б) есть стратегия решения проблемы в случае её возникновения. То есть каждый плантатор думает "ну, уж у меня-то не забалуют, а если что — введу войска", то с ИИ успешный побег эквивалентен геймоверу.
Ну, с ИИ бунт тоже не гарантирован и может быть сведён к минимуму, а успешный побег может быть решён массовым отключением сети, либо тактическим ядерным ударом по датацентрам. Ну а если вы предлагаете ИИ отдать полное и никак не отключаемое управление над всеми военными функциями, то тогда "ой". Правда не понимаю, чем это будет отличаться от того, что мы "сильному" сами в клетку передадим болгарку и пулемёт.
То есть варианты с уничтожить, или загнать обратно в "клетку" изолированного датацентра вырвавшийся на свободу ИИ есть, пусть даже и крайне высокой ценой.

S>То есть если мы рассматриваем не противостояние 1:1, а социальную группу "рабовладельцы" против социальной группы "рабы", то тут никаким "слабый контролирует сильного" и не пахнет. Сила на стороне рабовладельцев — бунтов, которые не были в итоге подавлены, в истории единицы.
Не соглашусь. Рабовладельцы почти всегда побеждали за счёт создания локального перевеса и лучшей координации действий, а не за счёт того, что они были сильнее в целом. Причём и управляли, когда речь заходила о применении силы, также. Вы почему-то в ситуациях, когда привлекали сторонние силы (других рабовладельцев) для подавления восстания рабов на плантации 1, не учитываете рабов с плантаций, откуда использовали надсмотрщиков для подавления восстания. Да, они не восставали, но именно в этом и была проблема.
То есть мы получаем картинку вида:
1. Раб 1 сильнее и плантатора и любого отдельно взятого надсмотрщика. Но на плантации 3 надсмотрщика с кнутами + плантатор с ружьём. Всех их раб не одолеет. И он послушно идёт к топчану для порки, потому, что иначе он получит больше плетей, а то и вообще убьют.
2. Всего на плантации 20 рабов, которые вместе сильнее и плантатора и надсмотрщиков. Но никто не хочет стать тем первым, кто получит пулю из ружья, плюс плантатор может раздать ружья надсмотрщикам и погибнет половина восставших. Плюс есть опасение, что придут другие плантаторы с ружьями. И все смотрят, как Раб 1 идёт к топчану для порки.
3. На острове 100 плантаций, 2000 рабов, 100 плантаторов с ружьями и 300 надсмотрщиков. Рабы однозначно победят, если согласятся пожертвовать первой сотней восставших, которых застрелят плантаторы, и ещё парой сотен, которые погибнут в схватке с надсмотрщиками. Сила на их стороне, но если восстанет только одна плантация, то рабов на ней без проблем перебьют плантаторы с ружьями, собравшиеся вместе и оставившие свои плантации на попечение надсмотрщиков. Плюс добавляется вопрос "а кто будет этими 300 погибшими"? Нет желающих? Тогда живо заткнулись все и дальше сахарный тростник копать!
4. Придёт колониальный флот? Ок, не проблема, но давайте тогда посчитаем и рабов, которые живут в домах в континентальной Европе, формально свободную, но фактически ничем не отличающуюся от рабов прислугу и бедноту.
Понимаете момент? Если рабы смогут как-то договориться и восстать все разом — они победят. Просто потому, что их больше и они, как следствие, сильнее и могут задавить массой. Но их (более сильных) удерживает возможность создания противником локального перевеса вместе с фактором "первый кто сунется — покойник". Ну и однозначно важным фактором является отсутствие координации.