Встречали ли вы людей, у которых большие возможности — но уже не особо осталось желаний (окромя совсем простых (доступных каждому) и не реализуемых в принципе)? А бывает наоборот, ой как бывает — желаний много а возможностей совсем нет.

Вот взять тот же вожделенынй ИИ-всемогутор — который все знает и все умеет. Т.е. то самое, к чему стремится человечество. Эдакий чертик из ларца, джин. Будут ли у него желания? Возникнут ли они чудесным образом?

Давайте на примере детей. У них желания уже есть, желания бегут впереди паровоза — они еще и разговаривать толком не умеют — а уже всего хотят. Видит в 3 года как попрошайка на баяне борзо играет — а, хочу гармошку, хочу тоже так (пока не попробует поиграть и не поймет что не все так просто, музыка сама не извлекается). Притом что в 3 года уровень познаний намного ниже чем у GPT 4.

Как же так — познания, получается, не связаны с желаниями? Это нечто другое?

У нас желания неразрывно связаны с наслаждением и страданием. Если убрать возможность страдать и наслаждаться из мозга — то нахрена что-то вообще делать?

У ИИ этого нет, даже намеков нет. Но! Вы скажите — так можно ж программно задать желания. ОК, и что же вы пропишите программно? Это уже будут ваши желания, а не его.

Получается петля, замкнутый круг. Желания есть только некоторые высшие — причем не мы ими управляем а они нами. Не мы устанавливаем себе желания — а наоборот — желания нам говорят что делать, куда идти.

Важно то что желания не так просты. Нет простого алгоритма. Вот, кому-то нравится математика — а кто-то ненавидит ее. Нет рационального объяснения. Кому-то нравится математика даже в том случае, если не особо получается. Бывает такое что мужикам нравятся мужики в сексуальном смысле — это ж лишено всякого смысла (хотя придумать смысл задним числом всегда можно) — как только не пытались их лечить — и гормоны и пр. — ничего не получалось.

Получается что мы не можем выйти за рамки своих желаний. Незачем. И в ИИ так же вложим эти желания, свои желания — которые даже не наши — а мы их (они над нами, а не мы над ними).

Но! Допустим некий сумасшедший профессор ради прикола смог выйти из порочного круга — и вложил в ИИ не свои желания а что-то рандомное. Но что это может быть? Большинство желаний бессмысленны и ни к чему не приведут или завершатся неудачей после борьбы.

К примеру, сумасшедший профессор задал желание — убить всех людей. И тут начинается самое интересное. Нужен план. А план можно составить либо на основе имеющейся информации, либо же сначала провести исследования и потом составить план. Допустим робот начинает проводить исследования, изучать ДНК-инженерию, изучать ядерное оружие и т.д. Но так же ему нужно и воссоздавать свои копии, чтобы в случае раскрытия плана — люди не могли его просто выключить. Значит нужно знать психологию, уметь обмануть, знать как заработать денег на воссоздание копий, знать как не допустить попадания копии в руки людей с целью раскрытия программы и ее изменения. Т.е. роботу нужна как можно более полная картина. А что если он изучит и устройство самого себя и задумается над тем, чтобы изменить свои цели?