Здравствуйте, Shmj, Вы писали:

V>>Если же наделить ИИ механизмом формирования и достижения собственный целей, то это будет возведение списка проблем даже не в квадрат, а в какую-то очень большую степень. ))
S>Если ты сформируешь список неких существующих целей у людей + добавишь рандомный выбор из списка — это и будут "собственные цели"?

Тю ))
Я про сам механизм достижения целей.

И про очевидную проблему в том, что ты не можешь просто добавить в модель счётное кол-во целей и проверить, что цели у модели только эти ввиду невозможности интерпретирования ИИ.
Ведь достижение каждой цели разбивается на достижение подцелей, т.е. ИИ принципиально должен уметь формировать цели (они уже это делают, но цели им пока диктует человек, например, при вайб-кодинге).

Если же мы снабдим ИИ собственными целями и дадим ему некий физический механизм достижения этих целей, то:
— Мы не можем гарантировать, что ИИ не сформирует опасные промежуточные подцели.
— Мы не можем гарантировать, что ИИ не сформирует собственные цели, грубо, "высшего уровня".
— Мы не можем гаранитровать, что ввиду обучения ИИ ловко лгать, он не будет скрывать эти "высшие цели".

Т.е., повторюсь, по сравнению с нынешним положением дел, это будет означать возведение нынешней плохой контролируемости ИИ в какую-то большую степень.