OpenAI финансирует проект по исследованию морали в системах ИИ — https://habr.com/ru/news/860884/

Все-таки поставили вопрос ребром.

Как я понимаю, за образец будет взята западная модель моральной оценки. И у этой модели уже нашли слабые места, одно из которых выразили в т.н. проблеме вагонетки.

Если раздуть проблему вагонетки до максимального значения — умирает 1 невинный человек или целый город с населением 1 млн. человек — то вроде бы выбор становится очевидным. Т.е. в такой постановке каждый из нас обязательно использует рычаг, чтобы убить одного невинного (особенно если это чужой человек). Только вот реально представьте целый город — куча детей, беременных — понятно что вы себе такого не простите.

А вот в минимальном выборе — выбор 2 чел. или 1 чел. — уже не столько очевидно. Тут нужно оценивать фактор личности — вдруг те два человека и так подлежат смертной казни, а тот один человек — невинный ребенок. Т.е. в таком случае количество не всегда перевешивает. И даже если увеличить до 10 чел. — не факт что количество перевесит. Хотя и нет точных формул для измерения.