S>Ещё одним важным недостатком современных чат-ботов является их неспособность различать «добро» и «зло»: при анализе больших объёмов данных и подготовке ответов на вопросы ИИ часто смешивает факты с вымыслом
Настолько огромным недостатком, что острословы из хорошо известной тусовочки a16z уже характеризуют способности нейросети не иначе как глаголом "галлюцинрует".
Встречены и случаи полного вымысла, и смеси правды с вымыслом в разных пропорциях, и выдачи несуществующих научных и литературных источников, и выдачи существующих источников, но в которых цитируемого текста нет.

Мораль сей басни такова: ни в коем, слышите, НИ В КОЕМ случае не пытайтесь получить от AI достоверную информацию для серьёзных целей.
Выдача может выглядеть чрезвычайно качественной и правдоподобной, но на деле оказаться такой галлюцинацией, что даже высококвалифицированный эксперт потратит много времени, чтобы понять, что не так.
И чем дальше нейросети будут приближаться к человеческому интеллекту в этой своеобразной гонке Ахиллеса и черепахи — тем острее будет данная проблема.
Потому что для валидации и верификации вывода будут требоваться всё более и более опытные и дорогие эксперты.
Странный инстинкт "Uncanny Valley" явно дан человеку не просто так.

S>Ещё одним важным недостатком современных чат-ботов является их неспособность различать «добро» и «зло»: при анализе больших объёмов данных и подготовке ответов на вопросы ИИ часто смешивает факты с вымыслом
Настолько огромным недостатком, что острословы из хорошо известной тусовочки a16z уже характеризуют способности нейросети не иначе как глаголом "галлюцинрует".
Встречены и случаи полного вымысла, и смеси правды с вымыслом в разных пропорциях, и выдачи несуществующих научных и литературных источников, и выдачи существующих источников, но в которых цитируемого текста нет.

Мораль сей басни такова: ни в коем, слышите, НИ В КОЕМ случае не пытайтесь получить от AI достоверную информацию для серьёзных целей.
Выдача может выглядеть чрезвычайно качественной и правдоподобной, но на деле оказаться такой галлюцинацией, что даже высококвалифицированный эксперт потратит много времени, чтобы понять, что не так.
И чем дальше нейросети будут приближаться к человеческому интеллекту в этой своеобразной гонке Ахиллеса и черепахи — тем острее будет данная проблема.
Потому что для валидации и верификации вывода будут требоваться всё более и более опытные и дорогие эксперты.
Странный инстинкт "Uncanny Valley" явно дан человеку не просто так.

Пример: https://twitter.com/pmarca/status/1606164421591474176