S>>>Модель не создается человеком в классическом смысле — она как бы зарождается сама на основе данных. И далеко не всегда можно понять как на основе этих данных модель решает те или иные задачи, т.к. прямого решения задач подобного рода в обучающей выборке не было.

M>>То есть никакого бага и нет изначально?

S>Если нейросетка начнет действовать в своих интересах, хотя ее этому не учили а хотели всего лишь помогатор — это баг или нет?

Какой интерес может быть у молотка или нейросети? Вместо текста начнет генерить картинки?
Дай ссылку на конкретный пример где это происходит, непонятно.

А то что в ответ на какие-то неудобные вопросы сеть генерит какой-то неудобный текст — это вовсе и не баг никакой, это либо недостаточная тренировка, либо отсутствие входящего фильтра.

Решить проблему можно добавив в корпус текста для тренировки нужный текста с правильными ответами, либо поставив фильтр на вход, который тоже может быть небольшой нейросетью. Не нравится фильтр и кажется костылем, будь готов тратить миллионы и месяцы при изменении повесточки и появлении новых неудобных вопросов, вместо того чтобы бесплатно на офисном ноуте за полчаса перетренировать фильтр, но судя по всему модульность и сервисы прошли мимо тебя.