последнее время в разделе по кругу гоняются похожие отзывы и вопросы. Попробую со своей обывательской колокольни описать в паре абзацев понимание работы "ИИ".
Структура. Ядро ИИ можно представить как многогранник вокруг некоего предмета. Этот "предмет" — та картина мира, которую скормили модели через обучающий набор данных. А каждая грань (латентное представление) — вид-линза под определенным углом на этот предмет. Обучение — грубая шлифовка граней-линз (фиксирование весов). Дообучение (файнтюнинг) — пришлифовка (тонкая коррекция весов). Причем линзы не идельно прозрачные (сжатие размывает понятия, где-то здесь же и квантизация).
И вот вы стоите перед этим многогранным брульянтом и в зависимости от подробности/точности вашего запроса вы формируете точку фокуса через все эти грани на которую проецируется "взгляд" внутри изученной "картины мира".
Вход. Ваш запрос — не единственные данные для фокусировки. Есть еще так называемый "системный промпт" и другой выхлоп всяких MCP/Tools, например ответы гугл-поиска и т.п.
Выход. Генерация каждого нового токена — просто функция от сформированного запроса + уже сгенерированных токенов.
Токенизация — такое себе семантическое сжатие.
Выводы:
— То что вы пишете модели — малая часть всего входа. Для примера, системный промпт Клавдии — это 70+кб текста. Сами понимаете что при таких начальных влияние вашего промпта кгм.. не очень велико. Вы изначально ограничены определенной областью картины мира.
— Модель может генерировать новые знания или галюцинации, но она не отличает одно от другого. Это просто какие-то места в той картине мира, которой она обладает и куда упал фокус.
— Чтобы модель "дообучалась", ей нужны учителя. А если дообучать на чем бог пошлет (пользовательские мнения) то выйдет черт знает что.
— До недавних пор модели обучались по принципу "захавай все" и только потом чуток специализировались (файнтюнились). Диспетчеризация на специализированные модели пока еще редка.
Собственно:
Может ли модель творить? Да, может. Пихай рандом и исследуй чего она там нагенерит. Это касается не только LLM. Диффузоры (миджорни всякие, бананы) работают примерно так же.
Может ли модель находить новое? Да, может. Подсвети область и дай ей возможность побродить в окресностях.
Можно ли с помощью модели написать проект? Да, конечно. Давай идею, используй human-in-the-loop с моделью в ролях business analyst/architect/uiux для формирования спецификации и потом натрави модель, которая по спеке напишет код. Тестеры и техврайтеры прилагаются. С клонированием проекта — та же песня. Но! Это стандартный цикл разработки ПО, которым тебе прийдется рулить самому. Модель только инструмент.
