Здравствуйте, mrTwister, Вы писали:

T>При условии, что LLM "знает", как преобразовывать инструкции из статьи в код. Твой пример скорее идентичен преобразованию программы с одного языка программирования в другой, то что на входе псевдокод с текстовым описанием сути не меняет. Это LLM конечно умеют. А вот такую статью с новым алгоритмом она уже придумать не сможет (но сможет скомпоновать несколько существующих алгоритмов).

Сейчас идут опыты с тем, чтобы LLM смогли решать ранее нерешенные задачи. Успехи есть, хотя пока и не впечатляющие.

T>AlfaGo не имеет ничего общего с современными LLM. После обучения для LLM делают скорее файн-тюнинг, в результате которого новые знания и умения не появляются. Знания и умения берутся только из обучающего датасета.

Я знаю, что архитектурно LLM и AlfaGo имеют мало общего (но кстати что-то имеют), я про сам подход, в том числе опять же есть опыты с агентским самообучением моделей. То есть, когда LLM действует во внешней среде (от роботов до просто запуска компилятора) и происходит RL (Reinforcement Learning, самообучение с подкреплением). Пока тут нащупывают оптимальные архитектуры (и кстати трансформеры на которых llm далеки от идеала), но работы идут.

В конце-концов, вспомни совсем недавнее прошлое. Еще совсем недавно (лет 5 назад) люди тащились от того, что LLM могла вообще генерировать связный текст и даже немного в тему промпта. Сильно галлюцинируя при этом. Ни о каком поиске алгоритмов, реализации их по описаниям и тп. речи даже не было. Сейчас уже всерьез обсуждаем пределы возможностей в этом.