Здравствуйте, Wolverrum, Вы писали:

W>Глядя на то, как работают языковые модели, не отпускает ощущение, что весь этот формализм лежащий в их основе — не какой-то новый язык или новый математический объект, а все те же скрытые цепи Маркова "вид сбоку".

Изоморфизм с точностью до чего?
В целом можно считать , что LLM — это чистая фунция принимающая на вход очень много параметров. Ее результат строго детерменирован входным значением.
Можно сделать вырожденную марковскую цепь, где пространство состояний — это все возмжные комбинации входных параметров LLM-ки с только одним возможным переходом (т.е. в матрице переходов в столбце будут все нолики и одна единичка), чтобы обеспечить чистоту.
Обратное сделать невозможно, так как марковская цепь недетременирована.

Здравствуйте, Wolverrum, Вы писали:

W>Глядя на то, как работают языковые модели, не отпускает ощущение, что весь этот формализм лежащий в их основе — не какой-то новый язык или новый математический объект, а все те же скрытые цепи Маркова "вид сбоку".

Изоморфизм с точностью до чего? Вообще, имхо, лучше использовать слово эквивалентый. Изоморфизм — это про структурную идентичность, и если уж используешь это слово, то нужно как-то указать структурные свойства которые ты сравниваешь.

В целом можно считать , что LLM — это чистая фунция принимающая на вход очень много параметров. Ее результат строго детерменирован входным значением. Пространство входных и выходных параметров дискретно и конечно.
Такуж функцию можно смоделировать как вырожденную марковскую цепь, где пространство состояний — это все возмжные комбинации входных параметров LLM-ки с только одним возможным переходом (т.е. в матрице переходов в столбце будут все нолики и одна единичка), чтобы обеспечить чистоту.

Обратное же сделать невозможно, так как марковская цепь недетременирована.