Здравствуйте, σ, Вы писали:

σ>https://chatgpt.com/share/672f1945-5348-800a-8893-3fb0d7dc4a85
σ>[q]Нет, большие языковые модели (Large Language Models, LLM) и цепи Маркова не являются изоморфными. Хотя оба подхода связаны с моделированием последовательностей и использованием вероятностных переходов, они существенно различаются по своей структуре и возможностям.

σ>Цепи Маркова основаны на так называемом марковском свойстве: вероятность перехода в следующий состояние зависит только от текущего состояния, а не от всей предшествующей последовательности событий. Это означает, что модель учитывает только непосредственное прошлое при прогнозировании будущего.

Это неточное утверждение, бо цепью Маркова можно и нужно кодировать "контекст".
Т.е. в текущее состояние система и могла попасть лишь согласно определённой предыстории.
Плюс никто не мешает хранить саму предысторию.

Собсно, любой детерминированный автомат обладает таким св-вом — автомат может сохранять контекст или нет.
Сами состояния могут зависеть от контекста глубоко или нет.


σ>Большие языковые модели, такие как GPT-4, используют архитектуры глубокого обучения (например, трансформеры) для обработки и генерации текста. Эти модели способны учитывать длинные контексты и сложные зависимости в данных, а не только предыдущий токен или слово. LLM анализирует большую часть или весь предшествующий текст для прогнозирования следующего элемента в последовательности.

Цепи Маркова тоже можно строить через обучение.
Просто тут речь о размерности как ИИ, так и цепи Маркова.


σ>Таким образом, из-за различий в структуре, принципах работы и способности учитывать контекст, LLM и цепи Маркова не являются изоморфными.

Они не изоморфны, конечно, хотя бы из-за того, что ИИ в работе детерминирован.
Т.е. на один и тот же вход будет давать один и тот же выход.

Но стоить добавить немного шума к каждому нейрону, и можно получить изоморфную некоторым видам цепей Маркова структуру.

Здравствуйте, σ, Вы писали:

σ>https://chatgpt.com/share/672f1945-5348-800a-8893-3fb0d7dc4a85
σ>[q]Нет, большие языковые модели (Large Language Models, LLM) и цепи Маркова не являются изоморфными. Хотя оба подхода связаны с моделированием последовательностей и использованием вероятностных переходов, они существенно различаются по своей структуре и возможностям.

σ>Цепи Маркова основаны на так называемом марковском свойстве: вероятность перехода в следующий состояние зависит только от текущего состояния, а не от всей предшествующей последовательности событий. Это означает, что модель учитывает только непосредственное прошлое при прогнозировании будущего.

Это неточное утверждение, бо цепью Маркова можно и нужно кодировать "контекст".
Т.е. в текущее состояние система и могла попасть лишь согласно определённой предыстории.
Плюс никто не мешает хранить саму предысторию.

Собсно, любой детерминированный автомат обладает таким св-вом — автомат может сохранять контекст или нет.
Сами состояния могут зависеть от контекста глубоко или нет.


σ>Большие языковые модели, такие как GPT-4, используют архитектуры глубокого обучения (например, трансформеры) для обработки и генерации текста. Эти модели способны учитывать длинные контексты и сложные зависимости в данных, а не только предыдущий токен или слово. LLM анализирует большую часть или весь предшествующий текст для прогнозирования следующего элемента в последовательности.

Цепи Маркова тоже можно строить через обучение.
Просто тут речь о достаточной размерности как ИИ, так и цепи Маркова.


σ>Таким образом, из-за различий в структуре, принципах работы и способности учитывать контекст, LLM и цепи Маркова не являются изоморфными.

Они не изоморфны, конечно, хотя бы из-за того, что ИИ в работе детерминирован.
Т.е. на один и тот же вход будет давать один и тот же выход.

Но стоить добавить немного шума к каждому нейрону, и можно получить изоморфную некоторым видам цепей Маркова структуру.