Информация об изменениях

Сообщение Re[2]: Тест для определения уровня интеллекта LLM от 22.09.2024 20:44

Изменено 23.09.2024 3:13 hi_octane

Re[2]: Тест для определения уровня интеллекта LLM
O>Несколько встречных вопросов.
O>А какие еще LLM сейчас есть, которые более-менее на слуху, помимо ChatGPT?
Их великое множество. Вот Chatbot Arena Leaderboard, там вперемешку больше сотни, и закрытых и open-сорс.

Вопреки мнению обывателей, из закрытых моделей только модели OpenAI сильно первосходят то что лежит в опен-сорс. И даже над Open-AI висит проклятие масштаба — они бы может и сделали модель в 5 раз больше, но она будет жрать больше энергии, и покупать за подписку в 20-40$ её не будут. А за подписку в 200$ от неё будут ждать такого качества, которое, пока, недостижимо.

Если хочется очень крутую опен-сорс модель для русского языка, то начни с нового Вихря. Буквально вчера вышел.

O>Вообще, как можно узнать, какую модель использует LLM?

Внезапно ...спроси у неё
Большинство моделей обучены честно отвечать на этот вопрос. Разве что, если использовался какой-то тюнинг или дообучение, ответ будет не совсем верный, потому что дообучатели забивают на этот момент. Ну и если в инструкциях владельца чат-бот модели запретили говорить какая она, то может понадобится вопрос-хак, для обхода. Уже по тому какой хак сработал часто можно сказать какая модель под капотом.

Если у тебя видюха 4090 или лучше, то можно раз в месяц поглядывать на reddit-сообщество 24 GB — там постоянно выходит что-то новое, как пережатые или оптимизрованные модели-монстры от солидных компаний, так и всякие дообученные на какой-то сценарий: помощники, переписка, сочинение историй, виртуальные подружки, спам и анти-спам модели, и т.д.
Re[2]: Тест для определения уровня интеллекта LLM
O>Несколько встречных вопросов.
O>А какие еще LLM сейчас есть, которые более-менее на слуху, помимо ChatGPT?
Их великое множество. Вот Chatbot Arena Leaderboard, там вперемешку больше сотни, и закрытых и open-сорс.

Вопреки мнению обывателей, из закрытых моделей только модели OpenAI сильно первосходят то что лежит в опен-сорс. И даже над Open-AI висит проклятие масштаба — они бы может и сделали модель в 5 раз больше, но она будет жрать гораздо больше энергии, и продавать такое за подписку в 20-40$ будет убыточно. А за подписку в 200$ от неё будут ждать такого качества, которое, пока, недостижимо.

Если хочется очень крутую опен-сорс модель для русского языка, то начни с нового Вихря. Буквально вчера вышел.

O>Вообще, как можно узнать, какую модель использует LLM?

Внезапно ...спроси у неё
Большинство моделей обучены честно отвечать на этот вопрос. Разве что, если использовался какой-то тюнинг или дообучение, ответ будет не совсем верный, потому что дообучатели забивают на этот момент. Ну и если в инструкциях владельца чат-бот модели запретили говорить какая она, то может понадобится вопрос-хак, для обхода. Уже по тому какой хак сработал часто можно сказать какая модель под капотом.

Если у тебя видюха 4090 или лучше, то можно раз в месяц поглядывать на reddit-сообщество 24 GB — там постоянно выходит что-то новое, как пережатые или оптимизрованные модели-монстры от солидных компаний, так и всякие дообученные на какой-то сценарий: помощники, переписка, сочинение историй, виртуальные подружки, спам и анти-спам модели, и т.д.