Здравствуйте, Shmj, Вы писали:

S>Как бы иметь способ оценивать уровень интеллекта модели?
S>Тест на IQ не поможет, там стандартные вопросы и они их щелкают по словарю.
S>Есть ли способ рабочий?

Так-то и у людей качественно не умеют оценивать уровень интеллекта, тест на IQ актуален только в данном месте и в данное время. То есть он сильно культурно зависим.
Лучше попробуй определиться, что именно ты хочешь узнать, а уже потом на это придумывать тест.
Ты смотрел современные тесты для тестирования LLM? Чем они тебя не устраивают?
Чем тебя не устраивает тест на решение математических олимпиад?
Не надо решать проблему с наскока, не разобравшись в ней. Разберись и уже тогда спрашивай. Я бы посоветовал тебе начать с Витгенштейна и философии языка. Их труды как будто идеально были начаты за 100 лет до текущих событий с нейросетями.