Здравствуйте, Shmj, Вы писали:

полез гуглить, что там за бенчмарк такой (ARC-AGI).
пока дошёл до:

Many AI benchmarks measure performance on tasks that require extensive training or specialized knowledge (PhD++ problems). ARC Prize focuses instead on tasks that humans solve effortlessly yet AI finds challenging which highlight fundamental gaps in AI's reasoning and adaptability.

This approach reveals the essential qualities of intelligence — such as the ability to generalize from limited examples, interpret symbolic meaning, and flexibly apply rules in varying contexts—that current AI systems struggle to replicate.

Что именно там в процентах измеряется пока не понял. Читаю....

UPD:
Сдаётся мне, что этот ваш ИИ — какая-то херня — продвинутый поисковик. Слишком сильно бьётся описание принципов этого бенчмарка с недавно услышанным интенрвью препода по астрономии — он там олимпиадными задачами по астрономии занимался. Те задачи, которые попали в интернет ИИ решает, а об те, которые не попали спотыкается, хотя школьники их решают.