Здравствуйте, Nuzhny, Вы писали:

N> Оптимизируют больше способность к обобщению, которая коррелирует с сокращением объёма информации, но не эквивалентна ему.
Вероятно такое само получается, так как запихивают чрезвычайно огромный объем данных, он без потерь никаким кодеком не сожмется до размера LLM. Настраиваются веса при обучении, т.е. получается что подгоняют под минимальные потери при сжатии.

Здравствуйте, D. Mon, Вы писали:

DM>100GB это сколько языков, один? LLM же на куче языков говорят, и на входе у них была не только википедия (а значит на википедию из тех 700 ГБ "приходится" совсем чуть-чуть). Потому наоборот, степень сжатия, количество запомненной информации весьма впечатляет.

Сжатие — векторное и смысловое. Понятия на разных языках скорее слабо расходятся, поэтому хранится 1 вектор смысловой (вне зависимости от языка) и далее куча инфы про это. И поэтому там хоть на 100 языков будет перевод, который особо не занимает места, лишь скорее словарь и соответствие вектору для каждого языка, это вообще мегабайты для каждого языка, т.е. ничто.