GPT на диске
От: wl. Россия  
Дата: 03.12.24 15:12
Оценка: :))
Подскажите, есть ли варианты, когда база LLM хранится на диске и не нужно грузить её всю в RAM/VRAM?
Помнится, у Кнута было много алгоритмов, когда данные не помещаются в память, это применимо к LLM?
хочется запустить где-нибудь на виртуалке достаточно большую модель, и что-бы было бюджетненько
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.