Re: Запустить LLM локально.
От: IT Россия linq2db.com
Дата: 14.03.25 14:40
Оценка:
Здравствуйте, fk0, Вы писали:

fk0> 2) GPU. Тут всё не однозначно. Кажется GPU "не масштабируется"


Всё зависит исключительно от количества видеопамяти. У меня 3090 и спокойно запускается https://ollama.com/library/deepseek-r1 32b, которой требуется 20 GB.
Товарищ воткнул себе две 3090 и развлекается уже с 70b (43 GB).
Если нам не помогут, то мы тоже никого не пощадим.
Отредактировано 14.03.2025 15:03 IT . Предыдущая версия .