Сообщение Re: Запустить LLM локально. от 14.03.2025 14:40
Изменено 14.03.2025 15:03 IT
Re: Запустить LLM локально.
Здравствуйте, fk0, Вы писали:
fk0> 2) GPU. Тут всё не однозначно. Кажется GPU "не масштабируется"
Всё зависит исключительно от количества видеопамяти. У меня 3090 и спокойно запускается https://ollama.com/library/deepseek-r1 32b, которой требуется 20 GB.
Товаришь воткнул себе две 3090 и развлекается уже с 70b (43 GB).
fk0> 2) GPU. Тут всё не однозначно. Кажется GPU "не масштабируется"
Всё зависит исключительно от количества видеопамяти. У меня 3090 и спокойно запускается https://ollama.com/library/deepseek-r1 32b, которой требуется 20 GB.
Товаришь воткнул себе две 3090 и развлекается уже с 70b (43 GB).
Re: Запустить LLM локально.
Здравствуйте, fk0, Вы писали:
fk0> 2) GPU. Тут всё не однозначно. Кажется GPU "не масштабируется"
Всё зависит исключительно от количества видеопамяти. У меня 3090 и спокойно запускается https://ollama.com/library/deepseek-r1 32b, которой требуется 20 GB.
Товарищ воткнул себе две 3090 и развлекается уже с 70b (43 GB).
fk0> 2) GPU. Тут всё не однозначно. Кажется GPU "не масштабируется"
Всё зависит исключительно от количества видеопамяти. У меня 3090 и спокойно запускается https://ollama.com/library/deepseek-r1 32b, которой требуется 20 GB.
Товарищ воткнул себе две 3090 и развлекается уже с 70b (43 GB).