Здравствуйте, fk0, Вы писали:
fk0>Hello...
fk0> Как думаете, какие перспективы запуска LLM, наподобии DeepSeek
fk0>(более-менее полноценной, а не урезанной 1.5-битной версии) локально?
fk0>В пределах ограничений имеющихся у среднего физ. лица. Т.е. вряд ли
fk0>рационально тратить на железо очень крупную сумму (в следующие два
Где-то 300тыр руб, бу сервер на Epyc 7K62 и 512Gb DDR4, скорость будет
примерно как на сайте deepseek, для квантованной Q4 модели
Видео
https://www.youtube.com/watch?v=5Eqc8-qGv9Y
Можно арендовать похожий сервер на несколько часов и потестить это в реале.