Здравствуйте, Артём, Вы писали:

С>>Возьмите https://huggingface.co/bartowski/DeepSeek-V2.5-GGUF/tree/main/DeepSeek-V2.5-Q8_0 и запустите его на 4 H100 на runpod.
Аё>У меня лаптоп на райзене и 32г рамы... 48г не влезет целиком. Или оно умеет мапить файл на память? Вон на "AI" лаптопах вообще 16г рамы кушайте не подавитесь.

Ни в какой лаптоп это не влезет, для запуска такой модели потребуется 320 гигабайт VRAM, как раз 4 H100. На runpod это делается за деньги, будет примерно 12 долларов в час + примерно 40 минут на первоначальную загрузку модели в их хранилище + минут 10-15 на загрузку модели в GPU при каждом старте + ежедневная плата за хранилище, но там немного.

С>>Ну и — обычно люди не на тупой локальной LLM пытаются работать, а на каком-нибудь Claude Sonnet.
Аё>В смысле в облаке? Но там наверное, с смс и регистрацией?

Конечно с регистрацией, за деньги.