Здравствуйте, hi_octane, Вы писали:

fk0>> На Reddit вопрос кажется
fk0>>уже расмотрели вдоль и поперёк и запускают LLM у себя дома. Если
fk0>>отдельный дом это более реалистично чем квартира (уходит вопрос
fk0>>охлаждения, шума и ограничения мощности).
_>Запускал LLM в квартире ещё до того как это стало мейнстримом

_>КМК, обычной 4090 (даже не 5090), достаточно, чтобы получать ответы от локальной модели, которые ещё год назад даже для подписчиков на облако были недоступны. И прогресс продолжается. От чего, планов городить какой-то сервер с тонной памяти под это дело (у меня) мотивации нет.

У модели полностью помещающейся в ОЗУ видеокарты, так ведь?
И это очень ограниченная модель. А тот же DeepSeek потребует
почти террабайт памяти у вычислителей, не важно каких, важно
чтобы это была непосредственно доступная вычислителю память,
пусть и распределённая по большому количеству вычислителей
(и вычисления будут распараллелены). Использовать вычислитель
"по очереди", постоянно перегружая его содержимое памяти из какой-то
другой отдельной памяти (системной памяти компьютера) -- не выйдет,
здесь будет бутылочное горлышко. Так же?


_>Обычное физлицо, обычные проблемы уже может закрыть, просто подгружая отдельную LLM под текущую задачу.
_> Типа собрался работать с кодом — запусти Qwen,

Маленькую LLM. Умещающуюася в видеокарту.