A terminal tool that right-sizes LLM models to your system's RAM, CPU, and GPU. Detects your hardware, scores each model across quality, speed, fit, and context dimensions, and tells you which ones will actually run well on your machine.
По ним можно оценить что нужно для ваших задач. Но если вкратце, то чем больше видео памяти тем лучше.
компьютер относительно старый: AMD Ryzen 7 2700, GIGABYTE B450M H, 32Gb RAM, несколько hdd и ssd, блок питания 600W.
для повседневных задач этого более чем достаточно, в игры я не играю, когда покупал — думал что мне этого хватит ОЧЕНЬ надолго, ну пока что-то физически не выйдет из строя.
но внезапно случился ИИ, и постепенно стало всё больше хотеться хочется работать оффлайн с нейросетями, и не зависеть от ограничений публичных LLM. И в сложившейся ситуации я не знаю что делать.
имеет ли смысл купить видеокарту с достаточным объемом оперативки для этой существующей системы? и есть ли вообще такие в природе, да еще чтобы не б/у? И хватит ли ей питания? И будет ли такая покупка оправданной в долгосрочной перспективе?
или лучше просто ждать N лет пока всё устаканится (или лопнет), и купить полностью новый компьютер с современной видеокартой, но уже по разумной цене?
Или разумных цен уже не будет никогда?
Покупать всё новое сейчас ИМХО неразумно и лично для меня дороговато.
наверное основная цель — генерация изображений, может быть видео (если это возможно в домашних условиях); возможно создание чего-то типа личного RAG для текста; эксперименты с дообучением на своем контенте.
Или можно попробовать генерацию изображений на процессоре? вроде оперативки достаточно, а скорость... ну будет не 10 секунд а 10 минут, да и фиг с ним... или для "генерации на процессоре" со скоростью всё совсем плохо? генерировать текст я пробовал в самом начале когда LLAMA появилась, фигня полная — мало того что медленно, так еще и выдача на урезанных моделях крайне тупая.
просто выскажите свои мнения, как бы вы поступили.
Здравствуйте, x-code, Вы писали:
XC>просто выскажите свои мнения, как бы вы поступили.
Я бы полез в инет искать таблички сравнений разных моделей на разном железе. Свел бы это все в одну табличку в экселе или подобном.
И после бы уже принимал решение.
Здравствуйте, x-code, Вы писали:
XC>или лучше просто ждать N лет пока всё устаканится (или лопнет), и купить полностью новый компьютер с современной видеокартой, но уже по разумной цене?
С таким конфигом я бы просто ждал и пользовался сторонними сервисами.
Здравствуйте, x-code, Вы писали:
XC>просто выскажите свои мнения, как бы вы поступили.
Пока по отзывам более-менее реальное, чтобы поиграться локально с llm, это система на AMD Ryzen AI Max+ 395 со 128 гигами. Бюджет около 200 тысяч. Всё остальное либо сильно хуже, либо сильно дороже.
Здравствуйте, x-code, Вы писали:
XC>компьютер относительно старый: AMD Ryzen 7 2700, GIGABYTE B450M H, 32Gb RAM, несколько hdd и ssd, блок питания 600W.
XC>просто выскажите свои мнения, как бы вы поступили.
Вполне запустится Qwen3-Coder-30B-A3B-Instruct-Q8_0 даже с минимальной видюхой 1070. Видюха около топовая но древняя — необходима для pp, для старого железа пойдет любая, но лучше получше.
В целом требуется очень многоканальная память и лучше бы DDR5 + топовая с большой пропускной способностью видюха, хватит 1080ti/2080/3080. Либо куча топовых выдюх где памяти хватит... но стоит это очень много...
Тебе не хватит даже если продать почку на — NVIDIA DGX B200 8× B200 SXM 180GB
И это устареет через год... Через два года продать такое — за 1/10.
Вообще, небольшие LLM отлично гонять на топ старых видюхах — 3090 скорее топ по цене за 24GB, но на них майнили и будут убитые платы. И их надо 2-3-4 шт, одна уже нигде не вsвозит с 24G.
Здравствуйте, x-code, Вы писали:
XC>компьютер относительно старый: AMD Ryzen 7 2700, GIGABYTE B450M H, 32Gb RAM, несколько hdd и ssd, блок питания 600W. XC>просто выскажите свои мнения, как бы вы поступили.
У меня десктоп Intel i7-4790K, 32Gb, 875Вт. Начать хотя бы с того, что 875Вт мало для современных видеокарт, а у тебя 600Вт тем более. То есть нужно покупать новый блок питания даже к одной новой видюшке. Так уже проще тогда сразу купить всё новое. Потому что на старом железе старая PCIe, медленная оперативка с ограничением по количеству максимального объёма, причём ограничение на процессоре, и так далее.
И какой смысл покупать что-то ради корявых автономных нейронок. Более того, это же десктоп, а купить можно ещё сервер. Лично я не дёргался и дёргаться не собираюсь, даже если мой компьютер устарел. У меня стадия, когда я что-то покупал на попробовать давно прошла.
Ради игр чисто теоретически можно было бы купить, но я играю в старьё тех лет, когда был выпущен компьютер, то есть всё тянет. Бесконечная компиляция меня не интересует. Автономные нейронки всё равно хуже, чем онлайновые.
В общем мой совет ничего не покупать или готовить для десктопа несколько сотен тысяч рублей, а для сервера миллионы и десятки миллионов рублей. По сути жажду новейшего и быстрейшего железа не удволетворить, стоит ли стараться.
Здравствуйте, _ilya_, Вы писали:
__>Вполне запустится Qwen3-Coder-30B-A3B-Instruct-Q8_0 даже с минимальной видюхой 1070.
Отличный совет из разряда вредных советов. Начать с того, что предложенная модель в базе требует 32Гб. Не считая КВ-кеша. И для минимально вменяемого инференса (одним глазком лизнуть) предложенного конфига явно не хватит.
Даже вариант с 48Гб суммарной памяти будет работать с тормозами из-за постоянной переброски контекста между видяхой и памятью. А уж если там не просто чатиться, а пытаться разрабатывать, то прийдется увеличить размер контекста и оно вообще станет тормозное.
Если нет нормального бюджета, то я бы на текущий момент взял подписку одного из топов и игрался с ней. У того же Alibaba/Qwen light подписка стоит $10/мес, а лимиты там выше чем у Клавдии. Да, он тупее последней, но для многих задач вполне себе на уровне.
Здравствуйте, velkin, Вы писали:
V>У меня десктоп Intel i7-4790K, 32Gb, 875Вт. Начать хотя бы с того, что 875Вт мало для современных видеокарт, а у тебя 600Вт тем более.
Если брать не игровую видяху, а специализированную под инференс (они жрут 200-300Вт), то 875Вт даже много.
