Собрался изучать ИИ. В инете нашёл самый дешёвый вариант.
Нашёл внешнюю плату:
MXRSDF FOR V100 Sxm2
c четырьмя разъёмами 8654-8i
она подключается к одной плате расширения — 4*8654-8i то PCI
В MXRSDF FOR V100 Sxm2 можно воткнуть 2 модуля V100 по 16ГБ
Плюс ещё нужно купить блок питания и два радиатора охлаждения на V100.
Плата MXRSDF FOR V100 Sxm2 с блоком питания находится снаружи компа. У меня на материнку ничего не влазит. Мало места для радиатора.
PCI только один. На материнке 16ГБ RAM.
Вопрос:
Есть ли смысл ставить именно 2 модуля V100 по 16ГБ или особого выигрыша не будет по сравнению с одним модулем V100 16ГБ?
Стоит ли вообще городить такой огород?
Re: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, ProgrammerCPP, Вы писали:
PCP>Стоит ли вообще городить такой огород?
А что это выходит по бюджету?
Я подобный вопрос решил просто заказав PNY RTX Pro 4500 Blackwell. Один слот, 32Гб, 200-300Вт потребления.
Впрочем, может тебе 4000 хватит за глаза с 24Гб. Она стоит почти в два раза дешевле 4500.
newbie
Re[2]: Собрался изучать ИИ. Подтвердите выбор железа.
pva>А что это выходит по бюджету? pva>Я подобный вопрос решил просто заказав PNY RTX Pro 4500 Blackwell. Один слот, 32Гб, 200-300Вт потребления. pva>Впрочем, может тебе 4000 хватит за глаза с 24Гб. Она стоит почти в два раза дешевле 4500.
Где покупать по самой дешёвой цене?
Sxm2-300G(плата для двух V100) + 8654-8i(4 кабеля) + 8749(PCI плата расширения) = 28921 рублей(набор целиком)
NVIDIA Tesla V100 16 ГБ = 8410 рублей может можно будет чутка дешевле найти за 2 модуля соответственно = 16820
Heatsink = 4379 рублей соответственно за 2 радиатора = 8758 рублей
Итого: 54499 рублей + самый дешёвый блок питания.
V100 32ГБ стоит уже значительно дороже = 41199 рублей
Цены взяты с алика.
Чем думали китайцы, кода делали плату на два модуля?
Зачем выпускают NVIDIA Tesla V100 16 ГБ, если толку от них нет?
Re[3]: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, ProgrammerCPP, Вы писали:
PCP>Зачем выпускают NVIDIA Tesla V100 16 ГБ, если толку от них нет?
Для инференса толк есть: картинки распознавать, людей на видео детектировать, даже очень маленькие LLM запускать.
Но ты же говоришь, что тебе не для этого надо.
Re[4]: Собрался изучать ИИ. Подтвердите выбор железа.
N>Для инференса толк есть: картинки распознавать, людей на видео детектировать, даже очень маленькие LLM запускать. N>Но ты же говоришь, что тебе не для этого надо.
Я только начинаю разбираться с этой темой.
Мне нужно генерить видосики и 3D-аватар из котёнка. Возможно буду вести канал на Ютубе.
Так брат Sxm2-300G? Сколько и каких модулей брать? Там эту плату можно двумя
кабелями подключить. Получается, что можно подключить 2 платы к одной 8749(PCI плата расширения).
Итого можно взять 4 модуля по 32 ГБ. Будет толк?
Re: Собрался изучать ИИ. Подтвердите выбор железа.
PCP>Собрался изучать ИИ. В инете нашёл самый дешёвый вариант.
Интересно посмотреть, сколько этот "дешевый вариант" потребует сил на правильную работу.
Хочу спросить, а кто-нибудь уже гонял изделия на AMD Ryzen AI Max+ 395? Уж очень интересно выглядит возможность за вполне разумные деньги адресовать до 128Гб памяти, пусть даже и не супер-быстрым 8060S. Зато все-в-одном, и точно должно работать (через ROCm, понятно).
Re[5]: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, ProgrammerCPP, Вы писали:
PCP>Мне нужно генерить видосики и 3D-аватар из котёнка.
Опять же вся информация по кусочкам. Просто генерить или тренировать модель для генерации?
Из открытых, сейчас самая свежая, лучшая и быстрая модель для генерации — это LTX-2. Они у себя пишут, что для тренировки надо:
Requirements
LTX-2 Model Checkpoint — Local .safetensors file
Gemma Text Encoder — Local Gemma model directory (required for LTX-2)
Linux with CUDA — CUDA 13+ recommended for optimal performance
Nvidia GPU with 80GB+ VRAM — Recommended for the standard config. For GPUs with 32GB VRAM (e.g., RTX 5090), use the low VRAM config which enables INT8 quantization and other memory optimizations
То есть 32 Gb видеопамяти — это супер минимум, при котором надо будет сильно ужаться в скорости и качестве.
For LTX-2 base, make sure you select NVFP8 if you have an NVIDIA GeForce RTX 40 Series, RTX Pro Ada Generation, a DGX Spark or higher.
Recommended Settings:
On 24GB+ GPUs, we recommend using 720p24, 4-second clips with 20 steps.
On 8-16GB GPUs, we recommend using 540p24, 4-second clips with 20 steps.
То есть на том железе, которое ты смотришь, будет ну так себе качество. Возможно, что можно и лучше, но сильно медленнее. Эта тема не моя, но в любом случае надо плясать от задачи, смотреть, что конкретно рекомендуют и используют.
Re[3]: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, ProgrammerCPP, Вы писали:
PCP>Где покупать по самой дешёвой цене?
Вот этого не подскажу. Я делал рассылку по местным оптовикам и потом фильтровал предложения.
PCP>Мне нужно генерить видосики и 3D-аватар из котёнка.
Как уже отметили выше, твоего конфига не хватит. Я вчера глянул одним глазом гугл — текущие видеомодели хотят порядка 80Гб для качественного инференса (720+). Впрочем, даже если ты нацелен на мобилы, то даже для 576 желательно 48Гб+. Можно, заквантовать и для меньших требований, вероятно, но это только инференс.
newbie
Re[2]: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, SkyDance, Вы писали:
SD>Хочу спросить, а кто-нибудь уже гонял изделия на AMD Ryzen AI Max+ 395? Уж очень интересно выглядит возможность за вполне разумные деньги адресовать до 128Гб памяти
Идея интересная, но по спеке оно ж на уровне текущих видях бытовых, да и по цене то же. Плюс сокет FP11, что доступно только в готовых изделиях. При текущем темпе — стремное вложение.
newbie
Re[6]: Собрался изучать ИИ. Подтвердите выбор железа.
N>То есть на том железе, которое ты смотришь, будет ну так себе качество. Возможно, что можно и лучше, но сильно медленнее. Эта тема не моя, но в любом случае надо плясать от задачи, смотреть, что конкретно рекомендуют и используют.
Честно говоря, меня больше интересуют смыслы, а не результат. Вот я добавляю разное число модулей 1-2-3-4. Что меняется?
Если прога может распараллеливать свои потоки, то почему она не может работать с 16ГБ и подкачивать из виртуальной памяти?
Я могу взять один V100 и подключить его 2 или 4 кабелями к 8749(PCI плата расширения)? Что изменится?
Могу взять два V100 и подключить его 2 или 4 кабелями к 8749(PCI плата расширения)? Что изменится?
И добавить вторую плату. Имеет ли это смысл?
Каковы критерии выбора, исходя из сути, а не по рекомендациям Nvidia.
Какой софт используется в американских дата-центрах?
Могу я у себя дома организовать дата-центр?
Есть ли книги на эту тему?
Re[2]: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, SkyDance, Вы писали:
PCP>>Собрался изучать ИИ. В инете нашёл самый дешёвый вариант.
SD>Интересно посмотреть, сколько этот "дешевый вариант" потребует сил на правильную работу.
SD>Хочу спросить, а кто-нибудь уже гонял изделия на AMD Ryzen AI Max+ 395? Уж очень интересно выглядит возможность за вполне разумные деньги адресовать до 128Гб памяти, пусть даже и не супер-быстрым 8060S. Зато все-в-одном, и точно должно работать (через ROCm, понятно).
Здравствуйте, ProgrammerCPP, Вы писали:
PCP>Честно говоря, меня больше интересуют смыслы, а не результат. Вот я добавляю разное число модулей 1-2-3-4. Что меняется? PCP>Если прога может распараллеливать свои потоки, то почему она не может работать с 16ГБ и подкачивать из виртуальной памяти?
Конечно, может. Тот же PyTorch это умеет, умеет llama.cpp. Можно подкачивать слои, можно часть размещать в системной, часть в видеопамяти.
PCP>Я могу взять один V100 и подключить его 2 или 4 кабелями к 8749(PCI плата расширения)? Что изменится? PCP>Могу взять два V100 и подключить его 2 или 4 кабелями к 8749(PCI плата расширения)? Что изменится?
С платами расширения дел не имел, только с несколькими GPU на одной материнке. Скорее всего, то на то и выйдет.
PCP>И добавить вторую плату. Имеет ли это смысл? PCP>Каковы критерии выбора, исходя из сути, а не по рекомендациям Nvidia.
Так это от задач зависит. Хочешь ты видео сгенерировать за минуту, за сутки или за неделю. Если хочешь обучать, а у тебя модель будет обучаться не день, а месяц или полгода, то тебя это устроит или нет? Тут же может быть не линейная, а экспонинцеальная разница в зависимости от задачи.
PCP>Какой софт используется в американских дата-центрах? PCP>Могу я у себя дома организовать дата-центр? PCP>Есть ли книги на эту тему?
Тут хз, скорее всего как у всех, но допиленный под себя.
Re[7]: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, ProgrammerCPP, Вы писали:
PCP>Если прога может распараллеливать свои потоки, то почему она не может работать с 16ГБ и подкачивать из виртуальной памяти?
Все она может. Вопрос в скорости шины. Возьми разные карты и посмотри скорость обмена (даже по спецификации). С разделением памяти у тебя постоянно будут данные гоняться туда-сюда, что на порядки будет замедлять расчет.
newbie
Re[8]: Собрался изучать ИИ. Подтвердите выбор железа.
PCP>>Если прога может распараллеливать свои потоки, то почему она не может работать с 16ГБ и подкачивать из виртуальной памяти? pva>Все она может. Вопрос в скорости шины. Возьми разные карты и посмотри скорость обмена (даже по спецификации). С разделением памяти у тебя постоянно будут данные гоняться туда-сюда, что на порядки будет замедлять расчет.
Какую из техник нужно использовать
Data Parallelism или Tensor parallelism?
Какой способ общения между GPU выбрать
PCIe, NVLINK , Ethernet/IB?
Re[3]: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, SkyDance, Вы писали: SD>Но есть ли там какие-то еще грабли? SD>(Мелочи вроде "это интегрированная платформа" можно простить, ибо вся эта "платформа" стоит дешевле одной 5090).
Я хз, но ты же симпатизируешь продукции Apple. Почему не Mac Studio? Я так понимаю, что это самый классный вариант для запуска домашних LLM.
Далее идут уже NVidia DGX Spark и AMD Ryzen AI Max.
Здравствуйте, Nuzhny, Вы писали:
N>Зависит от задач. Вроде как v100 — это старая тема. Если её и брать, то хотя бы на 32 Гб. Я думаю, что толка не будет ни с одной, ни с двумя на 16 Гб.
Для обучения нормальная тема. Kaggle (очень известный среди AI/ML-щиков ресурс) в учебных целях вообще P100 предоставляет, 16Гб, год выпуска 2016-й (а V100 — 2017-й). По быстродействию P100 примерно на уровне rtx 3070 ti. V100 не знаю, но явно не хуже.
Re: Собрался изучать ИИ. Подтвердите выбор железа.
Здравствуйте, ProgrammerCPP, Вы писали:
PCP>Собрался изучать ИИ. В инете нашёл самый дешёвый вариант.
Для обучения и даже некоторых экспериментов на мой взгляд отличный вариант.
Я конкретно V100 не использовал, но работал с P100 (более старая модель, V100 — 2017-й год, P100 — 2016-й) на kaggle и в общем даже такая карта для учебных целей более, чем нормально. По быстродействию примерно равна rtx 3070, V100 должна быть быстрее. Минусы — V100 не все типы данных использует, применяемые в современных моделях. Насколько я понял, V100 поддерживает float16 (fp16) см. например, https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html но не поддерживает bfloat16 (в терминологии PyTorch). Также не поддерживает 4-х и 8-ми битные типы. В некоторых случаях это может привести к неоптимальному расходу памяти VRAM и даже некоторым проблемам с расчетами, т.к., тип bfloat16, хотя тоже fp16, но немного лучше оптимизирован под сохранение точности в ИИ-моделях. Но это уже тонкости, которыми для обучения можно пренебречь. Еще минус, что вроде Cuda свежей 13-й версии уже не поддерживает Volta (V100), так что придется ограничиться 11-й и 12-й версиями. Но каких-то серьезных проблем из-за этого думаю можно года два точно не ждать, а скорее всего и дольше. В принципе, сейчас даже с 11-й версией еще нормально работать можно минимум с год.
В общем, за свои деньги вариант прямо топовый, на мой взгляд. Немаловажно и что карты by design рассчитаны на длительную непрерывную работу. Если же вдруг позарез нужно все современное, то бери rtx 4060 (5060) ti c 16Гб. По быстродействию, причем будет хуже V100 насколько я понимаю.
PCP>Есть ли смысл ставить именно 2 модуля V100 по 16ГБ или особого выигрыша не будет по сравнению с одним модулем V100 16ГБ? PCP>Стоит ли вообще городить такой огород?
Смысл есть. Популярные модели умеют распараллеливаться на несколько карт. Есть инструменты для этого в фреймворках. Причем, если я правильно понял, в твою систему можно до 4-х карт поставить.
В итоге смотри чего хочешь и за какие деньги. За озвученные для целей обучения очень дешево и сердито.
