Здравствуйте, ProgrammerCPP, Вы писали:


N>>Для инференса толк есть: картинки распознавать, людей на видео детектировать, даже очень маленькие LLM запускать.
N>>Но ты же говоришь, что тебе не для этого надо.

PCP>Я только начинаю разбираться с этой темой.
PCP>Мне нужно генерить видосики и 3D-аватар из котёнка. Возможно буду вести канал на Ютубе.

Я ранее расписал, что топ за свои деньги, но это именно для обучения ИИ. Если есть конкретные задачи для генерации видео — надо смотреть конкретное ПО для этого и требования.

N>Я хз, но ты же симпатизируешь продукции Apple.

Исключительно в плане практичности их ноутбуков. Очень прочные (физически) и мощные машинки, не теряющие внешний вид через год после начала использования. В качестве рабочего инструмента подходят великолепно, и не требуют частого сервиса, ремонта или апгрейда.

N> Почему не Mac Studio? Я так понимаю, что это самый классный вариант для запуска домашних LLM.

Уж очень на него зубодробильный ценник. Получается ни нашим, ни вашим: "для души" — дорого, а для работы (в смысле что компания оплачивает) есть профессиональные изделия.

Здравствуйте, Michael7, Вы писали:

M>Для обучения нормальная тема. Kaggle (очень известный среди AI/ML-щиков ресурс) в учебных целях вообще P100 предоставляет, 16Гб, год выпуска 2016-й (а V100 — 2017-й). По быстродействию P100 примерно на уровне rtx 3070 ti. V100 не знаю, но явно не хуже.

Это понятно, но тут не сильно ясно для чего вообще. Вон ComfyUI уже по умолчанию с 13 CUDA собирается, хотя продолжают поддержку и старых видеокарт с CUDA 12.6. Но прогресс идёт, мало кому охота заниматься поддержкой старых продуктов в такой динамичной области. Просто нет смысла, потому 5 лет никакие нейросети не живут, за такое время архитектура сменится несколько раз, код выкинут и напишут новый под новое железо.

Здравствуйте, SkyDance, Вы писали:

SD>(Мелочи вроде "это интегрированная платформа" можно простить, ибо вся эта "платформа" стоит дешевле одной 5090).

Сравнение с одной видюхой тут некорректное. Модель весит 64GB + контекст. Естественно в 1 штуку 5090 она не влазит, поэтому скорость нормальную не выдает.

Здравствуйте, SkyDance, Вы писали:

SD>Хочу спросить, а кто-нибудь уже гонял изделия на AMD Ryzen AI Max+ 395?
Сдается, что медленная железка. Упор в пропускную памяти, судя по скриншотам AIDA там вышло 120GB/s чтение, 213GB/s запись. Плюс-минус такая же скорость например у одного старого EPYC 7**3 на 8 каналах, но более дешевой DDR4. А их можно ставить парой. Новые Epyc с 12 каналами памяти DDR5 еще в 3 раза быстрее, увы память стала стоить непомерно.
Еще и ограничение в 128GB. Т.е. большие сетки не запустить никак, максимум 120B. Скорее всего EPYC 7**3 на DDR4 будет дешевле даже если памяти больше вставить, а не 128GB.

Здравствуйте, ProgrammerCPP, Вы писали:

PCP>В MXRSDF FOR V100 Sxm2 можно воткнуть 2 модуля V100 по 16ГБ

Сильно древняя штука, поинтересней будут видюхи хотябы 3090 — на поколение новее, самые интересные конечно китайские переделанные на 48GB 4090, но стоят совсем невменяемо.
2штуки по 16 — мало, V100 есть на 32GB что уже веселее, но стоят кратно больше. Для средних сеток нужно где-то гигов 70+ видеопамяти...


P.S. Если не сверх быстро устроит, то можно и на CPU крутить и даже на DDR4. Лучше всего подходят серверные с большим количеством каналов памяти, так как скорость упирается в пропускную памяти.

Здравствуйте, ProgrammerCPP, Вы писали:

PCP>Итого можно взять 4 модуля по 32 ГБ. Будет толк?

Будет, это норм конфиг. 16GB платы стоят как мусор — потому что не нужны нафиг никому, так как даже с 4-х получается мало памяти, средние нейронки не влезают.

__>Сравнение с одной видюхой тут некорректное. Модель весит 64GB + контекст. Естественно в 1 штуку 5090 она не влазит, поэтому скорость нормальную не выдает.

Так это реальность нашего мира, модели — тяжелые, и в память отдельно взятой видюхи не влезают. Я потому и заинтересовался, вдруг кто уже пробовал — какие еще на этом пути грабли?

Здравствуйте, SkyDance, Вы писали:

__>>Сравнение с одной видюхой тут некорректное. Модель весит 64GB + контекст. Естественно в 1 штуку 5090 она не влазит, поэтому скорость нормальную не выдает.

SD>Так это реальность нашего мира, модели — тяжелые, и в память отдельно взятой видюхи не влезают. Я потому и заинтересовался, вдруг кто уже пробовал — какие еще на этом пути грабли?

Так надо либо железо под модель подбирать соответствующее (например 3 штуки 3090 будут не дороже 5090, но скорость будет на порядок больше для gpt oss 120), либо брать другую модель меньшего размера.

Грабли тут одни — что хорошее железо стоит конских денег.

Здравствуйте, _ilya_.
Решил пока ничего не брать. Качнул пару десятков книжек. Спокойно почитаю.
Китайцы изменились. Раньше у них можно было взять чего-нибудь вкусненькое за малые деньги.
Совсем на американцев стали похожи. Весь Китай превратился в один из штатов.

Здравствуйте, ProgrammerCPP, Вы писали:

PCP>Собрался изучать ИИ. В инете нашёл самый дешёвый вариант.

Вот неплохая статья на тему выбора карт. Правда, нет информации для 50-ой серии. Я недавно тоже смотрел в сторону домашней сборки и, посчитав всё с учётом электричества, амортизации и возможного отказа, пришёл к решению взять 3060/3080 б/у для локальной сборки, а всё тяжелое считать в облаках. Судя по всему, и российские, и супостатские компании закупились картами на годы вперёд, поэтому аренда стала выгоднее локальной сборки.

C> Судя по всему, и российские, и супостатские компании закупились картами на годы вперёд, поэтому аренда стала выгоднее локальной сборки.

Разумеется.
Всегда, во все времена, от золотой лихорадки выигрывали продавцы лопат. Поэтому все и рвутся стать оными продавцами.