Здравствуйте, Shmj, Вы писали:

S>Еще Nvidia Tesla V100.

S>Кто что скажет?

Обе плохие. Ну V100 особенно версия 32GB получше (16GB за копейки отдают, не очень нужна).
У P40 пропускная памяти 346GB/s, архитектура древнючая. На более новой архитектуре 3090 c теми же 24GB интереснее, в 3 раза по пропускной быстрее (раза в 2-3 дороже), еще и по архитектуре скорее все будет норм запускаться.
Интересные только V100 которые 32GB и которые в виде блока с 4 картами идут где все соединены NVlink и затем этот отдельный корпус с блоком питания к PCI-e компа подключается гибким кабелем. Увы, там поколение Volta, что тоже сильно старое и ценники на такое пока высоковаты.

Более заточенное под LLM начинается с поколения Ampere, и в принципе достаточно сильно заточилось на поколении Ada Lovelace, что следующее поколение особо не добавит. Т.е. одна карточка 4090 переделанная на 48GB сильно интереснее чем системник в который напихали кучу старого г.

Здравствуйте, Shmj, Вы писали:

S>Еще Nvidia Tesla V100.

S>Кто что скажет?

Обе плохие. Ну V100 особенно версия 32GB получше (16GB за копейки отдают, не очень нужна).
У P40 пропускная памяти 346GB/s, архитектура древнючая. На более новой архитектуре 3090 c теми же 24GB интереснее, в 3 раза по пропускной быстрее (раза в 2-3 дороже), еще и по архитектуре скорее все будет норм запускаться.
Интересные только V100 которые 32GB и которые в виде блока с 4 картами идут где все соединены NVlink и затем этот отдельный корпус с блоком питания к PCI-e компа подключается гибким кабелем. Увы, там поколение Volta, что тоже сильно старое и ценники на такое пока высоковаты.

Более заточенное под LLM начинается с поколения Ampere, и в принципе достаточно сильно заточилось на поколении Ada Lovelace, что следующее поколение особо не добавит. Т.е. одна карточка 4090 переделанная на 48GB сильно интереснее чем системник в который напихали кучу старого г. Поэтому и стоит скорее совсем неадекватно, ведь вышло поколение 5***.