Как и сообщалось накануне, под санкции попали не только ускорители вычислений в достаточно широком ассортименте (A100, A800, H100, H800, L40 и L40S), но и флагманская настольная видеокарта GeForce RTX 4090.
По всей видимости, власти США опасаются, что китайские оппоненты могут наладить работу центров обработки данных, оснащённых игровыми видеокартами.
Мельком упоминаются и некоторые страны из того санкционного списка, в котором оказалось около 40 государств, включая КНР. Считается, что попавшие в перечень страны могли содействовать поставкам ускорителей вычислений в Китай в обход санкций США,
а потому экспортные лицензии на торговлю с ними понадобятся тем компаниям, которые собираются поставлять запрещённые компоненты в Саудовскую Аравию, ОАЭ и Вьетнам, помимо прочих, а вот Израиль в их число не вошёл.
я чёт не врубаюсь, какой смысл в этих санкциях дальше запретят поставлять 5080@32GB, потом 6060Ti@32GB, потом 7050@32GB, а потом ваще видяхи что ле запретят проставлять в КНР ?
а там и встроечки уже будут на уровне 4080, при этом памяти DDR6 там ваще хоть под терабайт пихай — тоже запретят ? а если не запретят, какой смысл именно щаз запрещать ? (если через 5-10 лет это всё равно всё широко доступно будет), в чём же сакральность именно текущего момента ?
Re: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Я не понял уже попала или попадет, если новые санкции вступят в силу. Т.е. вступили уже или только обсуждается.
А вообще, если 4090 запретят в Китай и еще 40 стран поставлять, то у нас ее совсем не будет или по цене в пару миллионов.
И да, нужна она не только мажорам, а для GPU-вычислений, для нейросеток и тп. Фактически это (ранее 3090) была видюха начального уровня для чего-то серьезного.
Re[2]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, Michael7, Вы писали:
M>И да, нужна она не только мажорам, а для GPU-вычислений, для нейросеток и тп. Фактически это (ранее 3090) была видюха начального уровня для чего-то серьезного.
а почему именно 4090 ? только из за 24 GB VRAM ? 16 GB мало (4080/4060Ti) ? ну и чем 3090 тогда не устривает ? или всё таки из за вычислительной мощности ? (ну так RTX 5080 это исправит)
Re[3]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, xma, Вы писали:
xma>а почему именно 4090 ? только из за 24 GB VRAM ? 16 GB мало (4080/4060Ti) ? ну и чем 3090 тогда не устривает ? или всё таки из за вычислительной мощности ? (ну так RTX 5080 это исправит)
И из-за 24 Гб и из-за мощности. 3090 сейчас новые найти проблематично, а старые очень вероятно, что ужаренные.
Re[2]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, Michael7, Вы писали:
M>И да, нужна она не только мажорам, а для GPU-вычислений, для нейросеток и тп. Фактически это (ранее 3090) была видюха начального уровня для чего-то серьезного.
Слышал, что запретили поставку карт с аппаратной поддержкой ИИ.
Re[3]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, Michael7, Вы писали:
M>Здравствуйте, Maniacal, Вы писали:
M>>Слышал, что запретили поставку карт с аппаратной поддержкой ИИ.
M>Что такое аппаратная поддержка ИИ?
Это когда у вас не 30GFLOPS а 4000TOPS и логарифмические инты вместо флоатов и есть возможноть работать с разряженными матрицами (просто выкинув половину коэффицентов ): https://youtu.be/rsxCZAE8QNA?t=442
Re[4]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала
Здравствуйте, Michael7, Вы писали:
M>Здравствуйте, Maniacal, Вы писали:
M>>Слышал, что запретили поставку карт с аппаратной поддержкой ИИ.
M>Что такое аппаратная поддержка ИИ?
Здравствуйте, xma, Вы писали:
xma>По всей видимости, власти США опасаются, что китайские оппоненты могут наладить работу центров обработки данных, оснащённых игровыми видеокартами.
Как-то читал статью, чем видеокарты хуже процессоров. Видеокарты драйверозависимы, не столь универсальны как процессоры с точки зрения наборов инструкций, нельзя оснастить большим объёмом памяти, требуют специального ПО и так далее.
Собственно у GPU было преимущество в цене, но это до майнинг бума. А потом видеокарты стали стоить просто конских денег. Ещё у видеокарт быстрая видеопамять, в отличие от компьютерной оперативной памяти. NVidia так же создала специализированные ядра для определённых задач, что тоже кому-то может помочь.
Но в общем и целом я не знаю зачем для центров обработки данных покупать видеокарты, а не те же серверные процессоры от AMD.
1. Рендер-фермы. Очевидно рендер ферма на CPU будет универсальнее, то есть сможет использовать больше софта и просчитывать графику лучше, а так же иметь возможность увеличить оперативную память для работы со сценами большего объёма.
2. Майнинг. Это понятно, берётся специальная материнская плата, на неё ставится говнопроцессор, но зато производительные видеокарты с мощными блоками питания. Только бизнес этот приходит и уходит.
3. Нейросети. Опять же очень специфичный бизнес. Я, например, не смог бы использовать эти возможности для коммерциализации. "А сегодня в завтрашний день не все могут смотреть. Вернее смотреть могут не только лишь все, мало кто может это делать."
4. Хостинг. А вот это близко мне. Может использоваться для чего угодно, сайты, базы данных, файлопомойки, игровые серверы и так далее, и всё это на процессорах.
Я в общем к тому, что сервера на CPU более понятны и юзабельны, чем сервера на GPU. Ещё помню смотрел рассказ про историю видеокарт. В прошлом было много производителей видеокарт, но потом их резко стало меньше, не все выдержали конкуренцию.
А ещё с тех пор развились смартфоны. Как класс устройств они составляют конкуренцию десктопам и ноутбукам с их дискретными видеокартами. В общем я к тому, что правительство США ведёт себя неразумно. Серверные или топовые игровые видеокарты это не тот продукт без которого нельзя обойтись.
Это просто глупо, Китай и другие страны просто найдут замену. А любитель кожаных курток останется без "дополнительной" прибыли. Это так же поставит под сомнение целесообразность покупки менее производительных видеокарт для не совсем целевого использования.
Лично я думаю электроника в наше время уже достаточно созрела чтобы её не менять каждый год. А вот софт ещё требует работ, потому что есть огромное количество задач не решающихся или решающихся медленно в ручном режиме.
И в этом плане не очень выгодно становиться производителем железа под который сторонние разработчики не пишут новый софт. Все эти запреты делают группу людей имеющих эти устройства крайне ограниченной. Мало владельцев устройств, следовательно мало желающих писать именно под них софт.
Ну посмотрим. Любитель кожаных курток, конечно, не разорится. Да и видеокарты никуда не денутся. Но вектор общего развития может быть смещён в другую сторону.
Re[5]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Сейчас практическии любую видеокарту, даже встройку, можно назвать с аппаратной поддержкой ИИ.
В конктексте новости я думал речь о чем-то более специфическом.
Re[6]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, Michael7, Вы писали:
M>Сейчас практическии любую видеокарту, даже встройку, можно назвать с аппаратной поддержкой ИИ. M>В конктексте новости я думал речь о чем-то более специфическом.
Здравствуйте, Michael7, Вы писали:
M>Сейчас практическии любую видеокарту, даже встройку, можно назвать с аппаратной поддержкой ИИ. M>В конктексте новости я думал речь о чем-то более специфическом.
Для нейросетей тензорные ядра, для упрощённого рейтресинга рейтрейсинговые ядра. А всё остальное это "обычные" векторные вычисления.
Re[2]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, velkin, Вы писали:
V>Но в общем и целом я не знаю зачем для центров обработки данных покупать видеокарты, а не те же серверные процессоры от AMD.
Потому что есть класс задач, которые даже на слабых ширпотребных GPU считаются в десятки раз быстрее, чем на CPU. На специальных в сотни и в тысячи раз. Это и майнинг и нейросети и вообще ИИ и например задачи гидродинамики.
V>1. Рендер-фермы. Очевидно рендер ферма на CPU будет универсальнее, то есть сможет использовать больше софта и просчитывать графику лучше, а так же иметь возможность увеличить оперативную память для работы со сценами большего объёма.
Все упирается в скорость. Когда разница в несколько порядков.
V>3. Нейросети. Опять же очень специфичный бизнес. Я, например, не смог бы использовать эти возможности для коммерциализации. "А сегодня в завтрашний день не все могут смотреть. Вернее смотреть могут не только лишь все, мало кто может это делать."
Нейросетки — это не только ChatGPT, это вообще обширный класс задач, который ранее был недоступен по причине слабых вычислительных мощностей.
Re[3]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, Michael7, Вы писали:
V>>1. Рендер-фермы. Очевидно рендер ферма на CPU будет универсальнее, то есть сможет использовать больше софта и просчитывать графику лучше, а так же иметь возможность увеличить оперативную память для работы со сценами большего объёма. M>Все упирается в скорость. Когда разница в несколько порядков.
Давай предположим, что ты нашёл рендер движок имеющий GPU версию, а не только CPU. И у тебя сцена так же влезла в видеопамять видеокарты, а не только в оперативную память на компьютере.
Тебя так же не волнует отсутствие части функциональности, когда просчитываешь сцену на видеокарте. А дальше для примера смотри примерную разницу.
Особых чудес нет, вроде производительности на цену оборудования, или производительности на ватт электроэнергии. Это уже не говоря про скорость рендера.
Это рендер конкретно в случае блендера. Разница в скорости еще зависит от того насколько хорошо распараллелена задача. Могу другой пример привести. Первое что нагуглилось. Еще в 2018-м году человек задал вопросы, что PyTorch на его GPU работает даже медленнее, чем CPU. https://stackoverflow.com/questions/53325418/pytorch-speed-comparison-gpu-slower-than-cpu
В ответе все по полочкам разложено. Пока обрабатываются небольшие матрицы разница небольшая и даже в пользу CPU, все меняется на больших размерах:
#torch.ones(4,4) - the size you used
CPU time = 0.00926661491394043
GPU time = 0.0431208610534668
#torch.ones(40,40) - CPU gets slower, but still faster than GPU
CPU time = 0.014729976654052734
GPU time = 0.04474186897277832
#torch.ones(400,400) - CPU now much slower than GPU
CPU time = 0.9702610969543457
GPU time = 0.04415607452392578
#torch.ones(4000,4000) - GPU much faster then CPU
CPU time = 38.088677167892456
GPU time = 0.044649362564086914
Re[6]: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
Здравствуйте, Michael7, Вы писали:
M>Сейчас практическии любую видеокарту, даже встройку, можно назвать с аппаратной поддержкой ИИ. M>В конктексте новости я думал речь о чем-то более специфическом.
Кажись, нашёл, откуда уши растут
TensorRT-LLM
LLM повышают производительность, участвуя в чатах, обобщая документы и веб-контент, составляя электронные письма и блоги, и лежат в основе новых систем искусственного интеллекта и другого программного обеспечения, которые могут автоматически анализировать данные и генерировать широкий спектр контента.
TensorRT-LLM предоставляет разработчикам и конечным пользователям преимущества LLM, которые теперь могут работать в 4 раза быстрее на ПК с Windows на базе RTX. Это ускорение значительно улучшает возможности более сложного использования LLM, например, помощников по написанию и кодированию, которые выводят сразу несколько уникальных результатов автозаполнения. Результатом является ускоренная производительность и улучшенное качество, что позволяет пользователям выбирать лучшее из множества.
Ускорение TensorRT-LLM также полезно при интеграции возможностей LLM с другими технологиями, такими как генерация с расширенным поиском (RAG), где LLM сопряжен с векторной библиотекой или векторной базой данных. RAG позволяет LLM предоставлять ответы на основе определенного набора данных, например электронных писем пользователей или статей на веб-сайте, для предоставления более целенаправленных ответов.
...
На GeForce RTX 4090 он работает в 7 раз быстрее, чем топовая реализация на компьютерах Mac с Apple M2 Ultra.
Re: NVIDIA подтвердила, что GeForce RTX 4090 тоже попала под санкции США
дальше запретят поставлять 5080@32GB, потом 6060Ti@32GB, потом 7050@32GB, а потом ваще видяхи что ле запретят проставлять в КНР ? 
