Говорят, что рвёт GPU как тузик грелку. Кто-то изучал вопрос более детально? Что скажете?
RDU (Reconfigurable Dataflow Unit) — это специализированный процессор, разработанный компанией SambaNova Systems для выполнения задач искусственного интеллекта, включая инференс, обучение и работу с ИИ-агентами. Процессор SN40L относится к третьему поколению чипов RDU, созданное для обработки моделей с триллионами параметров (например, Llama* 3.1 405B, DeepSeek-R1 671B) с рекордной эффективностью. Как заявляют разработчики, процессор SN40L способен хранить в своей памяти сотни малых ИИ-моделей, или нейросеть с несколькими триллионами параметров, что обеспечивает превосходство RDU над традиционными GPU, которые могут хранить лишь одну ИИ-модель одновременно. А благодаря поддержке хранения ИИ-агентов и дополнительных инструментов от SambaNova, SN40L предлагает возможность быстрого переключения между ИИ-моделями (в микросекундах) для выполнения сложных задач.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, VladD2, Вы писали:
VD>https://sambanova.ai/blog/sn40l-chip-best-inference-solution VD>Говорят, что рвёт GPU как тузик грелку. Кто-то изучал вопрос более детально? Что скажете?
Какие движки нейронок его поддерживают?
Может уже появились какие, что могут не только CUDA и CuDNN?
Здравствуйте, Vzhyk2, Вы писали:
V>Какие движки нейронок его поддерживают?
Как я понял там даже не в ИИ дело, а в фрейворках с которых может происходить перекодирование.
Что касается ИИ, то вроде как ДипСик и Квен они запускают.
V>Может уже появились какие, что могут не только CUDA и CuDNN?
Я сам только увидел тольк-только это дело.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, VladD2, Вы писали:
VD>Что касается ИИ, то вроде как ДипСик и Квен они запускают.
Запускать нейронку это одно, а разрабатывать и учить это в корне другое.
Некоторые обученные нейронки и подготовленные ты даже на ардуинке запустишь.
Здравствуйте, Vzhyk2, Вы писали:
V>Запускать нейронку это одно, а разрабатывать и учить это в корне другое. V>Некоторые обученные нейронки и подготовленные ты даже на ардуинке запустишь.
Ерунду не говори. Там идет речь о запуске не дистиллированных версий того же ДипСика. У него по минимуму нужно ~1342 ГБ VRAM (т.е. памяти на GPU) или 671 ГБ при использовании FP8. Если, конечно, под запустишь не понимать теоретической возможности со скоростью выхлопа 0.5 токена в секунду.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
