Наткнулся тут на вот такую штуку:
https://sambanova.ai/blog/sn40l-chip-best-inference-solution

Говорят, что рвёт GPU как тузик грелку. Кто-то изучал вопрос более детально? Что скажете?

RDU (Reconfigurable Dataflow Unit) — это специализированный процессор, разработанный компанией SambaNova Systems для выполнения задач искусственного интеллекта, включая инференс, обучение и работу с ИИ-агентами. Процессор SN40L относится к третьему поколению чипов RDU, созданное для обработки моделей с триллионами параметров (например, Llama* 3.1 405B, DeepSeek-R1 671B) с рекордной эффективностью. Как заявляют разработчики, процессор SN40L способен хранить в своей памяти сотни малых ИИ-моделей, или нейросеть с несколькими триллионами параметров, что обеспечивает превосходство RDU над традиционными GPU, которые могут хранить лишь одну ИИ-модель одновременно. А благодаря поддержке хранения ИИ-агентов и дополнительных инструментов от SambaNova, SN40L предлагает возможность быстрого переключения между ИИ-моделями (в микросекундах) для выполнения сложных задач.