Здравствуйте, Артём, Вы писали:

Аё>Вроде мак студио m3 ultra может до 256гб, а до кризиса рамы до 512гб мог. Или он по деньгам невыгоден в сравнении с DGX Spark?
Да, мак студио — отличная альтернатива! Память так точно лучше чем в спарке (почти в 3 раза шустрей). Что касается вычислительной мощности — она похуже будет, но для инференса (чаты, агенты для разработки) я бы брал Мак, вероятно. При той же цене (пара спарков стоит столько же сколько мак 256Гб), Мак еще банально универсальный, тем более что многие находятся в его экосистеме. А Спарк — это просто убунта на армах.

Здравствуйте, Артём, Вы писали:

Аё>Вроде мак студио m3 ultra может до 256гб, а до кризиса рамы до 512гб мог. Или он по деньгам невыгоден в сравнении с DGX Spark?
Да, мак студио — отличная альтернатива! Память так точно лучше чем в спарке (почти в 3 раза шустрей). Что касается вычислительной мощности — она похуже будет, но для инференса (чаты, агенты для разработки) я бы брал Мак, вероятно. При той же цене (пара спарков стоит столько же сколько мак 256Гб), Мак еще банально универсальный, тем более что многие находятся в его экосистеме. А Спарк — это просто убунта на армах.
Вот гугль подкинул отличный твит

Clustering NVIDIA DGX Spark + M3 Ultra Mac Studio for 4x faster LLM inference.

DGX Spark: 128GB @ 273GB/s, 100 TFLOPS (fp16), $3,999
M3 Ultra: 256GB @ 819GB/s, 26 TFLOPS (fp16), $5,599

The DGX Spark has 3x less memory bandwidth than the M3 Ultra but 4x more FLOPS.
By running compute-bound prefill on the DGX Spark, memory-bound decode on the M3 Ultra, and streaming the KV cache over 10GbE, we are able to get the best of both hardware with massive speedups.

Цены штатовские, правда. В Европе пара спарков = один m3 ultra 256Gb = ~$10k