Вот Apple добавила в процессоры, среди прочего, и Neural Engine — отдельно от GPU. Правда бегло не нашел как его использовать, какая интеграция с имеющимся софтом.

Вроде даже зашла тема, т.к. сделали на 40% быстрее в новом процессоре.

Кто что скажет — перспективная ли тема? Будут ли создавать отдельные типа вычислительные карты (по аналогии с видеокартами) только для Neural Engine? Вернее вроде создают, но пока в магазине их не видел.

Я вот смотрю — уже куча ML-моделей разных. Даже попробовал сам запустить — но пока не по моему железу, слишком долго генерится и результат хуже чем в облаке. Но кто-то ж этим пользуется то...

Ваши мысли по теме.

Здравствуйте, Shmj, Вы писали:

S>Кто что скажет — перспективная ли тема? Будут ли создавать отдельные типа вычислительные карты (по аналогии с видеокартами) только для Neural Engine? Вернее вроде создают, но пока в магазине их не видел.
Да. Но вопрос, как обычно, в реализации.

Здравствуйте, Shmj, Вы писали:

S>Ваши мысли по теме.

Да уже кто только к себе таковой не добавил. Софтом тоже прекрасно поддерживается, у Эппла в том числе.

Здравствуйте, Shmj, Вы писали:

S>Кто что скажет — перспективная ли тема? Будут ли создавать отдельные типа вычислительные карты (по аналогии с видеокартами) только для Neural Engine? Вернее вроде создают, но пока в магазине их не видел.

Пока вроде в просессоры встраивают. Ну и правильно, чем отдавать новый рынок всяким там Nvidia и ATI, проще в зародыше его под себя подгрести.

Здравствуйте, Pzz, Вы писали:

Pzz>Пока вроде в просессоры встраивают. Ну и правильно, чем отдавать новый рынок всяким там Nvidia и ATI, проще в зародыше его под себя подгрести.

В зародыше? Nvidia этот рынок и создала, в прошедшем году выросла на нём на 254%. Никто уже не сможет в зародыше его под себя подгрести по определению. Вот остатки рынка — инференс нейросетей пытаются кое как осваивать, но на нём многого и не заработаешь, все пытаются просто не потерять текущий.

Здравствуйте, Shmj, Вы писали:


S>Ваши мысли по теме.

Лучше дождусь, когда это расшарят в стандартные кроссплатформенные веб апи. Интел и амд тоже готовят (если не уже) ускорители в составе cpu.

Здравствуйте, Артём, Вы писали:

Аё>Лучше дождусь, когда это расшарят в стандартные кроссплатформенные веб апи. Интел и амд тоже готовят (если не уже) ускорители в составе cpu.

Думаю, что Apple как делали свой CoreML, так только его и будут. Всё закрытое, ничего в сторону. Начинали уже пилить OpenCL, потом ушли в свой закрытый Metal. PyTorch научился работать с железом Apple, но не Apple повернулась к ним лицом. Такая нынче экологическая обстановка.

Здравствуйте, Nuzhny, Вы писали:

N>Думаю, что Apple как делали свой CoreML, так только его и будут. Всё закрытое, ничего в сторону. Начинали уже пилить OpenCL, потом ушли в свой закрытый Metal. PyTorch научился работать с железом Apple, но не Apple повернулась к ним лицом. Такая нынче экологическая обстановка.

ONNX Runtime поддерживает CoreML в нативных аппах, т.е. яблочную neural engine изкоробки. Для веб аппов- только wasm (cpu).

With onnxruntime-web, you have the option to use webgl or webgpu for GPU processing, and WebAssembly (wasm, alias to cpu) for CPU processing. All ONNX operators are supported by WASM but only a subset are currently supported by WebGL and WebGPU.

Хотя с другой стороны- встроенная SOTA у эпла очень неплохая из коробки. Это для веб или бекенда нужно искать модели.