Здравствуйте, Vzhyk2, Вы писали:

Аё>>По моему опыту, нейронки 100% бегают на проце, особенно бодренько с avx512,
V>На openvino? Редкий зверь, но возможно, что те нейронки, что ты юзаешь на него портированы.
ONNX Runtime. Оно умеет под Node с CUDA, но конкретно с теми модельками, что мне нужны- там какие-то специфические операторы, задйствованные в модели, отсутствуют в имплементации под CUDA. Вообще, состояние опен-сорсных фреймворков с NPU и GPU достаточно печальное — имлементация отсутствует, или неполная.

V>Ну и еще предупрежу, AVX512 еще тот обогреватель.
Ну это самое что хорошо ускоряет инференс.

Здравствуйте, Vzhyk2, Вы писали:

Аё>>По моему опыту, нейронки 100% бегают на проце, особенно бодренько с avx512,
V>На openvino? Редкий зверь, но возможно, что те нейронки, что ты юзаешь на него портированы.
ONNX Runtime. Оно умеет под Node с CUDA, но конкретно с теми модельками, что мне нужны- там какие-то специфические операторы, задйствованные в модели, отсутствуют в имплементации под CUDA. Вообще, состояние опен-сорсных фреймворков с NPU и GPU достаточно печальное — имлементация отсутствует, или неполная.

https://www.npmjs.com/package/onnxruntime-node

V>Ну и еще предупрежу, AVX512 еще тот обогреватель.
Ну это самое что хорошо ускоряет инференс.