Поскольку оно приходит в обычные десктопные процессоры уже в этом году, становится интересно, чем это все светит.
Немного почитал про реализацию AMD, по сути похоже на AVX на лошадиной дозе стероидов.
Кто-нибудь еще интересовался?
Здравствуйте, Codealot, Вы писали:
C>Поскольку оно приходит в обычные десктопные процессоры уже в этом году, становится интересно, чем это все светит. C>Немного почитал про реализацию AMD, по сути похоже на AVX на лошадиной дозе стероидов. C>Кто-нибудь еще интересовался?
так вроде уже несколько лет в мобилах применяют? На мобильных процах не пользовался, на больших наверное тоже не буду. Я ретроград
Здравствуйте, Codealot, Вы писали:
C>Поскольку оно приходит в обычные десктопные процессоры уже в этом году, становится интересно, чем это все светит.
Либы/пакеты для inference подцепят — от дева потребуется только разрешить использование NPU (там передаётся в инициализацию список разрешённых имплементаций), а если встроено в проц- может и не потребуется. Это потому, что не все операторы реализованы для GPU и может случиться, что именно эта модель на GPU не работает.
Мне интересно, когда браузеры подтянутся и предоставят API к NPU жаваскрипту на страничке.
Здравствуйте, Codealot, Вы писали:
C>Поскольку оно приходит в обычные десктопные процессоры уже в этом году, становится интересно, чем это все светит. C>Немного почитал про реализацию AMD, по сути похоже на AVX на лошадиной дозе стероидов. C>Кто-нибудь еще интересовался?
в этом году — вроде как даже там уже с NPU будет, не только на десктопе.
Какая польза вообще непонятно — вроде как с Ryzen 7xxx на Ryzen 8xxx добавление этого модуля NPU — единственное обновление (ну еще встроенная в проц видюха Radeon 780M)
Здравствуйте, rm2, Вы писали:
rm2>непонимаю, зачем оно нужно, если у всех есть видеокарты, которые намного лучше к такому приспособлены. Даже в процессорах есть встроенные gpu.
Можно гонять более сложные алгоритмы. Видеокарты в этом отношении очень ограничены.
Что касается реализации от АМД, то там внутре 20 процессорных ядер VLIW с векторными блоками.
Да, и еще там есть фичи для DSP. Видеокарты в этой задаче вообще не помогут.
Здравствуйте, Codealot, Вы писали:
C>Можно гонять более сложные алгоритмы. Видеокарты в этом отношении очень ограничены.
Какие? я так понимаю, обучение модели — это одно, и там да, более сложные алгоритмы. а задать вопрос-получить ответ — это не особо то и сложно, и видеокарты с этим лучше справляются
Здравствуйте, rm2, Вы писали:
rm2>Какие? я так понимаю, обучение модели — это одно, и там да, более сложные алгоритмы. а задать вопрос-получить ответ — это не особо то и сложно, и видеокарты с этим лучше справляются
Здравствуйте, rm2, Вы писали:
rm2>непонимаю, зачем оно нужно, если у всех есть видеокарты, которые намного лучше к такому приспособлены.
Когда inferrence крутится на GPU- весь графический стек останавливается и ждёт, это выглядит как будто система наглухо зависла. Можно вставить дополнительно видеокарту и на одной крутить нейросетки, а к другой подцепить моник.
NPU вполне могут вытестить cuda в перспективе.
Здравствуйте, Артём, Вы писали:
Аё>Когда inferrence крутится на GPU- весь графический стек останавливается и ждёт, это выглядит как будто система наглухо зависла.
Это где так у тебя?
Периодически обучаю сетки на 1080 с загрузкой по их утилите в 90-95% — вообще не влияет на остальную ось (а да, игры не запустятся и упадут или движок нейронки упадет).
Правда я на линухе обитаю. Про винду не скажу.
Здравствуйте, Артём, Вы писали:
Аё>Когда inferrence крутится на GPU- весь графический стек останавливается и ждёт, это выглядит как будто система наглухо зависла. Можно вставить дополнительно видеокарту и на одной крутить нейросетки, а к другой подцепить моник.
если такая проблема есть — проще доработать драйвера GPU, чем вставлять медленную хрень в CPU. Оно нужно то не для тяжелого обучения, а для конечного взаимодействия с пользователем в контексте разных интегрированных в OS сервисов.
Здравствуйте, Codealot, Вы писали:
C>Кто-нибудь еще интересовался?
вообще складывается ощущение, что микрософт и производители CPU проспали AI — и теперь просто пытаются туда хоть чучелом хоть чушкой как только можно. а по сути в пользовательских ПК — возможностей GPU выше крыши ддя этих целей достаточно.
Здравствуйте, Vzhyk2, Вы писали:
Аё>>Когда inferrence крутится на GPU- весь графический стек останавливается и ждёт, это выглядит как будто система наглухо зависла. V>Это где так у тебя?
Один взгляд лучше тысячи слов https://microsoft.github.io/onnxruntime-web-demo/#/yolo запусти камеру и сравни отзывчивость при GPU и при Webasm.
Upd — запусти динамичный видос в ютубе. При GPU его fps просядет. Я смотрю на ноуте с встройкой.
V>Периодически обучаю сетки на 1080 с загрузкой по их утилите в 90-95% — вообще не влияет на остальную ось (а да, игры не запустятся и упадут или движок нейронки упадет).
Я не обучал сетки- возможно обучалки умеют отправлять задачи достаточно маленькими, чтобы GPU отвис до следующего кадра отрисовки.
V>Правда я на линухе обитаю. Про винду не скажу.
Я сижу на Fedora Linux 40- поведение одинаковое что десктоп, что андроид, что ios.
Здравствуйте, Артём, Вы писали:
Аё>Один взгляд лучше тысячи слов https://microsoft.github.io/onnxruntime-web-demo/#/yolo запусти камеру и сравни отзывчивость при GPU и при Webasm. Аё>Upd — запусти динамичный видос в ютубе. При GPU его fps просядет. Я смотрю на ноуте с встройкой.
Если серьезно, то такая проблема есть на всех осях со всеми GPU. Проблема в софте и драйверах, что работают с GPU и она в первую очередь связана с программистами, что нынче пишут видеодрайвера и софт.
Если для работы с CPU и RAM у тебя много возможностей и ось с дровами правильно с этим работают, то с GPU и видеопамятью всё криво.
А еще на это добавляется общение с GPU по PCI шине, как с неким вспомогательным внешним устройством.
