Тё>Обладатели Alder Lake 12900 могут попрощаться с AVX512. Запрет прилетит с обновлением микрокода.
Эх, никак у них не получается включить AVX512 и не спалить проц.

N>Чисто из интереса: а AVX512 реально где-то используется? И второе: я слышал рассказы, что при использовании сильно падает частота, поэтому толка не так много.
Если бы эти команды можно было использовать, то использовали бы многие. Но пока они большей частью есть только на бумаге.
Сам набор команд достаточно полезный для многих задач.

S>Я так понял, главным образом для нейросетевой ерунды функциональности.
Не только, везде, где код можно векторизовать. Но при их включении проц превращается в нагревательный элемент. А вот для нейронок таки GPU рулит.

S>Пишут, что искусственное снижение частоты при использовании AVX512, как и блокировку AVX512 вообще, можно обойти, если это позволяет материнская плата и некоторые ASUS'ы позволяют.
И проц быстро уйдет за 100 градусов и из системного блока появится дымок. Но если будешь охлаждать жидким азотом, то таки будет работать.

N>С одной стороны, да. Я видел статью от Майкрософта, где оно давало буст, но не само по себе, а включая очень сложную системы кэшировани промежуточных результатов. Ведь при инференсе нейросетей не процессор узкое место, а необходимость бесконечного многократного копирования весов нейросети из ОЗУ в кэш (не считая входных данных). Так себе применение, если честно.
Openvino очень неплохо работает на CPU. Вполне сравнимо 6 ядер CPU интеловского с 1080 (инференс).

Тё>В любом случае, люди повелись на этих попугаев, которых им в реальном использовании не видать, а потом их кинули. Задним числом. Интел делает это снова и снова. В такой ситуации набросы на AMD "он медленнее на 10% в рекламной статье" несостоятельны по причине, что результаты в статье в любой момент могут стухнуть.
Уже лет 15 как. Дело в том, что у разных задач разные требования ко всему железу и всё железо влияет на время работы задачи. Тот же AVX хорош для векторизируемой числодробилки, но для разных задач разные требования к кешам процессора, памяти и даже дискам, но для типичных пользовательских задач нафиг не упал.

Здравствуйте, Тёмчик, Вы писали:

Тё>Обладатели Alder Lake 12900 могут попрощаться с AVX512. Запрет прилетит с обновлением микрокода.

Насколько я понимаю, официально его там и "не было", сделали, но не предоставили официально, фича включалась производителями материнок "в обход".

Здравствуйте, Тёмчик, Вы писали:

Тё> Запрет прилетит с обновлением микрокода.

Обычно микрокод в Bios. Там легко заменяется на любой предыдущий, а можно и не обновлять или если новая материнка с новым кодом — старый туда залить. Единственно, если будут еще какой важный баг исправлять, то придется выбирать — либо со старым(где ошибка) жить, либо с отрубленным AVX.
Вероятно в Винде еще могут подсунуть обновление микрокода, но это тоже должно выпиливаться.

Здравствуйте, _ilya_, Вы писали:

Тё>> Запрет прилетит с обновлением микрокода.

__>Обычно микрокод в Bios. Там легко заменяется на любой предыдущий, а можно и не обновлять или если новая материнка с новым кодом — старый туда залить. Единственно, если будут еще какой важный баг исправлять, то придется выбирать — либо со старым(где ошибка) жить, либо с отрубленным AVX.
__>Вероятно в Винде еще могут подсунуть обновление микрокода, но это тоже должно выпиливаться.

В Linux обновляется (обычно из пакета linux-firmware). Надо ещё за ним следить.
В винде, по слухам, это регулярно, но я не знаю точного механизма.

Боюсь, запрет это до первого серьёзного исправления какого-то другого бага...

Здравствуйте, Vzhyk2, Вы писали:

V>Openvino очень неплохо работает на CPU. Вполне сравнимо 6 ядер CPU интеловского с 1080 (инференс).

Ага, после пруннинга и квантизации. Что как раз пытается сгладить узкое место с памятью.

N>Ага, после пруннинга и квантизации. Что как раз пытается сгладить узкое место с памятью.
Да. При пруннинге и квантизации ты же проверяешь, упало ли качество нейронки и насколько или не проверяешь?
Ну и если все параметры удовлетворяют, то нафига флоаты 32 битные гонять? Для обогрева помещения?

N>Ага, после пруннинга и квантизации. Что как раз пытается сгладить узкое место с памятью.
А для GPU это узкое место еще более напряжное. PCI-3 еще жестче ограничивает и в том числе из-за него очень малое количество задач получается скинуть на GPU и CPU c AVX оказываются эффективнее.

Здравствуйте, Vzhyk2, Вы писали:

V>Да. При пруннинге и квантизации ты же проверяешь, упало ли качество нейронки и насколько или не проверяешь?

Проверяю, всегда становится хуже. Кроме того, нет никаких гарантий, что на других сэмплах оно будет работать корректно. Их особо нет и так, но после ещё меньше. Всё таки все эти процедуры проходят под контролем ограниченной выборки, задающей диапазоны входных значений.

V>Ну и если все параметры удовлетворяют, то нафига флоаты 32 битные гонять? Для обогрева помещения?

Можно и float16, как на видеокарте. На правильном железе ускоряется вдвое без потери качества.

Ну и самое главное, что после квантизации и прининга получается уже совсем другая сетка и напрямую сравнивать некорректно.

Здравствуйте, Vzhyk2, Вы писали:

N>>Ага, после пруннинга и квантизации. Что как раз пытается сгладить узкое место с памятью.
V>А для GPU это узкое место еще более напряжное. PCI-3 еще жестче ограничивает и в том числе из-за него очень малое количество задач получается скинуть на GPU и CPU c AVX оказываются эффективнее.

Херня, веса нейросети один раз копируются из system в global memory и там всё время лежат. С входными данными тоже всё просто:
1. Если мы режем картинку на кропы и обрабатываем их друг за другом (батчами или нет), то можно во время инференса ставить асинхронное копирование следующей порции данных. К тому времени, как инференс закончится, мы также асинхронно копируем результаты назад, а в это же время запускаем инференс на новой порции данных.
2. Практически тоже самое мы делаем и при инференсе на видео. Декодинг чаще всего осуществляется быстрее инференса, поэтому следующий кадр летит в видеопамять, пока предыдущий инференсится. Если есть возможность задействовать кодек, который может декодировать сразу в видеопамять, то получается ещё лучше — вообще всё делается на видеокарте.

Ты, видимо, никогда не занимался оптимизацией инференса, вот и говоришь.

N>Ну и самое главное, что после квантизации и прининга получается уже совсем другая сетка и напрямую сравнивать некорректно.
Значит ты оные операции делаешь неправильно. У тебя только точности выходных вероятностей должны понизится, но никак не увеличится количество ошибок (кроме того случая, когда вероятность для принятия решения около порога).
Но кто знает доверительные интервалы для выдаваемого сетками? Никто. Их даже никто в мире не знает, как считать.

N>Ты, видимо, никогда не занимался оптимизацией инференса, вот и говоришь.
Дальше я помолчу лучше. Всё одно бессмысленно дальше с тобой обсуждать этот вопрос.

Здравствуйте, netch80, Вы писали:

N>Может кто-то с фактами объяснить, чем именно AVX-512 так плох (греет процессор?), что вызывает эффекты типа снижения частоты или полный запрет?
N>Что в нём такого, что у каждого ядра есть 4-5 обычных АЛУ, которые могут работать впараллель, а уже 8 (чтобы работали команды 8*64) оно не тянет? Чем операции в AVX512 такие дорогие?
N>Почему тротлинг начинается аж от AVX2 (256 бит)?

Это всё не точно. Но выглядит так, что запихали чрезмерно много возможных операций пересекающихся на этих несчастных регистрах. В итоге выходит очень здоровая разводка логики — если посмотреть на площадь кристалла, то AVX-512 прямо ощутимо больше всех ALU вместе взятых. И всё это ещё и прилично греется. Я бы даже наверное сказал, что есть ощущение, будто сам набор инструкций проектировали без оглядки на физику и то как именно его будут реализовывать.

Здравствуйте, Alexander G, Вы писали:

AG>Да в принципе где угодно может. Это в основном дальнейшее развитие SSE/AVX, та же векторизация, только снова в два раза длиннее.
Не совсем "та же". Туда добавлено много новых операций, в том числе с целыми числами.
Вообще, на AVX-512 можно эффективно парсить JSON, XML, yaml, и прочие синтаксические штуки.

__>Вероятно в Винде еще могут подсунуть обновление микрокода, но это тоже должно выпиливаться.
Это ж золотое дно! Объявляешь половину функций процессора устаревшей, выпускаешь обязательное обновление шindows с их отключением, идите юзеры покупайте новый процессор+материнку+память.

Здравствуйте, Osaka, Вы писали:

O>Это ж золотое дно! Объявляешь половину функций процессора устаревшей, выпускаешь обязательное обновление шindows с их отключением, идите юзеры покупайте новый процессор+материнку+память.

Есть забавный баг на платфоме 2011-3... Выпустили процы с "багом" (микрокодом хотели ограничивать буст, но выпустили микрокод который был без ограничения... но он разошелся в массы и теперь у всех), что ограничение турбобуста не действовало по количеству активных ядер, т.е. турбобуст максимальный был одноврменно на все ядра. Так появились "разблокированные" Xeon 2699v3(ну и другие 26**v3) которые быстрее следующего поколения v4. Просто баг победил маркетологов, которые пытались искуственно зарезать производительность.

Здравствуйте, Vzhyk2, Вы писали:

V>Эх, никак у них не получается включить AVX512 и не спалить проц.
Не пори чушь — ей больно. Процы уже давно имеют термозащиту, так что перегреть его не удастся даже если очень захотеть.