Здравствуйте, Nuzhny, Вы писали:

N>Например, у меня программа использует код на CUDA или что-то с тяжёлыми вычислениями на CPU. Что мне делать? Какие инструкции можно использовать?

Ну, на низком уровне это всегда было проблемой. Тут ни сам C++, ни новые технологии его использования ничего нового не внесли.

N>Получается, что я ставлю CUDA компилятору флаги, чтобы код собирался под пяток последних архитертур видеокарты — код распухает.

В этом случае он распухает, как я понимаю, чисто за счет добавления поддержки разной аппаратуры. Это тоже было всегда, и тоже не зависит от языка.

N>Также я подключаю библиотеки от Nvidia, которые также собраны под несколько архитектур — они размером в сотни мегабайт. Аналогично для CPU: у меня серия бинарников, собранных для SSE, AVX, AVX2... Далее у меня Intel MKL, который тоже содержит в себе реализацию одних и тех же функций, оптимизированных под разные архитектуры — тоже сотни мегабайт.

А вот это уже интересно. Что там может занимать сотни мегабайт, кроме каких-нибудь таблиц для оптимизации вычислений?