Здравствуйте, Философ, Вы писали:

Ф>Лично для меня тупик очевиден: на работу нейросетей нужно оч. много электричества, на анализ и обработку того, что они нагенерят может потребоваться ещё больше. Думаю, оптимизация будет весьма востребованной — то, что можно будет делать без нейросетей, будет перекладываться на обычные алгоритмы.

Кажется, что процесс идёт прямо в противоположную сторону: всё, что делалось обычными алгоритмами заменяют нейросетями, нейросети работают на GPU и NPU, потребляют при этом меньше и работают быстрее. Этому уже не приходится удивляться в том же компьютерном зрении, например. Пару лет назад Тесла презентовала новую нейросеть, которая заменила около 200 тысяч строк кода на С++. То есть в классических автопилотах есть perception, planning и другие штуки. А нейросеть получает картинки с камер и данные с датчиков и выплёвывает уже конечный результат — управляющее воздействие. Всё, алгоритмы убрали.

Но дело идёт дальше — в физику. Большие итерационные алгоритмы по сешению систем очень быстро решает нейросеть. Она аппроксимирует математическую модель, позволяя получать результат с определённой точностью за один проход. Часто такой точности хватает. Если не хватает, то буквально 1-2 итерации классическим алгоритмом и мы в точке минимума.
Например, я ощутил кайф этого когда заменил на нейросеть алгоритм учёта прозрачности атмосферы. Алгоритм ускорился с 11 секунд до 200 мс на том же железе.