Здравствуйте, Нomunculus, Вы писали:

Н>Математику-то, всякие стохастические градиенты и прочие частные производные я как раз понял, там не сложно. Я не понимаю как конкретные задачи решать

Эта математика тоже на уровне пользователя. Нас (я программист по образованию) всему этому учили в вузе ещё 25 лет назад. Но вот в каждом конкретном случае (классификация, детекция, сегментация, рекуррентные сети и т.д.) могут применяться сильно специфичные решения, до которых самому прийти будет не просто, а через множество экспериментов. Неделями или месяцами на достаточно мощных компьютерах с несколькими GPU подбирать архитектуру и параметры для обучения — это нормально, такое бывает. Тратить миллионы рублей на вычислительные мощности — это тоже нормально. Те, кто делает прорывные решения и тренирует большие сети могут тратить миллионы и миллиарды долларов.
Поэтому сейчас пользователи в 99% случаев даже не тренируют сеть с нуля, а берут предобученную и догоняют на своём датасете с минимальными изменениями (типа YOLO для детекции, U-Net для сегментации — оно в каждой кофеварке сейчас).
Или тренируют адаптеры для больших готовых нейросеток. Вот тут очень здорово, что большие модели, натренированные на огромнейших датасетах, уже умеют хорошо извлекать данные, их не надо никак тренировать, достаточно применить технику типа LoRA, чуть дообучить небольшой слой и всё заработает.

Я бы, столкнувшись с новой задачей, поступал именно так: что сделано прямо по теме, что есть похожее, как можно присобачить большую модель. Очень маловероятно, что ты столкнулся прямо таки с совсем новым доменом, где ещё нейросети не использовали и не от чего оттолкнуться.