Здравствуйте, Nuzhny, Вы писали:

N>Есть и методы оптимизации второго порядка, но до них вычислительные мощности ещё не доросли: вычислять Гессиан — дорогое удовольствие.
да, есть, там же gradient descent можно вычислить с помощью метода Ньютона (который использует матрицу Гессиана), но есть еще метод Бройдена, там просто используется апроксимация матрицы Гессиана. Метод, конечно, менее точный из-за апроксимации, но зато быстрее.

Ai(x(i) −x(i−1)) = ∇f(x(i))−∇f(x(i−1)).
Что-то типа такого.

там еще формула Шермана-Моррисона используется и, в принципе, в этом алгоритме матрица Гессиана вычисляется только один раз на самой первой итерации.

Но я особо оптимизацией не занимался, это не совсем мой конек, так что может где и прогнал. Писал по старой памяти ))