Градиентный метод. 
Теория планирования эксперимента и анализ статистических данных

Основу методов отыскания максимума (или минимума) функции к переменных/(Xj, Х₂,…, Х_к) составляет метод подъема (или спуска). Идея его состоит в спуске (или подъеме) по исследуемой поверхности.

Определение 1. Любой метод получения точек Х°_, X^г, …, Х^т, … в области G таких, что /(Х°) > /(X¹) > … > ДХ^т) > … [или/(Х°) </(Х‘) < … </(Х^т) < …], называют методом спуска (или подъема).

Среди методов спуска (или подъема) наибольшее распространение получили градиентные методы. Градиентным методом называют метод, согласно которому точка Х" ‘⁺¹ выбирается из условия.

здесь.

вектор-градиент функции f (X_v Х₂, …, Х_к) в точке Х^т = (X™, X2, …, Х_к")';а — некоторая положительная скалярная величина.

Различные варианты градиентного метода отличаются друг от друга способом выбора величины а.

При оптимизации часто встречается задача поиска максимума, а не минимума функции отклика. Поэтому ниже приводится схематическое описание метода наискорейшего подъема или крутого восхождения.

Пусть Х° = (Х°, Х₂, …, Х°)' — начальная точка поиска максимума (см. рис. 6.2). Запишем вектор-градиент функции /(Xj, Х₂,…, Х_к) в этой точке.

где.

Если точка (Х°, Х₂°, …, Х°)' не является стационарной, т. е. все частные производные {д//дХ°} не обращаются в нуль, то направление вектор-градиента в этой точке будет направлением наибыстрейшего возрастания функции [34,40]. Заметим, что направление антиградиента — grad f (X[ Х₂, …, Х°) будет направлением наибыстрейшего убывания функции.

Точка Х° не является стационарной. Сделаем некоторый шаг в направлении градиента. Координаты новой точки X = = (Xj, X₂, …, Х_кУ определяются по формуле.

где а> 0 — параметр шага; ДХ° = X, -Х°.

Полагая, что функцияДХ, Х₂, …, Х_к) является линейно-унимодальной, найдем координаты точки X¹ = (Xj, Х₂, …, Х^У,

в которой функция достигает максимума при движении в направлении градиента:

Вычислим градиент в точкеХ¹ = (X* .Xj, …, Х1У и снова повторим описанный выше процесс движения, но уже в направлении нового градиента grad/(X², Х₂², X²)', закончив его в точке X² = (X², X², …, X²)', и т. д. до достижения максимума функции /(Х_1;Х₂, …, Х_к).

В общем случае при наискорейшем подъеме координаты точкиХ^т+1 = (Х₁^т+1, Х₂^т+1, …, Х™⁺¹)'находятся из уравнения

при этом.

В векторной выражение имеет вид.

По построению/(X^m+1) >/(X^m)_(m = 1, 2, …), и, следовательно, если последовательность {X" ¹} конечна, то ее последний элемент является точкой максимума.

Известно, что если G является замкнутой и ограниченной областью пространства R^k, то для строго унимодальных и непрерывно дифференцируемых функций, т. е. когда grad/(X) существует и непрерывен в G, метод наискорейшего подъема сходится к минимуму [8,12—14]. Это означает, что предельная точка последовательности {Х^т} является точкой максимума.