Метод Левенберга--Маркардта. 
Методы оптимизации в АСКТП

Этот метод основан на следующей идее. Чтобы избежать расходимости приближений метода Ньютона, вызванных неудачным выбором начального приближения, можно попытаться запретить следующей итерации быть слишком далеко от предыдущей. Для этого следующую итерацию ищут из условия.

где lⁿ — некоторый параметр (вообще говоря, свой на каждом шаге). Первые три слагаемых в определении функции j представляют собой квадратичную аппроксимацию функции f, а последнее слагаемое — «штраф», не позволяющий точке xⁿ⁺¹ уходить далеко от точки xⁿ (с идеями метода штрафов мы еще столкнемся ниже).

Последняя формула и есть метод Левенберга—Маркардта.

Очевидно, что если lⁿ = 0, то (6.1) представляет собой метод Ньютона, а если lⁿ велико, то (поскольку [f ўў(xⁿ) + lⁿI]^-1 «(lⁿ)^-1I при больших lⁿ) формула (6.1) близка к градиентному методу. Поэтому, подбирая значения параметра lⁿ, можно добиться, чтобы метод (6.1), во-первых, сходился глобально, и во-вторых, квадратично. Можно, например, выбирать lⁿ из следующих соображений: угол между направлениями шага и антиградиента должен быть острым, а значение функции на каждом шаге должно квалифицировано убывать. В этом случае lⁿ должно удовлетворять следующим условиям (здесь мы обозначаем «антинаправление» шага [f ўў(xⁿ) + lⁿI]^-1f ў(xⁿ) через yⁿ).

где e₁ О (0, 1) и e₂ О (0, ½) — параметры.