Метод наименьших квадратов

широкое применение. Эти методы также используются и в подпрограммах нелинейной

оптимизации по методу наименьших квадратов. В задачах на метод наименьших квадратов подлежащая минимизации функция представляет собой сумму квадратов:

Метод наименьших квадратов

30.10.2012

есть некие скалярные функции.
Подобного типа задачи широко

распространены и имеют ряд практических применений, особенно при подборе модельной функции для некого набора данных, т.е. определение нелинейных параметров модели. Эти задачи также широко распространены в теории управления, где в конечном итоге необходимо получить некую , соответствующую некой непрерывной модельной траектории для вектора и скаляра .

30.10.2012

Метод наименьших квадратов

Данная задача может быть сформулирована как:

может быть сформулировано как задача на метод наименьших квадратов:

где -

и включают в себя веса квадратичной схемы. Отметим, что в данной задаче под вектором понимается:

, по-видимому, должна быть наименьшей в точке оптимума, поскольку согласно

общепринятой практике необходимо провести искомую траекторию как можно ближе к реальной траектории. Хотя приведенная функция для метода наименьших квадратов (уравнение ) может быть минимизирована с помощью общего метода оптимизации без наличия ограничений, определенные характеристики данной задачи часто могут быть использованы для улучшения итеративной эффективности данной методики решения. Градиент и матрица Гессе для задачи метода наименьших квадратов имеют особую структуру.

Постановка задачи

30.10.2012

через , вектора градиента функции

через , матрицы Гессе через и матрицы Гессе
для каждой через получим

30.10.2012

где

Постановка задачи

стремится к нулю при стремлении к

точке решения, то и сама матрица стремится к нулю. Таким образом, при небольших значениях
в точке решения одним из наиболее эффективных методов является использование направления Ньютона—Гаусса в качестве основы для процедуры и оптимизации.

30.10.2012

Постановка задачи

решении системы линейных уравнений:

где скаляр задает как

величину, так и направление
параметра . Когда равен нулю, то направление
будет идентично этому же параметру из метода
Ньютона—Гаусса. По мере того как стремится к
бесконечности, то стремится к вектору с нулевыми
компонентами и направлению наискорейшего спуска.

Метод Левенберга—Марквардта

30.10.2012

остается справедливым


Следовательно, член может быть

контролируемым с
целью обеспечения спуска в случае необходимости
учета членов второго порядка, которые, в свою
очередь, заметно ограничивают эффективность
метода Ньютона—Гаусса.

30.10.2012

Метод Левенберга—Марквардта

сочетанием направления Ньютона—Гаусса и наискорейшего спуска. Решение для функции Розенброка

сходится после 90 обращений к расчету функции по сравнению с 48 для метода Ньютона—Гаусса. Такая низкая эффективность отчасти объясняется тем, что метод Ньютона—Гаусса обычно более эффективен в случае, когда в решении невязка равна нулю. Однако такая информация не всегда является заранее доступной, и повышенная устойчивость метода Левенберга—Марквардта компенсирует его иногда имеющую место слабую эффективность.

Метод Левенберга—Марквардта

30.10.2012