Парная линейная регрессия

Парная регрессия представляет собой уравнение, описывающее связь между двумя переменными: зависимой переменной и независимой переменной. Иногда переменную называют результатом, а переменную — фактором:, при этом функция может быть как линейной, так и нелинейной. В данной главе более детально рассмотрим линейную парную регрессию. Предположим, что у нас есть набор значений двух переменных.

Параметр соответствует отрезку прямой, отсекаемому линией регрессии при пересечении с осью ординат, параметр b определяет наклон линии регрессии к оси абсцисс. При этом параметр a традиционно принято называть свободным членом регрессии, а параметр — коэффициентом регрессии, который показывает, на сколько единиц в среднем изменится значение при изменении на одну единицу.

Допустим, что нашей задачей является подбор функции из параметрического семейства функций наилучшим образом описывающая зависимость от В качестве меры отклонения функции от исходных наблюдений можно использовать:

• — сумму квадратов отклонений;
• — сумму модулей отклонений;
• — другие меры отклонений.

Согласно методу наименьших квадратов (МНК) неизвестные параметры модели выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений от модельных была минимальной:

Среди преимуществ метода наименьших квадратов следует особенно отметить лёгкость вычислительной процедуры и хорошие по статистическим свойствам оценки.

Данные факты объясняют широкое применение данного метода в статистическом анализе. Из недостатков наиболее существенным является — чувствительность к выбросам. Согласно необходимому условию экстремума функции нескольких переменных, необходимо найти частные производные по этим переменным и приравнять их к нулю. После ряда преобразований получим:

Разделим обе части полученной выше системы на, получим систему нормальных уравнений:

Решив полученную систему относительно неизвестных параметров, получим:

Таким образом, остатки, оцененные таким образом, можно представить следующим образом:

Свойства оценок МНК определяются предположениями относительно свойств случайного возмущения в модели наблюдений. Эти предположения обычно называются условиями Гаусса — Маркова.

Условия Гаусса-Маркова:

• 1. — условие, гарантирующее несмещённость оценок МНК.
• 2. — условие гомоскедастичности, его нарушение приводит к проблеме гетероскедастичности.
• 3. — условие отсутствия автокорреляции предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если данное условие не выполняется, то в модели возникает проблема автокорреляции случайных возмущений.
• 4. для всех условие независимости случайного возмущения и объясняющей переменной. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.

Достаточно часто накладывают ещё одно условие на остатки модели, но данное условие не является условием Гаусса-Маркова:, оно очень полезно для проверки многих гипотез.