Обобщенный метод наименьших квадратов

Обобщим рассмотренные способы устранения гетероскедастичности и автокорреляции в линейных моделях множественной регрессии.

Вновь обратимся к ковариационной матрице случайных возмущений.

В случае, когда вторая и третья предпосылки в уравнениях наблюдений нарушены, ее можно записать в виде.

(7.40).

На главной диагонали матрицы (7.40) расположены дисперсии случайных возмущений, которые в общем случае могут быть неоднородными. На боковых местах находятся значения ковариаций . Доказана теорема, которая формулирует наилучшую линейную процедуру оценки параметров линейной модели множественной регрессии в случае, если ковариационная матрица случайных возмущений имеет вид (7.40), т. е. в условиях, когда вторая и третья предпосылки теоремы Гаусса — Маркова не выполняются.

Теорема Эйткена

В классе линейных несмещенных оценок вектора параметров линейной модели множественной регрессии, ,. .наилучшей является оценка:

(7.41).

Процедура (7.41) называется обобщенным методом наименьших квадратов. От классического метода наименьших квадратов он отличается тем, что оценки параметров находятся из условия минимальности функционала:

Если матрица диагональная (), то процедура (7.41) соответствует взвешенному методу наименьших квадратов (ВМНК). Если в матрице на главной диагонали лежат одинаковые значения, то процедура (7.41) обеспечивает получение наилучших оценок в условиях автокорреляции случайных возмущений при выполнении условия гомоскедастичности. Если матрица диагональная (все ) и все равны, то процедура (7.41) превращается в процедуру классического метода наименьших квадратов (МНК).

В заключении отмстим, что применение ОМНК требует знания ковариационной матрицы вектора случайных возмущений , что встречается крайне редко. На практике используется, так называемый, доступный обобщенный метод наименьших квадратов. К нему относят те процедуры, которые мы рассмотрели выше — это ВМНК и процедуры устранения автокорреляции.

Замечание. Завершая рассмотрение вопроса тестирования построенной модели на выполнение предпосылок теоремы Гаусса — Маркова, необходимо несколько слов сказать о четвертой предпосылке: независимости вектора регрессоров и с вектором случайных возмущений.

Если четвертая предпосылка не выполняется, то это приводит к смещению МНК-оценок параметров модели. Это было установлено в параграфе 5.1 (формула (5.9)), когла мы рассматривали механизм работы метода наименьших квадратов.

При построении линейных моделей, в которых значения регрессоров в каждом наблюдении являются константами, четвертая предпосылка выполняется автоматически, так как связь между константой и случайной величиной всегда отсутствует. Предполагается, что зафиксировав выборку наблюдений, зафиксировали и значения регрессоров в каждом наблюдении и, следовательно, исключили связь между векторами регрессоров и случайных возмущений. Поэтому нет необходимости в дополнительном тестировании последней предпосылки теоремы Гаусса — Маркова.

Заметим, что такое положение далеко не всегда имеет место. Например, если значения регрессоров в каждом наблюдении суть результат измерений, то связь между векторами регрессоров и случайных возмущений может иметь место, так как измерения всегда производятся с некоторой ошибкой, а это означает, что результаты измерений являются случайными величинами. Следовательно, возможна и связь регрессоров со случайными возмущениями. Другой пример: в качестве регрессора может выступать лаговая эндогенная переменная, значение которой сформировалось в предшествующий момент времени. Лаговая эндогенная переменная является случайной величиной, так как на ее формирование оказало влияние соответствующее случайное возмущение. Как видим, опять в составе регрессоров оказалась случайная переменная, которая может взаимодействовать со случайным возмущением.

Рассмотрение перечисленных ситуаций выходит за рамки изучаемого курса. Забегая вперед, отметим, что возникновение таких ситуаций существенно осложняет возможность получения состоятельных оценок параметров линейной модели.