Теорема Гаусса — Маркова для случая множественной регрессии

Как и .для случая парной регрессии, сделав предположение о том, что ошибки е, j=l,…, п, являются случайными величинами, мы можем показать, что МНК-оценки также являются случайными величинами.

Действительно, р = (Х⁷Х) ' X⁷Y = (Х⁷Х) ¹ • Х⁷(Хр + е), откуда.

Поскольку матрица X является детерминированной, а вектор? — случайным, то МНК-оценки также являются случайными.

Для того чтобы получить дополнительную информацию о свойствах этих оценок, сформулируем теорему Гаусса — Маркова.

Теорема 5.1 (Гаусса — Маркова для случая множественной регрессии). Если для модели У, = р₀ + рД, + … + рД_й + е, г = 1,…, п, выполнены следующие условия:

• 1) модель правильно специфицирована;
• 2) ранг матрицы X является максимальным;
• 3) ?(в_;) = 0, г = 1,…, п;
• 4) var (?,) = a², i = 1,…, п;
• 5) cov (e, е₍.) = 0, i*j,

тогда МНК-оценки Р = (Х'Х) ¹ X⁷Y являются BLUE (best linear unbiased estimators) — лучшими линейными несмещенными оценками.

Как и в случае парной регрессии, поясним условия теоремы.

Первое условие о правильной спецификации модели обозначает, что, во-первых, все необходимые факторы в модель включены и нет «лишних» факторов (подробнее о том, как проверить, выполнено ли это условие, будет рассказано в гл. 9), во-вторых, выбрана правильная функциональная форма (подробнее о том, как это проверить, будет рассказано в гл. 8). Условне о максимальном ранге матрицы X означает, что ни один из ее столбцов не должен являться линейной комбинацией других (в противном случае МНК-оценки коэффициентов не определяются однозначно, X — вырожденная матрица). Свойства ошибок аналогичны случаю парной регрессии.

Расшифровка и смысл аббревиатуры BLUE аналогичны случаю парной регрессии.

? Доказательство. Линейность оценки (З^мнк вытекает из детерминированности матрицы X и формулы (5.6).

Несмещенность оценки р^мнк следует из формулы (5.10):

В силу линейности математического ожидания и условия 3 теоремы Гаусса — Маркова второе слагаемое равно нулю, что и означает несмещенность оценки МНК.

Доказательство наименьшей дисперсии МНК-оценок можно найти в различных источниках¹. М

Утверждение 5.1^[1][2]. Если выполнены условия теоремы Гаусса — Маркова, то.

является несмещенной оценкой дисперсии ошибок а_е².

Замечание 5.2. Оценки дисперсий МНК-оценок вычисляются по формуле.

где через (А)^ обозначен элемент, находящийся на пересечении j-й строки и j-го столбца матрицы А.

В выдачах статистических пакетов ol обычно обозначают s.e.(J3,), где Р; J'

s.e. — стандартные ошибки.

• [1] Например, в работе [ 12, с. 71 ].
• [2] Доказательство утверждения можно найти в работе [12, с. 65—66].