Показатели качества подгонки множественной регрессии

Как и для парной, для множественной регрессии можно доказать, что если в регрессии есть константа, то TSS = ESS + RSS, где TSS, ESS и RSS определяются аналогично случаю парной регрессии.

Показатель качества подгонки регрессии — коэффициент множественной детерминации R² — определяется по той же самой формуле, что и для.

ESS

случая парной регрессии: R² =-, и обладает аналогичными свойствами.

ТкS3

1. Для множественной регрессии с константой (5.1) R² может быть вычислен, но формуле.

Замечание 5.1. Как и в случае парной регрессии, формула (5.8) не имеет места для регрессии без свободного члена, поскольку для последней TSS # *ESS+RSS.

• 2. О < Я² < 1.
• 3. Коэффициент R² равен доле выборочной дисперсии зависимой переменной, объясненной с помощью всех независимых переменных.

4. Критерии R² —* max и R² —³? min равносильны.

Ро. р* Р" Рр —1 р*.

Пятое свойство можно немного обобщить по сравнению со случаем парной регрессии.

• 5. Коэффициент R² является квадратом коэффициента выборочной корреляции Y и Y.
• ? Доказательство. Обозначим у = Y — Y, у = Y — Y. Тогда

Основным недостатком R² является следующий (сформулируем в виде отдельного свойства).

• 6. Коэффициент R² не уменьшается при добавлении в уравнение регрессии любого фактора.
• ? Доказательство. Вспомним, что

При добавлении (k + 1)-го фактора R² будет равен.

// п

Очевидно, что min тщУе?, так как условный минимум (на.

0о"•••>$*+! i-l 0о…0* j-1.

подмножестве р_Л+1 = 0) всегда не превышает глобальный, достигаемый на всем множестве параметров (3₀, …, р_л+1. Следовательно, R² при добавлении любого фактора не уменьшается. ?

Для того чтобы исправить этот недостаток R², был придуман еще один показатель качества подгонки регрессии, «штрафующий» за включение в модель слишком большого числа переменных.

Определение 5.1. Коэффициентом множественной детерминации, скорректированным на число степеней свободы (adjusted), для регрессии (5.1) называется показатель, вычисляемый по следующей формуле:

Свойства R²_adj следующие.

1. R²_adj и R² связаны с помощью следующего соотношения:

ESS RSS.

• ? Доказательство. R = 1 — ^^, следовательно, —— = 1 — /~. Подставив последнее выражение в формулу (5.9), получаем доказываемое утверждение. ?
• 2. R²_adj2.

Это свойство следует из предыдущего (так как k > 1). Из последнего свойства очевидно, что R²_adj < 1, однако свойство неотрицательности для R²_adj не имеет места.

Отметим, что регрессии с разными зависимыми переменными ни по R², ни по R²_ldj сравнивать нельзя (из-за разницы выборочных дисперсий зависимых показателей).

Коэффициент R²_adj является одним из показателей, с помощью которых можно сравнивать регрессии с одинаковыми зависимыми переменными и разным набором независимых. Обычно лучшей считается та модель, в которой R²_adJ наибольший. Однако при этом не стоит увлекаться увеличением этого показателя в ущерб возможности дать модели осмысленную экономическую интерпретацию.

Двигаясь в том же направлении, что и для случая парной регрессии, перейдем к основной теореме курса.