Оценка параметров многофакторной регрессионной модели при отсутствии мультиколлинеарности факторов

Рассмотрим задачу определения параметров уравнения регрессии на примере уравнения второго порядка с тремя факторами.

Введем фиктивную переменную Х₀ = 1 и обозначим Х₀ = F₀, X,=F_uX₂ = F₂, Х₃ = F₃, Х'(= F₄, Xi = F₅, X§ = F₆, ВД — F₇, ВД = F₈, X₂X₃ = F₉. Тогда полином второй степени запишется как линейное уравнение.

Параметры регрессии находятся методом наименьших квадратов по результатам п опытов (F" у_;), i = 1, …, п. Для того чтобы соответствующая система нормальных уравнений имела единственное решение, необходимо и достаточно, чтобы матрица факторов (матрица плана).

имела линейно независимые вектор-столбцы. В случае линейной зависимости вектор-столбцов, или мультиколлинеарности (вектор-столбцы являются линейной комбинацией соответствующих элементов других столбцов), система нормальных уравнений является вырожденной.

Оценка параметров многофакторной регрессионной модели при мультиколлинеарности факторов

Явление мультиколлинеарности возникает, когда факторы сильно коррелированны, т. е. существуют выраженные, хотя и неточные, линейные зависимости между несколькими или всеми факторами, например при Xj ~ kX_h что означает.

Мультиколлинеарность появляется в условиях пассивного эксперимента, когда нельзя влиять на значения, которые принимают факторы.

При мультиколлинеарности факторов многофакторной регрессионной модели возникает проблема плохой обусловленности системы нормальных уравнений, когда малые изменения (погрешности) наблюдений факторов Ху j = 1, …, р, и отклика у₍, i = 1,…, п, приводят к сильным вариациям оценок параметров by Численное решение на ЭВМ из-за ошибок округления в такой ситуации является неустойчивым.

Дисперсии параметров регрессии равны.

где R_F р — коэффициент множественной корреляции между фактором Fj и остальными факторами. Очевидно, что в условиях мультиколлинеарности, при R_F.|_F 1, дисперсии Sfy могут стать столь настолько большими, что оценки Ь, будут статистически незначимы, т. е. , и будет принята гипотеза Н₀: Ь, = 0.

Для коррелированных факторов ошибки параметров также коррелированны.

В итоге неоднозначное оценивание резко затрудняет физическую интерпретацию уравнения регрессии. Это уравнение уже нельзя применять для прогноза значений отклика У по новым наблюдениям факторов Х_ь …, Х_р, не вошедшим в состав первоначальной выборки размера п. Такая модель регрессии обладает плохими прогностическими, экстраполирующими свойствами.

Одним из методов получения оценок параметров регрессии при мультиколлинеарности является отбор существенных (информативных) факторов. Исходное количество р входящих в модель факторов сокращается. Остаются существенные для прогноза значений отклика Y факторы. Например, если два фактора сильно коррелированны с У и друг с другом, то обычно достаточно включения в модель одного из них, а дополнительным вкладом другого фактора пренебрегают.

Сам по себе другой фактор, рассматриваемый в отдельности, является информативным, поскольку вариация отклика хорошо детерминируется изменением его значений. Однако после включения в модель первого фактора, коррелированного со вторым фактором, условная информативность последнего падает, поскольку он дублирует большую часть уже полученной информации, которая используется для определения значений У. Второй фактор даже при условии малой коррелированное™ с откликом может оказаться полезным только тогда, когда он определяет ту долю вариаций У, которая не была учтена первым фактором.

При отборе существенных факторов прежде всего выясняется степень влияния отдельного фактора на отклик У, которая характеризуется его вкладом в общую дисперсию отклика.

Для нелинейной модели регрессии вклад факторов типа XjXj, XjXj,… рассчитывается по формуле.

где Q_Xj — сумма квадратов разностей между средними откликами при каждом значении фактора^ и общим средним у, характеризует изменение отклика по фактору Ху, Q_MOfl — сумма квадратов разностей, обусловленная моделью регрессии; R² — параметр,.

*?|х^:

где Q — общая сумма квадратов отклонений отклика, характеризует общую дисперсию.

При достаточных выборках, когда п «I,

Рассчитав величины К_Хр можно построить график распределения степени влияния факторов (в порядке их убывания) в общую вариацию отклика Y. Например, для двухфакторной полиномиальной модели график может быть представлен в следующем виде (рис. 10.6).

Рис. 10.6. Графическое представление распределения степени влияния факторов для двухфакторной полиномиальной модели.

В сумме вклад всех факторов равен R²:

Действие ненаблюдаемых факторов (шума) характеризуется степенью влияния, равной