Оценка значимости параметров линейной регрессии и корреляции

В следствии того как уравнение линейной регрессии обнаружено, делается оценка значимости как уравнения в целом, но и отдельных его характеристик. Оценка значимости уравнения регрессии в общем дается при помощи F-критерия Фишера. При этом выдвигается нулевая гипотеза, что коэффициент регрессии равен нулю, другими словами b=0, и, значит, фактор x не оказывает влияния на результат y.

Конкретному расчету F-критерия предшествует анализ дисперсии. Центральное место в нем занимает разложение общей суммы квадратов отклонений переменной y от среднего значения на две части — «объясненную» и «остаточную»:

Общая сумма квадратов отклонений равна сумма квадратов отклонений, объясненная регрессией плюс остаточная сумма квадратов отклонений. Общая сумма квадратов отклонений индивидуальных значений результативного признака y от среднего значения вызвана влиянием множества причин. Условно разграничим всю совокупность причин на две категории: изучаемый фактор x и другие факторы. Если фактор не оказывает воздействия на итог, то линия регрессии на графике параллельна оси 0x и. Тогда вся дисперсия результативного показателя обусловлена действием иных факторов, и общая сумма квадратов отклонений совпадает с остаточной. Если же остальные факторы не оказывают большое влияние на результат, то y связан с x функционально, и остаточная сумма квадратов равна нулю. В данном случае сумма квадратов отклонений, объясненная регрессией, совпадает с общей суммой квадратов. Так как не все точки поля корреляции лежат на линии регрессии, то всегда имеет место их разброс, как обусловленный воздействием фактора х, то есть регрессией y и x, так и вызванный действием прочих причин. Пригодность линии регрессии для прогноза находится в зависимости от того, какая часть общей вариации признака y приходится на объясненную вариацию. Очевидно, что если сумма квадратов отклонений, обусловленная регрессией, будет больше остаточной суммы квадратов, то уравнение регрессии статистически значимо и фактор x оказывает существенное влияние на результат y. Это равносильно тому, что коэффициент детерминации будет приближаться к единице.

Каждая сумма квадратов отклонений связана с числом степеней свободы df, другими словами с числом свободы независимого варьирования признака. Число степеней свободы соединено с числом единиц совокупности n и с числом характеризуемых по ней констант. Применительно к исследуемой задаче число степеней свободы должно показать, какое количество независимых отклонений из n возможных потребуется для образования данной суммы квадратов. При расчете объясненной, или факторной, суммы квадратов используются теоретические (расчетные) значения результативного признака, найденные по линии регрессии: В линейной регрессии.

(2.11).

В этом не трудно убедиться, обратившись к формуле линейного коэффициента корреляции: Из формулы видно, что.

(2.12).

где — дисперсия признака y, обусловленная фактором x;

— общая дисперсия признака y.

Соответственно сумма квадратов отклонений, обусловленных линейной регрессией, составит:

Поскольку при заданном объеме наблюдений по x и y факторная сумма квадратов при линейной регрессии зависит только от одной константы коэффициента регрессии b, то данная сумма квадратов имеет одну степень свободы. К этому же выводу придем, если рассмотрим содержательную сторону расчетного значения признака y, то есть. Величина определяется по уравнению линейной регрессии:

Параметр a можно найти как Подставив выражение параметра a в линейную модель, получим:

(2.13).

Отсюда видно, что при данном наборе переменных x и y расчетное значение является функцией лишь одного параметра — коэффициента регрессии. В соответствии с этим и факторная сумма квадратов отклонений имеет число степеней свободы, равное 1.

Присутствует равенство между числом степеней свободы общей, факторной и остаточной суммами квадратов. Число степеней свободы для общей суммы квадратов определяется числом единиц, и поскольку мы используем среднюю вычисленную по данным выборки, то теряем одну степень свободы, то есть .

Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину F-отношения, то есть критерий F:

(2.14).

F-статистика используется для проверки нулевой гипотезы.

Если нулевая гипотеза справедлива, то факторная и остаточная дисперсии не отличаются друг от друга. Если несправедлива, то факторная дисперсия превышает остаточную в несколько раз. Британским статистиком Снедекором разработаны таблицы критических значений F-отношений при различных уровнях значимости нулевой гипотезы и различном числе степеней свободы. Табличное значение F-критерия — это максимальная величина отношения дисперсий, которая может иметь место при случайном расхождении их для данного уровня вероятности наличия нулевой гипотезы. Вычисленное значение Fотношения признается достоверным, если оно больше табличного. Тогда нулевая гипотеза об отсутствии взаимосвязи признаков отклоняется и делается вывод о существенности этой связи: отклоняется.

Если же величина F окажется меньше табличной, то вероятность нулевой гипотезы выше заданного уровня и она не может быть отклонена без риска сделать неправильный вывод и наличии связи. В этом случае уравнение регрессии считается статистически незначимым: не отклоняется. Величина F-критерия связана с коэффициентом детерминации. Значение F-критерия можно выразить следующим образом:

. (2.15).

В линейной регрессии обычно оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому из параметров определяется его стандартная ошибка:. Стандартная ошибка коэффициента регрессии параметра рассчитывается по формуле:

(2.16).

Отношение коэффициента регрессии к его стандартной ошибке дает t-статистику, которая подчиняется статистике Стьюдента (n-2) степеням свободы. Эта статистика применяется для проверки статистической значимости коэффициента регрессии и для расчета доверительных интервалов.

Для оценки значимости коэффициента регрессии его величину сравнивают с его стандартной ошибкой, то есть определяют фактическое значение t-критерия Стьюдента:

(2.17).

которое затем сравнивают с табличным значением при определенном уровне значимости б и числе степеней свободы (n-2).

Стандартная ошибка параметра a определяется по формуле:

(2.18).

Процедура оценивания значимости данного параметра не отличается от рассмотренной выше для коэффициента регрессии: вычисляется t-критерий:

(2.19).

Его величина сравнивается с табличным значением при df=n-2 степенях свободы.

Значимость линейного коэффициента корреляции проверяется на основе величины ошибки коэффициента корреляции :

(2.20).

Фактическое значение t-критерия Стьюдента определяется как:

(2.21).

Данная формула свидетельствует, что в парной линейной регрессии ибо, как уже указывалось, Кроме того, следовательно, .

Таким образом, проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о значимости линейного уравнения регрессии. [И. И. Елисеева с. 63].

Средняя ошибка аппроксимации.

Фактические значения результативного признака отличаются от теоретических, рассчитанных по уравнению регрессии, то есть y и Чем меньше эти отличия, тем ближе теоретические значения к эмпирическим данным, тем лучше качество модели.

Величина отклонений фактических и расчетных значений результативного признака по каждому наблюдению представляет собой ошибку аппроксимации.

В отдельных случаях ошибка аппроксимации может оказаться равной нулю. Отклонения несравнимы между собой, исключая величину, равную нулю. Для сравнения используются величины отклонений, выраженные в процентах к фактическим значениям.

Поскольку может быть величиной как положительной, так и отрицательной, ошибки аппроксимации для каждого наблюдения принято определять в процентах по модулю. Отклонения можно рассматривать как абсолютную ошибку аппроксимации, а — как относительную ошибку аппроксимации.

Для того чтобы иметь общее суждение о качестве модели из относительных отклонений по каждому наблюдению, находят среднюю ошибку аппроксимации как среднюю арифметическую простую.

(2.22).

[И. И. Елисеева с. 106].