Линейный регрессионный анализ

Простая линейная регрессия

Если предполагается линейная зависимость между и, то теоретическая модель задается уравнением.

и называется моделью простой линейной регрессии по. Величины и являются неизвестными параметрами, а суть некоррелированные ошибки случайной переменной со средним 0 и неизвестной дисперсией, т. е.

.

Наилучшие оценки и по выборке объема N для и получаются минимизацией соответственно по и суммы квадратов отклонений

Эти оценки называются оценками наименьших квадратов и даются формулами.

Заметим, что S есть мера ошибки, возникающей при аппроксимации зависимости выборочных значений (x, y) с помощью прямой. Оценки и минимизируют ошибку.

Оценкой уравнения (8.1) регрессии (или прямой наименьших квадратов) будет.

так что оценка значения при есть Разница между наблюдаемым и оцененным значением при называется отклонением (или остатком).

Рисунок 8.1- Соотношение между теоретической регрессионной прямой, прямой наименьших квадратов и точками выборки.

Прямая наименьших квадратов доставляет минимум сумме квадратов отклонений Соотношение между теоретической регрессионной прямой, прямой наименьших квадратов и точками выборки можно увидеть на рисунке 8.1.

Оценка обычно называется коэффициентом регрессии, а оценка —свободным членом уравнения регрессии.