Методы нахождения оценок

Рассмотрим основные методы нахождения оценок.

Согласно методу моментов, предложенному К. Пирсоном, определенное количество выборочных моментов (начальных v_k или центральных х_к, или тех и других) приравнивается к соответствующим теоретическим моментам распределения (у_к или р*) случайной величины X. Напомним, что выборочные моменты V* и Дд определяются, но формулам (8.22) и (8.23), а соответствующие им теоретические моменты — по формулам (3.32)—(3.35):

(для дискретной случайной величины с функцией вероятностей /?, = ср (.г, 0)),.

(для непрерывной случайной величины с плотностью вероятностей ф (х, 0)), где а = М (Х) — см. параграф 3.7.

> Пример 9.1. Найти оценку метода моментов для параметра X закона Пуассона.

Решение. В данном случае для нахождения единственного параметра X достаточно приравнять теоретический Vj и эмпирический ^ начальные моменты первого порядка. v_{ — математическое ожидание случайной величины X. В параграфе 4.2 установлено, что для случайной величины, распределенной по закону Пуассона, Л/(Х) = Х. Момент v_1? согласно формуле (8.22), равен х. Следовательно, оценка метода моментов параметра X закона Пуассона есть выборочная средняя х. ?

Следует отметить, что если при использовании данного метода некоторые моменты равны нулю или не зависят от нужных параметров, то приходится «пропускать» такие моменты и переходить к следующим по порядковому номеру. Например, если оценивается один параметр а² нормального закона ЛГ (0; а²), нужно взять второй момент, а не первый.

Оценки метода моментов обычно состоятельны, однако по эффективности они не являются «наилучшими», их эффективности е (0″) часто значительно меньше единицы. Тем не менее метод моментов часто используется на практике, так как приводит к сравнительно простым вычислениям.

Основным методом получения оценок параметров генеральной совокупности по данным выборки является метод максимального (наибольшего) правдоподобия, предложенный Р. Фишером.

Основу метода составляет функция правдоподобия, выражающая плотность вероятности (вероятность) совместного появления результатов выборки x_t, х₂,…, х_п:

или.

Согласно методу максимального правдоподобия в качестве оценки неизвестного параметра 0 принимается такое значение 0_п, которое максимизирует функцию L. Естественность подобного подхода к определению статистических оценок вытекает из смысла функции правдоподобия, которая при каждом фиксированном значении параметра 0 является мерой правдоподобности получения наблюдений x_lf х₂, х_п. И оценка 0_W такова, что имеющиеся у нас наблюдения х_{, х_ъ …, х_п являются наиболее правдоподобными.

Нахождение оценки 0,₇ упрощается, если максимизировать не саму функцию L, a lnl, поскольку максимум обеих функций достигается при одном и том же значении 0. Поэтому для отыскания оценки параметра 0 (одного или нескольких) надо решить уравнение (систему уравнений) правдоподобия, получаемое приравниванием производной (частных производных) нулю по параметру (параметрам) 0:

а затем отобрать то решение, которое обращает функцию In L в максимум.

> Пример 9.2. Найти оценку метода максимального правдоподобия для вероятности р наступления некоторого события А по данному числу т появления этого события в п независимых испытаниях.

Решение. Составим функцию правдоподобия:

или

Тогда In L = m пр + {п-пг) In (l-p) и согласно уравнению (9.9).

dIn L т n-tn _ т, ,

—-— =—-, откуда р = — (можно показать, что при р = т п

dp р 1 — р п

выполняется достаточное условие экстремума функции L).

Таким образом, оценкой метода максимального правдоподобия вероятности р события, А будет частость w = — этого события. ?

п

0 Пример 9.3. Найти оценки метода максимального правдоподобия для параметров а и ст² нормального закона распределения по данным выборки.

Решение. Плотность вероятности нормально распределенной случайной величины

Тогда функция правдоподобия имеет вид Логарифмируя, получим:

Для нахождения параметров а и а² надо приравнять нулю частные производные по параметрам а и а², т. е. решить систему уравнений правдоподобия:

откуда оценки максимального правдоподобия равны

Таким образом, оценками метода максимального правдоподобия математического ожидания, а и дисперсии а² нормально распределенной случайной величины являются соответственно выборочная средняя х и выборочная дисперсия s². ?

Важность метода максимального правдоподобия связана с его оптимальными свойствами. Так, если для параметра 0 существует эффективная оценка 0?, то оценка максимального правдоподобия единственная и равна 0*. Кроме того, при достаточно общих условиях оценки максимального правдоподобия являются состоятельными, асимптотически несмещенными, асимптотически эффективными и имеют асимптотически нормальное распределение.

Основной недостаток метода максимального правдоподобия — трудность вычисления оценок, связанных с решением уравнений правдоподобия, чаще всего нелинейных. Существенно также и то, что для построения оценок максимального правдоподобия и обеспечения их «хороших» свойств необходимо точное знание типа анализируемого закона распределения ф (х, 0), что во многих случаях оказывается практически нереальным.

Метод наименьших квадратов — один из наиболее простых приемов построения оценок. Суть его заключается в том, что оценка определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки.

t> Пример 9.4. Найти оценку метода наименьших квадратов 0_/? для генеральной средней 0 = jf_o.

Решение. Согласно методу наименьших квадратов найдем оценку Q_n из условия минимизации суммы:

Используя необходимое условие экстремума, приравняем нулю производную.

п.

и 0″ = —— = х, т. е. оценка метода наименьших квадратов генеральной средп

ней х₀ есть выборочная средняя х. ?

Заметим, что полученная в примере 9.4 оценка метода наименьших квадратов х для генеральной средней х₀ совпала с оценкой метода максимального правдоподобия для математического ожидания а = х₀ для нормально распределенной случайной величины (см. пример 9.3).

И это не случайно, так как функция правдоподобия L (x_[f …, х_п 0; а²) для нормального закона распределения имеет максимум тогда, когда сумма.

п

^(x_t -0)² минимальна.

Метод наименьших квадратов получил самое широкое распространение в практике статистических исследований, так как, во-первых, не требует знания закона распределения выборочных данных; во-вторых, достаточно хорошо разработан в плане вычислительной реализации.

Применение метода наименьших квадратов в задачах корреляционного и регрессионного анализа рассмотрено в гл. 12 и 13.