Байесовское оценивание. 
Теория вероятностей и математическая статистика

Байесовский метод (БМ) применяется в том случае, если известна некоторая предварительная информация об оцениваемом параметре, представленная в виде априорного распределения вероятностей параметра. Проведя статистическое исследование на основе ряда наблюдений, удается уточнить значение параметра, используя формулу Байеса.

Байесовский подход начинается с анализа среды, окружающей исследуемый параметр, обзора аналогичных задач, разумного ограничения возможных значений параметра. Сбор данных о параметре должен в конечном счете вылиться в построение приблизительного закона распределения р_т(0) параметра 0, где т — случайная величина. Если информации недостаточно, обычно берут равномерное распределение. Затем проводят статистическое обследование, результатом которого является набор наблюдений х_ь х₂, …, х_п. К предварительным знаниям о параметре присоединяется скрытая в исходных статистических данных дополнительная информация.

Для извлечения дополнительной информации и корректировки на ее основе значения параметра используется формула Байеса, получаемая из равенства.

в которой для вероятности используется большая буква Р, для плотности вероятностей — маленькая буква р.

1(х|0) есть функция максимального правдоподобия, представляющая вероятность того, что случайная величина % приняла последовательно в любом порядке значения Xj, х₂, …, х_п в предположении, что значение оцениваемого параметра равно 0:

где р^(х,|8) — функция плотности для непрерывной случайной величины и вероятность Р (?, = х, 10) для дискретной.

Плотность рДх) рассчитывается как вероятность получения набора х_ъ х₂, х" по всем допустимым значениям 0. Это математическое ожидание функции правдоподобия. Для анализируемой непрерывной генеральной совокупности, рассматриваемой далее, она вычисляется по формуле.

Соответственно, апостериорная плотность вероятностей будет равна.

Получив апостериорную плотность, можно построить байесовскую точечную оценку параметра как математическое ожидание параметра 0 при условии получения набора наблюдений х_ь х₂, …, х":

В частном случае, когда плотность р_т(0) не удается подобрать и приходиться использовать равномерное распределение, в котором р_т = const при заданных в числовом виде границах 0j и 0₂, формулы упрощаются.

Апостериорная плотность вероятностей станет равной.

Байесовская точечная оценка параметра будет зависеть исключительно от функции правдоподобия и примет вид.

Замечание 12.5. Метод максимального правдоподобия и байесовский метод сравнимы по точности оценки. Если для ММП важным является число наблюдений, то БМ весьма чувствителен к априорной информации. При увеличении числа измерений точечные статистические оценки, даваемые обоими методами, сближаются. Использование того или другого метода зависит от того, имеем ли мы большое число наблюдений или наблюдений немного, но есть предварительная информация об оцениваемом параметре.

Пример 12.3. Срок жизни эксплуатируемой батарейки характеризуется экспоненциальным законом распределения случайной величины.

Собранная об этих батарейках информация позволяет считать, что параметр 0 € (0; 3). Сроки работы трех имеющихся батареек составили соответственно 0,8,1,0,1,2 мес. Применяя байесовский подход, оценить параметр 0.

Решение. Зададим априорное распределение случайной величины т, описывающее поведение параметра 0, в виде равномерного распределения:

Априорная оценка, полученная по предварительно собранной информации, равна.

Используя функцию правдоподобия.

получим байесовскую точечную оценку параметра при р_т = const:

_п л — 1 + 0,8 + 1,2. _п

При п = 3 и х =-= 1,0 проинтегрируем числитель и знаменатель.

Будем иметь 0_Б а 1,29 мес^-

Оценка методом максимального правдоподобия дает величину 0_ММП = = 1,00 мес.^-1. Метод ММП резко смещает предварительную оценку при совсем малой выборке. Метод Байеса, опираясь на большее количество информации, т. е. используя как предварительно собранную информацию, так и полученную из наблюдений, корректирует предварительную оценку, как показывает опыт, более точно.