Асимптотические свойства критериев согласия для проверки гипотез в схеме выбора без возвращения, основанных на заполнении ячеек в обобщенной схеме размещения

Объект исследования и актуальность темы. В теории статистического анализа дискретных последовательностей особое местозанимают критерии согласия для проверки, возможно, сложной нулевой гипотезы, которая заключается в том, что для случайной последовательности такой, что.

Xi е hi, i = 1, • • •, п, где hi = {0,1,. •, М}, для любых i = 1,., п, и для любого к? 1 м вероятность события.

Xi = к} не зависит от г. Это означает, что последовательность в некотором смысле стационарна.

В ряде прикладных задач в качестве последовательности (Хг-)&trade-=1 рассматривается последовательность цветов шаров при выборе без возвращения до исчерпания из урны, содержащей щ — 1 > 0 шаров цвета к, к € 1м-Будем обозначать множество таких выборок ОЯ (п0 — 1, ., пм — 1). Пусть всего в урне содержится п — 1 шаров, м к=0.

Обозначим через r (k) (fc) Jk) rw — Г!, .. ., последовательность номеров шаров цвета Ав выборке. Рассмотрим последовательность где к).

Кк-пГПк1.

Последовательность h^ определена при помощи расстояний между местами соседних шаров цвета к таким образом, что.

Пк Кf = п. 1>=1.

Совокупность последовательностей h (fc) для всех к? 1 м однозначно определяет последовательность Последовательности hk для разных к зависимы между собой. В частности, любая из них однозначно определяется всеми остальными. Если мощность множества 1 м равна 2, то последовательность цветов шаров однозначно определяется последовательностью расстояний между местами соседних шаров одного фиксированного цвета. Пусть в урне, содержащей п — 1 шаров двух различных цветов, находится N — 1 шар цвета 0. Можно установить взаимнооднозначное соответствие между множеством ffl (N— l, n — N) и множеством 9n, N векторов h (n, N) = (hi,., hjf) с положительными целочисленными компонентами таких, что К = П. (0.1).

Множество 9ЯП) дг соответствует множеству всех различных разбиений целого положительного числа п на N упорядоченных слагаемых.

Задав на множестве векторов? Нп, дг некоторое вероятностное распределение, мы получим соответствующее вероятностное распределение на множестве Wl (N — 1, п — N). Множество является подмножеством множества векторов с неотрицательными целочисленными компонентами, удовлетворяющими (0.1). В качестве вероятностных распределений на множестве векторов в диссертационной работе будут рассматриваться распределения вида.

Р{%, N) = (п,., rN)} = Р{£&bdquo- = ru, v = l,., Njr^ = n}, (0.2) где. ,£дг — независимые неотрицательные целочисленные случайные величины.

Распределения вида (0.2) в /24/ получили название обобщенных схем размещения п частиц по N ячейкам. В частности, если случайные величины £ь. ,£лг в (0.2) распределены по законам Пуассона с параметрами Ai,., Лдг соответственно, то вектор h (n, N) имеет полиномиальное распределение с вероятностями исходов.

Ри =. , Л", ,, V = ,., N.

Л +. .. + AN.

Если случайные величины £ь • • • >&v в (0−2) одинаково распределены по геометрическому закону где р — любое в интервале 0 < р < 1, то, как отмечено в /25/,/26/, получающаяся обобщенная схема размещения соответствует равномерному распределению на множестве В силу взаимнооднозначного соответствия между множеством dft (N — 1, п — N) и множеством tRn, N получаем равномерное распределение на множестве выборов без возвращения. При этом, вектору расстояний между местами шаров одного цвета взаимно однозначно соответствует вектор частот в обобщенной схеме размещения, и, соответственно, числу расстояний длины г — число ячеек, содержащих ровно г частиц. Для проверки по единственной последовательности гипотезы о том, что она получена как результат выбора без возвращения, и каждая такая выборка имеет одну и ту же вероятность можно проверить гипотезу о том, что вектор расстояний между местами шаров цвета 0 распределен как вектор частот в соответствующей обобщенной схеме размещения п частиц по N ячейкам.

Как отмечалось в /14/,/38/, особое место при проверке гипотез о распределении векторов частот h (n, N) = (hi,., /гдг) в обобщенных схемах размещения п частиц по N ячейкам, занимают критерии, построенные на основе статистик вида 1 m{Nl, n-N) N.

LN{h{n, N))=Zfv (hv).

0.3) и.

Фн = Ф{-Т7, flQ Hi II—.

N’Tf''" ' л.

0.4) где fu, v = 1,2,. и ф — некоторые действительнозначные функции, N.

Mr = Е = г}, г = 0,1,. 1/=1.

Величины в /27/ были названы числом ячеек, содержащих ровно по г частиц.

Статистики вида (0.3) в /30/ получили название разделимых (аддитивно разделимых) статистик. Если функции /" в (0.3) не зависят от и, то такие статистики были названы в /31/ симметричными разделимыми статистиками.

Для любого г статистика /хг является симметричной разделимой статистикой. Из равенства.

Е ДМ = Е ДФг (0.5) следует, что класс симметричных разделимых статистик от hv совпадает с классом линейных функций от fir. При этом класс функций вида (0.4) шире класса симметричных разделимых статистик.

В диссертационной работе автор ограничился рассмотрением так называемой центральной области изменения параметров n, N /27/, то есть будет предполагаться, что п, N —> оо так, что п где 0 < 7 < оо. Пусть.

Но = (#o (n, N)) последовательность простых нулевых гипотез, заключающихся в том, что распределение вектора h (n, N) есть (0.2), где случайные величины ,. в (0.2) одинаково распределены и к} = pk, k = 0,1,2,., параметры п, N изменяются в центральной области.

Рассмотрим некоторое Р? (0,1) и последовательность, вообще говоря, сложных альтернатив.

Н = (Н (п, N)) таких, что существует — максимальное число, для которого при для любой простой гипотезы Н € Н (п, N) выполнено неравенство.

РШ > an, N (P)} > Р.

Будем отвергать гипотезу Hq (ti, N), если фм > ащм ({3). Если существует предел.

Шп ~1пР{0лг > an, N (P)}=u (p, Н), где вероятность для каждого N вычисляется при гипотезе Нц (п, N), то значение ^(/З, Н) названо в /38/ индексом критерия ф в точке {j3, Н). Последний предел может, вообще говоря, и не существовать. Поэтому в диссертационной работе кроме индекса критерия рассматривается величина.

Иш (~1пР{фм > ал (/?)}).

N-^oo iv / которая автором диссертационной работы по аналогии была названа нижним индексом критерия ф в точке (/3, Н). Здесь и далее lim адг, lim адг.

JV—>oo N-юо означают соответственно нижний и верхний пределы последовательности (одг) при N —> оо,.

Если индекс критерия существует, то нижний индекс критерия совпадает с ним. Нижний индекс критерия существует всегда. Чем больше значения индекса критерия (нижнего индекса критерия), тем лучше в рассматриваемом смысле статистический критерий. В /38/ была решена задача построения критериев согласия для обобщенных схем размещения с наибольшим значением индекса критерия в классе критериев, которые отклоняют гипотезу Ho (n, N) при /МО Ml Мтч ГЧ iV' iV''''' ~yv" ' ^ ' где m > 0 — некоторое фиксированное число, последовательность постоянных едг выбирается, исходя из заданного значения мощности критерия при последовательности альтернатив, фт — действительная функция от т + 1 аргументов.

Индексы критериев определяются вероятностями больших уклонений. Как было показано в /38/, грубая (с точностью до логарифмической эквивалентности) асимптотика вероятностей больших уклонений разделимых статистик при выполнении условия Крамера для случайной величины /(?) определяется соответствующим информационным расстоянием Куль-бака — Лейблера — Санова (случайная величина rj удовлетворяет условию Крамера, если для некоторого Я > 0 производящая функция моментов Metr] конечна в интервале t < Н /28/).

Вопрос о вероятностях больших уклонений статистик от неограниченного числа fir, а также произвольных разделимых статистик, не удовлетворяющих условию Крамера, оставался открытым. Это не позволяло окончательно решить задачу построения критериев для проверки гипотез в обобщенных схемах размещения с наибольшей скоростью стремления к нулю вероятности ошибки первого рода при иесближающихся альтернативах в классе критериев, основанных на статистиках вида (0.4). Актуальность диссертационного исследования определяется необходимостью завершить решение указанной задачи.

Целью диссертационной работы является построение критериев согласия с наибольшим значением индекса критерия (нижнего индекса критерия) для проверки гипотез в схеме выбора без возращения в классе критериев, которые отклоняют гипотезу Щ{п, N) при $.<>,¦ •¦)><*. (0−7) где ф — функция от счетного количества аргументов, и параметры п, N изменяются в центральной области.

В соответствии с целью исследования были поставлены следующие задачи:

— исследовать свойства энтропии и информационного расстояния Куль-бака — Лейблера — Санова для дискретных распределений со счетным количеством исходов;

— исследовать вероятности больших уклонений статистик вида (0.4);

— исследовать вероятности больших уклонений симметричных разделимых статистик (0.3), не удовлетворяющих условию Крамера;

— найти такую статистику, что построенный на ее основе критерий согласия для проверки гипотез в обобщенных схемах размещения имеет наибольшее значение индекса в классе критериев вида (0.7).

Научная новизна:

— дано понятие обобщенной метрики — функции, допускающей бесконечные значения и удовлетворяющей аксиомам тождества, симметрии и неравенства треугольника. Найдена обобщенная метрика и указаны множества, на которых функции энтропии и информационного расстояния, заданные на семействе дискретных распределений со счетным числом исходов, непрерывны в этой метрике;

— в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений статистик вида (0.4), удовлетворяющих соответствующей форме условия Крамера;

— в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера;

— в классе критериев вида (0.7) построен критерий с наибольшим значением индекса критерия.

Научная и практическая ценность. В работе решен ряд вопросов о поведении вероятностей больших уклонений в обобщенных схемах размещения. Полученные результаты могут быть использованы в учебном процессе по специальностям математическая статистика и теория информации, при исследовании статистических процедур анализа дискретных последовательностях и были использованы в /3/, /21/ при обосновании защищенности одного класса информационных систем. Положения, выносимые на защиту:

— сведение задачи проверки по единственной последовательности цветов шаров гипотезы от том, что эта последовательность получена в результате выбора без возвращения до исчерпания шаров из урны, содержащей шары двух цветов, и каждый такой выбор имеет одинаковую вероятность, к построению критериев согласия для проверки гипотез в соответствующей обобщенной схеме размещения;

— непрерывность функций энтропии и информационного расстояния Кульбака — Лейблера — Санова па бесконечномерном симплексе с введенной логарифмической обобщенной метрикой;

— теорема о грубой (с точностью до логарифмической эквивалентности) асимптотике вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера в обобщенной схеме размещения в семиэксионенциалыюм случае;

— теорема о грубой (с точностью до логарифмической эквивалентности) асимптотике вероятностей больших уклонений для статистик вида (0.4);

— построение критерия согласия для проверки гипотез в обобщенных схемах размещения с наибольшим значением индекса в классе критериев вида (0.7).

Апробация работы. Результаты докладывалась на семинарах Отдела дискретной математики Математического института им. В. А. Стек-лова РАН, отделения информационной безопасности ИТМиВТ им. С. А. Лебедева РАН и на:

— пятом Всероссийском симпозиуме по прикладной и промышленной математике. Весенняя сессия, Кисловодск, 2 — 8 мая 2004;

— шестой Международной Петрозаводской конференция «Вероятностные методы в дискретной математике» 10 — 16 июня 2004;

— второй Международной конференции «Информационные системы и технологии (IST'2004)», Минск, 8−10 ноября 2004;

— Международной конференции «Modern Problems and new Trends in Probability Theory», Черновцы, Украина, 19 — 26 июня 2005.

Основные результаты работы использовались в НИР «Апология», выполняемой ИТМиВТ РАН им. С. А. Лебедева в интересах Федеральной службы по техническому и экспортному контролю РФ, и вошли в отчет об исполнении этапа НИР /21/. Отдельные результаты диссертации вошли в отчет, но НИР «Разработка математических проблем криптографии» Академии криптографии РФ за 2004 г. /22/.

Основные результаты работы опубликованы в /16/ — /19/. В /20/ содержатся подробные доказательства результатов, опубликованных в /19/.

Автор выражает глубокую благодарность научному руководителю доктору физико-математических наук Ронжину А. Ф. и научному консультанту доктору физико-математических наук старшему научному сотруднику Князеву А. В. Автор выражает признательность доктору физико-математических наук профессору Зубкову А. М. и кандидату физико-математических наук Круглову И. А. за внимание, оказанное работе, и ряд ценных замечаний.

Структура и содержание работы.

В первой главе исследуются свойства энтропии и информационного расстояния для распределений на множестве неотрицательных целых чисел.

В первом параграфе первой главы вводятся обозначения и даются необходимые определения. В частности, используются следующие обозначения: х = (xq, x, •. •) — бесконечномерный вектор со счетным количеством компонент;

Н{х) — -Ex^oXvlnx,-, truncm (x) = (x0,x1,., xm, 0,0,.)] f2* = {х, хи > 0, zy = 0,1,., о х&bdquo- < 1}- Q = {х, х, > 0, и = 0,1,., о xv = 1}- = {х G О, ??L0 = 7};

Ml = о Ue>1|5 € о < Ml — 7МГ1 < 00}. Понятно, что множество ?1 соответствует семейству вероятностных распределений на множестве неотрицательных целых чисел, П7 — семейству вероятностных распределений на множестве неотрицательных целых чисел с математическим ожиданием 7.

Если у 6Е П, то для е > 0 через Ое (у) будет обозначаться множество.

Ое (у) — {х ^ < уие£ для всех v = 0,1,.}.

Во втором параграфе первой главы доказывается теорема об ограниченности энтропии дискретных распределений с ограниченным математическим ожиданием.

Теорема 1. Об ограниченности энтропии дискретных распределений с ограниченным математическим ожиданием.

Для любого ж 6 П7.

H (x).

Если х € fly соответствует геометрическому распределению с математическим оэюиданием 7, то есть 7 х&bdquo- = (1- р) р v = 0,1,., где р = ——,.

1 + 7 то имеет место равенство.

H (x) = F (<7).

На утверждение теоремы можно смотреть как на результат формальv ного применения метода условных множителей Лагранжа в случае бесконечного количества переменных. Теорема о том, что единственное распределение на множестве {к, к + 1, к + 2,.} с данным математическим ожиданием и максимальной энтропией есть геометрическое распределение с данным математическим ожиданием, приведена (без доказательства) в /47/. Автором, тем не менее, дано строгое доказательство.

В третьем параграфе первой главы дается определение обобщенной метрики — метрики, допускающей бесконечные значения.

Для х, у € Q определяется функция р (х, у) как минимальное е > О со свойством уие~£ <�хи< уиее для всех и = 0,1,. Если такого е не существует, то полагается, что р (х, у) = оо.

Доказывается, что функция р{х, у) — обобщенная метрика на семействе распределений на множестве неотрицательных целых чисел, а также на всем множестве Cl*. Вместо е в определении метрики р{х, у) можно использовать любое другое положительное, число, отличное от 1. Получающиеся при этом метрики будут отличаться на мультипликативную константу. Обозначим через J (x, у) информационное расстояние.

00? J (x, y) = Е In—.

1/=0 Уи.

Здесь и далее полагается, что 0 In 0 = 0,0 In jj = 0. Информационное расстояние определено для таких х, у, что х&bdquo- = 0 для всех и таких, что уи = 0. Если это условие не выполнено, то будем полагать J (x, ij) = оо. Пусть Л СП. Тогда будем обозначать.

J (А У) = |nf J (x, y).

Положим.

7(0, у) = 00.

В четвертом параграфе первой главы дается определение компактности функций, заданных на множестве Q*. Компактность функции от счетного числа аргументов означает, что с любой степенью точности значение функции может быть приближено значениями этой функции в точках, где лишь конечное количество аргументов отлично от нуля. Доказывается компактность функций энтропии и информационного расстояния.

1. Для любого 0 < 7 < оо функция Н (х) компактна на.

2. Если для некоторого 0 < 70 < оо.

Р е то для любых 0<7<�оо, г>0 функция х) = J (x, p) компактна на множестве Ц7] П Ог (р).

В пятом параграфе первой главы рассматриваются свойства информационного расстояния, задаваемого на бесконечномерном пространстве. По сравнению с конечномерным случаем ситуация с непрерывностью функции информационного расстояния качественно меняется. Показывается, что функция информационного расстояния не является непрерывной на множестве ни в одной из метрик.

Pl&V) = Е Хи~У", и=0.

Е {xv — Уи)2 v=Q.

Рз{х, у) = 8Upxu-yv. v.

Доказывается справедливость следующих неравенств для функций энтропии Н{х) и информационного расстояния J (x, p):

1. Для любых х, х' € fi.

Н{х) — Н (х') < - 1){Н{х) + Н{х')).

2. Если для некоторых х, р е П существует е > 0 такое, что х 6 0£(р), то для любого х'? Q J{x, p) — J (x', p)| < (е'М — 1){Н{х) + Н{х') + ееН (р)).

Из этих неравенств с учетом теоремы 1 следует равномерная непрерывность функций энтропии и информационного расстояния на соответствующих подмножествах Q в метрике p (x, y) t, а именно,.

1. Для любого 7 такого, что 0 < 7 < оо, функция Н (х) равномерно непрерывна на Г2[7] в метрике р (ж, у);

2. Если для некоторого 70, 0 < 70 < оо.

Р €.

ТО для любых 0<7<�оои£>0 функция.

Л р{х) = J (x, p) равномерно непрерывна на множестве П Ое (р) в метрике р{х, у).

Метрика р (х, у) подбиралась автором специально, чтобы функции энтропии и информационного расстояния были непрерывны в ней на необходимых подмножествах ?1.

Дается определение неэкстремальности функции. Условие неэкстремальности означает то, что функция не имеет локальных экстремумов, либо функция принимает в локальных минимумах (локальных максимумах) одинаковые значения. Условие неэкстремальности ослабляет требование отсутствия локальных экстремумов. Например, функция sin х на множестве действительных чисел имеет локальные экстремумы, но удовлетворяет условию неэкстремальности.

Пусть для некоторого 7 > 0, область, А задается условием.

А = {х € VLv4>(x) > а}, (0.9) где ф (х) — действительнозначная функция, а — некоторая действительная константа, inf ф (х) < а < inf ф (х).

Изучался вопрос, при каких условиях на функцию ф при изменении параметров n, N в центральной области, ^ —-> 7, при всех достаточно больших их значениях найдутся такие неотрицательные целые ко, к,., кп, что к0 + ki +. + кп = N, к + 2к2. + пкп — N и.

Ф (ко к кп.

N>N'-'N.

-?, 0,0 ,.)>а.

Доказывается, что для этого от функции ф достаточно потребовать неэкстремальное&trade-, компактности и непрерывности в метрике р (х, у), а также того, что хотя бы для одной точки х, удовлетворяющей (0.9), для некоторого е > 0 существует конечный момент степени 1 + е и х&bdquo- > 0 для любого v = 0,1,.

Во второй главе исследуется грубая (с точностью до логарифмической эквивалентности) асимптотика вероятности больших уклонений функций от Д = (^0) ¦ • •) Ц" п, 0, •.) — числа ячеек с заданным заполнением в центральной области изменения параметров N, n. Грубой асимптотики вероятностей больших уклонений достаточно для изучения индексов критериев согласия.

Пусть случайные величины ^ в (0.2) одинаково распределены и.

P (z) — производящая функция случайной величины — сходится в круге радиуса 1 < R < оо. Следуя /38/, для 0 < z < R обозначим через ?(z) случайную величину такую, что.

Ml+? =? i1+ex" < 00.

0.10) к] = Рк, к = 0,1,.

•).

Обозначим.

Если существует решение уравнения м Z (z) = ъ то оно единственно /38/. Всюду в дальнейшем будем предполагать, что рк > О, А- = 0,1,.

В первом пункте первого параграфа второй главы находится асимптотика логарифмов вероятностей вида.

1пР{/х0 = ко,., цп = кп}.

Доказывается следующая теорема.

Теорема 2. Грубая локальная теорема о вероятностях больших уклонений. Пусть п, N —" оо так, что jj ->7,0 <7 < оо, существует z7 — корень уравнения M?(z) = 7, с. в. £(г7) имеет положительную дисперсию. Тогда для любого k G Cl (n, N).

1пР{Д = к} = JftpK)) + O (^lniV).

Утверждение теоремы следует непосредственно из формулы для совместного распределения fii,. fin в /26/ и следующей оценки: если неотрицательные целочисленные величины • • •, Нп удовлетворяют условию.

Hi + 2д2 + • • • + ПНп = п, то число ненулевых величин среди них есть 0(л/п). Это грубая оценка, не претендующая на новизну. Число ненулевых цг в обобщенных схемах размещения не превосходит величины максимального заполнения ячеек, которое в центральной области с вероятностью, стремящейся к 1, не превосходит величины O (lnn) /25/,/27/. Тем не менее, полученная оценка 0(у/п) выполняется с вероятностью 1 и ее достаточно для получения грубой асимптотики.

Во втором пункте первого параграфа второй главы находится значение предела где адг — последовательность действительных чисел, сходящаяся к некоторому a G R, ф (х) — действительнозначная функция. Доказывается следующая теорема.

Теорема 3. Грубая интегральная теорема о вероятностях больших уклонений. Пусть выполнены условия теоремы 2, для некоторых г >0,С> 0 действительная функция ф (х) компактна, равномерно непрерывна в метрике р на множестве.

А = 0r+<-(p (z7)) П Ц7+с] и удовлетворяет условию неэкстремальности на множестве fly. Если для некоторой константы, а такой, что inf ф (х) < а < sup ф (х). xeily существует вектор ра € fi7 П 0r (p (z7)) — такой, что.

Ф{ра) > а и j ({(x) >а, хе П7}, р (2−7)) = 7(ра, р (*у)) mo для любой последовательности а^, сходящейся к а,.

JimvbPW%%,.)>aN} = J (pa, p (2h)). (0.11).

При дополнительных ограничениях на функцию ф (х) информационное расстояние J (pa, p{z7)) в (2.3) удается вычислить более конкретно. А именно, справедлива следующая теорема. Теорема 4. Об информационном расстоянии. Пусть для некоторого 0 < 7 < оо для некоторвх г > 0, С > 0 действительная функция ф (х) и ее частные производные первого порядка компактны и равномерно непрерывны в обобщенной метрике р (х, у) на множестве р G.

А = Ог (р) П %+с] существуют Т > 0, R > 0, такие, что для всех t <�Т, 0 < z < R, x е А.

Е^ехр^—ф (х)} < оо,.

00 д.

0.12).

00 д д.

0(a-)exp{t—< со, i/=o oxv 0X1/ для некоторого е > О оо Q pvv1+?zu exp{t—ф{х)} < оо, (0.13) и существует единственный вектор x (z, t), удовлетворяющий системе уравнений xv (z, t) = pvzv ехр {Ь—ф (х (г, t))}, v = 0,1,. функция ф (х) удовлетворяет на множестве, А условию неэкстремальности, а — некоторая константа, ф (р) < а < sup ф (:x)(z, t),.

00 vpv{za, ta) = 7, 1/=0.

0(р (*аЛ)) = а, где.

Pv{Z, t).

Тогда p (za, ta) € и.

J ({x e А, ф (х) = а}, р) = J (p{za, ta), p).

00 д 00 д = lnza + taYl ir-(x (za, ta)) — In Е^г/ехр{ta-z—(p (zatta))}. j/=0 C^i/ t^=0.

Если функция ф (х) — линейная функция, и функция f (x) определена при помощи равенства (0.5), то условие (0.12) превращается в условие Крамера для случайной величины f{?{z)). Условие (0.13) есть форма условия (0.10) и используется при доказательстве наличия в областях вида {х G ф (х) > а} хотя бы одной точки из 0(n, N) при всех достаточно больших п, N..

Пусть^)(п, N) = (hi,., /гдг) — вектор частот в обобщенной схеме размещения (0.2). В качестве следствия из теорем 3, 4 формулируется следующая теорема..

Теорема 5. Грубая интегральная теорема о вероятностях больших уклонений симметричных разделимых статистик в обобщенной схеме размещения..

Пусть п, N —" оо так, что ^ —> 7, 0 < 7 < оо, существует z1 — корень уравнения М?(, г) = 7, с. в. ?(27) имеет положительную дисперсию и максимальный шаг распределения 1, а — некоторая константа, f (x) — действительная функция, а < Mf (^(z1)), существуют Т > 0, R > 0 такие, что для всех |t| <�Т, 0 < z < R,.

00 оо, и=0 существуют такие ta.

Е vVi/(«01 ta) = Ъ где f{v)p"{za, ta) = а, 1/=0.

Тогда для любой последовательности адг, сходящейся к а,.

Jim — — InF"{—? f (h") > aN} = J (p{za, ta), p{z7)).

1 1 N.

00 7 In 2a + taa — In? p^/e^M i/=0.

Эта теорема впервые была доказана А. Ф. Ронжиным в /38/ с использованием метода перевала..

Во втором параграфе второй главы исследуются вероятности больших уклонений разделимых статистик в обобщенных cxj^iax разме- ^ ^ щения в случае невыполнения условию Крамера для случайной величины f (€(z)). Условие Крамера для случайной величины f (?(z)) не выполняется, в частности, если ?(z) — пуассоновская случайная величина, a f (x) — х2. Заметим, что условие Крамера для самих разделимых статистик в обобщенных схемах размещения выполняется всегда, так как при любых фиксированных п, N число возможных исходов в этих схемах конечно..

Как отмечено в /2/, если условие Крамера не выполнено, то для отыскания асимптотики вероятностей больших уклонений сумм одинаково расq пределенных случайных величин требуется выполнение дополнительных. f.

—-— V и.. I условий правильного изменения на распределение слагаемого. В работе j.

О, 5 рассматривается случай, соответствующий выполнению условия (3) в /2/, то есть семиэкспоненциальный случай. Пусть P{?i = к} > 0 для всех к = 0,1,. и функцию р (к) = -пР{^ = к}, можно продолжить до функции непрерывного аргумента — правильно меняющейся функции порядка р, 0 < р < со /45/, то есть положительной функции такой, что при t —> оо p{tx) хр..

P (t).

Пусть функция f (x) при достаточно больших значениях аргумента — положительная строго возрастающая, правильно меняющаяся функция порядка Определим функцию ср (х), положив для достаточно больших х ф)=р (Гх))..

На остальной числовой оси ip (x) может быть задана произвольным ограниченным измеримым образом..

Тогда с. в. /(?i) имеет моменты любого порядка и не удовлетворяет условию Крамера, р (х) = о (х) при х —> со, и справедлива следующая Теорема 6. Пусть при достаточно больших х функция ip (x) монотонно не убывает, фг^кция монотонно не возрастает, п, N —> оо так, что jj —> А, 0 < Л < оогд — единственный корень уравнения M^i (^) = Л, тогда для любого с > b (z), где b (z) = M/(?i (.z)), существует предел CN} = -(с — b (z))4..

Из теоремы б следует, что ири невыполнении условия Крамера предел lim 1 InP{LN (h (n, N)) > cN} = 0, ^ ^ iv—too iv что доказывает справедливость гипотезы, высказанной в /39/. Таким образом, значение индекса критерия согласия в обобщенных схемах размещения ири невыполнении условия Крамера всегда равно нулю. При этом в классе критериев, когда условие Крамера выполняется, строятся критерии с ненулевым значением индекса. Отсюда можно сделать вывод, что использовать критерии, статистика которых не удовлетворяет условию Крамера, например, критерий хи—квадрат в полиномиальной схеме, для построения критериев согласия для проверки гипотез при несближающихся альтернативах в указанном смысле асимптотически неэффективно. Подобный вы-вод^был сделан в /54/ по результатам сравнения статистик хи—квадрат и отношения максимального правдоподобия в полиномиальной схеме..

В третьей главе решается задача построения критериев согласия с наибольшим значением индекса критерия (наибольшим значением нижнего индекса критерия) для проверки гипотез в обобщенных схемах размещения. На основе результатов первой и второй глав о свойствах функций энтропии, информационного расстояния и вероятностей больших уклонений в третьей главе находится функция вида (0.4) такая, что критерий согласия, построенный на ее основе, имеет наибольшее значение точного нижнего индекса в рассматриваемом классе критериев. Доказывается следующая теорема..

Теорема 7. О существовании индекса. Пусть выполнены условия теоремы 3, 0 < /3 < 1, Н = Hp (i), Hp (2>,. — последовательность альтернативных распределений, а, ф ((3, N) — максимальное число, для которого при гипотезе Нр<�ло выполнено неравенство существует предел lim^—оо о>ф{Р, N) — а. Тогда в точке (/3, Н) существует индекс критерия ф.

Зфф, Н) = 3{{ф (х) >а, х? ^.PW)..

При этом.

Шй)<�ШН)> где w/fo fh ч v^l ^.

В Заключении излагаются полученные результаты в их соотношении с общей целью и конкретными задачами, поставленными в диссертации, формулируются выводы, но результатам диссертационного исследования, указываются научная новизна, теоретическая и практическая ценность работы, а также конкретные научные задачи, которые выявлены автором и решение которых представляется актуальным..

Краткий обзор литературы по теме исследования. В диссертационной работе рассматривается задача построения критериев согласия в обобщенных схемах размещения с наибольшим значением индекса критерия в классе функций вида (0.4) при несближающихся альтернативах..

Обобщенные схемы размещения были введены В. Ф. Колчиным в /24/. Величины в полиномиальной схеме были названы числом ячеек с г дробинками и подробно изучены в монографии В. Ф. Колчина, Б. А. Севастьянова, В. П. Чистякова /27/. Величины fir в обобщенных схемах размещения исследовались В. Ф. Колчиным в /25/,/26/. Статистики вида (0.3) впервые были рассмотрены Ю. И. Медведевым в /30/ и получили название разделимых (аддитивно разделимых) статистик. Если функции /" в (0.3) не зависят от и, такие статистики были названы в /31/ симметричными разделимыми статистиками. Асимптотика моментов разделимых статистик в обобщенных схемах размещения была получена Г. И. Ивченко в /9/. Предельные теоремы для обобщенной схемы размещения рассматривались также в /23/. Обзоры результатов предельных теоремах и критериях согласия в дискретных вероятностых схемах типа (0.2) были даны В. А. Ивановым, Г. И. Ивченко, Ю. И. Медведевым в /8/ и Г. И. Ивченко, Ю. И. Медведевым, А. Ф. Ронжиным в /14/. Критерии согласия для обобщенных схем размещения были рассмотрены А. Ф. Ронжиным в /38/..

Сравнение свойств статистических критериев в указанных работах проводилось с точки зрения относительной асимптотической эффективности. Рассматривались случае сближающихся (контигуальных) гипотез — эффективность в смысле Питмена и несближающихся гипотез — эффективность в смысле Бахадура, Ходжеса — Лемана и Чернова. Связь между различными видами относительной эффективности статистических критериев обсуждается, например, в /49/. Как следует из результатов 10. И. Медведева в /31/ о распределении разделимых статистик в полиномиальной схеме, наибольшую асимптотическую мощность при сближающихся гипотезах в классе разделимых статистик от частот исходов в полиномиальной схеме имеет критерий, основанный на основе статистики хи—квадрат. Данный результат был обобщен А. Ф. Ронжиным для схем типа (0.2) в /38/. И. И. Викторовой и В. П. Чистяковым в /4/ построен оптимальный критерий для полиномиальной схемы в классе линейных функций от /хг. А. Ф. Ронжин в /38/ построил критерий, который при последовательности несближающихся с нулевой гипотезой альтернатив минимизирует логарифмическую скорость стремления вероятности ошибки первого рода к нулю, в классе статистик вида (0.6). Сравнение относительной эффективности статистик хи—квадрат и отношения максимального правдоподобия при сближающихся и несближающихся гипотезах было проведено в /54/..

В диссертационной работе рассматривался случай несближающися гипотез. Изучение относительной статистической эффективности критериев при несближающихся гипотезах требует исследования вероятностей сверхбольших уклонений — порядка 0(i/n). Впервые такая задача для полиномиального распределения с фиксированным количеством исходов решалась И. Н. Сановым в /40/. Асимптотическая оптимальность критериев согласия для проверки простых и сложных гипотез для полиномиального распределения в случае конечного числа исходов при несближающихся альтернативах рассматривалась в /48/. Свойства информационного расстояния ранее рассматривались Кульбаком, Лейблером /29/,/53/ и И. II. Сановым /40/, а также Хеффдингом /48/. В указанных работах непрерывность информационного расстояния рассматривалась на конечномерпых пространствах в евклидовой метрике. Рядом автором рассматривалась последовательность пространств с растущей размерностью, например, в работе Ю. В. Прохорова /37/ или в работе В. И. Богачева, А. В. Колесникова /1/. Грубые (с точностью до логарифмической эквивалентности) теоремы о вероятностях больших уклонений разделимых статистик в обобщенных схемах размещения при выполнении условия Крамера были получены А. Ф. Ронжиным в /38/. А. Н. Тимашевым в /42/,/43/ получены точные (с точностью до эквивалентности) многомерные интегральные и локальные предельные теоремы о вероятностях больших уклонений вектора fir^n, N),., iir.{n, N), где s, г,., rs — фиксированные целые числа,.

О <�П < ..

Исследование вероятностей больших уклонений при невыполнении условия Крамера для случая независимых случайных величин проведено в работах А. В. Нагаева /35/. Метод сопряженных распределений описан у Феллера /45/..

Статистические задачи проверки гипотез и оценивания параметров в схеме выбора без возвращения в несколько иной постановке рассматривались Г. И. Ивченко, В. В. Левиным, Е. Е. Тимониной /10/, /15/, где решались задачи оценивания для конечной совокупности, когда число ее элементов является неизвестной величиной, доказывалась асимптотическая нормальность многомерных S — статистик от s независимых выборок в схеме выбора без возвращения. Задача изучения случайных величин, связанных с повторениями в последовательностях независимых испытаний исследовалась А. М. Зубковым, В. Г. Михайловым, А. М. Шойтовым в /6/, /7/, /32/, /33/, /34/. Анализ основных статистических задач оценивания и проверки гипотез в рамках общей модели Маркова—Пойа проведен Г. И. Ивченко, Ю. И. Медведевым в /13/, вероятностный анализ которой был дан в /11/. Способ задания неравновероятпых мер на множестве комбинаторных объектов, не сводимый к обобщенной схеме размещения (0.2) был описан в Г. И. Ивченко, Ю. И. Медведевым /12/. Ряд задач теории вероятностей, в которых ответ может быть получен в результате вычислений ио рекуррентным формулам, указан А. М. Зубковым в /5/..

Неравенства для энтропии дискретных распределений были получены в /50/ (цитируется по реферату А. М. Зубкова в РЖМат). Если {pn}^Lo — распределение вероятностей, оо.

Рп = Е Рк, к=тг.

А = supp^Pn+i < оо (0.14) п> 0 и.

F{x) = (х + 1) In (ж + 1) — х In х, то для энтропии Я этого вероятностного распределения.

00 я = - 5Z Рк^Рк к=0 справедливы неравенстваL 1 00 00 Р.

Я + (Inf-)? (Арп — Рп+1) < F (А) < Я +? (АРп — P"+i)(ln.

Л D п=Пt п.4−1 и неравенства превращаются в равенства, если.

Рп= {xf1)n+vn>Q. (0.15).

Заметим, что экстремальное распределение (0.15) есть геометрическое распределение с математическим ожиданием Л, а функция F (А) от параметра (0.14) совпадает с функцией от математического ожидания в теореме 1..

3.4. Выводы.

В настоящей главе на основе результатов предыдущих глав удалость построить критерий согласия для проверки гипотез в обобщенных схемах размещения с наибольшей логарифмической скоростью стремления^нулю вероятностей ошибок первого рода^ри фиксированной вероятности ошибки первого рода и несближающихся альтернативах. ~ «.

Заключение.

Целью диссертационной работы было построения критериев согласия для проверки гипотез в схеме выбора без возвращения из урны, содержащей шары 2 цветов. Автором было решено изучать статистики, построенные на основе частот расстояний между шарами одного цвета. В такой постановке задача была сведена, к задаче проверки гипотез в подходящей обобщенной схеме размещения..

В диссертационной работе были.

— исследованы свойства энтропии и информационного расстояния дискретных распределений с неограниченным количеством исходов при ограниченном математическом ожидании-.

— получена грубая (с точностью до логарифмической эквивалентности) асимптотика вероятностей больших уклонений широкого класса статистик в обобщенной схеме размещения-.

— на основе полученных результатов построена функция критерия с наибольшей логарифмической скоростью стремления к нулю вероятности ошибки первого рода при фиксированной вероятности ошибки второго рода и несближающихся альтернативах-.

— доказано, что статистики, не удовлетворяющие условию Крамера, имеют меньшую скорость стремления к нулю вероятностей больших уклонений по сравнению со статистиками, удовлетворяющими такому условию..

Научная новизна работы заключается в следующем..

— дано понятие обобщенной метрики — функции, допускающей бесконечные значения и удовлетворяющей аксиомам тождества, симметрии и неравенства треугольника. Найдена обобщенная метрика и указаны множества, на которых функции энтропии и информационного расстояния, заданные на семействе дискретных распределений со счетным числом исходов, непрерывны в этой метрике-.

— в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений статистик вида (0.4), удовлетворяющих соответствующей форме условия Крамера-.

— в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера-.

— в классе критериев вида (0.7) построен критерий с наибольшим значением индекса критерия..

В работе решен ряд вопросов о поведении вероятностей больших уклонений в обобщенных схемах размещения. Полученные результаты могут быть использованы в учебном процессе по специальностям математическая статистика и теория информации, при исследовании статистических процедур анализа дискретных последовательностях и были использованы в /3/, /21/ при обосновании защищенности одного класса информационных систем..

Однако, ряд вопросов остается открытым. Автор ограничился рассмотрением центральной зоны изменения параметров n, N обобщенных схем размещения п частиц по N ячейкам. Если носитель распределения случайных величин, порождающие обобщенную схему размещения (0.2), не есть множество вида г, г +1, г + 2,., то при доказательстве непрерывности функции информационного расстояния и исследовании вероятностей больших уклонений требуется учитывать арифметическую структуру такого носителя, что в работе автора не рассматривалось. Для практического применения критериев, построенных на основе предлагаемой функции с максимальным значением индекса, требуется изучение ее распределения как при нулевой гипотезе, так и при альтернативах, в том числе и сближающихся. Интерес представляет также перенос разработанных методов и обобщение полученных результатов на другие вероятностные схемы, отличные от обобщенных схем размещения..

Если — частоты расстояний между номерами исхода 0 в биномиальной схеме с вероятностями исходов ро> 1— Ро, то можно показать, что в этом случае.

РЬ = kh. t fin = кп} = I (± iki = n){kl + —, (3.3) v= K. Kn где.

О* = Ро~1(1 ~Po), v =.

Из анализа формулы для совместного распределение величин цг в обобщенной схеме размещения, доказанной в /26/, следует, что распределение (3.3), вообще говоря, не может быть представлено в общем случае как совместное распределение величин цг в какой—либо обобщенной схеме размещения частиц по ячейкам. Данное распределение является частным случаем распределений па множестве комбинаторных объектов, введенных в /12/. Представляется актуальной задачей перенос результатов диссертационной работы для обобщенных схем размещения на этот случай, что и обсуждалось в /52/..

Если число исходов в схеме выбора без возвращения или в полиномиальной схеме размещения больше двух, то совместное распределение частот расстояний между соседними одинаковыми исходами уже не может быть представлено таким простым образом. Пока удается подсчитать только математическое ожидание и дисперсию числа таких расстояний /51/..