Экспериментальная часть. 
Метод максимального правдоподобия и его модификации

В этой и следующей главах мы переходим к описанию исследования, проведенного непосредственно самим автором. Если какие-то результаты, представленные в этой главе, позаимствованы из других источников, это будет явно указано.

В этой главе будут предложены способы адаптации традиционного метода максимального правдоподобия для работы с признаками, связанными монотонным нелинейным и немонотонным типами зависимости. Затем будет проверена и сравнена эффективность традиционного метода максимального правдоподобия и его модификаций на основании результатов серии применения этих методов к искусственно смоделированным данным, связанным различными типами зависимости.

Адаптация метода максимального правдоподобия к нелинейным зависимостям

Как показано в первой главе, в факторном анализе предполагается, что значения признаков линейно зависят от общих факторов, а, следовательно, и между собой. Однако на практике это предположение редко является обоснованным.

Как уже было сказано, в факторном анализе в качестве меры связи между признаками используется ковариация или же, гораздо чаще, корреляция. Однако корреляция является мерой линейной зависимости между двумя случайными величинами, поэтому в случае нелинейной зависимости признаков она теряет в информативности. Более того, если между признаками имеется зависимость немонотонного типа, то вообще пропадает смысл использовать корреляцию или ковариацию, как меру связи между ними.

Тем не менее, в случаях линейной зависимости признаков модель факторного анализа достаточно хорошо описывает действительность, проста для понимания и является эффективной для многих реальных ситуаций. Поэтому не хотелось бы совсем отказываться от методов факторного анализа, если признаки нелинейно зависимы. Естественным образом возникает вопрос: а нельзя ли внести небольшие изменения в методы факторного анализа, чтобы основная идея осталась прежней, но методы стали эффективными и для случаев нелинейной зависимости тоже.

В качестве этих изменений предлагается следующее. Попробуем заменить коэффициент корреляции на меру связи, которая будет более информативной в случае нелинейной зависимости.

Предположим, заранее известно, что зависимость между признаками монотонного типа. В этом случае в качестве меры связи предлагается использовать коэффициент ранговой корреляции Спирмена.

Пусть — независимые наблюдения над случайным вектором признаков. Тогда являются значениямиго признака для этих наблюдений. Рассмотрим два признака и. Пусть — ранг элемента в выборке. Другими словами, если мы упорядочим по возрастанию, окажется под номером. Аналогично, — ранг элемента в выборке. Пусть и — соответствующие средние арифметические рангов, т. е., .

Тогда коэффициент ранговой корреляции двух признаков и вычисляется по формуле:

Матрицу, состоящую из коэффициентов ранговой корреляции, мы обозначаем как .

По факту, коэффициент ранговой корреляции Спирмена показывает, насколько хорошо зависимость между двумя случайными величинами может быть описана монотонной функцией. Поэтому он не подходит, если даже предположение о монотонности зависимости между признаками не представляется обоснованным. В этом случае предлагается заменить коэффициенты корреляции на коэффициенты Крамера.

Чтобы вычислить коэффициент Крамера для двух признаков and, в первую очередь необходимо построить таблицу сопряженности этих признаков. В нашем случае таблица сопряженности строится следующим образом. Упорядочим каждую из выборок и в порядке возрастания и разобьем полученные последовательности на заданное число интервалов равной длины. Тогда на пресеченииой строки иго столбца таблицы сопряженности должно стоять число наблюдений, у которых значенияго иго признаков попали соответственно вый иый интервалы. Элемент, стоящий на пересечении последней строки иго столбца должен равняться числу наблюдений, чьи значенияго признака попали вый интервал, т. е. просто сумме элементовго столбца. Для элемента на пересеченииой строки и последнего столбца все симметрично. На пересечении последней строки и последнего столбца находится общее число наблюдений. Таким образом, таблица сопряженности признаков and имеет вид:

Таблица 3.1. Таблица сопряженности.

Интервал.	Интервал.	Интервал.
Интервал.
Интервал.
Интервал.

Отметим, что для простоты мы разбили значения обоих признаков на равное число интервалов. (У нас оно обозначено как). Однако, в общем случае число интервалов может быть разным.

Следующим шагом к получению коэффициента Крамера для признаков и является вычисление статистики хи-квадрат для этих признаков.

Она вычисляется на основании таблицы сопряженности по следующей формуле:

Тогда формула для вычисления коэффициента Крамера следующая:

Следует отметить, что эта формула верна только если значения признаков были разбиты на равное число интервалов. В общем случае в знаменателе дроби вместо должно стоять минимальное из этих чисел.

Матрицу, состоящую из коэффициентов Крамера, мы обозначаем как .

Попробуем подать на вход методу максимального правдоподобия вместо выборочной корреляционной матрицы матрицу или, в зависимости от того, что нам известно о типе связи между признаками.

Необходимо признать, что, заменяя выборочную корреляционную матрицу на или, мы жертвуем теоретической обоснованностью. Кроме того, возникают некоторые неясности. Например, цель измененного метода такая же как и у первоначального — оценить нагрузочную матрицу. Но давайте вспомним, что именно мы называем матрицей. В прошлых главах мы предполагали, что каждый признак может быть представлен как линейная комбинация общих факторов плюс частный фактор. Матрицей мы называли матрицу из коэффициентов этих линейных комбинаций. Однако сейчас мы допускаем, что признаки могут нелинейно зависеть друг от друга, а, следовательно, и от общих факторов. Значит, их нельзя представить в виде линейных комбинаций факторов.

Так что же теперь мы подразумеваем под ?

Тем не менее, несмотря на то, что наша замена одного коэффициента другим носит чисто эмпирический характер, в случае нелинейной зависимости признаков, модифицированные методы оказываются более эффективными, чем традиционный. Это будет продемонстрировано в следующих разделах.