Статистический анализ эффектов

Размер эффекта и уровень значимости в метаанализе

Как уже было сказано выше, основной задачей метаанализа является установление мер центральной тенденции и вариативности показателя размера эффекта, отражающего направление и силу связи, установленной в исследовании. Уровень значимости связан с вероятностью получения этого результата в случае неправомерного отвержения нулевой гипотезы об отсутствии связи.

Уровень значимости может быть выражен как функция размера эффекта и величины выборки, и наоборот. Классические нарративные обзоры чаще всего основываются на фактах, связанных со статистической значимостью полученных в исследованиях результатов. Метаанализ как количественный анализ в первую очередь рассматривает размеры эффектов. На самом деле схожие связи, полученные в нескольких исследованиях, даже не достигая уровня значимости, являются более мощным доказательством в пользу наличия этой связи, чем единственный полученный значимый результат1.

Метаанализ направлен на выявление популяционного размера эффекта путем конвертирования размеров эффектов из индивидуальных исследований в единую метрику и последующего вычисления взвешенного среднего размера эффекта (weighted mean effect size) и его стандартной ошибки. Процедура взвешивания означает присвоение размеру эффекта, полученного в более «точном» исследовании, большего веса при подсчете «истинного» популяционного эффекта. В этом случае мера взвешивания является той или иной функцией размера выборки исследования. Наиболее часто анализируются размеры эффектов, полученные в исследованиях: 1) сравнивающих две независимые группы по интересующему параметру, 2) устанавливающих меру линейной связи между двумя переменными и 3) оценивающих взаимосвязь между двумя дихотомическими переменными.

Двумя основными классами показателей размера эффекта являются так называемые r-класс и «/-класс показателей (параграф 6.2.2). r-класс (корелляции как произведения моментов) включает г Пирсона в случае континуальных переменных, ф — для дихотомических переменных, точечно-бисериальный коэффициент — для континуальных/ дихотомических переменных, р — для ранговых переменных и Zr (трансформация г Фишера), а также различные квадратичные индексы (например, коэффициент множественной детерминации К1), d-класс представлен d Коэна, g Хеджеса и 8 Гласса: все три дробных показателя имеют одинаковый числитель (разница средних Л/, — М2) и общую дисперсию, квадратный корень из общей дисперсии и квадратный корень из дисперсии контрольной группы в знаменателе соответственно. Оба класса показателей могут быть преобразованы в показатели другого класса, и обычно метааналитику требуется принять решение о том, в какую метрику перевести все размеры эффектов.

Модели фиксированных и случайных популяционных эффектов

Существует два принципиальных подхода к метаанализу: модель фиксированных эффектов и модель случайных эффектов {fixedи random-effects model). Первая модель предполагает, что неизвестный популяционный эффект константен во всех включенных в метаанализ исследованиях, тогда как для второй модели ключевым является предположение о том, что получаемые результаты варьируют, будучи случайно отобранными из так называемой суперпопуляции (т.е. присутствует эффект выборки). Во втором случае исследования, включаемые в метаанализ, рассматриваются только как часть всех возможных исследований на выбранную тему, а в первом — как составляющие весь возможный спектр исследований. С точки зрения статистики разница выражается в том, что для модели фиксированных эффектов стандартная ошибка, связанная с размером эффекта, включает только интраиндивидуальную вариативность в исследованиях, а модель случайных эффектов включает еще и компонент вариативности как функции различий между исследованиями.

Выбор модели связан с выбором относительно возможных обобщений: модель фиксированных эффектов предполагает, что результаты метаанализа и основанные на них выводы относятся к исследованиям, включенным в метаанализ (т.е. обсуждаются параметры эффектов, полученных в данных исследованиях). Применение же модели случайных эффектов позволяет генерализовывать выводы за пределы конкретных исследований и специфических выборок: исследователь делает вывод о распределении параметров эффектов в популяции исследований, не ограниченных анализируемыми исследованиями и, более того, могущих не быть в точности им идентичными. Использование модели случайных эффектов чаще всего предпочтительнее, поскольку в реальности популяционные параметры скорее вариативны, чем константны. Тем не менее Хантер и Шмидт с сожалением отмечают, что до сих пор исследователи чаще всего используют модель фиксированных эффектов. Это приводит и к игнорированию вариативности в изучаемых эффектах, а также при вычислении уровня значимости полученного популяционного эффекта приводит к снижению контроля за вероятностью ошибки первого рода.

Так, Филд [2005], используя широко применяемый метод Монте-Карло1, показал, что из 21 метаанализа, недавно опубликованного в журнале Psychological Bulletin, от 9 до 17 могли ошибочно сообщить о наличии значимого эффекта в популяции при использовании модели фиксированных эффектов. Модель случайных эффектов, представленная, в частности, подходом Хантера и Шмидта, в последние годы рассматривается как наиболее реалистичная.

Основные подходы к метаанализу данных

Хотя единственного «верного» метода проведения метаанализа не существует, при проведении метаанализа исследователям следует придерживаться трех базовых принципов: точности и аккуратности, простоты и ясности. Авторы указывают на то, что часто сложность метаанализа препятствует его адекватной интерпретации, тогда как собственно статистический анализ должен способствовать научному познанию, а не препятствовать ему путем умножения механистических подходов [Wilkinson, 1999]. В последние три десятилетия систематически разрабатывались два основных методических подхода к собственно метаанализу данных, предоставляющие исследователям обоснование и инструкции для проведения метааналитических вычислений: 1) подход Хеджеса — Олкина и Розенталя — Рубима, 2) подход Хантера и Шмидта [см.: Корнилов, Корнилова, 2010].

Выбор метода, как и выбор модели, связан с тем, какие цели преследует данный метаанализ, поскольку различные методы по-разному подходят для решения тех или иных задач при различных условиях (например, малом количестве включенных индивидуальных исследований, наличии вариативности в популяционном эффекте).