Основные выводы. 
Эффективность медицинских вмешательств

В данной работе было проанализировано 70 исследований, проводившихся для изучения 5 разных лекарственных препаратов. Вероятность ложноположительного результата в разных исследованиях разных серий получила значения от 0,005% до 24%. Для большинства исследований полученная вероятность ошибки первого рода была в рамках традиционных 5%, такой уровень риска считается приемлемым большинством исследователей. Для одной серии исследований вероятность того, что полученные положительные результаты в некоторых испытаниях из всего ряда являются ложноположительными, превысила 20%. Такой уровень ошибки первого рода для медицинских испытаний является очень высоким.

Полученные результаты показывают, что исследования с достаточно низким значением p (p<0,001) даже в сериях, где они являются единственным исследованием со статистически значимым положительным результатом, показывают небольшую вероятность ошибки первого рода. Исследования, чье значение p было в районе 0,05, который считается приемлемым при анализе одиночного исследования, при анализе в серии показывали значительно большую вероятность ошибки перового рода, которая не всегда может быть приемлемой.

В ходе исследования было выявлено, что меры, принимаемые по проспективной регистрации клинических испытаний пока что недостаточны, и среди опубликованных материалов обнаруживаются результаты исследований, которые не были предварительно зарегистрированы в регистрах клинических испытаний. По всей видимости, некоторые испытания были внесены в регистры ретроспективно, что могло отразить публикационное смещение и касаться только тех исследований, которые показали положительный результат.

Также исследование показало, что не все препараты, прошедшие одобрение FDA, проходили рандомизированые контролируемые испытания. Подобные серии исследований нельзя проверить на вероятность ложноположительного результата, поскольку в самих исследованиях не заложен расчет вероятности ошибки первого рода.

Результаты исследования показывают, что вероятность ложноположительного результата значительно отличается в случае одиночного испытания вмешательства и в случае проведении серии несравнимых между собой испытаний. Для корректной оценки статистической значимости положительного результата, показанного в испытании, нужно учитывать не только данные самого испытания, но и все испытания, проведенные для оценки эффективности данного вмешательства. Из результатов исследования можно сделать предварительный вывод, что традиционный уровень статистической значимости, принятый для медицинских испытаний, равный 0,05 в современных условиях является недостаточным. Современные условия, когда значительно возросло количество проводимых испытаний с каждым исследуемым вмешательством, а также увеличилось количество исходов, по которым оценивается эффективность и безопасность в каждом испытании, требуют снижения допустимого уровня ошибки первого рода в каждом отдельном испытании и в оценке каждого исхода.

Также результаты данного исследования подтверждают общественную важность своевременной публикации результатов всех проведенных клинических испытаний. Только при условии, что результаты всех испытаний будут публиковаться, можно будет корректно оценивать количество гипотез, которые были проверены относительно рассматриваемого вмешательства и оценить долю истинных гипотез среди общего числа.

Оценка вероятности того, что представленный положительный результат испытания эффективности нового вмешательства является ложноположительным, имеет большое экономическое значение для здравоохранения. На доказательствах эффективности вмешательства и оценках размера эффекта базируются расчеты об экономической эффективности расходования ресурсов здравоохранения на одни или другие меры. В случае принятия решения о предоставлении вмешательства за счет средств общественного здравоохранения на основании ложноположительного результата испытания, средства здравоохранения будут потрачены впустую, а экономическая эффективность трат будет нулевой. Оценка того, насколько вероятно, что представленный результат является ложноположительным, может служить основанием для принятия решения о регистрации, закупке, предоставлении рассматриваемого вмешательства. При сравнении нескольких вмешательств между собой, оценка вероятности ложноположительных результатов может использоваться в расчетах эффективности затрат, при этом предполагаемая эффективность затрат будет обратно пропорциональна вероятности ложноположительного результата испытания в серии.