Статистический контроль и проблема надежности измерений

Общие принципы дисперсионного и корреляционного / регрессионного анализа, рассмотренные выше, имеют значение не только в плане реализации статистического контроля в корреляционных и квазиэкспериментальных исследованиях. Эти принципы во многом определяют важные аспекты организации прикладной практической работы психолога-диагноста, связанной с разработкой стандартизированных психодиагностических методик — тестов и опросников. Базовыми требованиями к таким методикам являются требования надежности и валидности психометрической процедуры. В этом параграфе мы посмотрим, в какой степени ранее рассмотренные процедуры корреляционного и дисперсионного анализа помогают в решении этих психометрических задач.

Надежность психометрических процедур

Надежность результата психодиагностического измерения можно определить как его соответствие самому себе. Предполагается, что дисперсия выполненных измерений может происходить из двух источников. Одним из этих источников является само измеряемое качество, другим источником вариативности данных, как и в случае экспериментальных процедур, выступает статистическая ошибка, отражающая влияние неконтролируемых условий, сопутствующих самой процедуре измерения.

Таким образом, можно предположить, что всякий результат измерения для произвольно выбранного i-го испытуемого включает в себя по меньшей мере две аддитивные части — измеряемое индивидуальное свойство, обозначим его как ?, и ошибку измерения ?. Формально это может быть выражено следующим образом:

Величина ?, как предполагается, должна оставаться неизменной при применении одного и того же или сходных измерительных инструментов, тогда как ошибка измерения? варьирует, определяя дисперсию самого результата измерения.

Если мы проведем k различных измерений одного и того же индивидуального свойства у одного испытуемого, получим.

Таким образом, различия между k измерениями определяются различиями ошибки измерения. В то же время, проведя однотипный набор измерений для п испытуемых, мы получим различия оценок X, которые определяются как различиями в проявлении исследуемого индивидуального свойства, так и различиями, которые являются следствием ошибки измерения.

Таблица 8.3

Результаты k измерения одного и того же индивидуального свойства у и испытуемых.

Испытуемый.	Измерение.					Сумма.	Среднее.
		…	j.	…	k.
		…		…
. . .						…
i.		…		…
. . .						…
n.		…		…
Сумма.		…		…
Среднее.		…		…

Пусть у нас имеются k измерений одной и той же индивидуальной характеристики для п испытуемых. Эти результаты представлены в табл. 8.3. Как видим, структура этих данных практически идентична той, что уже известна по материалам статистического анализа однофакторных экспериментальных планов с повторными измерениями (см. также табл. 4.1). Мы знаем, что в таких планах присутствуют два основных источника дисперсии: 1) различия между испытуемыми и 2) различия внутри испытуемых. В табл. 8.4 приведены теоретические ожидаемые значения средних квадратов для этих источников дисперсии, данных в терминах рассматриваемой структурной модели.

Таблица 8.4

Дисперсионный анализ k измерений для п испытуемых.

Источник дисперсии.	Ожидаемые значения для средних квадратов.
Между испытуемыми.
Внутри испытуемых.

Средний квадрат, выражающий вариативность данных для всех испытуемых, оценивается как.

Дисперсия средних оценок, полученных испытуемыми, очевидно, может быть оценена следующим образом:

Таким образом, имеем.

(8.10).

Ожидаемое значение для дисперсии средних оценок, полученных п испытуемыми в k измерениях, будет включать в себя дисперсию средних значений ошибки измерения и дисперсию измеряемого индивидуального свойства:

Тогда, используя соотношение между средним квадратом между испытуемыми и дисперсией средних значений (8.10), можно найти ожидаемые значения среднего квадрата. Они отражены в табл. 8.4.

Выразим надежность средней оценки по k различным измерениям для i-го испытуемого как:

(8.11).

Иными словами, надежность измерения можно определить как отношение дисперсии истинного значения измеряемого признака к сумме дисперсий истинного значения признака и ошибки измерения, которая, очевидно, представляет собой дисперсию результата измерения X. В общем случае это определение надежности можно выразить так:

(8.12).

Формула (8.12), однако, может быть выражена и по-другому:

(8.13).

Формула (8.13), иначе называемая формулой Рюлона, показывает, что величина надежности теста определяется дисперсией ошибки измерения. Чем больше ошибка, тем больше неопределенность истинного значения измеренного свойства. Понятно, что в этой ситуации эмпирическое значение полученного испытуемым результата по данному тесту является неинформативным до тех пор, пока эта ошибка измерения не будет оценена с той или ной степенью точности.

Для того чтобы оценить дисперсию измеряемого признака, необходимо из величины среднего квадрата, определяющего различия между испытуемыми, вычесть средний квадрат, определяющий различия внутри испытуемых, и полученную разность разделить на число измерений. Для оценки среднего значения дисперсии измерений необходимо средний квадрат, определяющий различия внутри испытуемых, разделить на число измерений (см. табл. 8.4). Подставляя полученные таким образом оценки интересующей нас дисперсии в уравнение (8.11) и умножая числитель и знаменатель на число измерений, имеем.

(8.14).

или, что-то же самое,.

(8.15).

Надежность каждого конкретного измерения можно определить так:

Тогда оценка надежности для него может быть выражена следующим образом:

(8.16).

Принимая во внимание положения структурной модели однофакторного дисперсионного анализа с повторными измерениями, которые мы подробно рассматривали в гл. 4 (см. подпараграф 4.1.1), уравнение (8.16) можно выразить следующим образом:

Результат деления ковариации на произведение стандартных отклонений двух величин, как мы выяснили, определяет корреляцию этих величин. Отсюда, определение величины надежности измерения может предполагать использования корреляционных методов. Конкретные процедуры использования этих методов зависят от того, что мы хотим оценить: надежность всего теста — k или же только отдельных его пунктов — 1.

Что касается надежности теста в целом, то после несложных алгебраических преобразований уравнения (8.14) можно показать, что.

(8.17).

Формула (8.17) известна в психометрике как формула Спирмена — Брауна. Она является основной для оценки надежности измерений.

Если говорить о конкретных методических процедурах оценки надежности теста, принятых в психометрике, то здесь выделяют два аспекта определения надежности: 1) ретестовую и 2) одномоментную надежности.

Ретестовая надежность определяется в результате повторения измерения на одной и той же выборке испытуемых, скажем, с интервалом в одну или две недели. Если измеряемое свойство обладает достаточно высокой степенью устойчивости, например, речь идет об измерении интеллектуальных способностей, результат тестирования должен воспроизводиться с достаточно высокой степенью. Для оценки возможности воспроизведения результата можно использовать уже знакомый нам коэффициент корреляции Пирсона.

Возникает, однако, вопрос: как можно оценить статистическую надежность получаемого результата? Понятно, что в этом случае бессмысленным будет выдвижение нулевой гипотезы о равенстве теоретического значения коэффициента корреляции нулевому значению. Ведь нас интересует не столько дисперсия самого измеряемого признака, сколько величина остаточной дисперсии, которая и определяет точность измерения.

Мы знаем, что доля остаточной дисперсии может быть оценена как величина 1 — r2. Это значит, что, даже если величина коэффициента корреляции между двумя измерениями составляет 0,9, доля остаточной дисперсии и, следовательно, процент ошибки измерения могут достигать величины 20%. Иными словами, в рассмотренном случае разброс тестовых значений примерно на 1/5 оказывается определен величиной статистической ошибки. Проблема, однако, состоит в том, что и такого значения корреляции, как правило, не удается достичь в процессе валидизации психодиагностических методик. Обычно коэффициент корреляции между двумя результатами измерения одного и того же признака очень редко оказывается выше значения 0,7−0,8.

Решением этой проблемы является использование специальной корректирующей процедуры для расчета «истинного» тестового балла X'. Такой истинный балл может быть получен для i-го испытуемого следующим образом:

где X' - скорректированный тестовый балл; Xi — эмпирический балл i-го испытуемого; X — среднее значение, но тесту для всех испытуемых; r — коэффициент корреляции между двумя тестированиями.

Другим способом определения надежности теста является оценка его одномоментной надежности. Она заключается во внутренней согласованности различных версий теста, которые принято именовать параллельными. Необязательно, чтобы такие параллельные формы теста существовали в окончательном виде. Чаще всего они получаются в результате случайного расщепления составного теста на две половины. Проще всего в качестве таких случайных половин целого теста использовать четные и нечетные пункты теста. Таким образом, тестирование происходит всего один раз, что особенно важно в тех ситуациях, когда измеряемое свойство оказывается в значительной степени изменчивым, как, например, величина ситуативной тревоги. Затем проводится раздельный подсчет тестовых баллов для четной и нечетной половин теста, и между этими половинами вычисляется значение коэффициента корреляции. Для оценки надежности всего теста можно воспользоваться формулой Спирмена — Брауна. Для двух измерений она будет выглядеть следующим образом:

Понятно, что этот коэффициент надежности зависит от того, между какими частями теста рассчитывается корреляция. Более надежным считается способ расчета синхронной надежности теста.

Этот способ позволяет учесть возможности различного разбиения теста.

В простейшем случае, если результат по каждому пункту теста представляет собой дихотомическое значение, например ответы «да» и «нет», оценка синхронной надежности может быть получена по формуле Кьюдера — Ричардсона. Результатом вычисления по этой формуле будет коэффициент:

(8.18).

где k — число пунктов, или заданий, теста;  — оценка дисперсии по всему тесту; pj и qj представляют собой частоты каждого из двух возможных ответов на j-й пункт теста.

В общем случае для оценки синхронной надежности используется коэффициент, а Кронбаха:

(8.19).

где - оценка дисперсии по j-му пункту теста;

Поскольку в случае применения и формулы (8.18), и формулы (8.19) мы имеем дело с оценкой дисперсии выполненных нами измерений, распределение которой, как известно, описывается в соответствии с законом ?2, статистическую надежность коэффициента, а можно оценить в результате построения статистики ?2, имеющей n — 1 степеней свободы:

где п — число испытуемых, прошедших тестирование.

Предполагая однородность вариационно-ковариационной матрицы отдельных пунктов теста, выражение (8.19) может быть представлено формулой Спирмена — Брауна для k измерений.

Теперь обратимся к оценке надежности отдельных пунктов теста.

Такая оценка аналогична оценке надежности теста в целом. Она также может быть ретестовой и одномоментной.

При расчете ретестовой надежности пункта вычисляется коэффициент корреляции между двумя результатами выполнения одних и тех же заданий одними и теми же испытуемыми. Если в тесте используются дихотомические пункты («решил» — «не решил», «да» — «нет»), то в «ручных» расчетах удобно использовать формулу ?-коэффициента (7.8) (см. подпараграф 7.1.2). Полученное значение коэффициента корреляции может быть оценено относительно нулевого в соответствии с фиксированной линейной моделью, рассмотренной в гл. 7. Однако на практике этого оказывается недостаточным, так как статистически надежное отличие коэффициента корреляции между результатами двух тестирований может не обеспечить достаточно низкого значения остаточной дисперсии, которое, как мы знаем, определяет точность измерений. Поэтому обычно при разработке и стандартизации тестовых процедур принято отбрасывать пункты, не обеспечивающие корреляцию между результатами двух тестирований выше 0,71, т. е. дающие значение остаточной дисперсии выше 50%-ного уровня.

Одномоментная, синхронная, надежность пунктов оценивается в результате расчета коэффициента корреляции этого пункта с суммарным баллом по всем пунктам теста. Таким образом, процедура повышения надежности отдельных пунктов теста сводится по сути к повышению их внутренней согласованности. Однако избыточное повышение внутренней согласованности отдельных пунктов теста может привести к появлению в распределении тестовых баллов выраженного, но, очевидно, нежелательного, отрицательного эксцесса.