2 Искажения, связанные с экспертными оценками

Так как метод экспертных оценок предполагает непосредственное оценивание заданий экспертом по открытым критериям, высока вероятность возникновения искажений, связанных с личностью эксперта. Эти искажения классифицируются на следующие классические виды (Myford, 2003):

• 1. Эффект строгости/снисходительности
• 2. Эффект центральной тенденции
• 3. Эффект гало
• 4. Эффект ограничения спектра

Существуют также и более дробные классификации возможных эффектов. В рамках данной работы мы также рассмотрим эффект случайности. Стоит отметить, что эффекты строгости/снисходительности и центральной тенденции представляют собой частные случаи эффекта ограничения спектра. Рассмотрим представленные выше эффекты более подробно, согласно обзорной статье Кэрол Майфорд (Myford, 2003).

Эффект строгости/снисходительности Существует множество определений эффекта строгости / снисходительности, однако можно говорить о том, что, в целом, они схожи между собой. Самое первое определение эффекта снисходительности принадлежит Книланду и звучит как тенденция эксперта «ставить оценку выше среднего по используемой шкале» (Kneeland, 1929, p. 356). Позднее Гилфорд добавил к этому определению свойство, согласно которому снисходительный эксперт будет снисходительным вне зависимости от черты, которую он оценивает. Позднее к характеристике снисходительности начали относиться в большей степени как к личностной характеристике эксперта. Этот аспект впоследствии рассматривался с разных сторон, в том числе, экспертам приписывалось нежелание ставить низкие баллы знакомым, и в данном случае это не было личностной чертой.

Для того, чтобы помочь экспертам избежать этого эффекта, применяются разные техники, в том числе:

• · Четко определить категории используемых шкал
• · Обозначить по несколько категорий с положительной и отрицательной стороны
• · Ознакомить экспертов с возможностью наличия такого эффекта
• · Заранее ограничить количество респондентов на каждую категорию оценки или попросить ранжировать респондентов
• · Использовать несколько экспертов для оценки одного респондента
• · Использовать статистические методы для сопоставления баллов у строгих и не строгих экспертов

Эффект центральной тенденции Чаще всего в определении эффекта центральной тенденции говорится о том, что эксперт чрезмерно часто использует средние баллы на шкале, избегая крайних категорий. Такое поведение часто считается типичным в ситуации оценивания малознакомых респондентов, однако оно ведет к снижению надежности и валидности за счет сужения спектра оценок.

Диагностика эффекта центральной тенденции чаще всего происходит посредством сравнения среднего балла эксперта с центром шкалы.

Для уменьшения эффекта центральной тенденции применяется ряд стратегий:

• · Четко определить категории используемых шкал
• · Ввести более четкие различия между категориями шкал, особенно расположенными ближе к центру
• · Не делать крайние категории слишком нетипичными
• · Рассказать экспертам о наличии эффекта
• · Заранее ограничить количество респондентов на каждую категорию оценки или попросить ранжировать респондентов

Эффект гало Считается, что эффект Гало является самым изученным из всех классических эффектов. Общим определением этого эффекта можно считать следующее: «Существует внутренняя тенденция оценивать за общие заслуги, когда необходимо оценить по какому-то конкретному показателю, и позволять общему впечатлению об индивидууме повлиять на его результат по шкале» (Cooper, 1981, стр. 218). Впоследствии было принято много определений этого эффекта, но, в целом, все они подразумевают наличие связи между впечатлением от респондента и оценкой за задание, не обусловленной оцениваемыми характеристиками. При этом, также существует точка зрения, говорящая о том, что существует не только «ложное» гало, но и «истинное», которое оценивает нужную характеристику по связанным с ней чертам респондента.

Для уменьшения эффекта гало применяются различные техники:

• · Четко определить каждую характеристику и разделить характеристики между собой
• · Если критериев несколько, периодически менять порядок следования категорий
• · Ознакомить экспертов с возможностью наличия такого эффекта
• · Использовать процедуру, когда один эксперт оценивает всех респондентов по одной характеристике в один промежуток времени, а потом переходит к другой
• · Уменьшить количество критериев, либо использовать несколько экспертов для оценки одного респондента

Эффект ограничения спектра Эффект ограничения спектра связан с эффектом центральной тенденции. Различия между ними заключаются в том, что ограничение спектра подразумевает не только выбор средних категорий, но и предпочтение высоких или низких категорий.

При этом, важно учитывать, что наличие такого эффекта не всегда является искажением — так, существует исследование, в котором демонстрируется, что японские и тайванские студенты используют середину шкалы чаще, чем американские и канадские, в то время как американские студенты используют крайние категории чаще других (Chen et al., 1995). Таким образом, эффект ограничения спектра может быть обусловлен не только личностными, но и социально-культурными особенностями эксперта, и такую возможность необходимо учитывать, если будет обнаружено ограничение спектра на групповом уровне.

Для определения наличия этого эффекта исследуют дисперсию баллов, полученных всеми респондентами по одному критерию (чем меньше дисперсия, тем больше эффект), распределение частотности баллов по критерию (остроконечное распределение может свидетельствовать о наличии эффекта) и анализируют несоответствие между респондентом, экспертом и критерием.

Для уменьшения эффекта используются те же стратегии, что и при работе с эффектом центральной тенденции.

Эффект случайности Под эффектом случайности подразумевается тенденция эксперта применять один или несколько критериев в манере, отличной от других экспертов. Такой эксперт непостоянен в использовании шкалы и демонстрирует более случайное распределение, чем должно быть на основании его оценок. Причиной этого может быть неверная интерпретация шкалы, которая ведет к ее отличному от других использованию.

Для уменьшения эффекта случайности применяются следующие стратегии:

• · Четко определить категории используемых шкал
• · Ознакомить экспертов с возможностью наличия такого эффекта
• · Использовать несколько экспертов для оценки одного респондента

В рамках данной работы мы будем анализировать обнаружение эффектов строгости / снисходительности, случайности и центральной тенденции.