Применение экспертных оценок в тестировании

экспертный оценка тестирование искажение.

Способы использования экспертных оценок в тестировании

По словам А. И. Орлова: «Методы экспертных оценок — это методы организации работы со специалистами-экспертами и обработки мнений экспертов» (Орлов, 2002). То есть, в самом определении метода не обозначается узконаправленная область его применения. Однако, в тестировании и разработке тестов экспертные оценки используются, чаще всего, на этапе оценивания респондентов. Одним из самых привычных способов использования экспертных оценок в России — это оценка результатов части С в ЕГЭ. Основным параметром для отнесения задания к категории «экспертное оценивание» является политомический характер оценки, чаще всего это относится к заданиям со свободно конструируемым ответом.

Однако, экспертные оценки используются не только для анализа ответов респондентов на открытые задания. Другим популярным методом использования экспертных оценок является выставление пороговых баллов в рамках классической теории тестирования. Для этого существует несколько методов, одним из которых является модифицированный метод Ангофф (Crocker, Algina, 2008). Кроме этого, известно использование экспертных оценок для определения DIF, содержательной валидности (Zhu, 1998). При этом, нужно учитывать, что не каждая область, в которой используют экспертные оценки, действительно в этом нуждается, и не всегда использование экспертов является необходимым или самым оптимальным решением, так как экспертные оценки имеют как свои преимущества, так и недостатки, о которых будет сказано позже.

В частности, экспертные оценки используются для выравнивания вариантов теста разных лет (Bramley, 2005). В данном случае использование экспертных оценок уменьшает затраты на выравнивание, так как, по мнению автора, отпадает необходимость в общих заданиях или испытуемых. В данном исследовании эксперты ранжировали работы респондентов от лучшей к худшей (не зная их баллов), и результаты показали, что такой метод позволяет сопоставлять баллы 2003 и 2004 годов тестирования.

Кроме этого, известно использование экспертных оценок для оценки трудности заданий, что близко к проблеме нашего исследования (Hamp-Lyons et al., 1994). По результатам этого исследования было выяснено, что эксперты дают согласованную оценку трудности заданий (на примере теста по языку MELAB) без предварительного обучения оцениванию заданий. Эксперты показали высокие корреляции и значимую связь с результатами тестирования. Авторы статьи не применяли психометрических методов для анализа деятельности экспертов, но их анализ показал, что, несмотря на высокую согласованность, эксперты неверно оценивают трудность задания. Предполагалось, что с возрастанием трудности задания полученный балл будет снижаться, однако в полученных результатах связь была не обратной, а прямой. Причинами этому могут быть маленькая выборка исследования (4 эксперта), принципы оценивания (для оценки трудности задания брали сумму баллов экспертов). Другие причины могли бы быть выявлены в ходе психометрического анализа. Авторы предлагают несколько возможных причин таких результатов, связанных, в основном, с оцениванием студенческих работ, однако в дальнейшей работе их необходимо учитывать и проверять.

Экспертные оценки в тестировании также используются для сокращения опросников, преимущественно на основании суждения о репрезентативности набора заданий исследуемому конструкту. При этом, применяются различные техники использования уже полученных экспертных оценок (Hardesty, 2004). Авторы статьи выделяют три основных используемых метода: использование суммарного балла (чаще всего, 3 — задание репрезентативно, 1 — не репрезентативно) для отбора заданий, подсчет экспертов, которые оценили задание как полностью репрезентативное и подсчет экспертов, которые оценили задание как полностью нерепрезентативное.

Одной из особенностей экспертной оценки как метода оценивания респондентов или заданий является большая вероятность возникновения побочных эффектов. В настоящее время существуют разные классификации этих искажений, однако, в любом случае, такие ошибки вносят сложности в экспертное оценивание.

С точки зрения оценивания экспертных оценок ответов респондентов существует достаточно большой опыт, включающий в себя, в том числе, методы многопараметрического анализа IRT, дающие исчерпывающие результаты качества экспертной оценки. Эти методы позволяют не только оценить степень согласованности экспертных оценок, но и математически выявить эффекты и искажения, возникающие в процессе оценки.