Тестирование. 
Методология и методы научного исследования

Понятие теста.

Тестирование все шире используется в психологопедагогических исследованиях. Исследователи все чаще обращают внимание на объективность получаемых результатов, а тесты являются объективным методом исследования. Особенно активно в настоящее время создаются тесты оценки учебных достижений. При этом они не всегда отвечают необходимым требованиям. В данном параграфе подробно изложены этапы разработки теста учебных достижений.

Существуют различные точки зрения на определение теста.

Тест — это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии анализа результатов для измерения качеств и свойств личности, учебных достижений, изменение которых возможно в процессе систематического обучения^[1].

В. С. Аванесов^[2] предлагает различение теста как метода и теста как инструмента измерения. Тест как метод — это технология измерения, включающая разработку системы тестовых заданий с заданными качественными и количественными характеристиками, стандартизированную процедуру проведения тестирования, использующая методы статистической обработки, анализа и интерпретации полученных результатов.

Тест как инструмент измерения определяется как система заданий специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков учащихся. Таким образом, основными характеристиками теста являются:

• — наличие заранее спланированной системы тестовых заданий, которые нельзя изменять или корректировать;
• — предварительная проверка тестовых заданий и теста в целом с помощью методов математической статистики с целью привести их к заданным количественным и качественным характеристикам;
• — стандартизированная процедура проведения, описанная в инструкции для пользователя;
• — стандартизированная система оценки и сравнения полученных результатов со стандартными шкалами для определения балла или уровня ответа испытуемых.

Четкая классификация тестов по единому основанию отсутствует. Это связано с многообразием тестов и их огромным количеством. Чаще всего тесты классифицируют по их предназначению или направлению диагностики: тесты диагностики способностей, интеллекта, черт личности, психических процессов (ощущений, чувств, восприятия, воображения, памяти, мышления и т. д.), отношений и т. п. Существует деление тестов по форме (рисуночные, проективные, бланковые и др.). Еще одна классификация — по сфере использования — тесты, использующиеся в профориентации, патопсихологии, школьной психологии и т. д. Первые тесты учебных достижений представляли собой тесты на решение арифметических задач, правописание, оценка почерка, рассуждение. С тех пор они претерпели значительные изменения, но их цель — определение уровня обученности — остается неизменной.

Этапы разработки теста. Процесс создания педагогического теста, соответствующего перечисленным выше требованиям, делится на несколько этапов:

• 1. Определение цели тестирования, выбор вида теста, подхода к его созданию.
• 2. Анализ содержания учебной дисциплины и отбор содержания для теста. Определение структуры теста. Разработка спецификации теста.
• 3. Составление тестовых заданий.
• 4. Экспертный анализ содержания и формы тестовых заданий. Переработка содержания и формы заданий по результатам экспертизы.
• 5. Проведение пробного тестирования.
• 6. Обработка результатов тестирования.
• 7. Оценка качества тестовых заданий и теста в целом с помощью статистических методов.
• 8. Корректировка теста по результатам предыдущего этапа.
• 9. Составление окончательного варианта теста, нормирование (установление норм) и стандартизация теста. Разработка инструкции для пользователя.

Определение цели тестирования, выбор вида теста, подхода к его созданию. Этап планирования очень важен при разработке теста. От его полноты будет зависеть время, затраченное разработчиком на создание теста (если планирование было неполным или ошибочным, то тест придется переделывать и перепроверять) и точность теста как инструмента измерения.

Традиционно разработчик любой методики, прежде всего, обращает внимание на содержание учебной дисциплины, знание которого он хочет проверить. Но при разработке теста в первую очередь необходимо определить цель тестирования и подход к его созданию. От этого будет зависеть подбор заданий теста и их последующая статистическая проверка.

При определении цели тестирования необходимо указать:

• — вид контроля (входной, текущий, рубежный, итоговый, отсроченный);
• — наличие в тесте заданий разного уровня сложности.

В современной отечественной дидактике принято выделять три уровня сложности заданий. Первый уровень — репродуктивный — предполагает задания на воспроизведение понятий, правил, принципов, алгоритмов и т. д.; знание законов и теорем с указанием всех величин; применение знаний по образцу в соответствии с предлагаемыми ориентирами. Второй уровень — конструктивный — отражает знания в знакомой ситуации путем применения алгоритмов; включает задачи конструктивного характера, при выполнении которых учащимся приходится использовать несколько алгоритмов, формул, теорем, которые даны в явном виде; задания на применение знаний и умений. Ученик должен проанализировать возможные пути решения, отыскать характерные признаки познавательного объекта, установить его связи с другими объектами. Третий уровень — творческий — включает задания, в которых проявляются умения использовать знания в незнакомой ситуации, найти выход из нестандартной ситуации, требующие выбора одного из возможных вариантов.

Все большее распространение находит таксономия учебных целей (таксономия — иерархическая последовательность), разработанная в 50-е гг. XX в. известным американским педагогом Б. Блумом. Ее использование при создании тестов предпочтительнее, так как в ней более четко описаны характеристики заданий каждого уровня (табл. 3.11).

Таблица 3.77

Таксономия учебных целей (по Б. Блуму).

¹ Davies I. К. Competency Based Learning: Technology, Management, and Design. Mc-Graw Hill Book Company, N.-Y., 1993. 256 p.; Чернявская А. П., Байбородова Л. В., Харисова И. Г. Технологии педагогической деятельности. Часть 1: Образовательные технологии: учеб, пособие / под ред. Л. В. Байбородовой и А. П. Чернявской. Ярославль: Изд-во ЯГПУ, 2012. 311 с.

Проблема точности измерений в тестировании и в целом при определении качества обучения является не до конца решенной. Общий вывод таков: чем четче и конкретнее будет поставлена цель, тем легче измерить уровень ее достижений у учащихся. При создании средств измерения важна операционализация результатов обучения, в ходе которой общая цель переводится в термины конкретных действий или операций, выполняемых учащимися.

Схема 3.2

Этапы операционализации цели обучения.

В состав требований к планируемым результатам обучения обычно включают систему изучаемых объектов, описание видов учебной деятельности и качества усвоения учебного материала. М. В. Кларин отмечает, что ориентация на внешние стороны деятельности учащихся повышает технологичность описания целей^[3]. Повышению конкретизации описания результатов учебной деятельности, по его мнению, способствует использование ряда глаголов, непосредственно характеризующих деятельность ученика.

Например, цель «изучить использование символических обозначений на погодной карте» разворачивается в виде совокупности учебных результатов ученика, который должен уметь:

• — воспроизводить по памяти символы, употребляемые на карте погоды;
• — опознавать символы на карте;
• — читать карту, используя символы;
• — составлять карту, пользуясь символами;
• — уметь по заданной карте дать прогноз погоды.

Несмотря на расхожее мнение о возможности операционализации только результатов низкого познавательного уровня, процессу операционализации подлежат цели более высокого уровня. Для этого нужны определенные навыки тех, кто берется за создание тестов.

Основные категории конкретизированных учебных целей, разработанные М. В. Клариным в несколько измененном виде, удобном для задач измерения, приводятся в табл. 3.12.

Таблица 3.12

Конкретизированные цели обучения.

На первом этапе определяется также подход к тестированию.

В настоящее время существует два подхода к разработке тестов: нормативно-ориентированный и критериально-ориентированный, соответственно, различают два вида тестов.

Тест, созданный в рамках нормативно-ориентированного подхода, позволяет сравнивать уровень учебных достижений испытуемых друг с другом. В нем за максимальный балл принимается самый лучший результат, показанный учащимися. В данном виде теста производится сопоставление результатов каждого учащегося с результатами других, выполнявших тот же тест. Таким образом, основной задачей нормативно-ориентированного теста является дифференциация испытуемых.

Может показаться, что один и тот же испытуемый с одинаковым результатом в более слабой группе должен получить более высокий балл, чем в более сильной, т. е. оценка будет носить относительную характеристику. Так иногда происходит при традиционном оценивании, когда педагог ставит оценку, ориентируясь на знания большинства класса.

При этом учащийся за один и тот же уровень знаний в более сильном классе получает тройку, а в более слабом может получить и пятерку.

Для того чтобы избежать этого, тестологи пришли к идее выработки норм, относительно которых и будут оцениваться результаты испытуемых. Нормы нельзя просто задать, они устанавливаются эмпирическим путем. Тестируется вся популяция, для которой разрабатывался тест, а потом сравнивается индивидуальный балл учащегося с полученными результатами. Наличие норм позволяет сравнить индивидуальный балл испытуемого с установленными нормами и оценить его место среди других испытуемых.

Критериально-ориентированный тест служит для определения уровня освоения учащимся содержания какого-либо предмета, дисциплины, раздела, темы. За максимальный балл принимается знание учащимися 100% содержания тестируемого раздела. В основе такого теста лежит сопоставление продемонстрированных знаний и умений испытуемого (правильно выполненные задания) с планируемым объемом знаний и умений в конкретной области содержания (математика, физика, русский язык; отдельные темы, разделы). Критерий оценки задается экспертами на основе образовательных стандартов.

Тест, созданный в рамках критериально-ориентированного подхода, дает возможность получить полную и объективную информацию об учебных достижениях учащегося в отдельности и группы учеников; сравнить знания, умения и навыки ученика с требованиями, заложенными в ФГОС; оценить эффективность различных программ обучения. При создании критериально-ориентированного теста особое внимание уделяется тому, чтобы задания теста соответствовали области содержания и адекватно отражали все ее элементы.

В современной тестологии можно заметить тенденцию объединения нормативнои критериально-ориентированных подходов. По мнению М. Б. Мельниковой, интерпретация результатов теста по отношению к определенному содержанию учебной дисциплины вовсе не снимает возможности дифференциации индивидуальных различий учеников^[4]. Идея создания таких тестов очень интересна, так как информативность теста в результате объединения двух подходов намного повышается.

Анализ содержания учебной дисциплины и отбор содержания для теста. Определение структуры теста. Разработка спецификации. После определения цели тестирования и подхода к тестированию разработчики определяют содержание теста. Для этого выбирается содержание учебной дисциплины (раздел, тема) для которой будет разрабатываться тест. Содержание теста должно соответствовать содержанию учебной дисциплины. Чтобы достичь этого соответствия, необходимо проанализировать содержание раздела или темы, выделить важные элементы (дидактические единицы, понятия и т. д.), которые требуют проверки, определить, какие знания и умения в этой области содержания будут проверяться с помощью тестовых заданий.

По мнению В. С. Аванесова, отбор содержания теста должен следовать определенным принципам. Во-первых, принципу репрезентативности: тест должен ориентироваться на проверку содержательно значимых элементов, которые можно отнести к наиболее важным, ключевым. По результатам выполнения теста можно судить о знании или незнании испытуемым всей программы (объема) проверяемого предмета, раздела, темы. Во-вторых, принцип системности, который предполагает отбор содержательных элементов для проверки, связанных между собой общей структурой знаний. При соблюдении этого принципа тест используется не только для проверки объема знаний, но и для оценки качества структуры знания.

Далее разрабатывается план теста. Разработчик должен определить, из скольких частей (субтестов) будет состоять тест, планируемое количество заданий, какие формы тестовых заданий будут использоваться. Планирование теста предполагает определение соотношения элементов содержания и необходимого количества заданий для их проверки, которое определяется значимостью и количеством времени, отведенном на изучение.

Пример

Более эффективен способ планирования теста, при котором учитываются не только элементы содержания, но и виды деятельности, которые подвергаются проверке, или уровни сложности заданий. В этом случае необходимо определить, сколько заданий будет соответствовать конкретному разделу и выделить количество заданий разного уровня сложности в каждом разделе. При этом самых простых и самых сложных заданий разрабатывается меньше, чем заданий среднего уровня сложности.

Гипотетическая спецификация теста^[5]:

А — знание понятий, определений, терминов;

В — знание законов и формул;

С — умение применять законы и формулы для решения задач;

D — умение интерпретировать результаты на графиках и схемах;

Е — умение проводить оценочные суждения.

Каждый тест должен сопровождаться спецификацией, т. е. его описанием, где указываются цели тестирования, для кого этот тест предназначен, содержание проверки, процентное соотношение заданий по различным разделам и видам деятельности, используемые формы заданий, рекомендуемое время выполнения. Спецификация теста разрабатывается с учетом нормативных документов и образовательных стандартов, которые используются при планировании содержания теста.

На этом же этапе планируется длина теста, которая устанавливается в зависимости от целей тестирования, объема проверяемого содержания и возраста испытуемых. В качестве первоначальной длины итогового теста предлагается 60—80 заданий из расчета: общее время тестирования 1,5—2 часа в среднем по 2 минуты на задание.

Для того чтобы не проводить повторной разработки тестовых заданий и математико-статистической проверки теста, в первоначальном варианте целесообразно разработать на 20—25% больше заданий, чем предполагает окончательная форма теста. В процессе статистической обработки будут удалены задания, не соответствующие требуемым критериям.

Составление тестовых заданий. Составление тестовых заданий — один из важнейших этапов в процессе создания теста. Один из ведущих принципов составления заданий — принцип конгруэнтности, т. е. соответствия содержания заданий проверяемой области содержания. Разработчики должны четко представлять, какой конкретный элемент содержания или умение проверяет каждое задание. С помощью задания проверяется что-то одно. Неправильно считать, что лучше составлять задания на проверку нескольких знаний. Неопределенность предмета измерения может привести к двусмысленности формулировки, что ухудшает качество самого теста и влияет на результаты измерения^[6].

Тестовые задания подразделяются по типам, формам и видам, среди которых можно выделить типы:

• — закрытые (формы: альтернативных ответов, множественного выбора, восстановления соответствия, восстановления последовательности);
• — открытые (с формами: дополнения и свободного изложения).

Об особенностях каждого вида заданий говорилось в параграфе 3.2 данного учебного пособия. Также вы можете прочитать подробное описание видов и форм заданий в учебном пособии^[7].

При составлении тестовых заданий рекомендуется начинать с формулировки правильного ответа, это помогает избежать возникновения нескольких правильных ответов на задание. При подборе дистракторов надо помнить о том, что все дистракторы должны быть равно привлекательны. Подбор дистракторов — достаточно сложная задача. Иногда для их создания можно использовать неправильные ответы самих учащихся. Для этого на предварительном тестировании испытуемым даются задания в открытой форме на дополнение. Типичные ошибки учащихся при выполнении задания будут правдоподобными дистракторами.

Выбор типа и формы тестовых заданий производится в соответствии с содержанием теста. При этом не рекомендуется включать в один тест более трех форм тестовых заданий (например, задания альтернативных ответов, множественного выбора и на дополнение). Задания одной формы рекомендуется группировать. Это требование обусловлено тем, что при переходе с заданий одной формы на другую испытуемые тратят время на привыкание к другой системе ответов и время выполнения теста увеличивается.

Экспертный анализ содержания и формы тестовых заданий. Переработка содержания и формы заданий по результатам экспертизы. После разработки первоначальной формы теста необходимо провести ее проверку. Чаще всего такая проверка проводится экспертами. В качестве экспертов могут выступать преподаватели, учителя, другие специалисты, хорошо знакомые с тестируемым содержанием и основами разработки тестов. Для проверки необходимо привлекать не менее 2—4 экспертов. Эксперты не должны иметь отношения к созданию теста. Иногда в качестве дополнительных экспертов могут выступать сами учащиеся, которые проверяют понятность формулировок вопросов и качество дистракторов.

В задачу экспертов входит проверка и оценка:

• — инструкции к тесту;
• — спецификации теста, в частности, соответствия процента вопросов для тестирования каждого из разделов объему и уровню сложности раздела;
• — тестовых заданий на соответствие заявленному уровню сложности;
• — формулировок тестовых заданий на соответствие требованиям к составлению тестовых заданий;
• — вариантов ответов на соответствие требованиям к вариантам ответов и требованиям к дистракторам.

Эксперты внимательно прочитывают инструкцию и выполняют каждое задание теста. Все их рекомендации фиксируются в специальных протоколах. На основе полученных рекомендаций разработчик дорабатывает тест. При доработке необходимо учитывать, что индивидуальное мнение эксперта может быть ошибочным и не каждая оценка должна быть учтена. Но если все эксперты высказали одно и то же мнение, то его необходимо учесть обязательно.

После доработки отдельных заданий необходимо еще раз проанализировать тест в целом, поскольку доработка могла нарушить спецификацию теста или требования к тесту. Особенно тщательную проверку необходимо проводить, если тест относится к гетерогенным (т.е. направлен на проверку знаний по нескольким предметам) или каждое из заданий направлено на реализацию двух целей (например, проверку знаний по конкретному предмету и в то же время метапредметных умений).

• [1] Майоров А. Н. Теория и практика создания тестов для системы образования. М., 2000.
• [2] Аванесов В. С. Композиция тестовых заданий. М., 2002.
• [3] Кларин М. В. Технологический подход к обучению // Школьные технологии. 2003.№ 5. С. 4—22.
• [4] Челышкова М. Б. Теория и практика конструирования педагогических тестов. М., 2002.
• [5] Воронин Ю. А., Трубина Л. А., Васильева Е. В., Козлова О. В. Курс лекций «Современные средства оценивания результатов обучения»: учеб, пособие. Воронеж: Изд-воВГПУ, 2004. 115 с.
• [6] Воронин Ю. А., Трубина Л. А., Васильева Е. В., Козлова О. В. Курс лекций «Современные средства оценивания результатов обучения»: учеб, пособие.
• [7] Байбородова Л. В., Чернявская А. П., Ансимова Н. П. Организация научного исследования. Ярославль: Изд-во ЯГГТУ, 2014. 232 с.