Из истории тестирования

Метод тестирования широко известен за рубежом. Однако в нашей стране в силу различных причин тесты разного назначения и качества появились не так давно.

Проникновению точных измерительных методов в такие «неточные» сферы, как психология и педагогика, способствовало быстрое развитие естествознания, возникновение и распространение теорий, объяснявших процесс развития человека как изменяющийся и усложняющийся во времени. Одним из первых учёных, попытавшихся измерить различия между людьми в области элементарных психических процессов, был англичанин Френсис Гальтон (Gallon F.; 1882−1911).

Исследуя индивидуальные различия, Ф. Гальтон использовал целый набор методик: на определение зрительной, слуховой, тактильной чувствительности, на мускульную силу, время реакции и др. Во время проходившей в Лондоне в 1884 году Международной выставки медицинского оборудования, средств и методов охраны здоровья была устроена лаборатория, где посетители в возрасте от 5 до 80 лет могли проверить свои физические способности, физиологические возможности организма и психические свойства по 17 показателям: рост, вес, жизненная емкость легких, сила кисти и сила удара, различение цветов, острота зрения и др. Было обследовано более 9000 человек. Ф. Гальтон считал, что наиболее достоверные результаты получаются при обследовании большого количества испытуемых. В трудах Ф. Гальтона прозвучала мысль о необходимости внешнего критерия, независимого от эксперимента, что позволило бы «узнать, какой тест является наиболее информативным».

Важным вкладом Ф. Гальтона в развитие теории тестов было определение трёх основных принципов:

• 1. Применение серии одинаковых испытаний к большому количеству испытуемых.
• 2. Статистическая обработка результатов.
• 3. Выделение эталонов оценки.

Эти принципы используются и сегодня — на основе проведения серий испытаний получают различного вида нормы для оценки результатов тестирования, все современные тесты построены к основе статистической теории измерений, а идея эталона оценки лежит в основе определения тестов как стандартизированного инструмента.

Ф. Гальтон называл испытания, проводившиеся в его лаборатории, умственными тестами. Однако наибольшую популярность этот термин приобрел после выхода статьи Джеймса Мак-Кина Кеттелла (Cattell J. Мс-К.; 1860−1944) «Умственные тесты и измерения», опубликованной в 1890 г. с послесловием Ф.Гальтона.

Дж. Кеттелл, американский психолог, некоторое время работавший в лаборатории Ф. Гальтона, с энтузиазмом воспринял идею о способах определения индивидуально-психологических качеств и статистической обработки результатов.

Дж. Кеттелл поставил задачу описать образ цельной личности посредством возможно меньшего числа экспериментов. С этой целью он предложил в 1890 г. нескольким лабораториям произвести в одинаковых условиях 10 основных экспериментов (измерение силы рук посредством динамометра, скорость реакции на звук, скорость ассоциации при назывании 10 цветов и т. д.). На этой основе впоследствии им были разработаны наборы заданий, которые он называл «умственными тестами» и использовал для определения «интеллектуальной физиономии» индивида. Таких тестов Дж. Кеттеллом было разработано 50.

Однако все они позволяли оценить элементарные психические процессы, где индивидуальные различия сравнительно малы и не затрагивали высших психических функций, лежащих в основе интеллекта.

Но все же нельзя недооценивать вклад Дж. Кеттелла в дальнейшее развитие идеи применения измерений и статистического анализа при определении индивидуальных различий. Горячий сторонник и пропагандист тестового метода, Дж. Кеттелл считал тест средством для проведения научного эксперимента с соответствующими требованиями к чистоте научного эксперимента. Такими требованиями он определял;

• · одинаковость условий для всех испытуемых;
• · ограничение времени тестирования приблизительно одним часом;
• · в лаборатории, где проводится эксперимент, не должно быть зрителей;
• · оборудование должно быть хорошим и располагать людей к тестированию;
• · одинаковые инструкции и четкое понимание испытуемыми, что нужно делать;
• · результаты тестирования подвергаются статистическому анализу, находят минимальный, максимальный и средний результат, рассчитывают среднее арифметическое и среднее отклонение.

Все эти идеи, выдвинутые Дж Кетгеллом, в настоящее время составляют основу для современной тестологии. Одинаковость условий для всех испытуемых, одинаковые инструкции и четкое их понимание испытуемыми — фундаментальные принципы, положенные в основу стандартизации процедуры проведения тестирования; ограничение времени, в настоящее время, после дополнительных исследований, устанавливается в зависимости от возраста испытуемых и особенностей применяемого инструментария; идеи статистической обработки результатов реализованы в достаточно сложных методах статистического анализа и моделирования.

По возвращении в США Дж. Кеттелл немедленно начал применять тесты, активно их пропагандировать. Не прошло и нескольких лет, как возникла необходимость организовать специальные координационные центры. И в 1895—1896 гг. в США были созданы два национальных комитета, призванных объединить усилия тестологов и придать общее направление появлявшимся тестологическим работам.

Качественный скачок в развитии тестологии связан с деятельностью видного французского психолога Альфреда Бине (Binet A.; 1857—1911). А. Бине может считаться родоначальником современных тестов, предназначенных для диагностики уровня развития интеллекта. Началом послужила публикация в 1896 г. А. Бине статьи по вопросам индивидуальной психологии, где критически оценивались исследования Ф. Гальтона и Дж. Кеттелла по «измерению ума». Исследование элементарных психических процессов не давало возможности адекватно оценить развитие высших психических функций и интеллекта в целом. А. Бине подчеркивал необходимость найти объективную оценку для определения уровня интеллекта и предлагал принципы построения нового теста.

Вскоре возникла реальная возможность применить научные разработки в педагогической практике. В 1904 г. А. Бине вошел в состав комиссии по созданию в Париже специальных школ для умственно неполноценных детей. Требовалось отделить детей, способных к учению, но ленивых и не желающих учиться, от страдающих прирожденными дефектами. А. Бине и Теодор Симон (Simon Т.; 1873—1961) разработали серию заданий для детей от 3 до 11 лет. Первоначально серия состояла из 30 тестов-заданий, расположенных по мере возрастания трудности таким образом, что вероятность успешного выполнения повышалась с хронологическим возрастом. Уровень трудности был определен в результате обследования 50 нормальных детей этих возрастов и незначительного числа слабоумных. За пределами определенного уровня сложности слабоумные дети не могли решить задачи. Фактически, применение этого теста было первой попыткой определить индивидуальные различия между детьми с помощью измерения их умственного развития.

А. Бине и Т. Симон несколько раз пересматривали созданную ими шкалу. В 1908 г. осуществлена новая редакция, в ходе которой было изменено количество тестов, убраны неудачные задания, расширена выборка стандартизации. В этой редакции была поставлена принципиально новая задача — не только дифференциация слабоумных и нормальных детей, но и выделение разных уровней интеллектуального развития нормальных детей. Важным изменением было то, что впервые тесты группировались по возрастным уровням, что позволило определить нормы для детей разных возрастов, и вводилось понятие умственного уровня (позднее замененного на умственный возраст, а ещё позже на показатель умственного развития IQ).

Вариант 1911 года содержал шкалу, продолженную до возраста 15 лет, некоторое изменение заданий. Здесь была сделана попытка стандартизировать шкалу и определить её валидность.

Новая редакция теста А. Бине была разработана Левисом Мадисоном Терменом (Terman L.M.; 1873— 1961), она получила известность как Станфордская шкала интеллекта Бине. В редакции Л. Термена было увеличено количество тестов с 54 до 90, впервые выработаны инструкции для предъявления отдельных субтестов.

Достаточно длительное время тесты развивались как инструмент индивидуальных измерений. Массовый характер тестирования вызвал необходимость перейти от индивидуальных тестов к групповым. В 1917—1919 гг. в США появились первые групповые тесты для нужд армии. Наибольшее применение нашли тесты Артура Синтона Отиса (Otis A.S.; 1866— 1963). Им были предложены два набора тестов (Альфа и Бета-тесты) для владеющих английским языком и «немые» тесты для невладеющих или плохо владеющих языком. Основные принципы, использованные при составлении этих тестов, были систематизированы и впоследствии легли в основу всей методологии групповых тестов:

• 1. Принцип ограничения во времени (чтобы только 5% испытуемых могли окончить проработку всего теста), т. е. показатель развития прямо зависит от скорости выполнения заданий испытуемым.
• 2. Принцип детализированной инструкции как в отношении проведения, так и в отношении подсчета.
• 3. Введены тесты с выборочным методом формирования ответа с указанием подчеркивать наугад в случае незнания или сомнения.
• 4. Подбор тестов после тщательной статистической обработки и экспериментальной проверки.

В это же время широко развиваются методики обработки результатов тестирования, создания тестовых систем. Ф. Гальтон первый разработал метод статистического сравнения двух рядов переменных и ввел индекс совместного отношения, названный коэффициентом корреляции. Также Ф. Гальто-ну принадлежит заслуга изучения взаимосвязи переменных и построения линий регрессии одной переменной на другую. В 1896 г. Карл Пирсон (Pearson К.; 1857—1936) заложил основы теории корреляции. В 1904 г. Чарльз Эдвард Спирмен (Spearman Ch. Е.; 1863—1945) сделал следующий значительный шаг в использовании метода корреляции для тестирования. Он показал, что корреляция между двумя переменными свидетельствует о наличии общего фактора (причины, определяющей величины этих переменных) и специфических факторов, присущих каждой переменной. Ч. Спирмен явился основателем двухфаугорной теории.

Впоследствии Луис Левон Терстоун (Thurstone L.L.; 1887—1955) развили далее идею факторного анализа. Л. Терстоун исходил из понимания интеллекта как целого, состоящего из нескольких первичных способностей (вербальной, перцептивной, способности к восприятию пространства, памяти, беглой речи). Все эти факторы равноправны, не существует единого фактора интеллекта. С помощью факторного анализа не просто устанавливается связь изменения одной переменной с изменением другой, а определяется мера этой связи и обнаруживаются основные причины, лежащие в основе указанных изменений. Достижения корреляционного и факторного анализа находят свое применение и в современных исследованиях.

С начала XX века определилось и педагогическое направление в развитии тестологии. Американец В. А. Макколл разделил тесты на педагогические (Educatinal Test) и психологические — по определению уровня умственного развития (Intelligence Test). Основной задачей педагогических тестов являлось измерение успешности учащихся по тем или иным школьным дисциплинам за определенный период обучения, а также успешность применения определенных методов преподавания и организации.

В. Макколл определил цель использования педагогических тестов — объединение в группы учащихся, усваивающих равный по объёму материал и усваивающих материал с одинаковой скоростью.

Разработка первого педагогического теста принадлежит американскому психологу Эдуарду Ли Торндайку. Он считается основоположником педагогических измерений. Э. Торндайку принадлежат первые настоящие педагогические тесты. Результатом большой исследовательской работы в области измерений и использования метода тестов в педагогике явилась книга «Введение в теорию психологии и социальных измерений» (1904). Работы Э. Торндайка отличались теоретической и методической законченностью. Первый стандартизованный педагогический тест, вышедший под руководством Э. Торндайка был тест Стоуна на. решение арифметических задач, впервые снабженный «нормами».

В 1915 г. Йеркс создал свою серию тестов, главное отличие которой — изменение системы подсчета. Вместо возрастных долей, предложенных А. Бине, испытуемый получает за каждый правильно решенный тест известное количество баллов. Это повысило удобство в отношении проведения и подсчета результата теста. Количество полученных баллов переводилось по приложенным стандартам в коэффициент одаренности или успешности.

В 1918 г. А. Отис опубликовал серию групповых тестов для школы. Группа американских психологов работала над созданием «интеллектуальных» тестов для школ всей страны. Эти тесты назывались «национальные тесты». Национальные тесты были составлены в 2 сериях по 2 варианта в каждой серии. Совершенствуя методику, американские тестологи в этих тестах впервые перед каждым разделом теста дают примерные упражнения.

Разработкой и проверкой тестов занимаются специальные государственные службы. Ещё в 1900 году в США был создан Совет по вступительным экзаменам. В 1926 — Совет колледжей принял тест SAT, разрабатывал тесты для квалификационной и профессиональной оценки деятельности педагога. С 1947 года существует Служба тестирования (Educa-tinal Testing Service), которая считается наиболее представительным научно-исследовательским центром.

К 1961 году только в США были созданы 2126 стандартизированных тестов. Здесь существует множество тестовых издательств, общая продукция которых представляет несколько тысяч различных тестов. Естественно, они различаются по качеству и по спросу на них. Изданные тесты ежегодно аннотируются и наиболее значительные комментируются в ежегоднике «Mental Measurement Yearbook». Среди создаваемых методик численное превосходство имеют опросники и исполнительные тесты. Для исследовательской работы и психодиагностической практики характерно применение новейших методов статистики. Американские авторы тестов обычно применяют так называемую эмпирическую стратегию, то есть создают как можно больший набор тестовых задач без какой-либо системы или внутренней логики, а после применения этой экспериментальной формы на большом количестве испытуемых результаты подвергаются корреляционному и факторному анализу.

Интеграционные процессы, характеризующие современную цивилизацию, дали толчок развитию новых направлений педагогического тестирования. Оценка качества образования приобретает все большую значимость по мере увеличения количества стран, осознающих преимущества сопоставления собственных достижений с международным контекстом. В связи с этим наибольшую актуальность приобретают международные сравнительные исследования в области школьной успеваемости. Проведение международных исследований предоставляет странам возможность всесторонней оценки эффективности функционирования своих образовательных систем. Международное исследование имеет не только политическую и экономическую ценность, но и в первую очередь педагогическую. В современных условиях стремительного нарастания информации педагогам необходимо изучать опыт других стран. Поиску новых, более эффективных систем преподавания и должны способствовать международные сравнительные исследования.

С 1959 года основные крупномасштабные международные исследования проводятся под руководством неправительственной организации Международная ассоциация по оценке школьной успеваемости (ИЕА). Учреждения ИЕА созданы в более чем 45 странах мира и включают министерства образования стран, педагогические факультеты университетов и научно-исследовательские институты.

Первое исследование проводилось в 1959—66 гг. и затрагивало вопросы успеваемости по математике в начальной и средней школе. В этом исследовании участвовало 13 стран. В 70-е годы проводилось исследование успеваемости по естествознанию, литературе, гражданскому воспитанию, усвоению английского и французского языков как иностранных. В 1981 году осуществлено 2-е международное исследование по обучению математике, в котором участвовало уже 20 стран. А также в 80-е годы проводилось изучение учебной среды в рамках класса, письменных сочинений и 2-е исследование успеваемости по естественным наукам.

В настоящее время осуществляется ряд проектов: по дошкольному воспитанию (15 стран), компьютерному обучению (20 стран), исследование навыков чтения (31 страна). С 1994 года началось 3-е исследование в области математики и естествознания. Это исследование представляет собой поперечный и продольный срезы охваченного им контингента учащихся разных возрастов и из различных классов с целью определения уровня обучаемости по предметам. В конечном итоге результаты исследования должны послужить основой для выработки нового понимания этих дисциплин.

Исследования ИЕА строятся в определённой последовательности и базируются на объяснительных моделях, основанных на учебных программах. В тестировании обычно принимают участие следующие возрастные категории учеников: 9—10, 13— 14 и 17—19 лет. Предполагается обследование тысяч учащихся в каждой стране с помощью академических тестов, составляемых на основе учебных программ и других школьных и внешкольных занятий. Используемые тесты успеваемости направлены на измерение достижений учащихся, которые можно оценить в баллах, скорректировать и сравнить с аналогичными данными по стране, а также соотнести с другими факторами, влияющими на успеваемость (например, с содержанием обучения, технической оснащенностью школы, полом учащихся, местностью проживания и пр.). Цель такого исследования — создание достаточно гибкой модели, позволяющей измерить комплексное воздействие школы на процесс овладения знаниями.

Исследование, как правило, включает последовательное осуществление 6 основных этапов:

• · разработка вопросов политики исследования;
• · определение методологии и составление плана исследования;
• · разработка инструментария;
• · проведение выборки участников исследования;
• · сбор и обработка данных;
• · анализ результатов и составление отчета.

Помимо ИЕА существуют другие организации, занимающиеся проблемами международного тестирования. Например, Институт образования ЮНЕСКО (Гамбург), Международный центр педагогических исследований в Париже провели совместно с ИЕА исследование навыков чтения в 35 странах (1990 г.). Тест предполагал изучение 3 аспектов: чтение описательного текста, повествовательного и восприятие графики (диаграмм, карт, докладов, требовавших от учащихся умения восстанавливать важные фрагменты информации). Подчеркнем, что определения лучшей или худшей страны в изучаемой области не является целью этого тестирования. Задачей исследования становится поиск наиболее эффективных условий обучения.

Особым путем шло проникновение тестов в Россию. До 1917 года вопросам тестирования уделялось недостаточное внимание. Фактически свое практическое значение тесты получили после 1925 года, когда была создана особая тестовая комиссия. Тестовая комиссия существовала при педагогическом отделе Института методов школьной работы. В её задачи входила разработка стандартизированных тестов для советской школы. И уже весной 1926 года вышли такие тесты, созданные на. основе американских. Были разработаны тесты по природоведению, обществоведению, счету, решению задач, знанию географической карты, на понимание чтения и правописание. К этим тестам прилагались инструкции и личная карточка для учета прогресса учащегося.

Проблемой разработки тестов вплотную занимались видные российские психологи и педагоги: С. Г. Геллерштейн, П. П. Блонский, А. П. Болтунов, М. С. Бернштейн, A.M. Шуберт, Г. И. Залкинд и др. В 1927 году вышла книга С. М. Василейского «Введение в теорию и технику психологического, педологического и психотехнического исследования», где излагались теоретические и практические подходы к созданию и использованию тестов. Можно сказать, что это был первый учебник, где отражена методика составления а…

В 20-е годы Центральная педологическая лаборатория МОНО под руководством педолога Е. Гурьянова разработала и выпустила в свет несколько тестов:

• 1. Шкала для измерения умственного развития детей.
• 2. Тесты для учета навыков в чтении, счете и письме.
• 3. Тесты коллективного испытания умственной одаренности.

Под руководством П. П. Блонского в педагогическом кабинете Академии коммунистического воспитания осуществлялась проверка шкалы Бине — Симона, создание школьных тестов и построение собственных стандартов. В Ленинградском научно-педагогическом институте им. А. И. Герцена и Детском обследовательском институте им. А. С. Грибоедова разрабатывались тесты на одаренность и тесты школьной успешности для массовых обследований детей нормальных школ.

Однако вскоре положение кардинально изменилось. Вышедшее в 1936 году постановление ЦК ВКП (б) «О педологических извращениях в системе Наркомпросов» негативно сказалось на развитии педологии в целом и тестологии в частности. Метод тестов был признан буржуазным орудием для дискриминации учащихся и «изгнан» из советской школы.

Данные факты достаточно хорошо известны, однако, рассматривая уроки педологии, нельзя не отметить нескольких моментов, которые достаточно похожи и на нашу современную действительность.

Во-первых, в связи с бурным развитием педологии остро встал кадровый вопрос, и «когда открылись финансируемые педологические лаборатории, туда ринулось много профессионально некомпетентных людей. Неудавшиеся чиновники, учителя, физиологи, врачи стали занимать места, которые, как им казалось, не требуют специальной подготовки. Рекомендации педологов всё чаще вызывали протесты учителей».

Второй момент, который следует отметить, это увлечение педологов собственно методиками обследования, желание преимущественно заниматься изучением. «Увлечение разработкой исследовательских приемов приводило к тому, что для части педологов шлифовка и набор методов имели самодовлеющее значение. Свое призвание и главную цель они видели в изучении воспитанников с помощью разнообразных процедур. Многие из них, оправдываясь, говорили, что педологи должны изучать ребёнка, а воспитывать его обязаны педагоги. Такое разделение функций возмущало педагогов».

И третий аспект, который стоит отметить, — это незаинтересованность системы управления в объективных результатах обследований педологов. «Сами вопросы и предлагаемые ответы вызывали панику. В тестах для красноармейцев авторы ставили такие вопросы и формулировали следующие альтернативные ответы. „Кто такой Сталин'.? Анархист, коммунист, меньшевик, эсер. Кто такие белогвардейцы? Коммунисты. Контрреволюционеры. Крестьяне. Служащие… Что такое 1 Мая? Начало весны. Рабочий праздник. Траурный день. Церковный праздник… С чем борется ГПУ? С безграмотностью. С контрреволюцией. С коопераций. С революцией“. Из материалов этого исследования видно, что полуграмотные, а иногда совсем неграмотные красноармейцы не знали своих вождей, не разбирались в политических и идеологических вопросах. На вопрос, кто является соглашателем, 20% ответили: Керенский, а 30% назвали Ленина».

Ситуация с тестированием в нашей школе сегодня такова, что мы имеем все шансы повторить ошибки педологов.

Так же остро стоит проблема подготовки кадров, которые могли бы участвовать в создании тестов, так же жив миф о том, что для составления тестового инструмента нет необходимости иметь специальные знания. Лучшим доказательством этому могут служить размножившиеся в невероятном количестве книги с названием «Тесты по…», большинство из которых не выдерживают критики.

Среди людей, профессионально занимающихся тестированием, есть те, кто желает поскорее сделать тесты, ввести национальные или региональные системы тестирования, не задумываясь о негативных последствиях таких шагов, считая своей задачей лишь качественную подготовку инструмента и обеспечение его использования, оставляя ответственность за последствия на управленцах, а ответственность за исправление результатов на педагогах.

Не так просто обстоит дело и с потребностью в объективной информации, какую, несомненно тестирование может дать. На первый взгляд в такой информации испытывают необходимость и учитель — для самооценки профессиональной деятельности и оценки достижений ученика, с целью корректировки педагогических воздействий; и руководитель образовательного учреждения — для определения стратегии развития, для оценки качества работы педагогов и корректировки многообразных управленческих решений. Испытывают острую необходимость в такой информации и руководители более высокого уровня.

Однако для достаточно большой группы педагогических работников, родителей объективная управленческая информация представляется как негативное явление. Дело здесь не только в личных качествах руководителей, ретроградстве или нежелании прогрессивных реформ. Появление и использование в практике работы образования объективной информации порождает целый ряд проблем, к решению которых могут быть не готовы не только отдельные педагоги или отдельные учреждения, но и вся система образования в целом. Например, еще до введения ЕГЭ существовали предпосылки для того, чтобы проводить объективную аттестацию учащихся, хотя «просматривались» и негативные последствия такой оценки, а именно:

• · проблема неаттестованных (что делать с двоечниками — выпускать со справкой? оставлять на повторный курс обучения?);
• · проблема массовых негативных психологических последствий, поскольку неполучение документа об образовании, как правило, рассматривается как личная трагедия и учеником, и родителями, и педагогом;
• · проблема выпускников сельских образовательных учреждений, которые при объективной аттестации будут иметь оценки гораздо ниже, чем сейчас, и для которых практически закроются возможности получения высшего образования.