Практическая часть. 
Исследование связи научной деятельности преподавателей с образовательными результатами их студентов (на данных исследования ISHEL)

Инструментарий исследования

Исследование проводилось на данных международного исследования качества инженерного образования ISHEL (International Study of Higher Education Learning). Цель данного исследования сравнить уровень готовности студентов технических специальностей стран БРИК к обучению в вузе, а также оценить подготовку студентов по окончанию 2-го и 4-го курсов. В 2015 году в Российской Федерации прошел первый этап этого исследования.

База данных, полученная в ходе исследования ISHEL, включает в себя все переменные, необходимые для ответов на исследовательские вопросы. Данные исследования ISHEL собирались в ходе тестирования академических достижений (физика, информатика, математика), а также тестирования когнитивного развития (критическое мышление, креативность, числовая грамотность). Помимо тестов в состав инструментария входят анкеты для студентов, преподавателей и административных работников. Анкета педагога включает в себя блок вопросов, касающихся научной деятельности преподавателей (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Инструментарий разрабатывался для оценки студентов инженерных специальностей технических вузов двух стран — России и Китая. В связи с тем, что данная работа направлена на анализ российских результатов тестирования студентов 3 курса описание возможностей межстранового сравнения, а также сравнения между курсами приводится не будет (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

При анализе психометрических качеств тестов по физике и математике и валидизации методик использовалась современная теория тестирования IRT и методы математической статистики. IRT применялась для анализа качества тестовых заданий и анализа размерности и надежности тестового инструментария. И всей совокупности моделей современной теории была выбрана дихотомическая модель Раша (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Начальный вариант теста по математике для студентов третьего курса содержал 45 заданий. Анализ показал, хорошие психометрические качества большинства заданий. Задания, не отвечающие требованиям, были удалены из тестов в итоге в тест были включены 37 заданий (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Коэффициент надежности теста по математике для студентов третьего курса по респондентам составил 0,85 (классическая надежность тестов =0,83). Значение Separation index 2.39 позволяет выявить как минимум три статистически различные группы студентов в рамках выборки. Анализ размерности показал, что тест может рассматриваться как существенно одномерный (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Результаты анализа теста по физике для студентов третьего курса аналогичны результатам анализа тестов по математике. Тест состоял из 39 заданий, отвечающих всем психометрическим требованиям качества. Тест можно рассматривать как существенно одномерный. Коэффициент надежности и Separation Index равны 0.77 и 1.84 (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Тест критического мышления нацелен на оценку таких студенческих компетенций как: логическое мышление, рассуждение, работа с информацией, формулировка релевантные выводов на основе предоставленных данных. То есть оценивает способность студентов к анализу и интерпретации информации (Отчет по НИР ЦМКО ИО НИУ ВШЭ, 2015).

Тест для оценки критического мышления разрабатывался компанией ETS, после чего был переведён на русский язык и адаптирован для использования на российской выборке студентов.