Методика проведения программной оценки

Структура и выбор переменных программной оценки

Структура оценки — это определенный способ организации собранной информации для представления ее в виде системы показателей, позволяющей ответить на основные вопросы оценки. Используются две основные структуры оценки; экспериментальная и квазиэкспериментальная.

Экспериментальная структура основана на принципе выделения и сравнения эквивалентных групп населения, одна из которых экспериментальная группа, или объект воздействия программы, а другая — контрольная группа. Контрольная группа должна соответствовать экспериментальной по всем параметрам, исключая лишь само участие в программе. В основе оценки лежит выявление двух динамических рядов значений каждого показателя: инерционного, т. е. ряда, соответствующего случаю, когда ни рассматриваемая программа (точнее — ее инновационная часть), ни ее возможные аналоги не реализуются (значение показателей контрольной группы), а также динамического ряда, соответствующего реализации рассматриваемой программы (значение показателей экспериментальной группы). Влияние программы определяется относительным отклонением динамики показателя в случае реализации программы от инерционной динамики данного показателя, спрогнозированной с использованием методов экстраполяции и (или) экспертных оценок.

Однако на практике обеспечить чистоту сравнения экспериментальной и контрольной групп достаточно сложно и дорого, чаще используется квазиэкспериментальная структура оценки, в которой игнорируется одна или более особенностей, характерных для настоящего эксперимента (влияние программы). В этом случае контрольная группа берется из той же социальной и экономической среды, что и экспериментальная («отбор по подобию»), им задают одинаковые вопросы при интервьюировании. При использовании квазиэкспериментальных подходов экспериментальная и контрольная группы выбираются после осуществления программы с использованием методов статистики, т. е. выборка носит неслучайный характер, как при экспериментальном подходе.

Контрольная группа, или «группа сравнения», позволяет увидеть, отличаются ли результаты экспериментальной группы по какому-либо соответствующему показателю (до и после вмешательства программы) от результатов «группы сравнения» , — похожей группы, но неукомплектованной по принципу случайной выборки.

Квазиэкспериментальные структуры более практичны, нежели настоящие эксперименты, но также используются нечасто. Если оценка проводится слишком поздно, если есть временные или финансовые ограничения, то приходится использовать более слабые неэкспериментальные структуры, а их способность показать причинно-следственные отношения ослабевает,^{экспериментальные} структуры не учитывают большинство особенностей экспериментальной или квазиэкспериментальной структуры, поэтому их нельзя назвать в полном смысле слова адекватными целям хорошо подготовленной оценки.

Выбор структуры оценки тесно связан с набором переменных для анализа. Этот набор обычно включает: желаемые результаты программы или ее цели, возможные непреднамеренные последствия программы (внешние эффекты), промежуточные оценки выполнения программы, а также ресурсы, необходимые для выполнения программы. При этом используются разные шкалы измерения: номинальная, ординальная, интервальная, относительная.

При номинальном измерении числа присваиваются категориям, таким как религиозная принадлежность, род занятий, пол. Эти числа не имеют никакого математического значения, они просто обозначают разные категории. Существует два требования для поминальных величин: необходимо, чтобы категории были взаимоисключающими и исчерпывающими, так, чтобы каждое наблюдение могло быть классифицировано как принадлежащее к одной категории. Подобные величины помогают при статистическом анализе данных.

Ординальные (порядковые) величины представляют собой иерархическое упорядочивание данных. Они позволяют увидеть, в какой мере объект обладает тем или иным качеством.

Интервальные величины дают возможность не только ранжировать переменные, но и выразить их количественно. Предполагается, что большинство индексов представляют собой интервальные величины.

Относительные величины обладают всеми характеристиками номинальных, порядковых и интервальных величин, но также имеют точку абсолютного нуля. В первую очередь аналитики предпочитают использовать относительные и интервальные величины, к номинальным же обращаются в том случае, если нет другого способа анализа.