Хорошие и устойчивые вопросы

Хорошим вопросом принято считать такой, формулировка которого значимо не влияет на распределение ответов при сохранении списка (но не порядка) альтернатив. Методические эксперименты указывают на значительные отклонения, которые могут появиться в связи с изменением формулировки. К примеру, спросить рабочих о том, сколько представителей наемного труда должно быть вовлечено в профсоюзы, можно сформулировать двумя различными способами.

• 1. «Считаете ли вы, что на предприятии все рабочие должны быть членами профсоюза?»
• 2. «Считаете ли вы, что на предприятии все рабочие должны быть членами профсоюза, или каждый в отдельности должен решить, хочет ли он быть членом профсоюза или нет?»

На первый взгляд, между ними нет принципиальных различий, поскольку спрашивают о профсоюзе как основном институте защиты прав трудящихся. Однако в первом случае подчеркивается факт коллективного участия в профсоюзной борьбе, устраниться от которого либо нельзя, либо неудобно. Рабочий, находящийся в поле классового противостояния и солидарно действующий с другими рабочими, никогда не пойдет против профсоюзов, даже если не согласен с его политикой или руководством. Общественное мнение его класса и стереотипа пролетарского сознания подействуют на его выбор императивно, а не сослагательно. Можно ожидать 70—90%-ного согласия с так сформулированным вопросом.

С целью получения данных о сознательном самокалечении среди подростков и анализа этого явления в 2009 г. проведено исследование. В нем приняли участие учащиеся 15—17 лет из всех уездов Литвы. Использовался кластерный метод случайного отбора. Стремились к тому, чтобы респонденты представляли популяцию по таким показателям, как возраст, пол и место жительства. Опрошено 3848 респондентов из 52 школ Литвы: 2200 (57,2%) девушек и 1648 (42,8%) юношей. Применялся «Опросник образа жизни и приспособляемости». В анкету вошло 100 вопросов открытого и закрытого типа. Ответы на вопросы распределялись по категориям. Так, ответы па вопрос о причинах самокалечепия были распределены, но семи категориям: 1) чувство подавленности; 2) отношения с членами семьи; 3) отношения с друзьями; 4) трудности в школе; 5) насилие; 6) другое; 7) причина не указана. Для ответа на вопрос: «Почему не пытались обратиться за помощью перед умышленным самокалечением?» были рассмотрены четыре категории: 1) недоверие к другим людям; 2) отрицание потребности в помощи; 3) другое; 4) причина не указана.

Для ответов на вопрос. «Почему не пробовали искать помощь в связи с проблемой, подтолкнувшей к самокалечению (после самокалечения)?» — пять: 1) недоверие другим; 2) отрицание потребности в помощи; 3) желание самому решать проблемы; 4) другое; 5) причина не указана. На эти три вопроса отвечали только тс респонденты, которые утверждали, что умышленно самокалечились. Ответы подростков причислялись лишь к одной из категорий. В конце анкеты респондентам ставился вопрос, какую помощь можно было бы оказать, чтобы помочь молодым людям избежать самокалечения.

По результатам исследования 7,3% подростков указали, что хотя бы раз умышленно самокалечились, причем девушки делали это в 2,5 раза чаще, чем юноши (соответственно 9,9 и 3,8%; р < 0,01). Отвечая на вопрос, почему они решились на такой поступок, подростки чаще всего называли состояние угнетенности (40,2%), проблемные отношения с членами семьи (10,7%) и друзьями (7,5%); 31,7% не указали причины. Девушки в два раза чаще, чем юноши, ссылались на чувство подавленности (соответственно — 45,9 и 20,6%;р < 0,01) и в четыре раза чаще — на проблемные отношения в семье (12,8 и 3,2%; р < 0,05). Юноши же в два раза чаще, чем девушки, не называли причины самокалечения (соответственно — 57,1 и 24,3%; р < 0,01), а это тоже свидетельствует о большом риске самоубийств среди них. При анализе других ответов статистически значимые различия между полами не установлены^[1].

Таким образом, изменение формулировки одного и того же вопроса, приводящие к разным, а в данном случае противоположным, результатам, свидетельствует о том, что перед нами анкетный вопрос, который нельзя считать хорошим с методической точки зрения.

Методические исследования, проведенные американскими социологами, выявили ряд тенденций, связанных с формулировкой и формой представления анкетного вопроса. В одном из экспериментов изучалось влияние на распределение ответов порядка расположения альтернатив в вопросе-меню. Что произойдет, если, скажем, альтернативу переместить из начала в конец списка?

Всякий раз чаще выбиралась та альтернатива, которая стояла в верхней части или возглавляла список. Расположенные внизу подсказки пользовались меньшим вниманием и выбирались реже. Ученые назвали это явление эффектом начала списка. Как правило, верхняя позиция опережала нижнюю на 4%, а среднюю — на 6%; нижняя опережала среднюю позицию примерно на 2%.

В результате середина списка как бы проваливалась. Она была наименее заметной, можно сказать, теневой зоной списка альтернатив. В итоге наблюдалось стремление респондентов к выбору альтернатив, находящихся на крайних позициях с некоторым преимуществом верхней позиции. Назовем подобный эффект поляризацией ответов со смещенным верхом.

Устойчивым вопросом является тот, в котором перемена альтернатив не оказывает значительного влияния. Если перемена альтернатив дает достаточно большой сдвиг, то вопрос считают неустойчивым. Незначительным признан сдвиг в 1—3%. К примеру, если порядок следования альтернатив значительно изменен или даже перевернут, а статистика ответов на него изменилась лишь на 2%, то вопрос считается устойчивым.

Колебание разницы в ответах от 4 до 8% признается статистически значимым, а соответствующие вопросы неустойчивыми.

Методисты уверяют, что формулировка вопроса влияет на статистику ответов максимальным образом именно тогда, когда у респондентов не сформировалось устойчивого мнения о предмете разговора.

Наибольшая длина хорошо уравновешенного или устойчивого вопроса составляет 26 слов, в то время как наименьшая — только 11 слов. Напротив, длина неустойчивых, несбалансированных вопросов варьируется в пределах от 21 до 46 слов. В среднем несбалансированные вопросы в полтора раза длиннее устойчивых: 31 слово к 22. Если считать только слова, используемые в альтернативах, исключая вводную часть или установочные фразы, то и в этом случае указанная пропорция сохраняется. Альтернативные суждения в неустойчивых вопросах в полтора раза длиннее, чем в устойчивых. Таким образом, один из главных элементов устойчивости вопроса заключается в его краткости.

Социологический практикум Ниже приведены табличные данные динамики наличия различных медиа в городской семье (% от числа опрошенных)¹. Вам надо сделать из них свои выводы.

Неустойчивые вопросы не только длиннее устойчивых, но содержат грамматически более сложные слова. Отсюда вытекает практический совет социологу: формулируй свои мысли не только просто, но и кратко, иначе проиграешь в качестве получаемой информации.

Новый подъем интереса к внутрипрофессиоиальным делам социологов наблюдался в 1960—1970;е гг., когда в США происходит активное обсуждение таких аспектов, как методические особенности использования открытых и закрытых вопросов, влияние альтернатив, порядка их расположения, отсутствия градации «нет ответа» на распределение ответов респондентов и др. Из крупных исследовательских центров, которые могут финансировать специальные обследования на достаточно больших выборках (от 1,5 до 2,5 тыс. респондентов), стали появляться многочисленные публикации, обобщающие методический опыт, проекты, наработки. Ученые в таких центрах проводили как специализированные методические эксперименты, «обкатывая» формулировки вопросов из своей исследовательской копилки, так и вторичный анализ данных, в которых использовались сходные формулировки вопросов.

Большая работа была проделана университетами Мичигана и Северной Каролины. Исследование проводилось дважды — в январе и апреле 1979 г. Было выбрано два вопроса, показавших в 1940;х гг. наиболее значимые^[2]

различия в ответах. Тогда уже был зафиксирован эффект конца списка. Он гласил о том, что в вопросах, произносимых вслух, респондент чаще выбирает альтернативу, стоящую в конце списка. Возможно, респонденты лучше запоминают слова, услышанные в последнюю очередь. Данные психологических экспериментов свидетельствуют о том же самом. Когда в формулировке вопроса у вас содержатся две идеи, лучше всего респондент запомнит и поймет последнюю. Она же окажется для него более притягательной, а стало быть, и более выбираемой^[3].

В СССР и в России интерес к методической культуре анкетирования был, но не было денег на проведение массовых экспериментов, призванных совершенствовать исследовательский инструментарий. Крупные исследовательские центры, работающие с большими выборками, например ВЦИОМ и ФОМ, могли бы проводить серьезные методические эксперименты, но не проводят. Большинство анкетных вопросов используются ими по многу лет. Поскольку они серьезных сбоев не давали, то сам по себе стаж служит критерием надежности вопроса. Кроме того, частая смена формулировок могла и повредить ученым — вопросы-ветераны, обкатываемые во всех исследованиях, привносят единообразие и позволяют сравнивать данные исследований разных периодов.

Зачастую критерием адекватности вопроса (придуманного в середине 1990;х гг.) остается только доля затруднившихся ответить, и если она невелика (порядка 15—20%), исследователи предпочитают не проводить специальных экспериментов и не менять формулировки вопросов. «Менее крупные исследовательские коллективы ориентируются на экономию средств заказчиков, которыми выступают организации, выдающие гранты, или отдельные фирмы. Из-за ограничения бюджета исследования возникают сложности с серьезной апробацией вопросника, которая зачастую не проводится вообще. В результате непилотированныс вопросники содержат ошибки, количество которых не поддается исчислению. Некоторые из ошибок, обнаруживаемых даже при логическом анализе вопросов, приводят к серьезным смещениям в полученных данных, хотя способов проверить коммуникативную адекватность и точность формулировки вопроса наработано достаточно много. При этом большинство из них затратны, требуют значительных материальных и временных ресурсов» ^[4].

• [1] См.: Ласките А., Ласкене С. Умышленное самокалечеиие подростков // Социологические исследования. 2010. № 6. С. 106—109.
• [2] См.: Коломиец В. П. Медиасреда и медиапотребление в современном российском обществе // Социологические исследования. 2010. № 1. С. 58—66.
• [3] 2 См.: Методология и методы социологических исследований (Итоги работы поисковыхисследовательских проектов за 1992—1996 гг.). М.: Изд-во Института социологии РАН, 1996.
• [4] Замбржицкая А. К. Эмпирическая апробация вопросника в маркетинговом исследовании // Социологические исследования. 1999. № 11. С. 115—116.