Внешняя валидность. 
Общепсихологический практикум

Понятие внешней валидности отражает возможность генерализации данных за пределы конкретных экспериментальных условий. Чем больше категорий людей и условий, на которые исследователь может распространить результаты своего исследования, тем выше внешняя валидность. Если же результаты исследования справедливы только для тех людей, на которых они были получены, и только в тех условиях, в которых они были получены, то внешняя валидность низка.

Вопросы, на которые позволяет ответить оценка внешней валидности, весьма важны. Например, можно ли переносить результаты психологических исследований с животных на человека? Можно ли применять к современным детям нормы психического развития, разработанные классиками психологии развития около 100 лет назад? Допустимо ли использовать результаты исследования, полученные на студентах-психологах из Москвы, для психологической работы с девяностолетней бабушкой из провинции?

Ответы на эти вопросы в общем и целом зависят от проконтролированного в исследовании набора дополнительных переменных, т. е. тех, которые помимо независимой переменной влияют на зависимую переменную и контролируются исследователем. Так, результаты, полученные на студентах-психологах, применять для работы с деревенской бабушкой можно, если исследователь докажет, что полученные им результаты не меняются в зависимости от возраста, образа жизни и уровня образования человека. Иначе говоря, если он докажет, что эти дополнительные переменные не влияют на связь независимой и зависимой переменной. Для этого, разумеется, необходимо оценить влияние дополнительных переменных (в данном случае ими являются возраст, образ жизни, образование) на зависимую переменную.

Если влияние дополнительных переменных не проконтролировано, то исследование обладает более низкой внешней валидностью, чем-то исследование, в котором эти переменные проконтролированы. Например, исследование, результаты которого получены только на мужчинах, обладает более низкой внешней валидностью, чем исследование, проведенное на мужчинах и женщинах, потому что доказано, что его результаты точно справедливы для мужчин, но неизвестно, будут ли они справедливы и для женщин. Исследование, проведенное на мужчинах и женщинах одного возраста, обладает более низкой внешней валидностью, чем исследование, проведенное на мужчинах и женщинах в широком возрастном диапазоне, и т. д. Пол и возраст в этих примерах — дополнительные переменные, которые в отсутствие должного контроля снижают внешнюю валидность исследования.

При планировании любого экспериментального исследования встает вопрос о том, какие побочные переменные необходимо контролировать и сколько. Как правило, обязательно контролируются такие переменные, как пол, возраст, образование и другие социодемографические данные. Более конкретно на означенный вопрос можно ответить только исходя из содержания исследования. Если автор знает, что существует некий фактор, ограничивающий действие исследуемой им причинно-следственной связи, он должен проконтролировать влияние этого фактора, т. е. проконтролировать побочную переменную.

Для того чтобы выяснить, есть ли такие факторы и каковы они, прежде всего следует очень хорошо изучить литературу по предмету исследования и поискать в ней такие объекты и условия, которые известным образом влияют на этот предмет (зависимую переменную) и присутствия которых в экспериментальной ситуации избежать невозможно. Например, если исследователь выяснил, что многие женщины снимают стресс и негативные переживания с помощью шопинга, но из литературы знает, что мужчины и женщины переживают неприятности по-разному, то он обязательно должен проконтролировать влияние пола испытуемых в качестве дополнительной переменной.

По сравнению с внутренней валидностью, нарушение внешней валидности имеет менее фатальные последствия для выводов исследования. Напомним, что при нарушении внутренней валидности исследователь не может делать никаких обоснованных выводов о причинно-следственных связях между независимой и зависимой переменной. При нарушении внешней валидности установить причинно-следственную связь можно, но сложно выявить те условия, при нарушении которых эта связь перестает выполняться. Как и в случае с внутренней валидностью, общих рецептов, позволяющих полностью обезопасить свое исследование от нарушения внешней валидности, нет, но есть несколько наиболее распространенных угроз внешней валидности, которые необходимо обязательно проконтролировать.

Эффект взаимодействия отбора и экспериментального воздействия.

Главной угрозой внешней валидности являются особенности испытуемых. Чем больше общих особенностей, отличающих экспериментальную выборку от всех других людей, тем ниже внешняя валидность. На научном языке такая выборка называется нерепрезентативной. В отличие от нее, репрезентативная выборка — это выборка, в которой представлены все психологические особенности и в том же соотношении, что и в генеральной совокупности (т.е. среди тех людей, на которых предполагается распространить результаты исследования).

Например, психологическое исследование людей, совершивших тяжкие преступления, по понятным причинам возможно только в местах заключения. В этом случае для исследователя будут доступны только те преступники, которые попались правоохранительным органам. Такая выборка нерепрезентативна для всех преступников, так как обследованные преступники, скорее всего, отличаются от тех преступников, которые по каким-то причинам не были пойманы. Поэтому распространение результатов психологических исследований с пойманных на любых преступников будет неправомерно, на не пойманных преступниках выявленные в исследовании психологические закономерности могут не сработать. Такое необоснованное распространение выводов будет нарушением внешней валидности в результате эффекта взаимодействия отбора и экспериментального воздействия.

В данном примере речь шла о естественном ограничении выборки, сделать выборку преступников более репрезентативной невозможно. Однако гораздо чаще исследователи сами ограничивают выборку, пренебрегая внешней валидностью.

Допустим, исследователь изучает особенности преодоления стресса у подростков с низким уровнем психической напряженности, живущих в Суворовском кадетском корпусе, но делает вывод о том, что полученные результаты справедливы для всех подростков. Скорее всего, перенести данные этого исследования на подростков, живущих в обычных семьях и не помышляющих о военной карьере, нельзя. Выборка кадетов является нерепрезентативной для изучения стрессов у подростков, поскольку кадеты очень сильно отличаются от большинства подростков по условиям жизни, а значит, и по источникам стресса, и по уровню психической напряженности, сопровождающей стресс. И если исследователь попытается помогать обычным подросткам в борьбе со стрессом, используя знания, которые он получил на кадетах-суворовцах (т.е. распространить эти знания за пределы выборки), его помощь, скорее всего, будет не очень эффективной.

Когда испытуемые исследуемой выборки отличаются от генеральной совокупности, как в этих примерах, имеет место эффект отбора. При этом экспериментальное воздействие может быть эффективно только на этой выборке, но не приводить к такому же эффекту на других людях, чем-то отличающихся от исследованной выборки. Поэтому данный эффект называется эффектом взаимодействия отбора и экспериментального воздействия.

Этому эффекту подвержены любые исследования, но особенную опасность он представляет для исследований с малыми и нерепрезентативными выборками. Чем меньше выборка, тем выше вероятность того, что испытуемые окажутся сходны по каким-то психологическим особенностям. В результате установленная в исследовании причинно-следственная связь будет справедлива, но только для людей, обладающих такими особенностями, подобно тому как в предыдущем примере формируемые у подростков способы борьбы со стрессом справедливы только для подростков-кадетов.

Те же самые проблемы возникают и в достаточно больших выборках, если они нерепрезентативны. Например, многие современные исследования с участием сотен испытуемых построены на результатах, полученных па студентах-психологах. Выборка студентов обладает довольно ограниченной репрезентативностью, так как студенты выделяются из генеральной совокупности молодым возрастом, более высоким интеллектом и обучаемостью (на основании этих качеств их отбирают в вузы), более высоким достатком в семье (в течение пяти лет студент, как правило, не может себя полностью обеспечивать сам), более высоким уровнем притязаний и еще рядом психологических особенностей. Поэтому результаты, полученные даже на достаточно обширных выборках студентов, также страдают от нарушений внешней валидности. Вряд ли эти результаты без дополнительных исследований можно использовать для работы с любыми представителями генеральной совокупности.

Все перечисленные дополнительные переменные нс очевидны и, как правило, не учитываются исследователями при формулировании выводов. Поэтому такую важность в любом научном отчете приобретает описание выборки испытуемых. Чем подробнее описана выборка, тем понятнее ее специфические особенности по сравнению с генеральной совокупностью и тем точнее можно оценить эффективность переноса полученных на этой выборке результатов на людей, не участвовавших в исследовании. Чем последние отличаются от обследованных испытуемых по своим личным особенностям, тем эффективнее будет перенос.

Другим эффектом, угрожающим внешней валидности, является выбор условий проведения эксперимента, вызывающих такую реакцию испытуемых, которая не позволяет распространить полученные данные за пределы конкретной экспериментальной ситуации. Угроза данного эффекта возникает в том случае, когда исследователь проконтролировал не все дополнительные переменные, связанные с организацией условий исследования, и какие-то из них оказались важны для того, чтобы исследуемая причинноследственная связь проявилась. В других обстоятельствах, в которых такие важные условия отсутствуют, причинно-следственная связь не проявится.

Одним из наиболее ярких примеров этого является вопрос о возможности перенесения результатов эксперимента из лаборатории в полевые условия. Так, многие закономерности, полученные в лаборатории В. Вундта, не то чтобы переставали работать, но теряли свою актуальность, поскольку воспроизводились только в стенах лаборатории.

В качестве конкретного примера можно привести исследование Г. Хохмана, посвященное проверке предположения, впервые сформулированного в работах У. Джеймса, о том, что субъективное переживание эмоций представляет собой ощущение телесных реакций на внешнее воздействие (нам грустно, потому что мы плачем). Хохман предположил, что если это предположение верно, то люди, лишенные телесной чувствительности в результате болезни, должны испытывать менее интенсивные эмоции, поскольку у них меньше телесных ощущений. Более того, интенсивность эмоциональных переживаний должна снижаться пропорционально величине потери чувствительности. Он опросил пациентов с поражениями спинного мозга разной степени тяжести и подтвердил свою гипотезу. Действительно, чем больше была нарушена телесная чувствительность опрошенных, тем о более сильном изменении эмоциональных переживаний они сообщали. Однако повторные исследования показали, что такая связь справедлива, по-видимому, только для тех испытуемых, у которых после заболевания изменился образ жизни (им пришлось сменить работу, отказаться от спортивных увлечений или хобби). Те испытуемые, образ жизни которых и до болезни был преимущественно сидячим, не связанным со спортивными занятиями, не сообщили о существенных отличиях интенсивности их переживаний до н после болезни по сравнению с контрольной группой здоровых людей.

Обстоятельством, которое не учел Хохман, была смена образа жизни испытуемых. В ситуации, в которой такая смена произошла, у испытуемых действительно ослабла интенсивность эмоциональных переживаний. Однако нельзя сказать, что причиной таких изменений в эмоциональном переживании стала вынужденная смена образа жизни и что она служит реальным источником ослабления переживаний (т.е. побочной переменной). Многие люди, будучи здоровыми, вынужденно меняют образ жизни, но это не приводит к изменениям в переживании эмоций. По смена образа жизни, обусловленная тяжким заболеванием, повлекшим большую или меньшую потерю чувствительности тела, повидимому, явилась тем неучтенным условием, которое привело к снижению внешней валидности исследования. В итоге полученные в нем результаты нельзя переносить на любых пациентов, а только на тех, которые, как и испытуемые первоначального эксперимента, в результате заболевания вынуждены были сменить образ жизни.

Данный эффект обусловлен трудностями контроля за всеми компонентами ситуации исследования (условиями исследования). Он представляет собой особую угрозу для полевых исследований, в которых испытуемые не ограждены от самых разных неожиданных воздействий со стороны большого количества дополнительных условий, как в лаборатории. И способом контроля данной угрозы является подробное описание выборки и проверка устойчивости исследуемой причинно-следственной связи к влиянию различных дополнительных переменных.

Реактивный эффект, или эффект взаимодействия тестирования. Суть этого эффекта состоит в том, что человек, который имеет опыт прохождения предварительного тестирования, ведет себя в эксперименте иначе и показывает другие результаты, по сравнению с человеком без такого опыта. Предварительное тестирование может настроить человека на работу, сделать более чутким к экспериментальному воздействию, утомить и понизить работоспособность или мотивацию к исследованию. В результате данные, полученные в таком эксперименте, будут искажены фактом предварительного тестирования, т. е. они не будут соответствовать тем реакциям, которые дадут даже те же самые испытуемые при отсутствии предварительного тестирования.

Например, для того чтобы оценить эмоциональное воздействие музыки, необходимо попросить испытуемых оценить их эмоциональное состояние по набору эмоциональных шкал до и после прослушивания музы кального фрагмента. Но испытуемые, которые прошли через предварительное тестирование и сосредоточились на своих эмоциях, с особым вниманием отнесутся к своим эмоциям и при прослушивании музыки. Допустим, результаты исследования покажут, что данная музыка определенным образом влияет на эмоции. Однако можно ли переносить эти результаты на генеральную совокупность и говорить о том, что на других людей данная музыка повлияет подобным эмоциональным образом? Нет, нельзя, поскольку другие люди, члены генеральной совокупности, не участвовали в исследовании и, соответственно, не подвергались предварительному тестированию, не сосредоточились на своих эмоциях, и эмоциональное воздействие музыки на них не сказалось.

Влияние предварительного тестирования является дополнительной переменной, которая ограничивает возможные ситуации использования данных исследования. Этому влиянию особенно подвержены такие исследования, в которых используются необычные (не похожие па стандартный опрос или тест) формы предварительного (и, соответственно, заключительного) тестирования, когда предварительное тестирование продолжительно, трудоемко, демотивирует (скучное, непонятное и т. п.), создает у испытуемых правдивые или ложные ожидания в отношении экспериментального воздействия — словом, повышает или понижает чувствительность к сопряженному с ним воздействию.

Методом контроля эффекта предварительного тестирования является описанный выше план Соломона при обсуждении угрозы внутренней валидности.

Взаимная интерференция экспериментальных воздействий. Этот эффект обусловлен тем, что опыт участия в психологических экспериментах накапливается. Испытуемые, получившие различные экспериментальные воздействия, не обязательно теряют и забывают полученное по завершении эксперимента. В любом случае у них остается представление о задачах, в решении которых они участвовали, и о переживаниях, вызванных экспериментальным воздействием. Этот опыт актуализируется при повторном прохождении психологического исследования и отличает результаты испытуемых, многократно участвовавших в исследованиях, от опыта людей, которые в таких исследованиях ранее не участвовали.

Распространение выводов исследования без учета этого опыта также несет угрозу внешней валидности, так как неизвестно, действительно ли испытуемые без опыта участия в психологических исследованиях продемонстрируют такие же реакции, как и испытуемые с большим опытом. Скорее всего, реакции этих испытуемых будут различаться, и те причинноследственные связи, которые установлены на одних испытуемых, не будут действовать в случае других, отличающихся от них, но опыту.

Так, человек, который раньше уже проходил тесты интеллекта, выполняет их иначе, чем тот, кто сталкивается с ними впервые, и это может привести к различиям в результатах этих двух людей. Человек — гибкое и обучаемое существо, которое перерабатывает любой опыт и использует его для более успешного дальнейшего поведения. Участие в психологических экспериментах гоже представляет собой такой опыт. Люди, которые прежде участвовали в экспериментах, могут стать чувствительнее к экспериментальному воздействию или, наоборот, приобрести навыки противостояния ему, они лучше и быстрее понимают инструкции к заданиям, так как уже сталкивались с чем-то подобным, чаще правильно понимают экспериментатора, быстрее справляются с тестированием и задают меньше вопросов.

Такая реакция испытуемых па экспериментальное воздействие, обусловленная опытом многократного участия в исследованиях, служит дополнительной переменной, угрожающей внешней валидности. Не проконтролировав эту переменную, нельзя переносить на человека, не имеющего опыта участия в психологических экспериментах, результаты опытных испытуемых. Переносить результаты новичков на людей, имевших опыт участия в психологических исследованиях, тоже нельзя — это будет нарушением внешней валидности исследования.

Поскольку на сегодняшний день трудно найти таких испытуемых, которые ни разу в жизни не участвовали в каких-либо опросах или ни разу хотя бы из любопытства не проходили психологический или псевдо-психологический тест, эффект взаимодействия возникает не так уж редко. Вероятность его возникновения выше в тех исследованиях, в которых используется специфическое экспериментальное воздействие.

Примерами такого воздействия могут служить демонстрация психологической иллюзии, использование эмоционально нагруженного материала исследования, обман испытуемого. Так, например, испытуемые в знаменитых экспериментах С. Милгрэма по исследованию конформного поведения должны были по требованию исследователя бить незнакомого им человека (помощника экспериментатора) током. По завершении эксперимента они узнавали, что исследователя на самом деле интересовало, как скоро они откажутся выполнять задание и какое давление необходимо на них оказать, чтобы они продолжали действовать по указке экспериментатора. Впоследствии, став испытуемыми в каких-то других экспериментах, вряд ли эти люди относились с тем же доверием к инструкциям и исследователям, как те, кто не получил подобного опыта.

Для контроля данного эффекта можно сравнить результаты испытуемых, имеющих больший и меньший опыт участия в психологических исследованиях. Если между такими группами обнаружатся различия по результатам предварительного или заключительного тестирования, значит, опыт участия в исследованиях повлиял на результаты работы испытуемых и должен быть учтен при дальнейшем использовании данных исследования.

В целом характер угрозы внешней валидности, признаки подверженности разным угрозам и действия по их контролю собраны в табл. 11.3.

Таблица 11.3

Угрозы внешней валидности, особенности исследовательской процедуры, повышающие риск этих угроз, и их контроль

Окончание табл. 113