Интерпретация результатов

При проведении исследования мы исходили из предположения, что метод "запечатанного буклета" обладает большими возможностями по сравнению с обычным персональным интервью с точки зрения стимулирования искренних ответов на сенситивные вопросы. Однако полученные нами данные оказались не столь очевидными. С одной стороны, ни по одной из 28 сравниваемых пар вопросов, составивших предмет нашего рассмотрения 1 , не было обнаружено различий, которые были бы значимы на приемлемом уровне (p<0,05). Максимальное расхождение в ответах, свидетельствующее в пользу нового метода, составило всего 3,2% (табл. 3).

Таблица 3

Соотношение утвердительных ответов на вопросы, задававшиеся в традиционном персональном интервью и при интервьюировании методом "запечатанного буклета", % ответивших

*Здесь приводятся краткие версии вопросов. Полные тексты формулировок см. в Приложении 1.

Есть несколько обстоятельств, не позволяющих дать однозначное заключение о недостаточной валидности метода "запечатанного буклета". Во-первых, в 22 из 28 проанализированных случаев знаки процентных различий соответствуют предсказанному направлению, что свидетельствует о преимуществах альтернативной опросной техники. Эта тенденция, по сути дела, носит однонаправленный характер, поскольку персональное интервью несколько улучшило результат лишь по пяти вопросам (17,9%), да и то это улучшение не вышло за пределы 1%. Еще в одном случае наблюдалось абсолютное равенство методов.

Во-вторых, кажущаяся равнозначность применявшихся нами методик, демонстрируемая данными по выборке в целом, скорее всего, является артефактом. Приведенные выше показатели свидетельствуют, на наш взгляд, не о низкой эффективности техники "запечатанного буклета", а об искусственно завышенном уровне искренности ответов респондентов в персональном интервью. Это завышение обусловлено, в частности, тем, что некоторые испытуемые, особенно из молодежной среды, отвечая на вопросы интервьюеров в обычном устном режиме ("глаза в глаза"), бравировали своей девиантностью. Юношеская бравада — очень серьезный фактор, сильно искажающий объективные возможности метода "запечатанного буклета" и затрудняющий его сравнение с другими опросными процедурами. О существовании этого источника искажений в опросах по сенситивной проблематике свидетельствуют как проведенные нами претесты, так и исследования других авторов [16, p. 53; 17, с. 82].

В-третьих, полученные нами данные свидетельствуют, что обобщенная картина скрывает дифференцированное воздействие методов на степень искренности респондентов, принадлежащих к разным социально-демографическим группам. Разнонаправленный характер методологических предпочтений в разных стратах в конечном счете приводит к взаимопогашению различий в ответах испытуемых на уровне массива в целом. Мужчины, например, честнее сообщают о попытках совершения самоубийства в персональных интервью, в то время как женщины — при использовании метода "запечатанного буклета" (табл. 4). Сказанное относится и к другим социально-демографическим группам опрошенных. В результате при фактически различном отношении разных социальных сегментов выборочной совокупности к указанным методам сбора данных разность в удельном весе положительных ответов на данный вопрос по всей выборке минимальна (0,5%).

Таблица 4

Соотношение утвердительных ответов на вопрос: "Предпринимали ли вы попытки самоубийства?" в различных социально-демографических группах респондентов в зависимости от метода сбора данных, % ответивших

Отмеченная закономерность просматривается не только по отдельным вопросам, но и по всему вопроснику в целом. Женщины действительно воспринимают новый метод с большим доверием: в 20 из 28 задававшихся вопросов удельный вес признаний в социально неодобряемых видах поведения у них оказался выше, чем в персональном интервью. И хотя мужчины также ответили искреннее на 20 вопросов в том случае, когда анкета извлекалась ими из заклеенного конверта, однако средняя мера сдвига, свидетельствующая в пользу этого метода, у них почти в 2 раза ниже, чем у женщин (соответственно 3,3% и 6,4%).

Анализ данных также показывает, что жители провинциальных городов более откровенны при использовании SB-метода. Это не удивительно, поскольку они представляют собой специфическую социальную общность — более стеснительны, имеют несколько иные нравственные ценности и поведенческие стандарты. По данным нашего исследования, проведенного в феврале 2001 г. (N=701), они испытывают большее смущение при обсуждении деликатных тем, если опрос проводится "глаза в глаза" с интервьюером в устном режиме (p=0,000), имеют более актуализированную потребность в сохранении анонимности и конфиденциальности беседы (p=0,000). Неслучайно поэтому, что респонденты, проживающие в малых городах и особенно в сельской местности, на 18 из 28 задававшихся вопросов (64,3%) дали более искренние ответы, когда использовалась техника "запечатанного буклета", и лишь в трех случаях — когда применялся метод персонального интервью. При этом средняя величина смещения в пользу альтернативной методологии составила 3,8% при максимальном значении 7%. Для жителей областного центра эти показатели значительно ниже: 1,0% и 2,5%, соответственно (табл. 5).

Таблица 5

Показатели эффективности метода персонального интервью и интервью с использованием "запечатанного буклета" (SB) в различных социально-демографических группах респондентов (абс. числа и %)

В-четвертых, эффективность применения SB-метода зависит, по-видимому, от тематического содержания и степени сенситивности задаваемых вопросов. Весьма показательным в этом отношении можно считать распределение ответов респондентов, принадлежащих к разным социально-демографическим группам, на вопросы о гомосексуальных практиках (табл. 6).

Таблица 6

Распределение положительных ответов на вопрос: "Приходилось ли Вам вступать в сексуальные отношения с представителями Вашего пола?" в различных социально-демографических группах респондентов в зависимости от метода сбора данных, абс. числа и %

Как следует из таблицы, в отдельных группах респондентов применение "запечатанного буклета" способствует увеличению абсолютного числа искренних ответов в среднем в 1,6 раза при общей вариации значений от 1,1 до 3. Аналогичные зависимости просматриваются и по целому ряду других вопросов, задававшихся в исследовании (о потенциальном и фактическом употреблении некоторых видов наркотических веществ, занятии проституцией, эротических фантазиях и воспоминаниях и др.).

Выводы

Эксперимент не выявил явного превосходства тестируемого метода над традиционным персональным интервью. Применение "запечатанного буклета" не привело к устойчивому и повсеместному росту числа искренних признаний респондентов в социально неодобряемых видах поведения. Тест на статистическую значимость различий в ответах, полученных посредством разных опросных процедур, не дал положительных результатов. Вместе с тем детальный анализ результатов на межгрупповом уровне дает основания для более оптимистических выводов и оценок. В частности, данные по выборке в целом, скрывают заметные различия в восприятии методов разными социально-демографическими категориями респондентов. Обнаруженные нами систематические смещения в ответах, связанные с фоновыми характеристиками опрошенных, позволяют говорить о значительных потенциальных возможностях альтернативной методологии. Кроме того, позитивное влияние метода "запечатанного буклета" варьирует в зависимости от степени деликатности обсуждаемых проблем. Следовательно, чем выше стигматизация тех или иных видов девиантного поведения, тем больше шансов у данного метода продемонстрировать свою эффективность. С другой стороны, как верно замечают Т. Маккай и Я. Макаллистер, оценивать метод сбора данных по принципу "чем больше, тем лучше", не всегда уместно и правомерно [14, p. 183]. Когда исследователь интересуется видами контрнормативного или нелегального поведения, не имеющими широкого распространения в обществе, даже небольшое увеличение числа искренних признаний можно считать заметным достижением. Применение "запечатанного буклета", как мы могли убедиться, в отдельных группах респондентов и по некоторым типам вопросов способствовало улучшению результатов в 1,5–3 раза, что также позволяет говорить о значительных скрытых резервах данного метода.

Нейтрализации ожидаемого эффекта тестированной методики могли способствовать и некоторые условия самого эксперимента. Во-первых, в силу квотного характера выборки, осуществлявшейся без специальных рандомизирующих процедур, в качестве опрашиваемых во многих случаях использовались хорошо знакомые интервьюерам люди. Это, безусловно, облегчило получение искренних ответов вне зависимости от используемого метода, но одновременно "смазало" итоговые результаты. Во-вторых, применение специфической панельной модели, предполагавшей двухкратное обращение с одинаковыми вопросами к одним и тем же людям без необходимого в таких случаях временного промежутка, способствовало актуализации у респондентов "эффекта памяти", что, по-видимому, привело к простому воспроизведению частью испытуемых их первоначальных реакций в последующих секциях интервью и нивелированию различий в ответах по двум пробам. В-третьих, многократные и весьма интенсивные устные заверения со стороны интервьюеров в конфиденциальности предстоящей беседы, дополненные письменными напоминаниями, не могли не сказаться на качестве ответов респондентов, в том числе и в персональных интервью. Интервьюерам, вероятно, удалось убедить испытуемых в том, что их ответы на деликатные вопросы будут сохранены в строжайшей тайне и не станут достоянием гласности. Это способствовало повышению доверия респондентов к опросам и опрашивающим при проведении бесед "с глазу на глаз" и минимизации расхождений в ответах, полученных посредством разных процедур. В-четвертых, постоянное чередование персонального интервью и "запечатанного буклета" также могло стать важным источником искусственного нивелирования объективно существующих различий в ответах, вызываемых спецификой используемых методов. В подобном чередовании, по всей видимости, нет особой необходимости, поскольку, как показало наше исследование, результаты опроса не зависят от порядка и последовательности предъявления вопросных форматов.

Использование иного экспериментального плана, учитывающего указанные факторы, позволит устранить их нежелательные побочные влияния и получить более "чистые" результаты, дающие объективную характеристику интересующего нас метода.

Приложение 1

Вопросник для персонального интервью (исследование по валидизации метода "запечатанного буклета", март—апрель 2000 г., N=345)

1. Случалось ли вам хоть раз в жизни что-то украсть? (1. Да; 2. Нет)

2. Приходилось ли когда-нибудь вам или вашим близким давать взятку в обмен на нужные вам услуги? (1. Да; 2. Нет)

3. Случалось ли вам не сообщать в милицию о совершенном другими людьми преступлении? (1. Да; 2. Нет)

4. Случалось ли вам симулировать болезнь с целью получить больничный лист? (1. Да; 2. Нет)

5. Есть ли в вашей семье долларовые накопления? (1. Да; 2. Нет)

7. Возникало ли у вас когда-нибудь желание покончить с собой? (1. Да; 2. Нет)

8. Если возникало, то предпринимали ли Вы когда-либо попытку осуществить это желание? Если нет, пропустите этот вопрос. (1. Да; 2. Нет)

9. Предлагали ли вам когда-нибудь наркотики? (1. Да; 2. Нет)

Приходилось ли вам пробовать следующие виды наркотиков:

19. Стали бы вы употреблять наркотики, если бы вам предложил их ваш друг? (1. Да; 2. Нет)

20. Приходилось ли вам совмещать алкоголь с наркотиками? (1. Да; 2. Нет)

21. Приходилось ли вам заниматься сексом с нелюбимым человеком? (1. Да; 2. Нет)

22. Приходилось ли вам лгать родителям о своих сексуальных отношениях? (1. Да; 2. Нет)

23. Приходилось ли вам вступать в сексуальные отношения с представителями вашего пола? (1. Да; 2. Нет)

24. Случалось ли вам вступать в сексуальные отношения из-за алкогольного опьянения? (1. Да; 2. Нет)

25. Совершались когда-нибудь в отношении вас попытки изнасилования? (1. Да; 2. Нет)

26. Случалось ли вам совершать сексуальное насилие? (1. Да; 2. Нет)

27. Приходилось ли вам вступать в сексуальные отношения за деньги? (1. Да; 2. Нет)

Появлялись ли в ваших сексуальных фантазиях следующие персонажи:

28. Друг (подруга), с которым (ой) вы никогда не вступали в интимные отношения? (1. Да; 2. Нет)

29. Муж вашей подруги (жена вашего друга)? (1. Да; 2. Нет)

30. Человек, с которым вы имели интимные отношения когда-то в прошлом? (1. Да; 2. Нет)

31. "Звезда" (актер, актриса, певец, певица и др.)? (1. Да; 2. Нет)

32. Ваш пол? (1. Мужской; 2. Женский)

33. Ваше место жительства? (1. г. Иваново; 2. Города и районы области)

34. Ваш возраст? (1. 16–19 лет; 2. 20–29 лет; 3. 30–39 лет; 4. 40 лет и старше)

35. Ваш род занятий? (1. Рабочий промышленности, строительства, транспорта, связи; 2. Работник сферы торговли и обслуживания; 3. Представитель производственной и непроизводственной интеллигенции; 4. Студент ВУЗа, учащийся техникума, ПТУ; 5. Безработный)

Приложение 2

Вспомогательные рабочие документы исследования по валидизации метода "запечатанного буклета" (март–апрель 2000 г., N=345)

Контактные слова при первичном обращении к респонденту:

"Здравствуйте, меня зовут______________(назвать имя и фамилию). Я студент(ка) кафедры социологии Ивановского государственного энергетического университета. Наша кафедра проводит экспериментальное исследование с целью проверки нового, созданного нами метода сбора информации по деликатной тематике. Не согласились бы вы ответить на вопросы нашей анкеты? Это не займет много времени. Нам очень важно ваше участие в этом исследовании".