Выбор единиц наблюдения

Даже только начинающие овладевать методом анализа содержания исследователи начинают с вопроса: сколько текстов надо исследовать, чтобы исследование считалось корректным? Мне даже кажется, что они не до конца осознают важность этого вопроса - а важность в ответе, которым должно начинаться каждое исследование, где автор заявляет: «Я изучил такое-то количество текстов. Этого достаточно, чтобы сделать выводы о таком-то периоде деятельности источника». Просто начинающего исследователя берет легкая оторопь от осознания сложности, тщательности, пунктуальности, трудоемкости метода - подчеркиваем, что эти характеристики должны быть присущи методу всегда - и он задает этот вопрос, чтобы получить логичный ответ, насколько минимальной должна быть выборка изучаемых текстов, чтобы по возможности максимальным был период, на который мы распространяем свои выводы.

Вопрос этот вполне логичен. Методология многих наук основана на том, что целое описывается по его части.

Вспомним, что, например, такая отрасль социологии, как зондирование общественного мнения, смогла встать на индустриальные рельсы не раньше, чем для институтов, специализирующихся на таком зондировании, был решен вопрос с научной выборкой. Стали известны законы отбора отдельных индивидуумов, чтобы сравнительно неболшое их число - в случае, например, с американским институтом общественного мнения Дж. Гэллапа, это 1500 - 2000 американцев - позволило распространять данные опроса на все население США. Говоря научным языком, с разработкой научной теории выборки была решена проблема, как добиться «надежных обобщений при интенсивном изучении относительно небольшого числа случаев». Реально выборка представляла возможность экономично, при большой скорости проведения работ, профессионально провести опрос, который зачастую дает более верную информацию, чем сплошное обследование.

Кстати, вспомним, что на заре исследований общественного мнения именно выборка подвергалась поистине уничтожающей критике оппонентов изучения общественного мнения. Обыденное сознание никак не могло согласиться с тем, что достаточно опросить всего 1500 человек, чтобы знать, что думают по определенному поводу 150 млн. человек.

Главное, что мы должны себе представить, это то, что существуют различные типы выборок и что далеко не все из них сможет применить на практике контент-аналитик.

Не последняя тут проблема - доступность материала. Хотя библиотеки многих стран уже давно озаботились проблемой сохранности продукции СМК для потомства, пробелов здесь множество. Как правило, хранятся только самые престижные газеты [16]. Особенно остро стоит эта проблема по отношению к продукции радио и телевидения. Это может быть естественным ограничителем при общей разработанности технологии выборок.

Так, существует большой класс выборок репрезентативных, т.е. таких, которые претендуют на то, чтобы быть представительными для более широкой совокупности. Этот класс можно разделить на две неравные группы по способу отбора единиц уже для конкретного исследования. Большая часть - это так называемые квотные выборки (или многочисленные модификации их: районированные, стратифицированные, многоступенчатые, послойные и т.п.). При составлении их нужно обладать предварительной информацией обо всей совокупности единиц, из которой производится отбор. В случае, например, с конкретной страной нужно знать распределение по количеству населения в каждом регионе, причем надо знать распределение этого населения по полу, возрасту, образованию или другой характеристике, которая, по мнению исследователя, влияет на то конкретное поведение, которое он изучает - например, потребление конкретных средств массовой коммуникации.

Понятно, что для аналитика содержания такая возможность отпадает. Всякий раз исследователь начинает с «белого листа». Ему как раз и надо знать распределение характеристик текста - это не те достаточно постоянные характеристики населения, как пол, возраст, и прочие, которые нужны при определении выборки в исследованиях аудитории. Действительно, они для определенного региона могут считаться постоянными. Для больших совокупностей людей меняются мало, а если меняются, то эти изменения тут же становятся известными соответствующим статистическим органам, поскольку это их работа, которая заканчивается тем, что они сразу же информируют социум об этих изменениях.

Существуют и другие выборки в классе репрезентативных - это вероятностные, или случайные выборки. Их построение основывается на том факте, что если для каждой единицы генеральной совокупности, например, населения всей страны, будет выдерживаться равновероятная возможность попасть в число отобранных для исследования, т.е. конкретных людей будут отбирать случайным образом, то такая выборка будет отвечать высшему критерию представительности - она будет репрезентативна для всего населения страны.

Мы повели разговор о репрезентативной выборке, а именно о ней идет речь, когда встает вопрос, в какой мере выводы исследования по ряду случаев приложимы (характерны, репрезентативны) ко всему явлению в целом, идя на поводу у неискушенного исследователя-аналитика. Репрезентативная выборка представляет лишь один из двух типов выборок, которыми практически (в принципе) исчерпываются все случаи выборок в социальных исследованиях. Другой класс выборок - типологическая выборка - в ходе исследования говорит нам, что наблюдаемое нами в обществе явление есть, оно при этом имеет определенные, зафиксированные в ходе нашего исследования характеристики (хотя может этими характеристиками и не исчерпываться).

Говоря о репрезентативных выборках, мы остановились на том, что один из подвидов их - и только он один - применим в контент-аналитических исследованиях.

Но здесь вероятностная, или случайная выборка - а это как раз тот самый подвид - приобретает некоторые особенности, с которыми специалист не может не считаться.

В самом деле - в случае с исследованиями общественного мнения мы имеем дело с объектом, протяженным в пространстве, скажем, с населением страны. Как ни сложно оперировать с таким объектом (или, как говорят социологи, с генеральной совокупностью исходных единиц), социологи, установив определенную ступенчатость отбора для разных характеристик, обеспечивают для каждого человека, входящего в эту генеральную совокупность, искомую равновероятную возможность попасть в выборку.

В случае с исследованиями содержания прессы мы имеем дело с объектом, протяженным во времени. Что тут считать генеральной совокупностью? Всю совокупность текстов с первого дня существования газеты? Десятилетие? Пятилетие? Год? Другими словами - если мы возьмем эмпирическую выборку Гэллапа в 1500 человек за образец и будем строить свою выборку текстов в 1500 единиц (пока отвлечемся от того, что считать тут единицей: это с людьми все ясно, а с текстом, как говорится, возможны варианты - это могут быть отдельные дни/номера газеты целиком или отдельные материалы), то реально мы должны промерить все тексты гигантским циркулем, «шаг» которого будут составлять эти 1500 единиц, от сегодняшнего дня в прошлое. Сделаем пять этих гигантских шагов (или двадцать пять), а потом пойдем в обратном порядке - возьмем в отмеренном пространстве каждую пятую единицу (или двадцать пятую) и получим идеальную случайную выборку.

Но - где остановиться циркулю? В пятой точке или двадцать пятой? Это всегда произвольное решение исследователя. Иначе говоря — определение границ генеральной совокупности, из которой будет произведена выборка - это авторитарное решение исследователя и никто ему этого подсказать не сможет. На его выбор должно влиять одно тактическое соображение - его выборка репрезентативна для всего выбранного временного интервала, но не для отдельного периода внутри этого интервала. Другими словами, если для исследования выбраны 1500 текстов газеты с определенным интервалом внутри периода 1963 - 1966 гг., то результаты будут относиться ко всему этому периоду, но не к маю месяцу 1964 г. (точно так же выбранные случайным образом 1500 опрошенных по России демонстрируют мнение, репрезентативное в целом для России, но не для Красноярского края - такая задача потребует увеличения выборки, при чем все на тех же началах отбора уже по Красноярскому краю).

Каковы должны быть эти временные границы, повторяем, это воля исследователя. Ответ на этот вопрос теснее всего связан с программой исследования, т.е. с его задачами. Ясно, что логика определения этих временных границ должна быть одной для выяснения воздействия текстов на аудиторию, процесса, который по самой своей сути является долговременным, и другой - для снятия картины деятельности источника, которая может быть и одномоментной; одной - когда само исследование замышляется для того, чтобы внести коррективы в сегодняшнюю деятельность источника, но она может быть совершенно другой в случае с историко-сравнительными исследованиями.

Во всех случаях, когда речь идет о долговременном процессе, повышается необходимость репрезентативных выборок со случайным отбором единиц наблюдения. Вспомним исследование, связанное с изучением языка идеологий в мировой прессе (см. с. данной работы). Для анализа брался каждый номер престижных газет нескольких стран, вышедший первого и пятнадцатого числа каждого месяца.

Случайность этого отбора уравнивала источники с точки зрения частоты употребления в них политических символов. Поясним свою мысль - определенная газета могла продемонстрировать первого числа какого-то месяца в данном пятилетии необычную даже для нее «густоту», частоту обращения к политической тематике, но эта же газета пятнадцатого числа другого месяца (в другом пятилетии) по причинам того, давно ушедшего пятилетия, абсолютно не касалась политики: она вышла под лозунгом «день спорта». Но в пределах одного-двух-трех десятилетий, на которые распространялся анализ, любая другая газета могла быть точно в таком же положении в другие первое и пятнадцатое числа.

В этом смысле справедливо замечание, что большой временной отрезок для отбора и сам механизм случайного отбора (а это мог быть каждый второй и шестнадцатый номер газеты и т.п.) уравняли источники и в этом смысле сделали надежными выводы исследования: они были характерны для всего анализируемого периода деятельности источника.

Такой случайный отбор уравнял газеты еще в одном отношении. Известно, что в газетах разных стран существенно разнятся номера в зависимости от дня недельного цикла. Так, например, американские ежедневные газеты имеют различную толщину в разные дни недели. Это зависит в основном от количества рекламы, размещаемой на страницах газет, а она в свою очередь отражает динамику привычек покупателей в течение недели. И тогда выпуски газеты в четверг имеют одну толщину, а субботние - другую. Когда газеты отбираются на большом временном отрезке случайным образом, возрастает вероятность того, что в выборку попадут номера газет разных дней недели.

Когда исследователя интересует современная ему деятельность источника и он хочет ограничиться заведомо небольшим временным периодом для анализа, он должен специально учесть этот фактор. Так, известно, что каждая газета имеет сменные тематические рубрики для каждого дня недели, телевизионные каналы приурочивают особые развлекательные передачи к концу недели и т.д.

Чтобы отразить в выборке недельную цикличность, столь характерную для деятельности СМК, у аналитика содержания есть уже опробованный метод «конструирования» недели (авторы этого метода - Роберт Джоунс и Рой Картер). По этому методу в годичном выпуске газет отмечаются все выпуски в понедельник, вторник и т.д. Затем берется каждый десятый выпуск из числа выпусков в понедельник, каждый десятый выпуск из выпусков во вторник и т.п. Сконструированная таким образом неделя будет репрезентировать весь год, выбранный для анализа. Надо сказать, что этот вывод не голословен: исследователи, рекомендовавшие такой подход к отбору единиц для анализа, в ходе своих сравнительных исследований показывали, что точно такие же результаты получаются, если анализировать весь материал за год сплошь.

Интересный вариант выборки с использованием такой недели содержит исследование Ч. Окигбо (отделение массовых коммуникаций, Университет Нигерии).

После отбора четырех газет - объекта исследований, репрезентирующих разные формы собственности, разные политические направления: частное предприятие, наиболее элитарную газету, государственную собственность/контроль, газету - собственность управления штата -формы, которые, по мысли автора, в значительной мере определяют отбор новостей (механизм отбора новостей был предметом исследования), автор использовал следующий механизм построения выборки. На первом этапе из годичной подшивки каждой газеты за 1986 г. (52 недели) методом случайного отбора была взята одна сплошная неделя для каждой газеты - это была неделя с понедельника 10 марта по понедельник 17 марта 1986 г. Причем, поскольку воскресные номера газет в этой стране скорее напоминают еженедельник (большой объем, множество редакционных материалов и аналитических статей), они были изъяты из анализа. К этим семи номерам была прибавлена сконструированная неделя (случайным образом был отобран понедельник из всех понедельников и т.д.; в итоге в выборку попал понедельник 14 июля, вторник 9 сентября, среда 14 мая, четверг 28 августа, пятница 7 февраля, суббота 26 июля и понедельник 20 октября). Таким образом, исследование было осуществлено на 14 номерах анализируемых газет [17].

Но начинающий аналитик содержания, как и его оппоненты, должен отчетливо сознавать, что в таком случае выводы его исследования относятся к этому обозначенному как основание для выборки году, но не к каждой неделе в отдельности.

И все-таки вопрос «сколько» остается. И здесь мы опять обращаемся к изначальным задачам исследования: если мы анализируем разнородный материал, например, совокупный теле- или радиодень с их разнообразием рубрик или весь номер газеты, где есть информационные и очерковые материалы, редакционные статьи и теоретические «подвалы», справочные материалы и уголок юмора, надо выбирать больший объем; если в этой совокупности мы имеем дело с отдельной передачей или жанровым куском газеты как с объектом анализа, мы ограничиваемся меньшим объемом.

И здесь самое место «закрыть» еще один вопрос: о единицах, которые мы выбираем - дни (выпуски) или отдельные материалы. Согласимся, что разница существенная - проанализировать 1500 газетных выпусков или 1500 отдельных материалов. Исходя из тактики случайного отбора, это должны быть отдельные материалы: только они образуют совокупность, уменьшение которой в тысячу или в десять тысяч раз (как в опросах общественного мнения) делает посильным, а значит, и осуществимым анализ текстовой продукции.

Но тактика вероятностного случайного отбора требует, чтобы исходные единицы были, образно говоря, хорошо перемешаны [18]: единицы должны иметь равновероятную возможность попасть в выборку, это обязательное условие такого отбора. Теоретики вероятностного метода приводят в качестве примера в таких случаях урну, в которой перемешаны разноцветные шары или лотерейные билеты.

Если обсуждать с этой точки зрения текстовую продукцию СМК, то мы убеждаемся, что она существует в виде устоявшихся многоступенчатых структур: каждая полоса газеты имеет сложившуюся структуру информации (по тематике, по локальности, по расположению официальных материалов и справочных документов). Даже в пределах более простого случая, например одной передачи на телевидении, сложились определенные модели сосуществования отдельных материалов - как самый красноречивый пример такого рода - программа «Время».

В таком случае отбор отдельных материалов может привести к значительным систематическим искажениям. Как правило, контент-аналитики, оперируя сравнительно небольшим искомым числом отдельных материалов (сопоставимым с вышеуказанными 1500 - 500 единицами), случайно отбирают их в пределах одного теледня или одного выпуска газеты. Примеры со сконструированной неделей, о которой мы говорили, или с отбором каждого первого и пятнадцатого номера каждой газеты на протяжении десятилетий в исследовании языка политической пропаганды могут служить тут иллюстрациями.

Все вышеизложенные соображения о сложности обоснования выборки в контент-аналитических исследованиях объясняют, почему на практике за всю историю применения этого метода исследователи - авторы одноразовых, эпизодических «замеров», «зондажей» содержания СМК объясняют свою выборку на уровне здравого смысла: доступностью единиц наблюдения, возможностью изучить данный объем в короткий срок и т.д.

Практически за этим стоит то, что аналитики всякий раз имеют - за редкими исключениями - дело с типологическими выборками: они скрупулезно констатируют, что в деятельности источника есть в достаточно короткий, точно ими фиксируемый отрезок времени. Социологи знают, что все социальные исследования чрезвычайно чувствительны к фактору времени. Тем не менее, поскольку - как мы можем судить из ретроспективного анализа применения контент-анализа в мировой социологии - границы этого отрезка времени подвижны, мы можем сформулировать несколько методических правил, которые позволят начинающим аналитикам содержания определиться со своей выборкой.

Прежде всего исследователь должен учитывать реальную периодичность, цикличность, ритмичность в деятельности анализируемых СМК или отдельных газет, радио- и телеканалов. Ясно, например, что при анализе передачи, которая выходит в эфир один раз в месяц, и которая выходит несколько раз в день (информационные выпуски), мы должны будем предусмотреть - если нас интересует их сравнение - такой промежуток времени, чтобы обе эти передачи были представлены в нем равновесомо.

Если мы сравниваем ежедневную общенациональную газету с районной, которая имеет другую - более редкую - периодичность, соответственно, номеров для анализа ежедневной газеты мы можем брать меньше. Поможет принять тут правильную тактику такое методологическое объяснение, что чем чаще воспроизводятся в деятельности источника какие-то характеристики (а комплекс определенных характеристик программы «Время» воспроизводится, например, ежедневно), тем меньше единиц для наблюдения за этим источником нужно выбрать по сравнению с другим источником, характеристики которого воспроизводятся реже.

Если мы интересуемся какой-либо одной характеристикой в деятельности источника, то мы при определении выборки руководствуемся следующими соображениями. Рассмотрим их на примере программы «Время», на характеристике «Обоснование коммуникатором выбора факта». Допустим, что мы на основании пробного пилотажного исследования, предварительного знакомства с этой телевизионной информационной программой убедились, что существуют такие виды этого обоснования:

1 - сюжеты с лексической маркировкой времени события;

2 - сюжеты с лексической маркировкой качественных признаков события и факта;

3 - сюжеты без лексического обоснования выбора факта.

Начиная отслеживать материал (точка отсчета, начало отсмотра произвольно задается самим исследователем в зависимости от его интереса к определенному временному периоду), мы фиксируем все случаи появления разных видов «обоснования выбора факта». Как только появилась наиболее редко встречающаяся характеристика, мы можем закончить наше микроисследование. Мы получили результаты классического типологического исследования: мы получили количественное распределение массива информации по одной интересующей нас характеристике. Оказалось, что нам понадобилось проанализировать для этого 6 - 7 телевыпусков программы «Время» (табл. 3.3).

Таблица 3.3

Распределение сюжетов программы «Время» по обоснованию выбора факта за май - июнь 1985 г. (в абс. цифрах)

Сюжеты	Количество сюжетов
А. С лексической маркировкой вр6мени события	98
Событие произошло сегодня	71
Событие произошло вчера или ранее этого срока	3
Юбилейные даты со словом «сегодня»	16
Событие состоится в будущем	8
Б. С лексической маркировкой качественных признаков	22
Новизна	16
Лучшие образцы	3
Сложности, трудности	2
Важность, ценность	1
В. Без лексического обоснования выбора факта	41

Если бы нас интересовала частотность появления в эфире областей, краев, республик России, можно было бы заведомо утверждать, что в эфир пройдет гораздо больше выпусков «Времени», пока в поле внимания коммуникатора, а значит, и исследователя, попадет наименее часто упоминаемая территориальная единица.

С учетом такого поведения реальных характеристик содержания исследователь, включающий в одну программу исследования до десятка признаков, берет достаточно большой отрезок времени, чтобы подстраховать себя. В случае с ежедневной газетой, информационной программой и т.п. это, как правило, два-три месяца.

Если исследователя заинтересует какое-либо конкретное событие, происходящее сегодня в мире, и информационная политика нескольких источников по освещению этого события, то потребуется сплошное наблюдение за всеми источниками в сроки, максимально совпадающие с самим событием. Если мы вспомним исследование газеты «Истинный американец», то пропуск какого-то номера за исследуемый период дал бы великолепную возможность адвокату подследственных оспорить выводы экспертов. Или вообразим, что мы исследуем освещение ведущими телеканалами России кризис в Косово. Ясно, что исчерпывающий ответ на вопрос, как освещали этот конфликт ОРТ, РТР, НТВ и т.д., мы получим, если в поле зрения попадет весь временной отрезок этого конфликта.

Следует предусмотреть чисто организационные моменты. Сегодня нашелся заказчик, который заказывает вам исследование информационного источника, и как всегда в таких случаях, результаты ему требуются «вчера». Сколько вам понадобится времени, чтобы разработать программу исследования, осуществить собственно анализ, написать комментарий и сдать отчет заказчику? Тогда проблема срока наблюдения за объектом приобретает совсем другой характер. И ничто тут не заменит опыта исследователя, а также его знания всех элементов, из которых состоит исследование. К следующему такому элементу мы и переходим.

Полевой этап

Каждое социологическое исследование венчается результатом. Но ему предшествует большая работа, собственно социологическое «поле» - сбор информации, обработка, и только после этого - написание отчета. Чаще всего именно последняя стадия становится известной широкой научной общественности и лишь отдельные фрагменты предшествующей работы попадают в поле ее зрения. Методические работы, воспроизводящие и объясняющие инструментарий исследования, его средства и способы добывания научного знания рассчитаны, как правило, на более узкую аудиторию профессионалов, издаются малыми тиражами, быстро становятся библиографической редкостью.

Вот почему возникает необходимость в пределах этого пособия обсудить некоторые проблемы профессиональной «кухни» контент-аналитика. Это не заменит специальной работы для каждого отдельного исследователя, когда он окажется на этой стадии - скорее, это будет акцент на самом важном для этого этапа.

Формулировка задач, которые поставил перед собой исследователь, тесно увязывается в самом исследовании с теми способами получения социологической информации, которые мыслятся самим автором как наиболее адекватные. Образно говоря, социологический инструментарий - это та узда, которой сдерживается воображение социолога. Ставя перед собой определенную задачу, он должен примерить ее на способы решения.

Далее в рассуждениях автора должен появиться сам объект исследования: исследователь описывает этот объект - информационный источник в определенных границах его деятельности, обосновывая отбор единиц наблюдения. Описание выборки мы осуществили в предыдущем параграфе этого раздела, но не исключено, что на реальном исследовании стоит прибегнуть к консультации математика-специалиста по теории выборки. Следующий шаг - составление кода и инструкции к нему. Эти документы разрабатываются в тесном взаимодействии со специалистом, который будет осуществлять обработку полученной информации на ЭВМ. Чем в большей степени построение документа, на котором будет фиксироваться исходная информация, будет соответствовать правилам ввода информации в компьютер, а также правилам ее дальнейшей агрегации, тем меньше затрат вам потребуется на этой стадии.

После составления кода требуется специальная стадия - проверка кода на соотносимость результатов ( reliability ). Как правило, эта стадия состоит в том, что исследователь предлагает для анализа по данному коду один и тот же текст нескольким кодировщикам и проверяет, однообразно ли они используют код и насколько сходятся их результаты [19]. Другой вариант проверки - повторно дать закодировать этот же текст нескольким кодировщикам по истечении определенного промежутка времени. Цель в данном случае та же: посмотреть на идентичность анализа, так сказать, «во времени и в пространстве».

Все необходимые поправки и изменения, которые еще можно будет предусмотреть в коде и в инструкции к нему, следует делать имено на этой стадии. Как только начнется само исследование, то есть работа большого коллектива кодировщиков над текстами, вошедшими в выборку, поправки будут означать сбой в работе. Инструкции уже напечатаны, кодировщики проинструктированы - работу эту придется начинать заново.

Пока же «снимаются» все вопросы кодировщиков, происходит коллективное обсуждение реальной кодировки, оттачиваются примеры, которые должна содержать инструкция [20]. Так, в исследовании российской прессы на предмет ее отношения к лидерам и фракциям Госдумы, на которое мы уже ссылались, инструкция содержала примеры конкретных текстов из реальных газет, содержащих разные оценки: «Пока же преимущество в искусстве ведения судебного спора явно на стороне президентско-правительственной команды. Во-первых, она хорошо подобрана и в ней четко распределены роли. Впереди официальные представители - Сергей Шахрай, Юрий Батурин и Олег Кутафин. Все трое - юристы со степенями, хорошо освоившие приемы публичного спора. И психологическая уравновешенность у них тоже на высоте». («Авторов Чеченской республики пока не нашли» // Известия, 13.07.95) - позитивная оценка С. Шахрая, как лидера определенной фракции ;

«Кроме Егора Гайдара, предстоящие выборы могут принести большое разочарование и Жириновскому и его ЛДПР. Некогда мощнейшей партии сегодня симпатизирует лишь 6,6 процента голосов. Очевидно, имиджу Жириновского не помог пролитый в сражении с Б. Немцовым апельсиновый сок. Да и в целом скандальностью наших людей теперь удивить крайне трудно, хотя тяга к ярким личностям остается». («Аркадий Вольский встретился...» // Комсомольская правда, 01.07.95) - негативная оценка Жириновского и его фракции;

«Иван Петрович Рыбкин символизирует интересную тенденцию в российской политике. Его опыт, предшествовавший посту председателя Госдумы, оказался уникальным. Он хорошо знал законы аппарата, обрел незаурядные качества публичного политика в оппозционном состоянии. Наконец, это человек природного ума. Рыбкин внешне открыт и опрощен, но внутренне у него есть та российская хитринка, когда "сказка ложь, да в ней намек". Полтора года в логове Госдумы Иван Петрович осуществлял психотерапевтические функции и занял уникальную позицию. Сегодня он представляет интересы многих социальных групп в кремлевско-президентском властном режиме. Но надо же было такому случиться, чтобы Президент Ельцин двумя словами всю эту изнурительную работу опрокинул». (Интервью Г. Бурбулиса «Какофония новой власти» //Аргументы и факты. 1995. № 28) - сбалансированная оценка И. Рыбкина и негативная -Госдумы.

Мы специально привели эти примеры - установки руководителя исследования здесь недостаточно и некоторые кодировщики оценили второй пример как сбалансированную оценку В. Жириновского, а третий пример как позитивную оценку И. Рыбкина. Недаром в итоге оказалось, что степень совпадения мнений кодировщиков в той части иследования, которая касалась фиксации оценок, равнялась 88% (76%, когда речь шла о сбалансированных оценках, 89%, когда речь шла о позитивных оценках, 91% - нейтральная подача, 92% - негативные оценки).

Чтобы представить себе детализацию проблем в тексте инструкции, приведем начало инструкции к этому исследованию: «Кодировщик читает всю газету целиком, чтобы не пропустить упоминания интересующих исследование Субъектов/Объектов анализа, которые перечислены на карточке для кодировки. Кодировка начинается с того, что выписывается дата и номер газетного выпуска и число материалов с упоминаниями. После того как на отдельном листке выписаны заголовки всех материалов, где встретились эти упоминания, - чтобы не упустить ни одного из них, - приступаем к анализу каждого из этих материалов. Для этого требуется более скрупулезное, внимательное, чем на первой стадии, чтение каждого из этих материалов». И далее подробно объясняется каждая характеристика, даются примеры, объясняются способы фиксации результатов (если обработка результатов ручная) и т.д.

Если пробный анализ показывает недостаточную степень совпадения (американские авторы допускают в некоторых случаях степень совпадения в 60%), следует выяснить причины - это могут быть как механические ошибки (пропустил, не отметил и т.д.), так и содержательные расхождения - закодировано неправильно. Поэтому пилотный анализ должен предусмотреть проверку каждого материала - кто из кодировщиков допустил ошибки.

Более сложная процедура оценки работы с кодом - это проверка результатов на их обоснованность ( validity ) [21]. Общая идеология, связанная с проблемой обоснованности в социологических методах (в специальной литературе можно встретить и языковую кальку «валидность»), выражается в том, что исследователь предоставляет проверяемые доказательства, что именно, какую характеристику он измеряет.

Хрестоматийным примером в таких случаях является ссылка на такой измерительный прибор, как часы, измеряющие хронологическое время. Исправные, не останавливающиеся часы - надежный инструмент регистрации времени. Если же мы не знаем, по какому часовому поясу выверены эти часы, то их точные показания для нас бесполезны: мы не знаем, какое время, что именно они измеряют. Часы как инструмент не обоснованы [22].

Результаты анализа будут считаться обоснованными, если методика анализа замеряет в массиве текста то, что предполагалось замерять. Американский специалист в области контент-анализа У. Даниельсон приводит на этот счет такой пример. Допустим, вы фиксируете заметки, которые вы определяете как информацию о преступлениях, но действительно ли эта информация помещается для того, чтобы повествовать о преступлениях? Исследователь, отвечая на вопрос, должен обосновать свое определение преступления и такой заметки. Ему придется сказать, что в эту группу он относит происшествия, которые расцениваются юридическими властями, или общественностью, или, наконец, прессой как криминалистические по природе, а не как шалости подростков или результат паники. Иногда приходится прибегать к соображениям здравого смысла по принципу «широко известно...». Главный принцип - чтобы не было большого разрыва между категориальной сеткой и эмпирической действительностью.

Так, в ходе многочисленных исследований прессы мы убеждались, что при определении оценок, отношения автора текста к описываемым им событиям недостаточно оперирования только качественными прилагательными «хороший», «плохой». Про одного героя он напишет, что тот вытащил ребенка из проруби, или помог старушке перейти улицу (был у нас в отдаленные времена такой стереотип «хорошего» пионера - он обязательно поможет старушке перейти улицу), а про другого (скажем, депутата В. Жириновского), что тот в политической дискуссии облил своего коллегу апельсиновым соком или просто покажет это. А потом еще раз покажет... Средство не из слабых.

Нельзя было игнорировать эту мощную оценочную палитру. Поэтому в ходе многочисленных исследований, которые я цитирую и в которых выступаю как автор методики и интерпретации результатов, используется в инструкции кодировщикам такое требование-объяснение: «Оценка формируется как с помощью "сильных" оценочных эпитетов, обнаруженных в тексте, так и самим содержанием ситуаций, в связи с которыми появляется в тексте интересующий нас субъект или группа: это могут быть как положительные ситуации, с которыми традиционно, в массовом сознании ассоциируется "благо ", так и ситуации, с которыми ассоциируется "зло "».

Именно здесь мы должны упомянуть характеристику нашего метода, которая нами еще не привлекалась для его описания. В наборе характеристик метода мы находим такое ограничение, что анализ работает только с «открытым» ( manifest ) содержанием [23].

Обычно в качестве примера этой характеристики используют как объяснение на уровне здравого смысла, так и в сугубо научной парадигме. Начнем с первого. Фраза, произнесенная женщиной в адрес своей соперницы: «Какая чудная шляпка на вас!» - может быть расцеена мужчиной так, как будто о шляпе говорилось, что она выше всяческих похвал, красивая и элегантная. Женщина же скорее заподозрит, что при этом в шляпе хотели подчеркнуть, что она «дешевая, немодная, аляповатая, и скорее бы подошла юной девушке». И хотя аргументация черпается тут из области психологии, контент-анализ не может работать на значениях и смыслах второго, скрытого плана, он будет оперировать содержанием, что называется, «на поверхности».

Действительно, если представить множество жанров на протяженности по мере того, насколько адекватно они воспринимаются потенциальной аудиторией, одинаково понимаются, то информационная заметка из СМК окажется на одном конце, а заумная мистическая поэма - на другом (поскольку вариабельность прочтения ее разными людьми возрастает многократно). Анализ содержания работает как раз с теми текстами, где вероятность одинакового понимания смысла очень высока. И это не случайно. Содержание СМК потому (в том числе) и является массовым, что оно рассчитано на максимально возможное одинаковое понимание. В этом его природа. И анализ содержания как методика его изучения «снимает» именно этот уровень значений. Все остальное для него - от лукавого.

Именно поэтому и нужны тесты на обоснованность кода - что понимается разными кодировщиками под значением текста, и что говорит нам об алгоритме «декодирования» этого значения предлагаемая для исследования инструкция.

Один из тестов на обоснованность результатов, который, судя по специальной литературе, использовался неоднократно, состоит в том, что исследователь, исходя из того, что содержание меняется определенным образом, предсказывает, что измерение другого периода покажет точно такое же соотношение характеристик.

Проблематика, которую мы обсудили, позволяет нам нагрузить некоторые принципиальные характеристики анализа содержания, которые мы приводили ранее, такими обертонами, которые без дополнительной информации на их счет остались бы непонятыми. Объективность анализа состоит также и в том, что категории, которыми оперируют в исследовании, определены так четко, что различные исследователи, анализируя одно и то же содержание с помощью этих определений, получают один и тот же результат. Кто-то может не согласиться с тем определением оценки, которую мы только что привели, и будет использовать свою метрику - брать только качественные прилагательные как фактор отношения. Результаты будут разные, но ведь и м