Машинный способ анализа текста

Далее мы коснемся возможностей машинной обработки материалов способом контент-анализа. Из всех возможностей контент-анализа, которые суммированы в группах 1 и 2, ЭВМ можно поручить задачи анализа текстов, когда в качестве единицы анализа выступает слово. Когда мы говорим, что речь идет о достаточно ограниченном наборе слов, мы имеем в виду ограниченность с точки зрения человеческого мышления. Память же компьютера оперирует списком, состоящим из тысяч слов. Когда мы проверяем орфографию напечатанного текста, происходит операция сличения вашего текста с набором слов, уже введенных в память компьютера. И человеку, выступающему тут в качестве «машиниста», кажется, что число таких слов, введенных в память, беспредельно. Тем не менее оно «конечно», и машинный анализ текста возможен, когда в память ЭВМ заложены эти тысячи слов.

И тогда машина при обработке текстов ничем иным не занимается, как подсчитывает число материалов, где встречаются те слова, которые интересуют исследователя.

Такие операции находят все большее применение и предложениями - провести такой анализ - уже пестрят рекламные странички профессиональных журналов. Дело тут за малым: предусмотреть, например, возможности синонимического ряда понятий...

Более сложные случаи, когда речь идет о генерализации вывода, не обеспеченного симметричным рядом известных слов, пока неподвластны компьютеру, и на этот счет иллюзий пока питать не следует. Другое дело, что компьютер может выступать как машинописный лист фиксации результатов, к которым приходит кодировщик текста. Но и тут существует соображение контроля за этим выводом. Думается, что возможности предъявления такого анализа для контроля пока сдерживают применение компьютера в этом качестве.

Но вспомним, как все это начиналось. Группа ученых Гарвардского университета в США (рук. Ф. Стоун) в 1961 г. начала разработку принципов подобной машинной обработки, проведя серию анализов самых различных текстов: газет, сочинений членов малых групп, программных речей, произнесенных кандидатами на президентский пост от демократической и республиканской партий США, личных документов (писем, дневников, автобиографий) [14].

В рамках этого исследования было разработано несколько программ со следующими общими требованиями: компьютер отыскивает в тексте лингвистические аналоги тем категориям, которые интересуют и оговорены исследователем; подсчитывает частоту употребления этих категорий и их сочетания; выводит результаты в таблицы распределений; группирует текст в зависимости от употребляющихся там категорий и т.д.

Эти операции компьютер осуществлял только после того, как в его память были заложены языковые знаки (слова, идиомы, фразы), которые в своих группировках могут быть выражены на понятийном языке социальной теории исследователя и каждая из которых представляет из себя определенную переменную величину в его гипотезах. Для этого исследователь составляет словарь своего исследования: понятийному слову в качестве его расшифровки даны «носители» его смысла в бытующем в реальности языке.

Построение такого словаря аналогично построению «тезауруса» — языка определенной области человеческого знания, когда ключевым словам из этой области знаний соответствует синонимический ряд общеупотребительных слов. Таким образом, словарная статья в «тезаурусе» - это более крупный семантический блок, чем словарная статья обычного толкового словаря.

Обозреваемое нами комплексное исследование включает следующие самостоятельные анализы.

Исследование Д. Данфи связано с изучением малых групп, оно основано на анализе вербального поведения членов малых групп. Целью этого изучения было выяснение ролевых различий в группах, связей, отношения к фигуре формального наставника - все это во временном развитии. Материалом для анализа были сочинения испытуемых групп. Основными категориями были самоотождествление, величина группы, служащей для испытуемых референтной, действия и эмоции, институциональный контекст и т.д.

Группа исследований была связана с политическими текстами, в частности, анализ М. Смитом, Ф. Стоуном и Е. Гленн программных речей, произнесенных кандидатами на президентский пост от демократической и республиканской партии США в течение 36 лет (от Смита и Гувера до Джонсона и Голдуотера).

Исследователи Дж. Нейменвирс и Т. Брейер провели анализ статей, опубликованных в газетах The Times (Англия), Le Monde (Франция), Frankfurtur Allgieine Zeitung (тогда еще Западная Германия), The New York Times (США), на предмет того, как, по их мнению, обстоит дело с политической интеграцией западных стран в связи с существованием экономических и военных союзов между ними.

Процесс межгосударственной интеграции понимался как изменение следующих четырех элементов: характер принятия решений, касающихся судеб различных стран; обмен между странами почтой, студентами; торговля, иммиграция; мнения масс и элиты по поводу перспектив на этот счет. Показателями изменений в ориентации анализируемых престижных газет были выбраны внимание к национальным и региональным символам и степень тождественности в ориентации газет всех четырех стран.

Даниэл М. Огилви построил специальный словарь для проверки гипотезы о существовании так называемого «комплекса Икара», психологического явления, которое отмечалось по наблюдениям психологов за рядом своих пациентов. Огилви решил подвергнуть испытанию эту гипотезу, проанализировав текстовые материалы, созданные в рамках разных культур. В качестве такого материала были выбраны сказки - 626 сказок из 44 примитивных сообществ. Контент-анализ этих сказок был предварен созданием так называемого «Икарианского словаря», охватывающего 74 категории и 2500 слов, их наполняющих. Для разработки системы категорий использовались разные источники: работы исследователей, описывающих комплекс Икара, истории жизни людей, явно обладавших этим комплексом, тексту наблюдений за ними психотерапевтов и т.д.

Поскольку изначально комплекс Икара определялся как направленность на «полет, падение, огонь, воду, бессмертие и нарциссизм»,, гипотезу о существовании комплекса на уровне анализируемых сказок можно было, по мнению автора, считать доказанной, если эти темы окажутся «связанными» в конкретных единицах фольклора, или на определенном этапе окажется возможным по одним темам предсказать появление в анализируемом тексте смежных тем. Итог анализа состоял в расчете корреляций между 74 категориями и факторном анализе конечной матрицы.

С самых первых попыток использования электронно-счетных устройств для работы с текстом становились ясными преимущества и недостатки обработки текстового материала с помощью машин - они обеспечивали адекватность анализа огромных текстовых материалов, но требовали огромных усилий по составлению программы - собственно «словника», с учетом всех синонимических вариантов понятий, которые надо будет отыскивать в этом море пропускаемых через машину слов. Не случайно, что многие из тех анализов, которые были проделаны в Гарвардском университете, использовали категориальный аппарат ранее проделанных исследований и «обкатывали» его на компьютерах.

Для начала же авторы системы «Дженерал Инкуайерер» создали отперфорированные тексты с общим количеством слов, равным 6 миллионам. Из этих слов была произведена выборка в 511 тыс. слов. Тексты, попавшие в выборку, были просеяны через процедуру поиска ключевого слова. В результате осуществления этой процедуры исследователи получили распечатку всех случаев употребления интересующих их слов в выбранной совокупности текстов. На реализацию процедуры ушло шесть часов машинного времени, а полученная распечатка была толщиной в несколько десятков сантиметров. Одним из самых неожиданных результатов процедуры было то, что для определения смысла ключевого слова оказалось вполне достаточно нескольких слов, расположенных по обе стороны ключевого слова. То есть для ряда задач не нужно было иметь значения всего предложения целиком, включая анализ его синтаксической структуры. Но оставались еще местоимения, идиомы и т.д.

Хотя первые словники создавались исследователями под конкретные задачи и главным тут была идентификация ключевых слов, сами авторы отлично понимали перспективы развития компьютерного дела - их размышления о том, что наборная клавиатура, связанная с компьютером, будет обычной принадлежностью школьного класса и делового офиса учителя, бухгалтера, психотерапевта, библиотекаря (ясно видно, что эти размышления относились к дореволюционной эпохе - до революции, когда был изобретен персональный компьютер), звучат сегодня как предвидение. Но для того чтобы выполнять все эти ожидаемые операции, нужно было, чтобы компьютер мог различать не только слова, но и смысл более пространных языковых единиц. Для этого нужно было решение проблемы синтаксического анализа. К сегодняшнему дню частично такие проблемы решены, коль скоро мы доверяем своему компьютеру - при наличии в нем специфических программ - проверку ошибок набранного текста.

Отметим существенный момент в разработке методологии анализа текста с помощью машины (что помимо всего прочего означало движение в направлении общения человек-машина): как только исследователи вышли на изучение диалога, они осознали, что эта проблема выводит их за пределы узкоспециальных «ведомственных» словарей...

С тех пор машинный метод обработки текстовых массивов все больше находит себе применение. При чем мы имеем в данном случае не те чисто прикладные случаи, когда машина помогает отыскать нужную вам научную литературу по ключевым словам, которые такая литература имеет заранее в виде своеобразной паспортички (или патент изобретения, если вы хотите проверить, не изобрел ли кто уже предлагаемый вами велосипед); или практику, по которой работает Международный междисциплинарный Индекс публикаций ( Citation In dex ) - индекс представляет из себя распечатку статей из 7000 журналов, издаваемых во всем мире, по лицам, упоминаемым там. Каждое упоминание лица классифицируется по источнику: является ли оно автором статьи, упоминается ли в ходе дискуссии, появляется ли его имя в рецензии, в библиографии и т.д. Более детальный вариант этого индекса по социальной проблематике содержит роспись всех статей по ключевым словам.

Так, выпуск 1984 г. содержит данные о 1000000 статей из этих журналов, а поскольку форма его выхода - алфавитный список упоминаемых фамилий - то это составляет 10,5 млн. ссылок. К примеру, в течение нескольких минут мы можем (а этот Индекс есть в Государственной российской библиотеке) определить, какие статьи по этой проблематике напечатаны во всем мире в период, например, мая - августа 1985 г. Оказалось, что за это время было опубликовано 7 статей (все в американских журналах): три посвящены исследованиям речи лиц с психопатологическими изменениями, статья У. Миллса по содержанию китайской пропаганды, статья К. Уинника «Контент-анализ журналов с сексуальной тематикой». Все упоминания снабжены указанием названия журнала, тома, номера и страниц.

Уже через десять лет после этого пионерского проекта Ф. Стоуна и его коллег практически повсеместно стали осуществляться проекты контент-аналитических исследований с применением ЭВМ. На состоявшемся в 1974 г. в Италии рабочем совещании по проблемам контент-анализа было представлено несколько таких проектов, в частности проект международного исследования газетных заголовков с задачами определения внимания различных газет к местным, общенациональным и международным событиям, сравнения внимания американских и европейских газет к проблемам «общего рынка», сравнения освещения гражданской войны в Нигерии газетами разных стран и др. Германия была представлена на этой конференции проектом по созданию специализированного словаря для целей анализа содержания текстов [15].

Как ни странным это покажется на первый взгляд, именно пример с машинной обработкой текстов иллюстрирует очень важную для понимания сущности контент-анализа мысль. И в другом месте учебника эта мысль не прозвучала бы так явственно. Анализ содержания как метод не обладает магическими качествами - вы не получите из него больше, чем вложили в него. Если нечто значительное, важное, необычное не предусмотрено процедурой, то оно не появится в результате анализа, каким бы сложным и кропотливым он ни был.

Говоря о машинной обработке текстов, мы должны уточнить, что сейчас обсуждали случаи, когда компьютер оперирует непосредственно текстом. Гораздо более часты случаи, когда ЭВМ используется, грубо говоря, как арифмометр, оперируя с введенными в него кодировочными карточками, которые уже содержат итоги наблюдения за текстом, осуществленного исследователем. Сейчас это уже распространенная практика.