Методы математической статистики

Развитие исторической науки, как и других областей научного знания, тесно сопряжено освоением новых технологий, расширяющих познавательные возможности. В современных условиях – основные ресурсы сосредоточены в сфере применения компьютерной техники. Именно в этой области сосредоточены многообещающие возможности для совершенствования методологического инструментария исторической науки. Компьютер создает принципиально новые условия работы историка с источником: он делает возможной обработку громадных массивов данных, многомерного анализа и даже моделирования исторических процессов и событий. Современные программные средства предъявляют и новые требования к самому исследователю: освобождая его, зачастую, от необходимости детального знания технологии работы с данными, их «ручной обработки», они заставляют его гораздо пристальнее относиться к формально-логической составляющей исследовательской деятельности. Применение компьютерных технологий в историческом исследовании влечет за собой математизацию исторического знания, обеспечивает базу для более широкого применения междисциплинарных подходов, благодаря которым стало возможным получать более точные данные о прошлом и проверять уже имеющиеся теоретические наработки предыдущих поколений историков. Значение математических методов многогранно, они, одновременно, выступают как мощное средство в исследовательском арсенале, и как «коммуникативный ресурс», обеспечивающий возможность междисциплинарного синтеза.

Преимущественное положение в системе количественных методов, используемых историками, занимают методы математико-статистического анализа.

Термин «статистика» происходит от латинского слова «статус» (status) – положение, состояние явлений. Этот термин неоднозначен. Под статистикой понимают совокупность итоговых показателей, количественно характеризующих различные стороны общественной жизни, – экономику, политику, культуру. Под статистикой понимают также практическую деятельность по сбору и обобщению соответствующих данных. Статисти кой называют и особую общественную науку.

Наука статистика, как и всякая иная наука, возникла из практических потребностей людей. Она имеет богатую историю. Примером совершенствования статистических приемов может служить изменение единицы наблюдения, связанной с налогообложением крестьян в России: в XV-XVI вв. – «соха» (крестьянская община, объединявшая до нескольких десятков дворов), в XVII в. – «двор», в XVIII в. – «ревизская душа» (крепост- ной крестьянин мужского пола).

Предметом статистики выступает количественная сторона массовых общественных явлений, взятая в неразрывной связи с их качественной стороной и отображаемая посредством статистических показателей.

Статистический показатель - это число, характеризующее ту или иную особенность, сторону общественных явлений. Все общественные науки объектом своего изучения имеют общество. Объект изучения статистики выступает в виде особых множеств массовых общественных явлений – статистических совокупностей.

Статистической совокупностью называется множество объективно существующих во времени и пространстве явлений, однокачественных в определенной связи. Отдельные первичные неделимые элементы, или индивидуальные явления, составляющие статистическую совокупность, называются единицами совокупности, а число элементов совокупности – объемом совокупности.

С категорией статистической совокупности тесно связан широко известный закон больших чисел. Законом больших чисел называется весьма широкий принцип взаимопогашения (уравновешивания) случайных факто- ров (колебаний), наблюдающихся у индивидуальных явлений, в результате которого могут отчетливее проявиться внутренние необходимые связи явлений.

Закон больших чисел является одним из выражений диалектической связи между случайностью и необходимостью, он помогает выявлять не- обходимое там, где на поверхности выступает игра случайностей. С помощью закона больших чисел в статистических совокупностях устанавливаются имеющиеся в явлениях необходимые закономерные уровни и соотношения – статистические закономерности. Статистическая закономерность по своей природе близка к закону. Она так же, как и закон, отражает необходимые причинно-следственные связи. Однако эти связи здесь менее устойчивы, не всеобщи, как в законе, а относятся к определенному пространству и времени, справедливы лишь для данных условий развития конкретных явлений.

Связь и различие между статистикой и математикой заключается в том, что обе эти науки исследуют количественную сторону явлений, но математика исследует количественную сторону всех явлений (природы и общества) безотносительно к качеству, а статистика – количественную сторону лишь общественных явлений и всегда определенного качества.

В статистике применяется математика различных уровней. Длительное время статистики обходились в своей работе простейшими приемами элементарной математики (правилами арифметики, алгебраическими выражениями и т.п.). Но необходимость познания массовых случайных процессов вызвала к жизни и призвала на помощь статистикам специальный раздел высшей математики – математическую статистику. Исследованием случайных процессов занимается теория вероятностей.

Математическая статистика – раздел математики, посвященный математическим методам систематизации, обработки и использования статистических данных для научных и практических выводов.

Метод исследования, опирающийся на рассмотрении статистических данных о тех или иных совокупностях объектов, называется статистическим. Статистический метод применяется в самых различных областях знания. Однако черты статистического метода в применении к объектам различной природы столь своеобразны, что было бы бессмысленно объединять, например, социально-экономическую статистику, физическую статистику, звездную статистику и т.п. в одну науку. Общие черты статистического метода в различных областях знания сводятся к подсчету числа объектов, входящих в те или иные группы, рассмотрению распределения количественных признаков, применению выборочного метода, использованию теории вероятностей при оценке достаточности числа наблюдений для тех или иных выводов и т.п. Эта формальная математическая сторона статистических методов исследования, безразличная к специфической природе изучаемых объектов, и составляет предмет математической статистики.

Связь математической статистики с теорией вероятностей имеет в разных случаях различный характер. Теория вероятностей изучает не любые массовые явления, а явления случайные и именно «вероятностно случайные», т.е. такие, для которых имеет смысл говорить о соответствующих им распределениях вероятностей. Случайное событие – это событие, которое может наступить, в тех же условиях – не наступить или происходить иначе.

Теория вероятностей – математическая наука, позволяющая по вероятностям одних случайных событий находить вероятности других случайных событий, связанных каким-либо образом с первыми.

Тем не менее теория вероятностей играет определенную роль и при статистическом изучении массовых явлений любой природы, которые могут не относиться к категории вероятностно случайных. Это осуществляется через основанные на теории вероятностей теорию выборочного метода и теорию ошибок. В этих случаях вероятностным закономерностям подчинены не сами изучаемые явления, а приемы их исследования.

Методы математической статистики позволяют решать несколько типов исследовательских задач:

1) задачи статистического описания совокупности объектов;

2) задачи статистического оценивания параметров генеральной совокупности по выборочным данным;

3) задачи статистического анализа взаимосвязей;

4) задачи классификации объектов или признаков;

5) задачи сжатия информации.

В социальных и гуманитарных науках, изучающих закономерности существования и развития человеческого общества и отдельного человека, традиционными массивами информации, при работе с которыми обычно используются количественные методы, являются т.н. «статистические источники» - данные учета населения, фискальные и кадастровые данные и т.п. Второй группой, в отношении которой также активно используются количественные методы – это «массовые источники» - массивы однотипных по структуре и составу содержащейся в них информации документы (например, периодические издания). Подобная информация легко поддается формализации и, следовательно, приведению к количественному значению с последующей статистической обработкой. Но не следует, однако, думать, что статистические методы могут использоваться лишь для анализа статистических источников, представляющих собой в исходном виде цифровой материал. Методы статистики пригодны и для работы с неколичественной информацией, ведь они всегда имеют дело с совокупностями, группами, т.е. массовым материалом, а не с отдельными случаями, объектами, индивидуумами. Следовательно, и при описании совокупности данных, возможен статистический подсчет и, следовательно, применение статистических методов. Таким образом, математизация исторической информации – гораздо более разноплановое и масштабное явление, имеющее не только явное выражение в виде привлечения и обработки данных, содержащих собственно количественную информацию в узком смысле.

Внедрять обработку статистических данных с помощью методов математики в исторических исследованиях и в сопутствующих им вспомогательных исторических дисциплинах стали еще в XIX в. Именно тогда все разрастающаяся источниковая база как письменных, так и археологических источников, потребовала обработки, систематизации и верификации с помощью элементов математического знания.

Своеобразным направлением, позволяющим в конечном счете привести историческую информацию к некому количественному воплощению и, таким образом, обрабатывать ее математическими средствами, является использование экспериментальных методик в истории и археологии. В середине XIX века благодаря усилиям Наполеона III произошло рождение и оформление так называемой военной археологии и реконструкции. Им целенаправленно финансировались раскопки в Алезии, при его поддержке состоялась первая попытка реконструировать античное гребное судно - трирему и средневековую метательную машину – требюше. В этих экспериментах реконструкции древней техники впервые отмечено массовое применение математических методов при изучении развития 6 античных технологий. На протяжении второй половины XIX – начала XX века последовала целая серия экспериментов на основе математических вычислений, которые ставили своей целью восстановление и испытание действующих моделей греческой и римской осадной техники и метательных машин. Так, спортсмен и филантроп Р. Пейн- Гэллвей реконструировал римскую одноплечевую машину – онагр, довольно туманно описанный Аммианом Марцеллином. Этот большой онагр сумел запустить каменное ядро весом 3,6 кг на расстояние в 450 метров! В начале XX века инициатива перешла к немецким исследователям. Майор Э. Шрамм в сотрудничестве с классическими учеными и при поддержке кайзера Вильгельма II построил двенадцать образцов античных метательных машин. После грандиозной работы проделанной Э. Шраммом в течении следующих шестидесяти лет новых попыток реконструкции не предпринималось, вплоть до появления впоследствии новых археологических находок, уточнивших многие детали.

Касаясь проблем использования статистических методов в исследованиях по античной истории, следует упомянуть, например, расчеты Я. Ле Боэка, приведенные им в его книгах «Третий Августов легион» и «Римская армии эпохи Ранней Империи». Он, например, сравнивал африканские и испанские легионы, у которых соотношение италийцев и местных уроженцев было совершенно различным. Насмотря на это, латинских cognomina было преобладающее количество: 96 против 4 для Африки и 94 против 6 для Испании. Он отмечает, что вообще греческие имена у легионеров встречаются крайне редко и их носителей можно подразделить на 3 категории: те, кто действительно происходил с Востока, солдаты из «лагеря» (нет единого мнения по-поводу происхождения термина origo castris) и те, кто жил в правление Адриана (как известно - эллинофила).

В Африке, где большую часть времени был размещен только один легион, III Августов, можно проследить изменения этнического состава по документам, особенно многочисленным для II в. и эпохи Северов. В итоге своих подсчетов Я. Ле Боэк пришел к выводу, что I век — это век италийцев и галлов. В начале II в. н.э. в легион начинают вступать африканцы (а некоторые из них сделали это уже в I в.), но их пока еще меньше, чем вифинцев, выходцев с Нижнего Подунавья и особенно сирийцев после парфянских походов того же Траяна. В конце II в. процентное соотношение меняется в обратную сторону — преобладают африканцы, в первую очередь уроженцы Магриба, а затем Нумидии. В начале III в. доля «иностранцев» оставалась стабильной. Легион, распущенный между 238 и 253 гг., был восстановлен, возможно, за счет набора местных жителей; но в середине III в. было уже утрачено обыкновение указывать происхождение новобранца.

Успешное внедрение статистики в изучаемые документы по средневековой и новой истории осуществили историки, работавшие в рамках так называемой школы «Анналов», возникшей на основе одноименного журнала в 1929 г. Представители школы «Анналов» стремились к всестороннему рассмотрению исторического материала, в рамках создания так называемой «тотальной истории» (histoire totale). Первая попытка такого воплощения этого идеала всеохватывающей истории приписывается Ф. Броделю, лидеру профессиональных французских историков середины XX в. В его работе «Средиземноморье и средиземноморский мир в эпоху Филиппа II» (1947) были освещены все аспекты этой огромной темы ярко и подробно: физическая география и демография, экономическая и социальная жизнь, политические структуры и политика Филиппа II и его соперников в Средиземноморье. По мнению Броделя, в изучении истории следовало бы как можно шире применять математическое моделирование и разработать подлинную «социальную математику».

Историки школы «Анналов» первыми обратились к локальной истории нового типа. Сила такого подхода «локальной тотальной истории» продемонстрировал другой уже упоминавшийся французский историк Э. Леруа Ладюри в своих работах «Крестьяне Лангедока» (1966) и «Монтайю» (1978). Эти исследования были ограничены масштабами одной деревни на протяжении жизни нескольких поколений.

Близкие к школе «Анналов» методологические разработки применял в своих исследованиях известный российский историк-медиевист Ю. Л. Бессмертный (1923-2000). Так, в своей книге «Жизнь и смерть в Средние века» на материале истории Франции IX– XVIII вв. Ю. Л. Бессмертный проанализировал формы брака и семьи, проследил изменение взглядов на роль женщины в жизни средневекового общества, рассказал об отношении к детству и старости, о «самосохранительном» поведении в разных социальных слоях, воспроизвел средневековые представления о болезни и смерти. Автор исследует изменение важнейших демографических параметров - брачности, рождаемости, смертности, естественного прироста населения.

Уже в конце 50-х гг. возникает и развивается клиометрика (клиометрия - англ. Cliometrics) – направление в исторической науке, предполагающее систематическое использование математических методов. Близким, фактически синонимичным понятием, является «квантитативная история» понимаемая как историческое знание, полученное с применением математических методов в исторических исследованиях Название данного направления производится от имени Клио — музы истории и героической поэзии в греческой мифологии. Клиометрика — это междисциплинарное направление, первоначально связанное с применением эконометрических методов и моделей в исследованиях по экономической истории. Впервые термин клиометрика появился в печати в декабре 1960 года в статье Дж. Хьюгса, Л.Дэвиса и С.Рейтера «Аспекты квантитативного исследования в экономической истории».

Однако бурный всплеск интереса к подобным исследованиям, часто обозначаемый как «клиометрическая революция», связан с 1960-ми гг. Особую роль в развитии данного направления (клиометрические подходы к изучению экономической истории) сыграл американский журнал «Journal of Economic History», редакторами которого в 1960-е гг. стали Дуглас Норт и Уильям Паркер – сторонники клиометрического подхода. В этот же период времени в США стали регулярно проводиться клиометрические конференции. Американских исследователи, опираясь на методы клиометрики, с успехом изучали роль железнодорожного строительства в развитии процессов индустриализации и развития, сельского хозяйства США в XIX веке, экономической эффективности рабского труда в американской экономике и т.п.

В 1993 году Роберт Фогель и Дуглас Норт получили Нобелевскую премию по экономике за цикл работ в области клиометрики. В решении Нобелевского комитета отмечается, что 8 премия присуждена «за развитие новых подходов в исследованиях по экономической истории, основанных на применении экономической теории и количественных методов для объяснения экономических и институциональных изменений».

С 1970-х гг. клиометрический подход начинает активно примсеняться в исследованиях по экономической истории в Великобритании, скандинавских странах, Испании, Бельгии, Голландии и др. странах. В более широком плане применение количественных методов в исторических исследованиях (квантитативная история) получило распространение в Германии (основную роль здесь играет Центр историко-социальных исследований Кельнского университета) и СССР (России), где «клиометрическая школа» начала складываться в 1970-е гг. прошлого века. Становление квантитативной истории сопровождалась большим количеством научных конференций, публикаций, появлением периодических изданий, таких, например, как "Historical Methods" (с 1967 г., с 1978 г. - "Historical Methods Newsletter") в США, "Computer and the Humanities" (с 1966 г.), "Historische Sozialforschung" (с 1976 г. - "Historical Social Research") в Европе. Данное направление ставило целью качественный переход к пониманию истории как развитой науки (science), систематически применяющей не только методы и модели, но и теории смежных наук. Сильное влияние квантитативных идей испытывали представители "школы Анналов". Известно полемически заостренное высказывание Э. Ле Руа Ладюри: "История, которая не является квантифицируемой, не может претендовать на то, чтобы считаться научной".

В СССР центром исследований по квантитативной истории стал МГУ им. М.В. Ломоносова, где, в 1970-х - 1980-х годах сформировалось сообщество ученых, применяющих математические методы и ЭВМ в исторических исследованиях. Безусловным лидером нового направления стал академик И.Д.Ковальченко. С 1979 г. на базе исторического факультета МГУ действовал и всесоюзный семинар «Количественные методы в исторических исследованиях» (Л. В. Милов, Л. И. Бородкин и др.).

За почти полувековой период активного развития «квантитативной методологии» истории можно говорить о существенной внутренней эволюции как самого научного направления (начинавшегося с клиометрических подходов к изучению экономической истории), так и появления на его базе смежных областей - в частности, активно развивающейся в последние два десятилетия исторической информатики, превратившейся в междисциплинарную область, разрабатывающую теоретические и прикладные проблемы использования информационных технологий в исторических исследованиях и образовании. Однако, все эти междисциплинарные области связаны общностью базового подхода – математизацией исторического знания. Так, Л.И. Бородкин, рассматривая историю возникновения и развития исторической информатики, выделяет на два существенно отличных по своему содержательному наполнению периода: первый - эпоха «больших» ЭВМ (начало 1960-х - конец 1980-х гг.) и второй - «микрокомпьютерная революция» (конец 1980-х - середина 1990-х гг.). К настоящему времени можно говорить о трех последовательных этапах математизации исторической науки: 1) математико- статистическая обработка эмпирических данных и количественная формулировка качественно установленных фактов и обобщений, включающая традиционные математико-статистические методы (дескриптивная статистика, выборочный метод, анализ временных рядов, корреляционный анализ); методы многомерного статистического анализа; 2) разработка математических моделей явлений и процессов в какой-то области науки; 3) использование математического аппарата для построения и анализа общей научной теории. По мнению Л.И. Бородкина, третий этап в истории пока вообще еще не используется, второй находится в стадии активной разработки.

Уже в конце XX в., как своеобразная реакция на попытки утверждения «сциентизма» в исторических исследованиях, появились и «неоантипозитивистские» концепции, отрицающие возможность научного познания не только прошлого, но и современности. С этой точки зрения отрицается эффективность применения в истории математических методов и предлагается вернуться на позиции художественного, поэтически- метафорического методов ее осмысления и описания, при котором историк кажется все еще больше рассказчиком, нежели исследователем. Очевидными ограничениями, на которые указывают «скептики» в отношении применения количественных методов в исторических исследованиях, связаны с отсутствием прямого наблюдения, субъект- объектной корреляцией, многофакторностью проявлений и соответствующей многоаспектностью изучения, а также со слабой однородностью используемой информации.

Вместе с тем, безусловно, новые методы исторических исследований, основанные на использовании средств математической обработки данных, позволили пересмотреть на ином уровне обобщения ряд уже известных проблем, а также поставить и решить принципиально новые, крупные задачи изучения исторического прошлого.

Выборочный метод

Зачастую историки имеют в своем распоряжении большой массив источников и данных, которые они не в состоянии полностью обработать. Это касается, в первую очередь, исследований по Новой и Новейшей истории. С другой стороны, чем глубже приходится заглядывать вглубь веков, тем меньшим количеством информации можно оперировать. В обоих этих случаях небесполезно использовать так называемый выборочный метод, суть которого заключается в замене сплошного обследования массовых однородных объектов частичным их исследованием. При этом из генеральной совокупности выделяется часть элементов, именуемая выборкой, и результаты обработки выборочных данных в итоге обобщаются на всю совокупность. Основой для характеристики всей совокупности может служить только репрезентативная выборка, правильно отражающая свойства генеральной совокупности. Это достигается методом случайного отбора элементов генеральной совокупности, при котором у всех ее элементов имеются равные шансы попадания в выборку.

Применение данного метода одинаково подходит и для изучения различных явлений и процессов современности, и для обработки данных проведенных ранее выборочных статистических исследований, таких как переписи. Кроме того, выборочный метод также находит применение при обработке данных естественных выборок, от которых остались лишь фрагментарно сохранившиеся данные. Так, довольно часто, к таковым частично сохранившимся данным относятся актовые материалы, документы текущего делопроизводства и отчетности.

В зависимости от того, каким образом осуществляется отбор элементов совокупности в выборку, различают несколько видов выборочного обследования, в которых отбор может быть случайным, механическим, типическим и серийным. Случайным называется отбор, при котором все элементы генеральной совокупности имеют равную возможность быть отобранными, например, с помощью жребия или таблицы случайных чисел. Способ жеребьевки применяется в том случае, если число элементов всей изучаемой совокупности невелико. При большом объеме данных осуществление случайного отбора при помощи жеребьевки становится сложным. Более пригоден, в случае большого объема обрабатываемых данных, метод использования таблицы случайных чисел. Способ отбора с помощью таблицы случайных чисел можно рассмотреть на следующем примере. Допустим, что совокупность состоит из 900 элементов, а намеченный объем выборки равен 20 единицам. В таком случае из таблицы случайных чисел следует отбирать числа, не превосходящие 900, до тех пор, пока не будут набраны требуемые 20 чисел. Выписанные числа следует считать порядковыми номерами попавших в выборку элементов генеральной совокупности. Для очень больших совокупностей лучше применить механический отбор. Так, при формировании 10%-ной выборки из каждых десяти элементов выбирается только один, а вся совокупность условно разбивается на равные части по 10 элементов. Далее из первой десятки наугад выбирается какой-либо элемент (например, при помощи жеребьевки). Остальные элементы выборки определяются указанной пропорцией отбора N номером первого отобранного элемента. Еще одним видом направленного отбора является типический отбор, когда совокупность разбивается на группы, однородные в качественном отношении. Только после этого уже внутри каждой группы производится случайный отбор. Хотя это более сложный метод, он дает более точные результаты. Серийный отбор представляет собой вид случайного или механического отбора, осуществляемый для укрупненных элементов исходной совокупности, которая в ходе анализа разбивается на группы (серии). Изложенные выше способы формирования выборок не исчерпывают собой всех типов отбора, применяемых на практике . В качестве примера применения выборочного метода в историографии рассмотрим подробнее проведенный отечественными исследователями анализ движения хлебных цен в России в XVIII веке . Была поставлена задача определить средние цены на хлеб по отдельным губерниям, районам и по России в целом за каждый год XVIII века, а также выявить динамику хлебных цен за столетие. Однако, в ходе исследования стало понятно, что составить таблицы с непрерывным рядом цен не удастся, так как данные в различных архивах сохранились лишь частично. Например, данные за 1708 год имелись только по 36 уездам страны. Только за периоды с 1744 по 1773 и с 1796 по 1801 годы сохранились данные по большинству городов России. В связи с этим было принято решение использовать в исследовании аппарат математической статистики, а именно, понятие среднего значения, дисперсии, среднего квадратического отклонения, доверительного интервала. В связи с разрозненностью имеющихся сведений из генеральной совокупности (все сохранившихся и несохранившихся данных о хлебных ценах за 1708 год) была произведена выборка, отражающая совокупность сохранившихся сведений о хлебных ценах. На основании данной выборки была рассчитана средняя цена на хлеб, а также показатель отклонения от среднего значения и был построен доверительный интервал для среднего значения генеральной совокупности с вероятностью 0,95. Таким образом, согласно данным выборки средняя цена на хлеб в России в 1708 году составляла 37 копеек со стандартным отклонением 16 копеек. Рассчитав коэффициент вариации , стало ясно, что выборка является неоднородной, вследствие чего возникла необходимость проведения дополнительного анализа цен на хлеб по районам. Нужно было выяснить, насколько средние цены на хлеб, вычисленные по данным выборки, могли отличаться от действительных средних хлебных цен, которые были бы получены, если бы в распоряжении оказались данные за этот год по всем уездам России. Соответственно была определена средняя и предельная ошибки выборки, и построен доверительный интервал. Было выяснено с вероятностью 95%, что средняя цена на хлеб в 1708 году по России могла изменяться в пределах от 31,75 копеек до 42,45 копеек. Таким образом, при помощи аппарата математической статистики, исследователям уда- лось вычислить средние цены по 10 районам России, а также среднероссийские цены за каждый год XVIII века.