Метод кластерного анализа

Для типизации в исторических исследованиях наиболее эффективны методы многомерной типологии. Наиболее широко распространен вид типизации по географическому районированию, благодаря которому можно выделить сплошной территориальный комплекс, что важно для раскрытия тех или иных особенностей исторического развития. С другой стороны, территориальное единство изучаемых объектов само по себе не обеспечивает их содержательной однородности. Поэтому, в дополнение к географическому районированию, историки используют социальную типизацию изучаемых объектов, в основе которой лежит не географическое, а социальное пространство. Такой подход уже носит характер многомерной типологии. Наиболее известным методом многомерной типологии является кластерный анализ. Он позволяет выделить кластеры (от англ. Cluster — скопление), группы объектов со сходными свойствами, расположенные в пространстве. Близость этих объектов друг к другу отражает степень их сходства.

Рассмотрим процесс выделения кластеров на примере агломеративно-иерархического метода. Итак, пусть все m признаков будут измерены в количественной шкале. В таком случае каждый n объект будет представлен точкой в m-мерном пространстве признаков. О сходстве объектов можно судить по расстоянию между соответствующими точками. Соответственно, чем ближе объекты находятся друг к другу, тем они более схожи.

Для определения близости пары точек (объектов i и j) в многомерном пространстве используется евклидово расстояние, равное корню квадратному из суммы квадратов разностей значений одноименных показателей, взятых для данной пары объектов

Расстояние между объектами зависит от «масштаба» признаков, который обычно нормализуют, т.е. все признаки приводят к стандартному виду со средним значением, равным нулю, и стандартным отклонением, равным единице. После нормализации объекты сохраняют свое относительное положение, но «масштаб» измерения признаков уже будет единым.

Обычно близость двух кластеров определяется как среднее значение расстояния между всеми парами объектов, где один объект пары принадлежит к одному кластеру, а другой – к другому.

На первом шаге процедуры агломеративно-иерархического метода кластерного анализа по начальной матрице расстояний между объектами определяется минимальное расстояние. Затем выделяют наиболее близкие объекты, находящиеся друг от друга на этом расстоянии, и объединяют в один кластер. В матрице вычеркивают строку и столбец, соответствующие первому из этих объектов, а расстояния от нового кластера до всех остальных кластеров вычисляют по вышеприведенной формуле. Эти значения вписывают в строку и столбец матрицы расстояний, соответствующие второму объекту из первого кластера.

Второй шаг процедуры предусматривает формирование нового кластера, на основе нового определения минимального расстояния. Этот кластер строят объединением двух объектов, или одного объекта с кластером, построенным на первом шаге. В матрице расстояний вычеркиваются одна строка и один столбец, а одна строка и один столбец пересчитываются и т.д. В конце этой процедуры получится один кластер, объединяющий все n объектов.

С помощью методов кластерного анализа была проведена аграрная типология губерний Европейской России на рубеже XIX— XX вв. Анализ проводился следующим образом. Для начала были отобраны 19 показателей, характеризующих земельные отношения (размеры крестьянских наделов, удельный вес дворянского землевладения, продажа частновладельческих земель, цена на землю, размеры крестьянской аренды и арендная плата), состояние сельскохозяйственного производства (посевы, сборы и урожайность хлебов, количество рабочего и продуктивного скота, цены на сельскохозяйственную продукцию), глубину и особенности буржуазной аграрной эволюции (применение наемного труда, зарплата сельскохозяйственных рабочих, разложение крестьян). В результате математической обработки данных было выделено 15 взаимосвязанных между собой кластеров с указанием на графике «расстояния», показывающего «близость» губерний, входящих в тот или иной кластер, а, кроме того и самих кластеров. Благодаря такой визуальной подсказке, например, выяснилось, что наиболее сходными по совокупности 19 признаков были губернии VII (Воронежская и Саратовская) и XI (Киевская и Подольская) кластеров. Наименее сходными между собой и в то же время самыми непохожими на все другие были губернии XV кластера (Московская и Петербургская). При этом, однако, кластеры не образовали существенно отличных типов губерний, так как различия между многими из этих кластеров были невелики. Чтобы выделить типы необходимо объединить полученные мини-кластеры в макро-кластеры, после чего уже можно выделить определенные типы. В рассматриваемом примере на основе «расстояний» были выделены следующие типы губерний: I —V кластеры образовали нечерноземный тип аграрного развития, VI—XI кластеры составили среднечерноземный тип, XIII и XIV кластеры обозначили южностепной тип, XV кластер —прибалтийский тип, а XII мини-кластер представлен губерниями столичного типа.

Наиболее характерные различия между типами устанавливаются путем сопоставления средних значений рассматриваемых признаков в каждом из типов.

 Кластерный анализ – это весьма эффективный метод многомерной типологии, хотя и не лишенный недостатков. К таковым относится его ограниченность по части выделения 16 типов. Кроме того, хотя кластерный анализ и способен показать некое «расстояние» между объектами в мини-кластере и между кластерами, однако эти «расстояния» не способны измерять непосредственно меру сходства и различий между объектами.

Тем не менее, этот метод находит применение и в археологии, так как можно изучать кластерную структуру множества памятников по наличию и частоте встречаемости артефактов. В качестве примера применения метода кластерного анализа в археологии можно привести типологию поселений Алтая VI–II вв. до н.э.5 Исследователями был проведен анализ карты расположения известных археологических памятников, на основании которого был сделан вывод о том, что система расположения древних поселков находилась в прямой зависимости от природно-географических условий данной местности, а именно: стационарные поселки древние жители Алтая предпочитали возводить на более высоких террасах и мысах, чем стоянки, а поселения располагались кустами по 8-16 пунктов на крупных реках чаще, чем на их притоках. Для получения скрытой и неярко выраженной информации исследователи выделили 12 видов орнаментов, присутствовавших на фрагментах керамики, обнаруженной на 39 исследованных поселениях. После чего был осуществлен подсчет каждого вида в процентах по каждому поселению. Полученная матрица данных была исследована методом кластерного анализа. В итоге была получена дендрограмма (иерархическая структура), в которой группы объектов могут рассматриваться либо как культурные, либо как территориальные, либо как хронологические.

Однако, кластеры, найденные исследователем, после повторного сбора информации и применения кластерного анализа могут «рассыпаться» из-за случайности выявленной кластерной структуры. Это происходит в том случае, если реальная кластерная структура отсутствует вообще, т. е. исследуемая совокупность является однородной, или когда задано не соответствующее реальности число классов.

Чтобы проверить достоверность наличия кластерной структуры, необходимо привлечение дополнительных фактов и исследование классификации с использованием переменных, как участвующих, так и не участвующих в кластеризации.