ГЛАВА 16 НЕЙРОННЫЕ СЕТИ И ГИС

Основы создания нейронных сетей.Современные компьютеры устроены по так называемой схеме фон Неймана, реализующей быстрые последовательности большого числа бинарных операций. Видимо, такой подход отчасти был обусловлен структурой матема­тики первой половины XX в., когда высшие разделы математики опирались на арифметику, а та на бинарную логику. Вроде бы по­нятно, что, если бы за основу было взято что-то иное, а не Булева алгебра, могли бы получиться существенно иные компьютеры.

В качестве основной альтернативы подходу фон Неймана об­суждалась ориентация на воспроизведение принципов работы био­логических нейронных сетей. Примерно в те же годы создания первого компьютера была создана первая нейроподобная систе­ма — персептрон Розенблатта. Некоторое время оба направле­ния — фон Неймана и Розенблатта — развивались независимо, затем персептронное направление пережило кризис, и возроди­лось уже в 80-е годы под именем нейронных сетей, при этом на новом этапе бинарно-логический и бионический принципы ста­ли сочетаться. Интересно, что кризис бионического направле­ния во многом был обусловлен не техническими сложностями и не отсутствием приложений, а содержательным математическим рассмотрением, проведенным Минским и Пейпертом, — они показали, что не существует персептрона, способного надежно определять топологические характеристики образа, такие, как связность, и этого оказалось достаточно для резкого падения пер­воначального энтузиазма. Любопытно также, что и возрождение энтузиазма было связано не с опровержением выводов Минско­го и Пейперта, а просто с формированием обширной ориенти­рованной на приложения сферы деятельности. Впрочем, в пос­ледние годы появились некоторые приложения нейроподобных алгоритмов и к задачам топологии.

Сопоставление машины фон Неймана и биологической нейрон­ной сети приводит к следующей таблице (табл. 16.1).

Более конкретные характеристики мозга человека: кора голов­ного мозга образована нейронами поверхностью толщиной от 2 До 3 мм с площадью около 2,2 дм², содержит около 10^й нейронов, каждый нейрон связан с 10³—10⁴ другими нейронами.

Нейроны взаимодействуют посредством короткой серии им­пульсов, как правило, продолжительностью несколько миллисе-

Таблица 16.1

кунд (мс). Сообщение передается посредством частотно-импульс­ной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем самые быстро­действующие переключательные электронные схемы, тем не ме­нее достаточно сложные решения по восприятию информации человек принимает за несколько сотен миллисекунд.

Сопоставим биологический нейрон с наиболее часто рассмат­риваемой схемой технического нейрона (рис. 43).

Оба типа нейронов реагируют на воздействие со стороны мно­гих нейронов в зависимости от величины связей с этими нейро­нами. В отличие от технических нейронов реакция биологического нейрона всегда неотрицательная, причем, если воздействие на него не достигло критического уровня, реакции нет. Возможно, с этим связано одно из наиболее очевидных отличий биологичес­ких нейронных сетей от существующих сегодня нейропрограмм — один и тот же мозг в зависимости от того, какие нейроны «мол­чат», может работать весьма различным образом, это выглядит так, как будто мозг — «склад» процессоров, которые по-разному соединяются при разных задачах. Аппаратное обеспечение, реали­зующее технические нейроны, бывало самым разным — сначала релейные схемы, сейчас, например, операционные усилители, но чаще всего эмуляция в обычном компьютере. Что до вычисли­тельной мощности, то, по экспертным оценкам, современные

Р ис. 43. Сравнение технического и биологического нейронов

ПК могут моделировать уровень нервной системы сложных чер­вей, лучшие нейросетевые спецпроцессоры — уровень мухи.

Если рассматривать биологические нейронные сети, то для них существует принципиальное внутреннее деление: нейронные сети могут реализовывать либо рефлекторное поведение, либо мышле­ние. Нейрофизиологически рефлекторному поведению соответству­ет относительно короткий всплеск процессов в ответ на внешнее воздействие с последующим возвращением в спокойное состоя­ние, а мышлению — длительная работа сети, нередко с весьма умеренным, но постоянным уровнем возбуждения мозга, при этом внешние воздействия скорее мешают. В технических системах вос­производят в основном рефлекторное поведение, хотя возможно, что некоторые нейроалгоритмы, решающие «внутренне сложные» задачи, могут сопоставляться и с процессами мышления.

Типы технических нейросетей.В литературе заметное внимание уделяется вопросам архитектуры технических нейронных сетей, приведем вариант соответствующей классификации схем (рис. 44).

Рис. 44. Типы технических нейросетей

Более принципиальным является разбиение нейроалгоритмов на два класса — Supervised (обучающиеся по образцу, с Учите -

лем) и Unsupervised (обучающиеся без образца, без Учителя). В пер­вом случае обучение организовано как воспроизведение набора правильных образцов (обучающей выборки), после чего сеть мо­жет адекватно реагировать и на примеры, которых не было в обу­чающей выборке, во втором случае образцы правильной реакции исходно отсутствуют. В части русскоязычной литературы утверди­лись термины «обучение с Учителем» и «обучение без Учителя», что не является точным переводом с английского и не вполне точно по нормам русского языка. Видимо, нейросети, обучающи­еся по образцу, неплохо воспроизводят рефлекторное поведение. Нейросети, обучающиеся без образца, возможно, иногда моде­лируют более интересную вещь — мышление, однако делают это несравненно менее успешно.

Нейросети, обучающиеся по образцу, произошли от персепт-ронов и в современной трактовке могут рассматриваться как вари­анты и модификации сетей с обратным распространением ошибки (иногда как результат примитивизации такого рода сетей с целью упрощения реализации). К этому классу можно отнести, напри­мер, однослойный и многослойный перцептрон, машину Больц-мана, сети, обучающиеся по правилу Хебба, рекуррентные слоис­тые и полносвязные сети обратного распространения ошибки, сети, использующие радиальные базисные функции. Различия между указанными системами порой достаточно велики, но всегда есть нема­ло общего, а детали классификации различаются у разных авторов.

Нейросети, обучающиеся без образца, пожалуй, более разно­образны, хотя стоящая за ними теория математически порой бо­лее примитивна — это карты Кохонена, системы с множествен­ными локально устойчивыми состояниями, такие, как сеть Хоп-филда, сети, настраивающиеся на основе адаптивного резонанса. Прямые аналогии между данными классами не просматриваются, хотя часто исходно имеются необработанные данные, а в итоге возникают их образы, построенные в ходе работы нейросети, либо сама сеть, меняя свою структуру, моделирует образы данных. В живой природе есть аналоги и этому — строились карты возбуждения участков коры мозга в зависимости от возбуждения участков тела, получившие названия «гомункулусов», оттого, что на этих картах формируется узнаваемый образ человека, только ладони, напри­мер, получаются увеличенными, а спина — уменьшенной.

Наконец, разрабатываются комбинированные подходы, хотя они далеко не стали широкоупотребительными. Идеология такого комбинирования порой заставляет вспомнить лозунг «Человека создал труд». За основу берется алгоритм обучения по образцу, произвольно устанавливающий некое первоначальное, можно ска­зать «абстракционистское», соответствие между «сырыми данны­ми» и «обработанными данными». Затем «обработанные данные» меняются в ходе внешней «трудовой деятельности» с учетом

«свойств материала», так что соответствие улучшается. Устанавли­вается новое соответствие между исходными и обработанными данными, вновь меняются обработанные данные и т. д. В итоге ней-росеть порождает, с одной стороны, «художественный образ» си­туации, а с другой стороны — собственный навык быстрого, как бы рефлекторного, соотнесения реальных данных и их образов. Например, так можно проверять связность образа данных — если «природа материала» не позволяет ему изменять связность, а выше обозначенный подход работает, то значит и у образа данных связ­ность та же. Данный пример мы привели, чтобы напомнить о кри­зисе нейросетевого подхода, имевшим место до 80-х годов, как раз в связи с пессимизмом по части возможностей использования нейроалгоритмов в задачах топологии.

В заключение укажем списки задач, которые принято относить к чаще всего рассматриваемым в рамках нейросетевого подхода:

• обучение по образцу — классификация образов, аппрокси­
  мация функций, предсказание, управление, анализ данных, ка­
  тегоризация внутри класса, сжатие данных;
• обучение без образца — категоризация, категоризация внут­
  ри класса, анализ данных, сжатие данных, ассоциативная память.

Нейросетевые алгоритмы — математические аспекты.Под име­нем нейросетевых алгоритмов сегодня объединяются несколько подходов к обработке данных, которые их авторы, не согласовы­вая друг с другом, сочли напоминающими принципы организа­ции биологических нейронных сетей. Видимо, сыграла роль при­влекательность названия вместе с тем обстоятельством, что по настоящему принципы работы таких сложных биологических сис­тем, как мозг человека, никому не известны, и в этом смысле все равны и свободны. Это несколько нарушает существующие в ма­тематике традиции логически обоснованной классификации ал­горитмов, но поскольку некоторые нейроалгоритмы достаточно эффективны, приходится считаться с установившейся практикой. Здесь мы обсудим два типа нейроалгоритмов, наиболее часто ис­пользуемых в приложениях — алгоритмы обратного распростра­нения ошибки (back error propagation algorithms; BackProp; в рос­сийских публикациях 80-х годов использовалось математически более культурное название: алгоритмы двойственного функцио­нирования; АДФ) и карты Кохонена (самоорганизующиеся кар­ты, self-organization maps, SOM).

Алгоритм обратного распространения ошибки. Нейроалгоритмы обратного распространения ошибки исходно создавались во многом Для решения классической задачи математической статистики — задачи регрессии табличных данных. Хорошо известны простейшие задачи регрессии, такие, как задача проведения прямой, наилуч­шим образом приближающей облако точек (например, прямой, ^сУмма квадратов расстояний точек до которой минимальна). В этом

примере речь идет о линейной регрессии, алгоритм которой дол­жен определить параметры положения прямой — ее углы наклона к осям координат и координаты одной из точек прямой.

Если речь идет о нелинейной регрессии, в качестве аппрокси­мирующего облако точек многообразия выступает не прямая, не плоскость или гиперплоскость, а некоторая гладкая кривая, по­верхность или гиперповерхность. Чтобы описать такие нелиней­ные многообразия, требуется увеличить число параметров по срав­нению со случаем линейной регрессии: возникает задача много­параметрической нелинейной регрессии.

Задолго до возникновения алгоритма обратного распростране­ния ошибки были известны сложности проведения нелинейной многопараметрической регрессии данных:

• при большом числе параметров регрессии увеличивается вре­
  мя счета;
• параметры регрессии определяются неоднозначно (так на­
  зываемая плохая обусловленность задач многопараметрической рег­
  рессии);
• неясно, как выбрать лучший из множества вариантов нели­
  нейной регрессии.

Алгоритм обратного распространения ошибки успешно пре­одолел первую из указанных сложностей, после чего был накоп­лен практический опыт в отношении двух оставшихся сложнос­тей, так что сегодня эти сложности уже не смущают, хотя полной математической теории по их поводу так и не было создано. Мож­но говорить о том, что нейроалгоритм обратного распростране­ния ошибки эффективно решает задачи многопараметрической нелинейной регрессии: имеются программы, осуществляющие «хорошую» нелинейную регрессию для десятков и сотен тысяч точек, с определением десятков тысяч регрессионных парамет­ров, за приемлемое время (до нескольких суток счета). Суть мето­да изложена в специальной литературе.

Алгоритмы квантования данных и карты Кохонена. Карты Ко-хонена — это вариант алгоритмов квантования данных, т. е. пред­ставления N точек данных с помощью меньшего числа точек-об­разцов. Изложим здесь один из вариантов — Batch SOM.

1. Выбирается регулярная сетка узлов, расположенная так, чтобы
примерно соответствовать наиболее важной части пространства
данных, обычно М существенно меньше N.

2. Каждая точка данных «приписывается» к ближайшему для
нее узлу.

3. Определяется среднее арифметическое положение векторов
«приписанных» групп, пусть для узла i это будет %

4. Определяется среднее арифметическое положение векторов
«приписанных» к первым соседям групп, пусть для узла / это бу­
дет p_t.

Прочие нейросетевые алгоритмы. Комбинируя два изложенных подхода, можно получать новые варианты алгоритмов обработки данных. Например, если данных много, то можно сначала по ним построить компактную карту Кохонена (точнее, ее многомерную версию), и уже к этой карте применять методы нелинейной ре­грессии. Однако не все нейроалгоритмы сводятся к такого рода комбинациям — с ними следует знакомиться по многочисленным специализированным изданиям. Мы же ограничились лишь двумя вариантами нейросетевых алгоритмов — алгоритмом обратного распространения ошибки, который относительно сложен с точки зрения математики и связан со многими традиционными ее раз­делами, и относительно простой алгоритм Кохонена, тем не ме­нее решающий ряд практически значимых задач.

Области применения нейросетевых ГИС.Интегрированные с геоинформационными системами нейронные сети — мощный инструмент для решения широкого класса задач, обеспечиваю­щий эффективную поддержку принятия решений. В качестве вход­ных и выходных данных нейронная сеть может использовать про­странственно-координированные данные. Программы, созданные на основе нейросетевых алгоритмов, будут динамически модифи­цировать слои электронной карты, изменять характеристики су­ществующих объектов, создавать новые объекты. В результате об­работки массива имеющихся данных могут также возникать но­вые слои карты, в то время как существующие слои будут приоб­ретать динамические свойства.

Сегодня уже можно привести много примеров, демонстриру­ющих эффективность нейросетевых подходов, реализуемых в ГИС-среде. Наиболее выигрышно они проявляют себя в ситуациях, когда приходится иметь дело с большими массивами информации, хра­нящимися в крупных организациях, на основе которых принима­ются решения. В них нуждаются специалисты, оценивающие и прогнозирующие состояние какой-либо области человеческой де­ятельности, например, рынков сбыта продукции, реальной сто­имости недвижимости, загрязнения территории. Планирование очередности действий при развитии территорий и их инвестици­онной привлекательности, выявление зон с наиболее напряжен­ной экологической, социальной или экономической ситуацией,

анализ характеристик геологических объектов — эти и многие другие задачи уже невозможно решать на современном уровне без привлечения интеллектуальных геоинформационных систем.

Приведем несколько простых примеров.

В сельском хозяйстве одни слои ГИС могут содержать сведения о посеве зерновых культур, а другие — о достигнутой урожайно­сти. Нейросеть в этом случае будет обобщать практический опыт методов и технологий выращивания зерновой культуры с учетом конкретных климатических, почвенных и прочих характеристик выбранной территории.

В решении задачи лесоустройства с помощью нейросети мож­но анализировать динамику приростов деревьев по высоте, диа­метру и объему. Обработка тематических слоев ГИС с такой ин­формацией поможет спланировать лесоустроительные работы, например при выращивании насаждений сосны в лесопарковых хозчастях и в зеленых зонах.

Прогностические нейросетевые модели могут использоваться в демографии и организации здравоохранения, опираясь на про­странственные данные по плотности населения, медицинской статистике, загрязнению окружающей среды, представленные в виде слоев ГИС. Экспертная система будет определять, напри­мер, вероятностную продолжительность жизни, взаимосвязь раз­личных категорий заболеваемости от экологического состояния территории, прогнозировать вспышки эпидемий.

Обработка ДДЗ — одна из традиционных задач, решаемых се­годня геоинформационными системами. Анализ изображений с точки зрения математики опирается на теорию распознавания образов, когда по входным данным необходимо отнести объект к тому или иному классу. В данной области нейронные сети, наряду с методами нечеткой логики, нашли наиболее широкое примене­ние. Такие методы оказались тем адекватным языком, на котором можно описать правила классификации, не прибегая к точным математическим значениям (используя понятные человеку тер­мины типа «небольшой», «значительный» и т.д.). И, наоборот, извлекать из обученных нейронных сетей правила классификации по исходным данным, представляя их на обычном языке. В отли­чие от традиционных статистических методов, основанных на вычислениях в рамках той или иной математической формализа­ции, классификаторы, основанные на нейронных сетях, исполь­зуют адаптацию в процессе обучения, не требующую предвари­тельного обоснования модели. В то же время доказано, что резуль­таты классификации и в том и в другом случае могут совпадать, т.е. нейронная сеть способна сама построить соответствующую математическую формализацию.

Для классификации используются различные нейросетевые алгоритмы. В нейронной сети с обучением без образца проводится

анализ цветных или черно-белых пикселей снимка без привязки к другим слоям карты, с целью выделения однородных фрагментов изображения (объектов) по тону, структуре, оттенку. Обучение по образцу полагается на доступные пространственные данные для выбранного участка территории. Если известно априори, что выбранному фрагменту снимка соответствует, например, лесной массив с известной степенью антропогенной нарушенное™, то эта информация может быть использована нейронной сетью для классификации изображения.

Нейронные сети все чаще используются в задаче выявления пространственно-однородных участков изображения. Эта задача является очень актуальной при разработке теоретических и мето­дологических основ новых альтернативных систем земледелия, принципов экологически безопасного землепользования и про­ектов землеустройства на ландшафтной основе. Отдельные эле­менты ландшафта могут быть выявлены на основе анализа фраг­ментов изображения, их формы, цвета, взаимосвязей, неодно­родности. Нейронная сеть также позволит оценить взаимосвязи отдельных элементов ландшафта.

В транспортной отрасли нейронная сеть может стать эффек­тивным дополнением к ГИС мониторинга автомобильных дорог. Здесь речь идет об анализе транспортной нагрузки и состояния транспортного полотна, выборе оптимальных коридоров для стро­ительства новых трасс и определении приоритетов в строитель­стве, анализе различных стратегий проведения ремонтных работ и соответственном распределении финансовых вложений. Задачей для нейронной сети может стать оперативное принятие решения по оптимизации распределения транспортной нагрузки на авто­мобильные дороги в случае транспортного происшествия в опре­деленном месте, повлекшего за собой скопление автомашин (проб­ку). Нейронная сеть будет использовать в качестве входных данных слои ГИС с автодорогами, местоположением аварии, текущими погодными условиями и прочими характеристиками, которые влияют на скорость движения. Все параметры системы, имеющие отношение к указанному происшествию, будут скорректированы нейронной сетью, и их откат в исходное состояние станет возмо­жен после стабилизации ситуации. Следующим шагом в развитии данного направления должна стать возможность онлайнового до­ступа водителей из автомобиля с помощью карманных ПК (КПК, PDA) и других мобильных устройств к картографическому серве­ру, содержащему оперативную информацию об обстановке на дорогах и подготовленные с помощью нейросети рекомендации по выбору оптимального маршрута.

Программное обеспечение.На рынке программного обеспече­ния в настоящее время имеется множество самых разнообразных программ для моделирования нейронных сетей. Поиск в Интерне-

те дает сотни ссылок на зарубежные и российские сайты. Можно выделить несколько основных функций, которые реализованы во всех этих программах:

• формирование, конструирование нейронной сети;
• обучение нейронной сети;
• имитация функционирования (тестирование) обученной ней­
  ронной сети.

С точки зрения компьютерной технологии и программных ин­терфейсов они опираются на современные стандарты — от про­стых программ, ориентированных на платформу Unix с текстовым интерфейсом, до сложных модульных продуктов, базирующихся на последних технологических решениях от Microsoft.

Интегрированные решения на основе ГИС и нейронных сетей пока представлены слабо, несмотря на то, что повышение функ­циональной мощности геоинформационных пакетов за счет ин­теграции специальных модулей расширения или ГИС-приложе-ний — одна из важнейших черт современных геоинформацион­ных систем. Проблема интеграции нейронных сетей и ГИС может быть решена по крайней мере тремя способами:

• интеграцией (встраиванием) нейросетевых моделей в ГИС с
  использованием специализированных средств геоинформацион­
  ной системы (программирование на встроенных языках типа
  Avenue, MapBasic и т.п.);
• развитием интерфейса между отдельными приложениями
  нейросетевого анализа и ГИС как самостоятельными системами;
• созданием прикладного программного обеспечения нейро­
  сетевых систем с элементами ГИС (например, с использованием
  библиотек классов типа MapObjects, GeoConstructor, MapX и
  проч.).

Выбор конкретного варианта связан с требованиями и поста­новкой задачи, имеющимися ресурсами и опытом работы. Ниже приводятся два конкретных примера — программных продукта, которые уже созданы на основе нейросетей и ГИС.