Основныепонятияиопределения

КУРСОВОЙПРОЕКТ

Описание современного состояния искусственных нейронных сетей и построение дерева решений алгоритма распознавания рукописных символов

подисциплине«Интеллектуальныеинформационные системы»

 

 

Выполнил:студентгруппы17ИС1мИльинИ.В.

Принял:к.т.н.,доценткафедрыИТСЖашковаТ.В.

 

 

Пенза2018г

СОДЕРЖАНИЕ

 

ВВЕДЕНИЕ. 3

1 АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ.. 4

1.1 Основные понятия и определения. 4

1.2 Переобучение. 5

1.3 Черный ящик. 7

1.4 Большой объем входных данных. 10

1.5 Катастрофическая забывчивость. 10

2 ПОСТРОЕНИЕ ДЕРЕВА РЕШЕНИЙ.. 16

2.1 Основные понятия и определения. 16

2.2 Построение дерева решений нейронной сети, обученной для распознавания рукописных цифр. 17

ЗАКЛЮЧЕНИЕ. 19

БИБЛИОГРАФИЧЕСКИЙ СПИСОК.. 20

ПРИЛОЖЕНИЕ А.. 21

 

 

 

ВВЕДЕНИЕ

Основнойцельюкурсовогопроектаявляетсятеоретическоеописаниетекущегосостоянияискусственныхнейронныхсетей,описаниепроблемы«катастрофическойзабывчивостиискусственныхнейронныхсетей»иметодаупругогозакреплениявесоввнейроннойсетидляраспознаваниярукописныхцифр.

Искусственнаянейроннаясеть–способорганизацииотдельныхвычислительныхэлементов,вопределеннойстепениимитирующийструктурумозга.Нейронныесетиприменяютсядлярешениятакихзадач,какраспознаваниеобразов,кластеризация(объединениевгруппы–кластеры),построениепрогнозов,сжатиеинформацииивосстановлениеповрежденныхили«зашумленных»данных.Характернойособенностьюнейроннойсетиявляетсяееобучаемость–способностьнаходитьзависимостимеждувходнымиивыходнымиданными,которыепредлагаютсяейвходеобучения.Засчетзаложенногопараллелизманейросетьпозволяетобрабатыватьбольшиеобъемыинформации,атакжевыполнятьзадачи,алгоритмрешениякоторыхонапрорабатываетсама.Взависимостиоттипасетисигналможетпоступатьтольконавходныенейроны;навсенейроныодновременно,атакжепередаватьсямеждунейронамиразличныхуровней(обратнаясвязь).Синапсы(связимеждунейронами)обладаютразличным«весом»,благодарякоторомувыстраиваетсяиерархияпоступающихвнейронсигналов.Исследованияпоразработкенейронныхсетейвелись,начинаяс1940-хгодов.В1980-хгодахпоявилисьалгоритмыглубокогообучения.Этоусовершенствованиенейронныхсетей(добавлениенесколькихскрытыхуровней,илислоев,нейронов)позволяетускоритьработунейросетипривыполнениисложныхзадач.

Курсовойпроектвключаетвсебя2основныхраздела:

1. Анализсовременногосостоянияискусственныхнейронныхсетей;

2. Построениедереварешенийдляалгоритмараспознаваниярукописныхцифр.

АНАЛИЗСОВРЕМЕННОГОСОСТОЯНИЯИСКУССТВЕННЫХНЕЙРОННЫХСЕТЕЙ

Основныепонятияиопределения

Когдаречьидетозадачах,отличныхотобработкибольшихмассивовинформации,человеческиймозгобладаетбольшимпреимуществомпосравнениюскомпьютером.Человекможетраспознаватьлица,дажеесливпомещениибудетмногопостороннихобъектовиплохоеосвещение.Ненесмотрянагодыисследований,компьютерывсеещедалекиотвыполненияподобныхзадачнавысокомуровне.

Врешенииподобныхзадачнаиболееэффективныискусственныенейронныесети,далееИНС.ИНСгенерироватьзначениеизсложныхилинеточныхданных.Главныедостоинстванейронныхсетей:

–Эффективнаяфильтрацияшумов.ПослеобученияИНСспособныобрабатыватьтольконужнуюиминформацию,игнорируяпосторонниешумы.

–Адаптация.ВозможностьадаптацииИНСкизменениямвовходныхданныхпозволяетимработатьвправильномрежимевсевремя.Непрерывноесамообучение–самоеважноесвойствоИНС.

–Отказоустойчивость.Дажепривыходеизстроячастинейронов,остальныенейроныостаютсяработоспособными.Инесмотрянаснижениеточностиработы,ответы,выдаваемыеповрежденнойИНС,остаютсялогичнымииправильными.

–Скоростьработы.Каждыйизнейронов,посути,являетсямикропроцессором,нопосколькуИНСсостоитизтысячтакихнейронов,междукоторымираспределяетсязадача,еерешениепроисходиточеньбыстро–намногобыстрее,чемприиспользованииобычныхалгоритмоврешения.

Последние10летнейронныесетиначалибыстронабиратьпопулярность.Этосвязаностем,чтораньшеиспользованиеИНСбылонедостаточноэффективнымдлямассовогоиспользования.НозапоследнеевремяпроизводительностьЭВМзначительновыросла,ипоявилисьновыеалгоритмы,позволяющиеболееэффективноиспользоватьвычислительныересурсы.ТакжеИНСтребовательныкданным,изкоторыхсостоитобучающаявыборка,таккактребуетсяогромноеколичестводанныхдлякачественногообученияИНС.Раньше,когдасетьИнтернетбыланетакразвита,этобылопроблемой.Сейчаснайтидостаточноеколичестводанныхдлясозданияобучающейвыборкивбольшинствеслучаевнеявляетсяпроблемой.

СейчасИНСприменяютсяповсеместно:многиекрупныеинтернет-сайтыиспользуютих,чтобысделатьреакциюнаповедениепользователейболееестественнойиполезнойсвоейаудитории.ИНСлежатвосновебольшинствасовременныхсистемраспознаванияисинтезаречи,атакжераспознаванияиобработкиизображений.Ониприменяютсявнекоторыхсистемахнавигации,будьтопромышленныероботыилибеспилотныеавтомобили.АлгоритмынаосновеИНСзащищаютинформационныесистемыотатакзлоумышленниковипомогаютвыявлятьнезаконныйконтентвсети.Вближайшейперспективе(5-10лет)нейронныесетибудутиспользоватьсяеще шире.

 

Переобучение

Даннаяпроблемазаключаетсявтом,чтоИНС«запоминает»ответывместотого,чтобывыводитьзакономерностивовходныхданных.Насегодняшнийденьразработанонесколькоспособовборьбыспереобучением:регуляризация,нормализациябатчей,наращиваниеданныхидругие.Иногдапереобученнаямодельхарактеризуетсябольшимиабсолютнымизначениямивесов.Сутьэтогоявленияследующая:исходныеданныечастосильномногомерны(однаточкаизобучающейвыборкиизображаетсябольшимнаборомчисел),ивероятностьтого,чтослучайновзятаяточкаокажетсянеотличимойотвыброса,будеттембольше,чембольшеразмерность.Вместотого,чтобы«вписывать»новуюточкувимеющуюсямодель,корректируявеса,ИНСгенерируетисключение:однуточкуследуетклассифицироватьпооднимправилам,адругие–подругим.Итакихточекбываеточеньмного.

Простейшийметодборьбыспереобучением–такназываемаярегуляризациявесов.Еесутьсостоитвискусственномограниченииназначениявесов,либовдобавленииштрафавмеруошибкинаэтапеобучения.Такойподходнерешаетпроблемуполностью,нопомогаетулучшитьрезультат.

Второйметодсостоитвограничениивыходногосигнала,анезначенийвесов–этонормализациябатчей.НаэтапеобученияданныеподаютсявИНСпачками–батчами.Выходныезначениядлянихмогутбытьлюбыми,ичемвышезначениявесов,тембольшеабсолютныезначения.Еслиизкаждогоизнихвычестькакое-тоопределенноезначениеиподелитьрезультатнадругое,одинаковоедлявсегобатча,томожносохранитькачественныесоотношения,новыходбудетболееудобнымдляобработкиегоследующимслоем.

Третийподход–наращиваниеобучающейвыборки.Онработаетневсегда.Какужеговорилось,переобученнаяИНСвоспринимаетмногиеточкикаканомальные,которыеследуетобрабатыватьотдельно.Идеязаключаетсявнаращиванииобучающейвыборки,чтобыточкибылитойжеприроды,чтоиисходнаявыборка,носгенерированыискусственно.Однакотутсразурождаетсябольшоечислосопутствующихпроблем:подборпараметровдлянаращиваниявыборки,критическоеувеличениевремениобученияипрочие.

Вобособленнуюпроблемувыделяетсяпоискнастоящиханомалийвобучающейвыборке.Иногдаэтодажерассматриваюткакотдельнуюзадачу.Нарисунке1проиллюстрированэффектисключенияаномальногозначенияизнабора.

Рисунок1–Эффектотудаленияаномальногозначенияизтренировочнойвыборки.

ВслучаеИНСрезультатбудеттакимже.Нопоискиисключениеаномальныхзначений–оченьсложнаязадача,длярешениякоторойприменяютспециальныеметодики.

Черныйящик

ЕщеоднапроблемаИНСсостоитвтом,чтоонипосутиявляютсячернымиящиками.Тоестькромерезультата,изИНСнельзяполучитьникакуюинформацию,дажестатистическиеданные.Из-заэтогооченьсложнопонять,какимобразомИНСпринимаетрешения.ЭтохарактернодлябольшинстватиповИНС,ноестьиисключения.Например–сверточныеИНСвзадачахраспознавания.Вэтомслучаенекоторыепромежуточныеслоиимеютсмыслкартпризнаков(однасвязьпоказываетто,встретилсяликакой-топростойшаблонвисходнойкартинке),поэтомувозбуждениеразличныхнейроновможноотследить.

Естественно,даннаяособенностьделаетдостаточносложнымиспользованиеИНСвприложениях,гдеошибкикритичны.Например,менеджерыфондовнемогутпонять,какИНСпринимаетрешения.Из-заэтогоневозможнокорректнооценитьрискиторговыхстратегий.Аналогичнаяситуациявбанках,использующихИНСдлямоделированиякредитныхрисков.Онинемогутсказать,почемуэтотсамыйклиентимеетсейчасименнотакойкредитныйрейтинг.ПоэтомуразработчикиИНСпытаютсянайтиспособыисправитьданныйнедостаток.Например,ведетсяразработкатакназываемыхалгоритмовизъятияправил(rule-extractionalgorithms),чтобыповыситьпрозрачностьИНС.ЭтиалгоритмыизвлекаютинформациюизИНСлибоввидематематическихвыраженийисимвольнойлогики,либоввидедеревьеврешений.

Естьнесколькоспособовреализацииданногорешения.Самыйпростой–анализчувствительности.Анализчувствительностинесодержитявныхправил,ноиспользуетсядляопределениявлиянияконкретныхвходныхданныхнавыходныеданныеИНС.Общаяпроцедуразаключаетсявзаписиизмененийввыходныхданныхпослевнесенияизмененийвспецифическиевходныеатрибуты.Обычновкачественачальнойточкивыбираетсясреднеезначениедлякаждоговходаиизменениядолжныварьироватьсяотнебольшихдокрайневысоких.Еслиразницаввыходемаладажеприбольшихизмененияхвопределенномвходноматрибуте,этотатрибутвероятно,неоченьважен;тоестьИНСнечувствительнакэтомуатрибуту.Другиеатрибутымогутоказываютбольшоевлияниенавыходныеданные,значит,ИНСчувствительнакэтиматрибутам.

АнализчувствительностиявляетсяхорошиминструментомдляполучениябазовогопониманияфункционированияИНС.Но,ксожалению,анализчувствительностиобычнонепозволяетобъяснитьнайденныеотношения.Поэтомуониспользуетсялибокакинструментдляпоискаиудаленияневажныхвходныхданных,атрибутов,иликакотправнаяточкадлядругогометодаработысИНС.

ДекомпозиционныеподходысосредоточенынаизвлеченииправилнауровнеотдельныхблоковврамкахобученнойИНС.Основнымтребованиемдляэтойкатегорииизвлеченияправилявляетсято,чтовычисленныйвыходизкаждогоблокадолженбытьотображенкакдвоичныйрезультат,соответствующийследующемуправилу.

Каждыйблокможетбытьинтерпретированкакступенчатаяфункция,чтоозначает,чтопроблемасводитсякпоискунаборавходящихсвязей,суммарныевесакоторыхгарантируютпревышениесмещенияблоканезависимоотдругихвходящихсвязей.Когдатакаякомбинациясвязейнайдена,этолегкопереводитсявправило,вкоторомвыходэтогоблокаявляетсяследствиемвходов.Затемправила,извлеченныенаотдельномуровнеединицы,агрегируютсядляформированиясоставногонабораправилдляИНСвцелом.Самыйпростойспособпонятьпроцесссостоитвтом,чтобырассматриватьизвлечениеправилаИНСкакпримерпрогнозирующегомоделирования,гдекаждыйшаблонввода-выводасостоитизисходноговходноговектораисоответствующегопрогнозаизнепрозрачноймодели.СэтойточкизренияизвлечениеправилаИНСстановитсязадачеймоделированияфункцииизисходныхвходныхданныхвнепрозрачныепредсказаниямодели.

Оценкаалгоритмовизвлеченияправила.

Существуетнесколькокритериев,используемыхдляоценкиалгоритмовизвлеченияправил:

–Наглядность.Степень,вкоторойизвлеченныеправилапонятныдлячеловека.

–Правильность.Степень,вкоторойизвлеченныеправилаточномоделируютИНС,изкоторыхониизвлекается.

–Точность.Способностьвыделенныхправилделатьточныепрогнозыпоранеенеизученнымслучаям.

–Масштабируемость.Способностьметодамасштабироватьсяксетямсбольшимивходнымиобъемамиданныхибольшимколичествомсвязей.

–Универсальность.Степень,вкоторойметодтребуетспециальныхрежимовобученияилиустанавливаетограничениянаархитектуруИНС.