Обоснование выбора нейросетевых методов

Главным преимуществом нейронных сетей является то, что в общем случае именно они позволяют получить наибольшую точность обнаружения. Это подтверждают результаты различных соревнований по обнаружению объектов на изображениях (ImageNet, COCO, PASCAL VOC и другие).

Кроме того, можно проследить тенденцию к выбору нейросетевых методов обнаружения объектов дорожной обстановки: если до 2014 года преимущественно использовались методы, основанные на признаках, и их сочетания с различными алгоритмами фильтрации, то в последующие годы всё больше работ выполняется с применением нейронных сетей, позволяющих достичь всё большей точности.

Поскольку в данной работе допустимо использование мощного вычислительного оборудования, высокопроизводительных графических карт, решение задачи обнаружения объектов дорожной обстановки с применением нейросетевых методов является наиболее целесообразным.

Современные нейронные сети для обнаружения объектов

В 2015 году была предложена новая архитектура нейронной сети Faster R-CNN [25], особенностью которой было однократное использование свёрточной нейронной сети, выделяющей признаки классов объектов, на всё изображение целиком, т.е. отказ от скользящего окна. Это позволяло значительно ускорить работу сети.

Затем появились архитектуры YOLO (You only look once) [26] и SSD (Single shot multibox detector) [27], которые использовали тот же подход, т.е. однократное использование свёрточной нейронной сети для получения карты признаков, но имели свои особенности. YOLO имела последовательную структуру, полносвязные слои и меньшее количество слоёв, чем SSD. SSD же была полностью свёрточной и объединяла в одном из конечных слоёв результаты (карты признаков), полученные с нескольких последовательно расположенных сверточных слоев. Скорость и точность работы этих двух нейронных сетей значительно превышала полученные в [25] результаты (при использовании Faster R-CNN).

Наконец, самой новой наиболее известной архитектурой в настоящее время является YOLOv2 [23]. Это улучшенная версия YOLO, которая позаимствовала некоторые удачные особенности из архитектуры SSD: сеть полностью состоит из свёрточных слоёв и имеет также слои выделения признаков различного размера, чтобы улучшить обнаружение объектов в различном масштабе.

Сравнительные данные о точности YOLOv2 приведены на рисунке 29. Как видно, YOLOv2 может достигать точности более 77 %, а максимальная скорость её работы составляет более 85 кадров в секунду.

Пример обнаружения нейронной сети YOLOv2 показан на рисунке 30.

Рассмотренные нейросетевые методы [25], [26], [27], [23] универсальны, т.е. их можно применить для задачи обнаружения любых объектов.

Рисунок 29 – Характеристики работы YOLOv2 по сравнению с другими нейронными сетями

Рисунок 30 – Пример предсказания сети YOLOv2

Программные пакеты

На данный момент существует несколько популярных библиотек для машинного обучения: Caffe [28], Torch [29], Theano [30], DeepLearnToolbox для Matlab [31], Tensorflow [32] и Keras [33]. Рассмотрим каждую из них.

Caffe

Библиотека разработана Янцином Цзя (Yangqing Jia) в процессе подготовки своей диссертации в университете Беркли в 2013 году и до сих пор поддерживается Центром Зрения и Обучения Беркли. Реализована на языке программирования C++ и поддерживает интерфейс на языках Python и Matlab. Поддерживаемые операционные системы: Windows, Linux и Mac OS X.

Библиотека имеет все необходимые для задачи обнаружения инструменты, т.е. позволяет работать с полносвязными сетями прямого распространения и со свёрточными сетями. Возможно использование полносвязных, свёрточных слоёв, а также слоёв подвыборки и локальной нормализации. Реализованы следующие функции активации: положительная часть (ReLu), сигмоидальная, гиперболический тангенс, абсолютные значения, возведение в степень, биноминальное логарифмическое правдоподобие. Доступные функции ошибки (потерь): среднеквадратичная ошибка, краевая ошибка, логистическая функция ошибки, сигмоидальная кросс-энтропия, Softmax. Реализованы методы обучения: стохастический градиентный спуск, ускоренный градиентный спуск Нестерова, алгоритм с адаптивной скоростью обучения.

Библиотека распространяется под лицензией BSD, т.е. она может быть использована для любых целей, в том числе для распространения, изменения и распространения изменённых копий.

Torch

MATLAB-подобная библиотека, реализованная на языке Lua с использованием C. Поддерживаемые операционные системы: Linux, FreeBSD, Mac OS X и Windows (только основные модули).

Библиотека Torch предназначена для научных расчётов и работы с глубинным обучением. В ней доступны полносвязные, свёрточные и softmax слои, слои подвыборки и нормализации, а также следующие функции активации: гиперболический тангенс, выбор минимального и максимального. Для обучения реализованы: стохастический градиентный спуск, усредненный стохастический градиентный спуск, метод сопряженных градиентов, алгоритм Бройдена – Флетчера – Гольдфарба – Шанно.

Библиотека распространяется под лицензией BSD.

Theano

Библиотека Theano – библиотека численных вычислений в Python, позволяющая эффективно проводить параллельные вычисления с многомерными массивами как на центральном, так и на графическом процессоре. Основным разработчиком является группа машинного обучения в Монреальском университете. С осени 2017 работа над проектом прекращена, но разработчик обещал сохранить минимальную поддержку в течение года.

Библиотека разработана на языке программирования Python и поддерживается на операционных системах Windows, Linux, Mac OS.

Theano позволяет создавать полносвязные, сверточные, рекуррентные сети, а также автоэнкодеры и ограниченные машины Больцмана. Реализованы различные функции активации: сигмоидальная, кросс-энтропия, softmax. Для обучения доступен стохастический градиентный спуск.

Библиотека распространяется под лицензией BSD.