Обнаружение дорожных знаков и светофоров

Исследования, направленные на решение задачи обнаружения дорожных знаков, велись и более десяти лет назад. В работе [17], которая была опубликована в 2006 году, предлагается метод обнаружения знаков, в котором локализация знаков на изображении производится по цветовой информации (цветовая фильтрация), а классификация состоит из нескольких этапов: определение геометрической формы знака с помощью гистограмм, а затем его преобразование в бинарное изображение и сопоставление его с шаблоном.

В 2012 году была опубликована работа [18], в которой предлагалось для локализации знаков использовать алгоритм MSERs (maximally stable extremal regions), выделяющий области с приблизительно одинаковым значением яркости или цвета, а для классификации полученных областей интереса – каскадный классификатор, использующий сочетание алгоритмов HOG и SVM. Пример работы алгоритма представлен на рисунке 24.

Рисунок 24 – Пример работы алгоритма из [18]

В работе было предложено использование и обычного варианта алгоритма MSERs для выделения светлых, белых областей, и его применение для выделения цветных (синих и красных) областей - для этого изображение нормализовались по целевым цветам (рисунок 25). Затем из выделенных областей методом HOG вычислялся вектор признаков, и подавался на вход каскадному SVM-классификатору (рисунок 26) для определения сначала формы, а затем и класса знака.

Рисунок 25 – Нормализация изображения по цвету

Рисунок 26 – Алгоритм работы предложенного в [18] метода

В работе [19] 2016 года предлагается нейронная сеть для обнаружения знаков. Авторы разработали полностью свёрточную архитектуру с учетом малых размеров дорожных знаков относительно размера изображения, создали базу, содержащую 30000 изображений дорожных знаков при различной освещенности и также на тестовой выборке сравнили работу предложенной модели с архитектурой Fast R-CNN [20]. У Fast R-CNN полнота (доля числа обнаружений от общего числа знаков на изображениях) составила 0,56, а точность (доля верных обнаружений от всех обнаружений) – 0,50, в то время как предложенная модель имела полноту 0,91, а точность – 0,88. На рисунке 27 продемонстрирован пример из созданной базы; на изображение нанесены аннотации – ограничивающие объект рамки и названия классов.

Рисунок 27 – Пример изображения базы дорожных знаков из [19]

В 2016 году также была опубликована работа [21], посвященная созданию российской базы автодорожных знаков. Полученная база содержит более

179000 изображений, полученных с видеорегистратора при различной погоде и в разных условиях освещенности (рисунок 28), и 104358 дорожных знаков на этих изображениях. Также авторы попробовали реализовать систему обнаружения знаков, сочетающую детектор знаков, основанный на признаках, и классификатор - восьмислойную нейронную сеть, содержащую свёрточные слои. В различных тестах качество детектора, сочетающее значения полноты и точности, составило 76 - 92 %, а точность классификации – 85 - 93 %.

Рисунок 28 – Изображения из российской базы данных автодорожных знаков

В работе [22] 2017 года предлагаются модификации современной свёрточной нейронной сети YOLOv2 [23]. Авторы попытались учесть малый размер дорожных знаков в архитектуре модели и уменьшили число слоёв, получающих большие карты признаков, содержащие обычно признаки сложных и крупных объектов. Также авторы предложили использовать несколько сверточных слоёв 1×1 подряд, чтобы снизить вычислительную сложность. В результате была получена модель, не имеющая существенных отличий в качестве работы (значениях полноты и точности) от модели YOLOv2, но имеющая в два раза большую скорость работы.

Работа [24] 2017 года представляет комплексную систему для обнаружения и отслеживания светофоров, включающую в себя детектор светофоров, нейросетевой классификатор и трекер. При этом использовалась стереокамера и одометрия с двигателей. Полученная система позволяет обнаруживать светофоры шириной до 4 пикселей. Также авторы создали базу данных для обнаружения светофоров, содержащую 5000 изображений для обучения и видеоряд из 8334 кадров для оценки.