Обнаружение транспортных средств

Несмотря на свою непопулярность в системах автономного вождения, в настоящее время существуют алгоритмы вычитания фона, работающие при различной освещенности, различных углах обзора, большом скоплении объектов [7]. В работе [8] предлагается система обнаружения окружающих движущихся объектов для помощи водителю. В системе используются методы признаков Хаара и вычитания фона. Также система отслеживает обнаруженные объекты контурным методом.

Как правило, в современных работах данный подход не используется как основной алгоритм обнаружения или отслеживания, но может быть применен в сочетании с другими методами. Например, в работе [9] предлагается сочетание разности по трём кадрам и алгоритма оптического потока для обнаружения движущихся автомобилей, что увеличивает скорость и качество работы по сравнению с применением этих алгоритмов по отдельности. На рисунке 15 показаны исходное изображение (а), результат работы алгоритма разности по трём кадрам (б), результат работы алгоритма оптического потока (в), и результат работы предложенного метода, сочетающего оба алгоритма (г).

Методы, основанные на признаках, позволяют обнаруживать перекрывающиеся объекты и обладают меньшей вычислительной сложностью по сравнению с методами вычитания фона или межкадровой разности.

В [10] предложен подход к обнаружению объектов, предполагающий обучение. Также в этом методе использовались вейвлеты Хаара для извлечения признаков, а для классификации – метод SVM (Support Vector Machine, Метод опорных векторов).

Авторы работы [11] предлагают статистический метод обнаружения автомобилей по субрегионам. Было выделено три субрегиона как части автомобиля (область лобового или заднего стекла, область левой фары и область правой фары). Для каждого такого субрегиона генерируются два вектора: вектор анализа основных компонентов (PCA, Principal components analysis) для распознавания низкочастотных компонентов и вектор независимых компонентов (ICA, independent component analysis) для распознавания высокочастотных компонентов. Данный метод показал хорошие результаты обнаружения частично перекрытых ТС.

Рисунок 15 – Сравнение результатов работы алгоритмов разности по трем кадрам (б) и оптического потока (в) с предложенным методом (г)

Работа [12] посвящена улучшению обнаружения объектов с использованием подхода, основанного на локальных и глобальных признаках. Это исследование представляет собой усовершенствованную систему обнаружения транспортных средств. Вначале она выдвигает гипотезу о потенциальном местонахождении транспортных средств для снижения вычислительных затрат за счет статистики интенсивности краев и симметрии, а затем проверяет точность гипотез с использованием классификаторов AdaBoost и вероятностных основанных на решениях нейронных сетях (PDBNN, Probabilistic Decision-Based Neural Network), которые используют локальные и глобальные признаки транспортных средств соответственно. Комбинация двух классификаторов может быть использована для изучения взаимосвязи между локальными и глобальными признаками, и она получает чрезвычайно низкий уровень ложноположительных результатов при сохранении высокой скорости обнаружения. Используемый классификатор AdaBoost (Adaptive Boosting) [13] – это алгоритм машинного обучения для усиления классификаторов, позволяющий объединить несколько слабых классификаторов в композицию, обладающую лучшей эффективностью работы. AdaBoost является алгоритмом адаптивного бустинга в том смысле, что каждый следующий классификатор строится по объектам, которые плохо классифицируются предыдущими классификаторами.

Для базы данных MIT Center for Biological & Computational Learning (CBCL) показатель обнаружения 96,3 % приводит к тому, что уровень ложной тревоги составляет приблизительно 0,0013 %. Пример обнаружения предложенной системой представлен на рисунке 16. Целью этого исследования является извлечение характеристики транспортных средств как в локальной, так и в глобальной ориентации и моделирование неявной инвариантности транспортных средств. Этот расширенный подход обеспечивает более эффективное решение проблем, с которыми сталкиваются обычные системы обнаружения на основе фона. Экспериментальные результаты этого исследования доказывают, что предлагаемая система обеспечивает хорошие характеристики при обнаружении транспортных средств без информации о фоне. Внедренная система также извлекает полезную информацию о трафике, которая может использоваться для дальнейшей обработки (отслеживание, подсчет, классификация и распознавание).

Рисунок 16 – Пример обнаружения транспортных средств системой, предложенной в [12]

В работе [14] авторы представляют систему, которая не только обнаруживает ТС, но и оценивает также их ориентацию. Достигается это тем, что обучающая выборка данных кластеризуется, позволяя различать положения транспортных средств на изображении и таким образом определять их ориентацию. Рисунок 17 иллюстрирует процесс обучения в предлагаемой системе. В качестве детектора использовался AdaBoost с цветовыми и градиентными функциями поиска пикселей. На рисунке 18 показан процесс тестирования системы.

Рисунок 17 – Обучение системы обнаружения транспортных средств, предложенной в [14]

Рисунок 18 – Тестирование системы обнаружения транспортных средств, предложенной в [14]

Результаты работы системы показаны на рисунках 19 и 20.

Рисунок 19 – Результат работы детектора системы, предложенной в [14]

Рисунок 20 – Результат определения ориентации ТС системой, предложенной в [14]: синие стрелки – это проверочные верные направления, красные стрелки – результат системы

Проводится множество исследований, связанных с применением нейронных сетей в задачах обнаружения. В [15] проведена эмпирическая оценка существующих методов глубокого обучения в применение к задачам автономного вождения. Авторы выполнили реализацию системы обнаружения дорожной разметки и транспортных средств методами технического зрения и глубокого обучения (иллюстрация на рисунке 21). Так как в данном разделе исследуются методы обнаружения ТС, сфокусируемся на их реализации и оценке.

Исследователи утверждают, что автомобиль с системой автономного вождения должен быть оснащен:

- радаром. Радары используются для обнаружения объектов (препятствий) на дальних дистанциях и работают достаточно хорошо, но имеют проблемы с различием между металлическими объектами. Так, например, радар может ложно срабатывать на такие объекты, как жестяные банки. Кроме того, радар не обеспечивает полную ориентационную информацию и имеет большое расхождение боковых положений объекта, что затрудняет локализацию резких изгибов;

- ультразвуковым датчиком (сонаром). Сонары могут использоваться для обнаружения препятствий на малой дистанции - их рабочее расстояние составляет около двух метров. Их можно использовать лишь на малых скоростях;

- камерами. Камеры работают на средних расстояниях и, по сравнению с сонаром и радаром, способны предоставить больше полезной информации при относительно невысокой стоимости. Ввиду недавнего бурного развития методов глубокого обучения в области технического зрения, стало возможно распознавать изображение с камер в режиме реального времени - обнаруживать и отслеживать объекты различных классов, сегментировать.

Рисунок 21 – Пример вывода системы обнаружения разметки и транспортных средств, представленная в [15]

В данной работе исследователи создали набор размеченных видеоданных, содержащий маркированные разметку и транспортные средства (с относительной скоростью). При этом использовались дорогостоящие датчики, такие как лидар и высокоточный GPS, и калибровка их с камерами. Набор данных включал в себя видео с различными погодными и другими условиями (дождь, снег, ночь, день и т.д.). По этим данным оценивалась устойчивость и надежность и нейросетевого решения. Так как использовалась одиночная монокулярная камера (не стереокамеры), нейронная сеть была натренирована на прогнозирование глубины (дистанции до объекта) на основе разметки, полученной с данных радара; Модель в данном случае прогнозирует одно значение глубины для каждого объекта. Выбранная нейронная сеть - прямолинейная реализация архитектуры Overfeat [16] - является очень масштабируемой и имитирует детектор со скользящим окном в одном прямом проходе по сети путем эффективного повторного использования свёрточных результатов на каждом слое. Итоговая система обнаружения принимала на вход изображения с разрешением 640х480 и работала с частотой более 10 Гц (или кадров в секунду) на ноутбуке с GPU. Принцип её работы продемонстрирована на рисунке 22. Нейронная сеть, имитирующая детектор со скользящим окном, получает результат в виде области-контекста, но последний (верхний) слой изменен так, чтобы активировать лишь центральную область размером 4х4 пикселя (рисунок 22, левое изображение). Это сделано для уменьшения неоднозначности результата. Так получались маски объектов (рисунок 22, центральное изображение). Чтобы избежать неоднозначных результатов в случае взаимного перекрытия объектов, маски уменьшались на 75 % для определения их принадлежности к объектам. При выборе результирующих рамок, связанных с объектами, использовались неуменьшенные маски (правое изображение на рисунке 22).

Полученная система работала с частотой:

- 44 Гц на настольном компьютере с GPU GTX 780 Ti;

- 2,5 Гц на мобильной GPU Tegra K1.

Авторы ожидают результат в 5 Гц на платформе для автономных автомобилей Nvidia PX1.

Рисунок 22 – Принцип работы системы обнаружения, исследованной в [16]

Точность обнаружения транспортных средств разработанной системой показана на рисунке 23 (для сравнения показана точность обнаружения при использовании только радара).

Рисунок 23 – Точность разработанной системы

По графику видно, что нейросетевой метод значительно лучше работает и на малых, и на больших дистанциях.