Наборы данных для обнаружения объектов дорожной обстановки

При использовании методов глубинного обучения, глубоких нейронных сетей, очень важно подобрать подходящие данные для обучения и тестирования. Чем более обучающая выборка будет похожа на данные, с которыми предстоит работать модели в конкретной задаче, тем выше будет качество работы сети, однако данные также должны быть достаточно разнообразны, а их объем – достаточно велик, чтобы обеспечить одно из важнейших свойств нейронных сетей – возможность обобщать, т.е. успешно работать на данных, отличающихся от обучающих – на тех данных, которых никогда не было в обучающей выборке.

Для задачи обнаружения объектов на изображении необходима база, содержащая изображения или видео, а также аннотации (разметку), оформленные в видео единого файла для всей базы, либо отдельных файлов для каждого изображения или кадра видео. Аннотации для обнаружения объектов обычно содержат список рамок, т.е. прямоугольников, ограничивающих объекты, в виде пяти значений – имени или идентификатора класса, и четырех численных значений, отображающих положение и размеры рамки. Кроме того, возможно использовать аннотации, описывающие каждый объект не рамкой, а полигоном, а также аннотации, применяемые для сегментации – обычно это изображения-маски, у которых значение каждого пикселя отображает принадлежность к классам.

Таким образом, при рассмотрении наборов данных для обнаружения объектов необходимо выделять следующие свойства:

- наличие классов объектов дорожной обстановки (автомобили и другие транспортные средства, люди, знаки, светофоры);

- размеры изображений или видео в наборе (они не должны быть слишком малы);

- наличие аннотаций в подходящем формате (в виде прямоугольных рамок, полигонов, либо масок);

- общее число аннотированных изображений;

- общее число объектов в наборе, и при наличии соответствующей информации – число объектов по классам.

В работе [35] 2017 года производится сравнение наборов обучающих данных для методов технического зрения, применяемых в системах автономного вождения. В работе рассматриваются наборы не только телевизионных изображений, но также наборы, содержащие данные с различных датчиков (радаров, лидаров, GPS и других) и стереокамер. Ниже приведено более подробное описание наборов, которые содержат данные, полученные с монокулярной цветной оптической камеры, и могут быть использованы для обнаружения объектов дорожной обстановки. Помимо упомянутых в работе [35] наборов, рассматриваются также российская база автодорожных знаков и другие базы, рассмотренные в [21].

Caltech Pedestrians Dataset

Набор данных Caltech Pedestrian Dataset [36] содержит суммарно около 10 ч видео с городскими улицами, снятого размещенной в автомобиле камерой во время движения. Размер изображений 640×480 пикселей. Общее число аннотированных кадров – около 250000, общее число аннотированных объектов – около 350000. Аннотации представлены в виде прямоугольных рамок.

CamVid Dataset

CamVid Dataset (The Cambridge-driving Labeled Video Database) [37] – это набор, содержащий видеозаписи городских улиц, снятые камерой, размещенной в автомобиле, а также их раскадровки, т.е. наборы кадров, сохранённые в виде отдельных изображений. Общее число аннотированных кадров – около 700, число классов, представленных в наборе – 32. Это такие классы, как: пешеход, ребенок, легковой автомобиль, грузовой автомобиль или автобус, велосипедист, мотоцикл, поезд, знак, ограждение, дерево, стена, здание, дорога и другие. Набор представляет сегментированные изображения, т.е. аннотации выполнены в виде масок (рисунок 31).

Рисунок 31 – Пример аннотированного изображения из набора CamVid

Cityscapes

Набор Cityscapes [38] содержит видеозаписи городских улиц и предназначен для сегментации. В наборе представлено 30 классов. Общее число точно аннотированных изображений – 5000 (рисунок 32, сверху), число грубо аннотированных изображений – 20000 (рисунок 32, снизу).

Рисунок 32 – Примеры аннотированных изображений набора Cityscapes