Обработка изображений в задаче распознавания...
-
Upload
vladimir-pavlov -
Category
Documents
-
view
1.252 -
download
4
Transcript of Обработка изображений в задаче распознавания...
![Page 1: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/1.jpg)
Обработка изображений в задаче распознавания номерных знаков автомобилей
Ярославский государственный университет им. П.Г. Демидова
физический факультет, лаборатория «Цифровые цепи и сигналы»
Петров В.А., студент гр. РФ-51 Кралин А. Е., студент гр. ТК-31
научный руководительк.т.н., доцентПриоров А.Л.
![Page 2: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/2.jpg)
Актуальность решаемой задачи
2
Безопасность дорожного движения является достаточно важным элементом современного общества
ФЦП «Повышение безопасности дорожного движения на 2006-2012 годы в Российской Федерации»
![Page 3: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/3.jpg)
Основные этапы работы
• Детектирование номерного знака
• Сегментация символов на детектированной номерной пластине
• Распознавание символов
3
![Page 4: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/4.jpg)
Детектирование номерной пластины Обработка градиентными операторами
4
,,или, 22yxyx IIyxEIIyxE
где Ix и Iy представляют изображения, вычисленные на основе использования операции свертки исходного сигнала с дифференциальными масками (Превитт, Собеля, Робертса)
(1)
![Page 5: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/5.jpg)
Детектирование номерной пластины Анализ графика вертикальной проекции градиентного изображения
5
Анализ графика горизонтальной проекции градиентного изображения
0 100 200 300 400 5000
5
10
15x 104
0 200 400 6000
5
10x 104
![Page 6: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/6.jpg)
Сегментация номерной пластины
6
Анализ графика горизонтальной проекции выделенного номерного знака
20 40 60 80 100 120 140 160
10
20
30
20 40 60 80 100 120 140 1602000
3000
4000
5000
6000
7000
![Page 7: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/7.jpg)
Сегментация номерной пластины
7
Бинаризация отсегментированных областей номерной пластины (метод Оцу)
Нахождение связных областей в сегментах выделенной номерной пластины
![Page 8: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/8.jpg)
Признаки используемые для решения задачи распознавания
8
Площадь – количество пикселей в области:
Rcr
A),(
1
Центр тяжести: ,1
),(
Rcrr
Ar
Rcrс
Aс
),(
1
Горизонтальные и вертикальные проекции символов:
…
(2)
(3)
![Page 9: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/9.jpg)
Решение задачи распознавания символов методами машинного обучения
?
Данные Ответ!
Алгоритм обучения
Обученная машина
Вопрос 9
![Page 10: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/10.jpg)
Бинарное решающее дерево (CART)
Двоичное дерево Узлы: Помечены некоторой функцией выбора решения
Связи: Помечены
Листья: Помечены ответами
false
true
?6x
?3x 1y
1y 1y
t rue
false
false
t rue
5x
1)( xa
10
![Page 11: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/11.jpg)
11
Случайный лес (Random Forest)
?6x
?3x 1y
1y 1y
t rue
false
false
t rue
5x
?4x
?3x 1y
1y 1y
t rue
false
false
t rue
5x
?6x
?7x 1y
1y 1y
t rue
false
false
t rue
5x
1)( xa1)( xa
1)( xa
Ответ:1)( xa
![Page 12: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/12.jpg)
Плюсы: 1) Применимо для высоких размерностей пространства 2) Высокая скорость обучения и тестирования 3) Простота реализации Минусы: Чувствительно к множеству входных данных используемых на этапе обучения
Бинарное решающее дерево (CART)
Случайный лес (Random Forest) Использование комитета классификаторов, случайный выбор данных и признаков на этапе обучения позволяет значительно снизить чувствительность к множеству входных данных используемых на этапе обучения
12
![Page 13: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/13.jpg)
Результаты работы рассматриваемого алгоритма. Детектирование номерной пластины
13
![Page 14: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/14.jpg)
Результаты работы рассматриваемого алгоритма. Распознавание символов детектированной номерной пластины
14
с060ом199
e635рм199
а163хх90
Удачные попытки
Неудачные попытки
р141мо
е2т107
т479тут77
![Page 15: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/15.jpg)
15
Общее число
номеров
Распознано полностью,
%
Распознан только
номер, %
Не распознано,
%
91 10 39 51
Результаты работы рассматриваемого алгоритма
Всего примеров
Корректно детектировано,
%
Ошибки, %
91 47 53
Результаты детектирования номерной пластины
Результаты распознавания детектированных символов
![Page 16: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/16.jpg)
Открытый конкурс-тест систем распознавания
16
![Page 17: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/17.jpg)
Задачи систем распознавания
• Подсчет ТС и анализ загруженности автомобильных дорог
• Автоматический розыск ТС
• Фиксация нарушений ПДД (в том числе контроль скоростного режима)
17
![Page 18: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/18.jpg)
Варианты реализации
• Стационарные комплексы
• Передвижные комплексы
• Мобильные комплексы
18
![Page 19: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/19.jpg)
Стационарные комплексы
• Достоинства: 1). относительная простота реализации;
2). достаточно высокая эффективность;
• Недостатки: информация об их местоположении быстро распространяется и появляется на всевозможных электронных картах и навигаторах.
19
![Page 20: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/20.jpg)
Передвижные комплексы
• Достоинства: 1). мобильность;
2). невозможность наносить их расположение на электронные карты;
• Недостатки: сильные геометрические искажения
20
![Page 21: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/21.jpg)
Мобильные комплексы
• Достоинства: 1). Оперативное решение задач распознавания;
2). Возможность использования в движении;
• Недостатки: сложная техническая реализация
21
![Page 22: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/22.jpg)
Направления развития
• Адаптация к неблагоприятным условиям съёмки
• Расширение круга решаемых задач
• Повышение эффективности работы
22
![Page 23: Обработка изображений в задаче распознавания номерных знаков автомобилей](https://reader035.fdocument.pub/reader035/viewer/2022081508/557ee9aad8b42ad17d8b46c2/html5/thumbnails/23.jpg)
Обработка изображений в задаче распознавания номерных знаков автомобилей
Ярославский государственный университет им. П.Г. Демидова
физический факультет, лаборатория «Цифровые цепи и сигналы»
Петров В.А., студент гр. РФ-51 Кралин А. Е., студент гр. ТК-31
научный руководительк.т.н., доцентПриоров А.Л.