Введение в компьютерное зрение

Владимир Волоховe-mail: volokhov@piclab.ru

Ярославский государственный университет им. П.Г. Демидова

физический факультет, лаборатория«Цифровые цепи и сигналы»

Цель курса

Рассмотрение ряда задач и вопросовкомпьютерного зрения для: Создания базиса с целью дальнейшего

самообразования Помощи в дальнейшей практической деятельности

как в этой области, так и в смежных областях Расширения кругозора

Кому и как поможет курс? Студентам работающим или собирающимся

работать в области решения задач компьютерного зрения

Студентам работающим или собирающимся работать на «творческой» работе Не кодерам, а тем, кому перед решением задачи

приходится придумать как именно ее решать

В общем станет понятнее что это такое, действительно ли вам это интересно?

Структура курса

Лекции 14 лекций Тематика «Низкоуровневый» анализ изображений и видео Распознавание образов и машинное обучение 3D реконструкция

Аттестация по курсу 2-3 практических задания по перечисленным темам Эссе по тематике курса, в соответствии со

структурой: введение, основная часть, заключение Зачет в конце

Какую литературу можно найти?

Шапиро Л., Стокман Дж. Компьютерное зрение, 2006 Форсайт Д., Понс Ж. Компьютерное зрение, 2004 Гонсалес Р., Вудс Р. Цифровая обработка изображений, 2005 Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка

изображений в среде Matlab, 2006 Szeliski R. Computer vision: Algorithm and applications, 2010

Каждое изображение является ячейкой истории

Вокзал Монпарнас (La Gare Montparnasse) в Париже 22 октября 1895

Цель компьютерного зрения заключается в формировании полезных выводов относительно объектов и сцен реального мира на основе анализа изображений, полученных с использованием датчиков

Формирование изображения Камера-обскура (от лат. темная

комната) – это самая первая камера) Была известна еще Аристотелю Глубина комнаты и есть

фокусное расстояние

Camera Obscura, Reinerus Gemma-Frisius, 1544

132 105 40 45 44 40131 93 40 42 41 39109 59 40 42 41 38110 124 108 40 41 41109 62 41 40 41 39108 74 40 39 39 40

85 84 39 40 39 39

Кстати с вокзалом все в порядке …

Траволатор (moving walkway) в парижском метро рядов с

вокзалом Монпарнас

Памятник-макет в Бразилии по мотивам

парижской аварии

Может ли компьютер быть достойным соперником человеческому восприятию?

Да и нет (но больше нет, чем да!) Человеческое восприятие лучше в «сложной» ситуации Компьютер может давать лучший результат в «простой»

ситуации

Кстати, это один и тот же человек!

Человеческое визуальное восприятие (визуальные иллюзии)

http://science.pppst.com/opticalillusions.html

Человеческое визуальное восприятие (визуальные иллюзии)

http://science.pppst.com/opticalillusions.html

Карта научного мира

Смежные дисциплины

Смежные дисциплины Обработка сигналов – многие методы обработки

одномерных сигналов могут быть успешно обобщены на двумерные (изображения) и трехмерные (видео)

Смежные дисциплины Физика – множество задач компьютерного зрения требуют

понимания и учета физических процессов формирования изображения

Смежные дисциплины Формирование изображений – получение изображений

либо с видеокамеры, либо из сгенерированных цифровых данных, либо путем записи таких изображений на видеоленту, лазерный диск или микрофильм

Смежные дисциплины Нейробиология – исследование существующих

биологических систем распознавания привело к созданию систем и алгоритмов, имитирующих работу мозга и органов чувств человека и животных

Смежные дисциплиныМатематика – без математики, разумеется, не обойтись.

В первую очередь математическая статистика, численные методы и геометрия

Смежные дисциплины Искусственный интеллект – в частности решает задачи

планирования и принятия решений для систем управления роботами и автономных механизмов, использующих оптические сенсоры

Машинное обучение – одно из направлений искусственного интеллекта. Обобщает результаты и идеи, связанные с нейросетевыми вычислениями, эволюционными и генетическими алгоритмами, нечёткими множествами и др.

Смежные дисциплины Робототехника – направление научных исследований и

инженерных разработок, направленное на создание и изучение различных классов роботов

Множество похожих названий … По-английски: Computer vision, Image processing, Image analysis,

Robot vision and Machine vision

По-русски: Компьютерное зрение, обработка изображений,

анализ изображений, зрение роботов и машинное зрение

Зрение … принятые названия Анализ изображений Фокусируется на работе с 2D изображениями Компьютерное зрение Обычно понимается как восстановление 3D

структуры по 2D изображениям Машинное зрение, зрение роботов Обычно понимается как решение промышленных,

производственных задач (сложилось исторически) Распознавание образов Распознавание, обучение на абстрактных числовых

величинах, полученных в том числе и из изображений

Зачем изучать компьютерное зрение? Изображения и видео повсюду

Бурно растущая область Обработка фотографий с камер Видеонаблюдение Промышленные системы Спецэффекты в киноМоделирование окружающего мира Управление роботами

Анализ данных есть везде!

Зачем изучать компьютерное зрение? 25% мозга отвечает за зрение Как работает распознавание объектов? Что можно узнать из картинки?

Обработка на низком уровне Различные классы областей чувствительности головного

мозга дают понять локальные характеристики изображения: ориентацию, контраст, цвет, пространственные частоты и т.д. Низкоуровневые характеристики изображения Границы Базис Габора, вейвлет-базис, базис Фурье Фрагменты изображения…

Леонардо да Винчи «Дама с горностаем», около 1488-1490

Обработка на среднем уровне включает в себя взятие локальных оценок полученных на низком уровне и группировку последних определенным образом На среднем уровне обработки изучаются различные модели: Кривых Движения Областей Поверхностей…

Обработка на среднем уровне

Микеланджело Буонарроти «Давид» (изображения получены с использованием метода лазерной триангуляции)

Примеры обработки на низком и среднем уровне Повышение качества изображений (низкий уровень)

Сегментация (средний уровень)

Обработка на высоком уровне Поиск объектов, распознавание людей, мест, событий …

Выходными данными могут являться объекты, классыобъектов …

Джудит Превитт

Приложения: Повышение качества изображений (Image Inpainting) Цель: модификация (улучшение) изображения

http://www.iua.upf.es/~mbertalmio/restoration.html

Входные изображения

Автоматическаяреконструкция

Фото/видео монтаж

Приложения: Сегментации

Умные ножницы (Intelligent scissors)

Приложения: Сегментации

Приложения: Поиск изображений в базе данных

Запрос изображения по образцу: изображение-образец (слева) и два похожих изображения, найденные системой поиска в базе данных

изображений

Приложения: Поиск изображений в базе данных Цель: поиск изображений на основе цветового макета

Приложения: Контроль отверстий в поперечных балках

Три светлых отверстия на темном фоне

Цель: инспекционный контроль, необходимых для подсчета количества болтовых отверстий в поперечных балках, изготовленных для компаний-производителей грузовых автомобилей

Приложения: Контроль отверстий в поперечных балках. Первый алгоритм

Входные данные: бинарное изображениеВыходные данные: количество найденных отверстийОбозначения:M – бинарное изображение из R строк и C столбцов.Значения «1» представляют материал, не пропускающий свет;Значения «0» обозначают отсутствие материала, воспринимаемое за счет прохождение света при освещении объекта «на просвет».Каждая область из «00» должна быть 4-связной и все граничные пикселы изображения должны быть равны «1».E – счетчик внешних углов (3 единицы и 1 нуль в окрестности 2*2)I – счетчик внутренних углов (3 нуля и 1 единица в окрестности 2*2)

integer function Count_Holes (M);{

обработать все изображение по 2 строки на каждом шаге;подсчитать количество внешних углов E;подсчитать количество внутренних углов I;вернуть в качестве результата (number_of_holes = (E - I)/4);

}

Приложения: Контроль медицинских изображений головы человека Цель: формирование и анализ медицинских

изображений

Изображение полученное с использованием ядерного магнитного резонанса (слева), на котором яркость связана с потоком крови и

бинарное изображение (справа)

Приложения: Обработка сканированных страниц текста

I looked as hard as I could see, beyond 100 plus infinity an object of bright intensity– it was the back of me!

Цель: обработка документов: распознавание отдельных символов, уменьшение объема данных (сжатие)

(Слева) китайские иероглифы и (справа) эквивалентный английский текст. Может ли машина автоматически перевести его?

Приложения: Оценка снежного покрова по спутниковым изображениям Цель: оценка количества снега в водоразделе реки для

управления плотинами, системами водоснабжения и т.д.Фотография реки Уэнатчи и Колумбия, штат Вашингтон, США

Приложения: Анализ сцен, содержащих детали промышленного производства Цель: определение местоположения и ориентации деталей в

рабочем пространстве. Требуется использование трехмерной модели, предварительно сформированной в системе автоматизированного проектирования

Приложения: Сопоставление изображений в большой неупорядоченной базе данных

Приложения: Построение панорамы (мозаики)

++++

++

++

Приложения: Построение панорамы (мозаики)

Приложения: Построение панорамы (мозаики)

С прошедшим тысячелетием Ярославль …

Приложения: Технология фототуризма (Photo Tourism technology)

http://labs.live.com/photosynth/

Приложения: Планета Земля в 3D

Изображение из Microsoft’s Virtual Earth, http://www.microsoft.com/virtualearth/(см. также: Google Earth, http://earth.google.com)

Приложения: Захват движения

Приложения: Захват движения

Энди Серкис (Andy Serkis), Голлум, Властелин Колец, компания WETA Digital

Приложения: Захват движения

Билл Найи (Bill Nighy), Дэйви Джонс, Пираты Карибского моря, компания Industrial Light and Magic, http://www.ilm.com/theshow/

?Джеймс Кэмерон (James Cameron)

Приложения: Захват движения

Приложения: Захват движения. Как создавали Аватар?

Шлем с прикрепленной к нему миниатюрной камерой, захватывающей в реальном времени человеческие эмоции за счет зеленых контрольных маркеров, расположенных на лице

Приложения: Захват движения. Как создавали Аватар?

Приложения: Захват движения. Как создавали Аватар?

Справа полноразмерный макет техники землян, сверху система под названием Volume, представляющая собой прямоугольную каркасную ферму с размерами 21*12 метров с размещенными на ней 140 камерами

Приложения: Захват движения. Как создавали Аватар?

Система камер Pace Fusion 3D, спроектированная на основе двух цифровых кинокамер Sony HDC-F950

Приложения: СтереоизображенияПубличная библиотека, стереоскопическая комната, Чикаго, 1923

Приложения: СтереоизображенияВисячий мост Дарджилинг, Индия, дата отсутствует

Приложения: СтереоизображенияЖенщина, получающая осмотр глаз во время эмиграции на острове Эллис, США, 1905-1920

Приложения: Построение трехмерных объектов на основе 2D изображений

Исходный объект Полученный объект

Приложения: Построение трехмерных объектов на основе 2D изображений

Входные изображения Автоматическая реконструкция

Видео-проекторы

Цветные камеры

Черно-белые камеры

Приложения: Пространственно-временное стерео

Приложения: Пространственно-временное стерео

Исходные видео-потоки Реконструкция

Приложения: Пространственно-временное стерео

Исходные видео-потоки Реконструкция

Приложения: Пространственно-временное стерео

Приложения: Лазерное сканирование

Оптическая триангуляция С помощью лазера на объект

проецируется полоска Полоска сканирует всю поверхность

объекта Аналитическая геометрия помогает

рассчитать координаты точки сканируемой поверхности

Приложения: Распознавание автомобильных номеров

51LD2849

Приложения: Детектирование лиц (Face detection)

Приложения: Детектирование лиц (Face detection)

Многие новые цифровые камеры способны детектировать лица: Canon, Sony, Fuji, …

Приложения: Детектирование улыбки? Sony Cyber-shot® T70 Digital Still Camera

Некоторые неудачные потребители

Приложения: Вход в систему без пароля …

Сканер отпечатка пальцев во многих ноутбуках и других

устройствах

Системы распознавания лиц сейчас распространены широко,

http://www.sensiblevision.com/

Приложения: Распознавание объектов теперь в мобильных телефонах …

Это стало реальным: Nokia’s Point & Find, …

Приложения: Телевидение

http://www.symah-vision.fr/

Цель: детектирование плоскости земли и вывод изображения на ней

Приложения: Телевидение

Цель: детектирование линии первого дауна. Требуется точная регистрация с использованием камеры и цветовая модель для разделения переднего и заднего планов

Приложения: Видеонаблюдение

Цель: Выделение объектов интереса и отслеживание ихдвижения и действий для последующего анализа

Движение на дорогах Поведение животных

Приложения: Видеонаблюдение. Виртуальная мышь

Цель: Стерео камера выделяет руку на фоне потолка, вычисляет ее положение относительно устройства и переводит их в координаты экрана

Приложения: Робототехника

AiBo (японская собака-робот, изобретение компании Sony)

Робот R-2 из Звездных войн (Star Wars)

Приложения: Робототехника

NASA’s Mars Exploration Spirit Rover,http://en.wikipedia.org/wiki/Spirit_rover/

Чемпионат роботов,http://www.robocup.org/

Приложения: Зрение в пространстве

Изображение захваченное NASA’s Mars Exploration Spirit Rover

Подобного рода системы зрения могут использоваться в задачах: Построения панорам 3D моделирования местности Детектировании препятствий…

http://www.ri.cmu.edu/pubs/pub_5719.htm

Успехи, сложности и неудачи компьютерного зрения Вид объекта на изображении может значительно

меняться при изменениях освещенности или в присутствии других объектов, которые система компьютерного зрения может даже не ожидать

Разработка гибких методов для машинного зрения является очень сложным делом

Проблема загораживания объектов серьезно затрудняет их распознавание в трехмерном пространстве…

Благодарности В лекции использовались материалы

следующих курсов:

Конушин А., Баринова О., Конушин В. и др. Введение в компьютерное зрение. МГУ им. М.В. Ломоносова

Duraiswami R. Computer vision. University of Maryland

Seitz S. Computer vision. University of Washington