Анализ последовательностей

Сайт курса:

http://cvbeginner.blogspot.com/

1

Из прошлой лекции…

• Локальные особенности

• Дескрипторы

• Скользящее окно

• Градиенты

2

Трассировка

3

План лекции

• Технические моменты

• Модель фона

• Адаптивная модель фона

• Сопровождение

• Mean Shift

• Оптический поток (Lucas-Canade)

• Predator

4

Работа с видео OpenCV

cv::VideoCapture cap;

//Открыть файл

cap.open(‘filename’);

cv::Mat img;

//Загрузить в память изображение

cap >> img;

5

Работа с видео Matlab//Открыть файл и получить указатель

hReader = mmreader(‘filename');

//Кол-во кадров в файле

numFrames = get(hReader, 'numberOfFrames');

//Прочитать i-ый кадр

x = read(hReader,i);

ВАЖНО: Необходимо чтобы былиустановлены нужные кодеки. Естьбесплатные наборы кодеков напримерK-Lite codec pack.

6

Задача

• Наблюдение за объектом

• Захват объекта с помощьюограничевающего прямоугольника или с помощью попиксельной маске

• Трассировка. Вход первое положение объекта, выход -положение объекта в других кадрах

7

Система наблюдения

1. Неподвижная камера

2. Постоянный фон

8

Простой алгоритм трассировки

• Вычитание фона:

–Взяли снимок без объектов, только фон

–Из снимка с объектом вычитаем фон

–Строим передний план

–Считаем параметры связанных компонент

–Фильтрация медианная или морфологическая

9

Пример животные

• Идеальные лабораторные условия

10

Пример эритроциты

• Движущийся фон

• Множество объектов

11

Реальные условия

• Фон существенно меняется

12

Slide credit: Антон Конушин

Изменения яркости• У каждого пикселя индивидуальная функция

яркости от времени

• Строим модель фона

• Если пиксель пришедший не удовлеторяет модели фона, значит он относится к переднему плану

13

v

t

Блок схема алгоритма

14

Начальное приближение фона

Межкадровая разница

Выделение объектов

Обновление модели фона

Среднее изображение фон

15

Медианная модель фона

16

Как построить медиану для 1000 кадров?

17

Медианная фильтрация или среднее

18

Обновление фона

19

Модуль шума в точке изображения

• В точке шум в яркосте можно описать с помощью нормального распределения (среднего значения и дисперсии)

• Тогда вероятность что пиксель принадлежит фону будет равна:

20

Модель фона как смесь гауссианов

BackgroundSubtractorMOG

P. KadewTraKuPong and R. Bowden, An improved adaptive background mixture model for real-time tracking with shadow detection, Proc. 2nd European Workshp on Advanced Video-Based Surveillance Systems, 2001

21

Трассировка множества объектов

22

Сопровождение объектов

23

Сопровождение объектов• Выделили «объекты интереса» на каждом

кадре с помощью вычитания фона в виде набора блобов

• Какому объекту (следу) какой блобсоответствует?

• Фактически – задача сопоставления или ассоциации данных (Data association)

• «Tracking by detection»

• Можем каждый объект описать набором признаков

24

Простейшая стратегия

25

Slide credit: Антон Конушин

Ограничения

26

Slide credit: Антон Конушин

Трассировка через обнаружения

27

Начальное приближение фона

Межкадровая разница

Выделение объектов

Ассоциация объектов в треки

Инициализация новых треков

Обновление модели фона

Что делать если фон изменяется?

28

Перерыв

• Вопрос?

29

Функции правдоподобия

• Функции дающие ответ на вопрос на сколько вероятно что точка принадлежит объекту

30

Прямое сопоставление (корреляция)

31

Обратная проекция гистограммы

32

Трассировка смещением среднего

33

Трассировка смещением среднего

34

Вероятность признака в модели Вероятность признака в изображении

Расстояние между нормированными векторами

35

Переход к непрерывной модели

36

Прогнозированная плотность Реальные измерения

Смещение

Интересующий

регион

Центр масс

Смещение

Интересующий

регион

Центр масс

Смещение

Интересующий

регион

Центр масс

Смещение

Интересующий

регион

Центр масс

Смещение

Интересующий

регион

Центр масс

Смещение

Интересующий

регион

Центр масс

Интересующий

регион

Центр масс

Трассировка смещением среднего

44

Реализация в OpenCV

• int meanShift(InputArrayprobImage, Rect& window, TermCriteria criteria)

• probImage – изображение правдоподобия

• Window – выходное окно описывающее объект

• Criteria – критерий остановки

45

Пример

• http://www.youtube.com/watch?v=vGDy20VxwAA&feature=related

46

Выбор признаков

47

COLLINS, R. AND LIU, Y.. On-line selection of discriminative tracking features. ICCV 2003

Выбор признаков

48

Slide credit: Антон Конушин

49

Predator (совмещение обучения с трассировкой)

• http://www.youtube.com/user/ekalic2

50

Zdenek Kalal et al. Forward-Backward Error: Automatic Detection of Tracking Failures

, ICPR 2010

Итог по трассировке

• Что лучше обнаружение и сопоставление или трассировка?

51

Оптический поток• Векторное поле движения пикселей между кадрами

• Задача - аналог задачи сопоставления изображений (dense matching)

• Один из базовых инструментов анализа изображений

52

Slide credit: Антон Конушин

Задача

53

Как оценить движение пикселей от H в изображение I?

Пусть дан пиксель H, наити близкие пиксели того же цвета в I

•Константный цвет: точка в H выглядит также, как и в I

– Для изображения в градациях серого, это постоянная яркость

•Малое движение: точки не уезжают далеко между кадрами

Slide credit: Антон Конушин

Уравнение оптического потока

54

Сколько неизвестных и уравнений для каждого пикселя?

Slide credit: Антон Конушин

Дополнительные ограничения• Как можно получить больше уравнений?

– Пусть оптический поток меняется плавно

– Пусть для всех пикселей p из окрестности (x,y) смещение (u,v) постоянно

• В чем теперь проблема?

55

Алгоритм Лукаса-Канаде

56

Slide credit: Антон Конушин

Условия на разрешимость

57

Slide credit: Антон Конушин

58

Контрастная область

59

Slide credit: Антон Конушин

Реализация

• GoodFeatureToTrack

–Выбор особых точек (фактически, Harris)

• cvCalcOpticalFlowPyrLK

–Иерархическое расширение метода Lucas-Kanade для оптического потока

60

Оценка движения

61

Решение задачи Structure from motion

62

Вопросы

63