Post on 23-Dec-2014
description
Обзор методов поиска и сопровождения особых
точек
Моисейцев Алексей
Video GroupCS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
222
Содержание
Введение
KLT
IPAN
Particle Video
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
3
Введение
Задача:
Сопоставить каждому трехмерному объекту сцены набор точек, неподвижных относительно объекта, и отслеживать траектории этих точек.
Применение:
Определение траекторий движения отдельных объектов
Восстановление движения камеры
Выделение информации о перспективе в сцене
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
4
Введение
Точечная особенность – точка сцены, окрестность которой можно отличить от всех окрестностей соседних точек сцены.
Траектория – последовательность координат точечной особенности в видео.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
5
Введение
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
6
Введение
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
777
Содержание
Введение
KLT
IPAN
Particle Video
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
8
KLT (Kanade-Lucas-Tomasi)Модель движения
- вектор смещения
Аффинная модель движения:
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
9
KLTНахождение параметров движения
Минимизация функции
W – окноw(x) – весовая функцияI – предыдущий кадрJ – следующий кадр
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
10
KLTЛинейная модель
Симметричная запись:
Линеаризация:
Условие
Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
11
Производная ошибки:
Условие минимума:
KLTЛинейная модель
Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
12
KLTЛинейная модель
Окончательный вид уравнения:
Запись в виде СЛАУ:
Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
13
KLTНахождение параметров движения
- искомое решение
Решение СЛАУ:
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
14
KLTНахождение параметров движения
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
15
KLTНахождение параметров движения
Уравнение Tz =a дает лишь приближенную оценку на величину смещения d
Решение: Необходимо делать несколько итераций!
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
16
KLTИтеративное решение
J
итерация 1
I
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
17
J
KLTИтеративное решение
итерация 2
I
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
18
J
KLTИтеративное решение
итерация 3
I
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
19
KLTИтеративное решение
Ошибки в D приводят к ошибкам в оценке величины смещения d
Можно искать корни уравнения Zd = e
Аффинные преобразования можно заменить историей областей
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
20
KLTВыбор особенностей
Выбор текстурированных областей или областей с уголками не гарантирует возможность их отслеживания
Для решения уравнения желательно иметь хорошо обусловленную матрицу Z
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
21
KLTВыбор особенностей
λ1, λ2 – собственные значения Z
λ1, λ2 < λth – гладкие области
λ1 < λth < λ2 – границы
λth < λ1, λ2 – углы
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
22
KLTПример работы
оригинальное изображение
4-я итерация 8-я итерация 19-я итерация целевое изображение
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
23
KLTПример работы
различие derror,
ошибка смещения
Aerror,
ошибка деформации
d,
смешение
A,
деформация
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
24
KLTПример работы
различие d,
смешение
A,
деформация
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
25
KLTПример работы
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
26
KLTПример работы
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
27
KLTПример работы
Good Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
28
KLTПример работы
# кадраGood Features to Track, Jianbo Shi, Carlo Tomasi,IEEE Conference on Computer Vision and Pattern Recognition, 1994
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
29
KLT
Достоинства
Учет аффинных преобразований
GPU-реализации
Недостатки
Подвержен накоплениям ошибок
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
303030
Содержание
Введение
KLT
IPAN
Particle Video
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
31
IPAN
Недостаток предыдущего метода: Точки могут перекрываться, что
приводит к разрыву траекторий
Предположения: Неразличимость точек
Гладкое движение
Ограниченная скорость
Короткие по времени перекрытия
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
32
Неразличимость точек
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
33
IPAN
ИнициализацияОбработка
особенностейПостобработка
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
34
IPANФункция стоимости
Первое слагаемое отвечает за изменение направления движения
w1 ~ 0.1
Второе слагаемое отвечает за изменение скорости
w2 ~ 0.9
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
35
IPANИнициализация
Pf,i – точечные особенности
S+
f,i – область достижимости для ТО i из кадра f
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
36
IPANИнициализация
Для всех P2,i
Перебор всех троек (P1,a, P2,i, P3,b)
Подсчет функции стоимости δ(P1,a, P2,q, P3,b)
Поиск лучшего приближения при фиксированном P3,b
Поиск лучшего приближения при фиксированном P1,a
Отсечение плохих приближений: δ(P1,a, P2,q, P3,b) < δmax
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
37
IPANОбработка последовательных кадров
Z-точки – точки без связей на Fk-1
B-точки – точки на Fk-1, cвязанные только с Fk-2
Рассматриваются только Z-точки
Обработка аналогична инициализации, но существующие связи не разрушаются
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
38
IPANПостобработка
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
39
IPANФункция стоимости
ve – скорость движения в предыдущем кадре
θe – угол направления в предыдущем кадре
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
40
IPANРезультат работы
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
41
IPAN
Достоинства Нахождение открытий/закрытий
Сопровождение частично перекрывающихся траекторий
Недостатки Требуется высокая точность выделения
особенностей
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
424242
Содержание
Введение
KLT
IPAN
Particle Video
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
43
Particle Video
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
44
Particle VideoСхема алгоритма
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
Нахождение
оптического
потока
Распространение
особенностей
Связывание
особенностей
Выделение
наложений
Уточнение
положения
Удаление и
добавление
особенностей
Фильтрация
потока
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
45
Алгоритм нахождения оптического потока – «Черный ящик»
Пары последовательных кадров сравниваются независимо
Используется пирамида изображений
Particle VideoОптический поток
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
46
Particle VideoОптический поток
видимости функция
яизображени компоненты номер
еизображени
потока поле
r
k
I
vu ,
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
47
Particle VideoОптический поток
5.1
5
10
,
b
g
l
yx
N
II
- производные яркости по x и y
- ядро гауссиана
- локальное сглаживание
- глобальное сглаживание
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
48
Particle VideoВыделение наложений
Дивергенция потока
Условие открытия
Изменение яркости
Карта наложений
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
49
Particle VideoФильтрация потока
Билатеральный фильтр
Весовая функция
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
50
Particle VideoФильтрация потока
Билатеральный фильтр
Ограничения:
Работа только рядом с границами
05.03;,,),,(ˆ tyxgNtyxg
22
1
2
1 )()( yyxx
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
51
Particle VideoВторой проход
Распространение
особенностей
Связывание
особенностей
Уточнение
положения
Удаление
особенностей
Добавление
особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
52
Particle VideoРаспространение особенностей
iii yx
vu
частицы координаты
потока поле
,
,
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
53
Particle VideoСвязывание особенностей
Триангуляция Делоне:DT(S) – триангуляция Делоне для множества точек S, если никакая точка A из S не содержится внутри окружности, описанной вокруг треугольника из DT(S), такого, что ни одной из вершин его не является точка A.
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
54
Particle VideoСвязывание особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
55
Particle VideoСвязывание особенностей
Вычисление весов ребер:
ребра вес -jiDl ji ,,
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
56
Particle VideoСвязывание особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
57
Particle VideoСвязывание особенностей
Вычисление весов особенностей:
Сохранение окна:
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
58
Particle VideoУточнение положения
Условие на совпадение окон:
Условие на движение соседей:
Условие на гладкость траектории:
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
59
Particle VideoУточнение положения
5.0,4 fd
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
60
Particle VideoУточнение положения
Необходимое условие минимума:
Линеаризация:
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
61
Particle VideoУточнение положения
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
62
Particle VideoУточнение положения
Решение уравнений относительно dxi,dyi:
1. dxi,dyi = 0
2. Вычисление Ψ’
3. Решение СЛАУ
4. Переход к п.2
5. xi = xi + dxi
6. yi = yi + dyi
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
63
Particle VideoУдаление особенностей
Если E(i,t) > th, особенность помечается
как найденная неверно
Если особенность i найдена верно
менее чем на трех кадрах подряд, то она удаляется.
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
64
Particle VideoДобавление особенностей
Нахождение степени текстурирования
Если расстояние от пикселя (x,y) до ближайшей особенности больше σ(x,y), то добавить (x,y) в список особенностей
10;,,maxarg,
yxINyxIyx
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
65
Particle VideoДобавление особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
66
Particle VideoДобавление особенностей
σ(x,y)Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
67
Particle VideoДобавление особенностей
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
68
Particle VideoПример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
69
Particle VideoПример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
70
Particle VideoПример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
71
Particle VideoПример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
http://rvsn.csail.mit.edu/pv/
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
72
Particle VideoПример работы
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
http://rvsn.csail.mit.edu/pv/
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
73
Particle Video
Достоинства:
Высокая точность
Обработка закрытий/открытий
Недостатки:
Очень низкая скорость работы
Выделение недостоверных особенностей
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
74
Литература
Particle Video: Long-Range Motion Estimation using Point Trajectories, Peter Sand, Seth Teller, CVPR, 2006, IEEE
Good Features to Track, Jianbo Shi, Carlo Tomasi, IEEE Conference on Computer Vision and Pattern Recognition, 1994
Derivation of Kanade-Lucas-Tomasi Tracking Equation, Stan Birchfield, 1997
Feature Point Tracking for Incomplete Trajectories, D. Chetverikov, J. Verestói, 1998, International Conf. on Pattern Recognition
Stable 2D Feature Tracking for Long Video Sequences, Jong-Seung Park, Jong-Hyun Yoon, Chungkyue Kim, 2008, International Journal of Signal Processing, Image Processing and Pattern Recognition,
Combining local and global motion models for feature point tracking, Aeron Buchanan, Andrew Fitzgibbon, CVPR, 2007
High Accuracy Optical Flow Estimation Based on a Theory for Warping, Thomas Brox, Andr´es Bruhn, Nils Papenberg, and Joachim Weickert, 2004, 8th European Conference on Computer Vision
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
75
Вопросы
?