Исправление стерео видео

Исправление стерео видео

Вячеслав Нападовский

Video Group CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus

Содержание

Введение

Цветокоррекция

Исправление геометрии

Временная синхронизация

Заключение

2

http://www.compression.ru/video/


Only for Maxus

3

Цветокоррекция Пример проблемного видео

левый ракурс правый ракурс

Feng Shao et al., “Color correction for multi-view video based on background segmentation and dominant color extraction”, WSEAS Transactions on Computers, 2008



Only for Maxus

Цветокоррекция Актуальность

Причины:

Различия в матрицах камер

Разное положение камер относительно источника света

Проблемы, возникающие в стерео видео:

Глобальное несоответствие цветов между ракурсами

Наличие/отсутствие бликов на объектах на разных ракурсах

4



Only for Maxus


Причины:

Сложность корректной установки камер

Сложность грамотной настройки камер

Трудность сохранения их фиксированного положения

5



Only for Maxus

Исправление геометрии Проблемы

6


Вертикальный параллакс




Only for Maxus

Исправление геометрии Проблемы (2)

7


Поворот




Only for Maxus

Исправление геометрии Проблемы (3)

8


Искажение вертикальной перспективы




Only for Maxus


9

Синхронизированные ракурсы Несинхронизированные ракурсы

Daniel Wedge, “Video Sequence Synchronization”, The University of Western Australia, 2007



Only for Maxus

Временная синхронизация Актуальность

Запустить две камеры одновременно довольно сложно

В процессе записи камеры могут пропускать кадры

Потери данных при передаче

10



Only for Maxus


Введение


Постановка задачи

Цветокоррекция с использованием размытого изображения

Hybrid color correction




11



Only for Maxus


Постановка задачи:

Найти преобразование, приводящее один ракурс к другому, чтобы объекты в соответствующих ракурсах имели один и тот же цвет

Найти среднее преобразование для двух ракурсов

12



Only for Maxus

13


reference image input image

результат применения одного преобразования по всем пикселям

результат с учётом пространственной принадлежности пикселей

Feng Shao et al., “Color correction for multi-view video based on background segmentation and dominant color extraction”, WSEAS Transac. on Comp. 2008



Only for Maxus


Введение








14



Only for Maxus

Gaussian Blur Алгоритм

1. Поиск пар feature points с помощью SIFT (Scale-Invariant Feature Transform)

2. Гауссово размытие левого и правого изображений

3. Выделение цветов feature points на размытых и неразмытых изображениях

4. Построение и применение функции преобразования цветов

15 Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, IJAC, 2008



Only for Maxus

Gaussian Blur Функция преобразования

16

c'i,j, ci,j – старое и новое значение интенсивности j-ой цветовой

компоненты q'u,j, q''u,j – значения интенсивности j-ой цветовой компоненты u-ой

feature point для левого и правого ракурса соответственно K – количество обрабатываемых feature points на размытых

и неразмытых изображениях

λ, σ – коэффициенты сглаживания M – искомая функция Fi,j – функция, для которой выполняется минимизация

Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, IJAC, 2008



Only for Maxus

Gaussian Blur Результат

17

reference image input image

Входные данные




Only for Maxus

Gaussian Blur Результат

18

reference image output image

Выходные данные




Only for Maxus

Выводы

Достоинства:

Исправление цвета на зашумлённых изображениях

Возможность эффективной параллельной реализации

Недостаток:

Не учитывается разная освещенность отдельных объектов

19 Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using

Energy Minimization of View Networks”, IJAC, 2008



Only for Maxus


Введение








20



Only for Maxus

Алгоритм

1. Поиск, сопоставление и отслеживание feature points у двух ракурсов Scale-Invariant Feature Transform (David Lowe, 1999)

Pyramid Optical Flow (Jean-Yves Bouguet, 2002)

2. Оценка преобразования 1. Histogram matching

2. Локальная цветокоррекция

3. Применение итогового преобразования к входному изображению

21 Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color

matching between stereo image sequences”, 3DTV-CON, 2011



Only for Maxus

Histogram matching

22

Для каждой из компонент RGB:

1. Строим интегральные гистограммы

2. Для каждого пикселя c интенсивностью G2 находим такое G1, что F1(G1) = F2(G2). Получаем функцию M(G1)=G2

3. Функцию M применяем к каждому пикселю

изображения

http://en.wikipedia.org/wiki/Histogram_matching

интенсивность

расп

ределение

пиксе

лей



Only for Maxus

Histogram matching (2)

LUT – гистограмма яркости для правого ракурса

Rr,i,j, Gr,i,j, Br,i,j – цветовые компоненты

R'r,i,j – полученный цвет

23 Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011



Only for Maxus

Hybrid color correction Обработка feature points

24

СС – кросс-корреляция Luml(r),i,j – яркость пикселя (i,j)

на левом (правом) ракурсе SNDk – сумма нормализованных

разностей для k-ого

Candidate Template

CFLT – Candidate Feature

Look-up Table w1, w2 – веса w, h – размеры Candidate Template

Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011



Only for Maxus

Hybrid color correction Веса для локальных окрестностей

25

sdi,k – расстояние от i-го пикселя до k-ой

feature point

cdi,k – разность между интенсивностью i-ой точки и интенсивностью k-го элемента CFLT

Ck,l(r),i,j – значение цветовой компоненты для (i,j)-ой точки k-го элемента CFLT левого (правого) ракурса

σs, thc – веса

wi,k, wi,max – полученные веса

Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011



Only for Maxus

Изменение input image

Сi – цвет i-го пикселя

CLocal,i – цвет, изменённый с помощью локальной коррекции

CGlobal,i – цвет, изменённый с помощью histogram matching

CHybrid,i – результирующий цвет

a – весовой коэффициент




Only for Maxus

Результат Reference image




Only for Maxus

Результат Input image




Only for Maxus





Only for Maxus

Результат Histogram matching




Only for Maxus





Only for Maxus

Результат Hybrid color correction




Only for Maxus

Выводы


Учёт освещённости разных объектов

Стабильность к зашумлённым feature points


Большое время выполнения за счёт использования Optical Flow




Only for Maxus


Введение



Основные понятия


Ректификация

Perception optimization


Заключение 34



Only for Maxus

Однородные координаты ― координаты, обладающие свойством, что определяемый ими объект не меняется при умножении всех координат на одно и то же ненулевое число

Перевод однородных координат в евклидовы:

35




Only for Maxus

36

Основные понятия Эпиполярная геометрия

http://en.wikipedia.org/wiki/Epipolar_geometry

OL, OR – фокусы камер xL, xR – проекции точки X

eL, eR – эпиполярные точки (epipoles) (xR,eR) – эпиполярная линия

(проекция линии (xL,X))



Only for Maxus


37

Фундаментальная матрица – матрица 3×3, связывающая

соответствующие точки на двух ракурсах

xl, xr – соответствующие точки в однородных координатах,

выбранные на левом и правом ракурсе соответственно

Fxl – определяет эпиполярную линию на правом ракурсе,

на которой должна лежать xr

Эпиполярные точки удовлетворяют:

http://en.wikipedia.org/wiki/Fundamental_matrix_(computer_vision)



Only for Maxus

Основные понятия Camera matrix

38

С – фокусная точка камеры p – главная точка M – точка, которую будем

проецировать f – фокусное расстояние x – проекция точки M

Camera matrix: px, py – координаты проекции

главной точки на плоскость CXY

mx,my – масштабирующие коэффициенты между CXY и pxy системами координат

s – косинус угла между осями px и py

Benjamin Stetter, “3D view of stereo laparoscope in the operating room”, Munich Technical University, 2005



Only for Maxus

39

Основные понятия Camera matrix (2)

Общий вид (идеальная матрица):

Проекция 3D изображения на плоскость камеры с использованием матрицы камеры:

f – фокусное расстояние камеры

http://en.wikipedia.org/wiki/Camera_matrix



Only for Maxus


Введение











Only for Maxus



Найти такие проективные преобразования для двух

ракурсов, что после их применения будут отсутствовать:

вертикальный параллакс

поворот изображений друг относительно друга

искажения вертикальной перспективы

41



Only for Maxus

Ректификация Пример

42



Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006



Only for Maxus

Ректификация Пример (2)

43






Only for Maxus

Ректификация Пример (3)

44

входные данные выходные данные

Сравнение




Only for Maxus


Введение











Only for Maxus

Ректификация Шаг 1

46

Цель: отобразить эпиполярные точки на бесконечность

1. Обнуление y-координаты у эпиполярных точек

Исходное изображение

Результат шага 1

Guo-Yu Lin, Xu Chen, Wei-Gong Zhang, “A Robust Epipolar Rectification Method of Stereo Pairs”, ICMTMA, 2010



Only for Maxus


47


2. Отображение x-координаты у эпиполярных точек на левом и

правом ракурсе −∞ и +∞ соответственно






Only for Maxus


48


3. Вертикальное сопоставление полученных параллельных эпиполярных линий (устранение вертикального параллакса)


Результат ректификации




Only for Maxus


Введение











Only for Maxus

50

Схема расположения камер в идеальном случае

P1, P2 – матрицы камер С1, С2

соответственно K – внутренняя матрица камер

Расположение камер Идеальный случай




Only for Maxus

Расположение камер Общий случай

51

R1, R2 – матрицы поворота камер K1, K2 – внутренние матрицы камер С1, С2 – координаты центров камер

Условия исправленного стерео:

условие отсчитывания углов α, β

от оси baseline, направленной от камеры C1 к С2




Only for Maxus

52

Perception optimization Предположение

Предположение о внутренней матрице камеры:

f – фокусное расстояние камер w, h – размеры изображения




Only for Maxus

Perception optimization Параметры преобразования

Предположение:

Точки на одинаковой глубине имеют одинаковый диспаритет

Алгоритм поиска наборов соответствующих точек с одинаковой глубиной:

1. Просмотреть все найденные соответствующие точки

2. Сгруппировать точки, имеющие одинаковый диспаритет

53 Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006



Only for Maxus

Perception optimization Параметры преобразования (2)

54

(xi, yi), (xj, yj) – точки, имеющие одинаковую глубину на левом ракурсе (x'i, y'i), (x'j, y'j) – соответствующие им точки на правом ракурсе


Утверждение: Для точек с одинаковой глубиной (X1, X2), с проекциями (x1, x2) и (x1’, x2’) соответственно, выполняется:

Преобразование левого ракурса из минимизации функции:

M0 находится из уравнения:

H1, H2 – матрицы проективных преобразований для левого и правого

ракурса соответственно



Only for Maxus

55

Perception optimization Параметры преобразования (3)

Проективные преобразования принимают вид:

a,b,c – параметры, требующие определения e2 – эпиполярная точка правого ракурса R – матица поворота


Параметры для преобразования левого ракурса:



Only for Maxus

Perception optimization Результат

56






Only for Maxus


57






Only for Maxus


58

входные данные выходные данные




Only for Maxus

Выводы

Достоинство:

Результат выглядит как отснятый с помощью стандартной установки камер


Высокая вычислительная сложность

59 Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006



Only for Maxus


Введение




Direct alignment algorithm

Feature-based algorithm


60



Only for Maxus



Определить величину временного сдвига в количестве кадров между видеопоследовательностями, снятыми с разных ракурсов

61



Only for Maxus


Введение







62



Only for Maxus

Direct alignment algorithm Обозначения

63 Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002

x – точка в эталонной последовательности x ' – соответствующая ей точка во входной

последовательности u' – пространственно-временной сдвиг



Only for Maxus

Пространственное преобразование:


64

H – матрица проективного преобразования (x,y), (x',y') – сопоставленные пространственные

координаты в reference и input последовательностях соответственно

Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002



Only for Maxus


65

t, t' – сопоставленные моменты времени s – отношение частот кадров двух камер, обычно известно Δt – временной сдвиг между видеопоследовательностями

Временное преобразование:




Only for Maxus

Direct alignment algorithm Схема работы алгоритма

66

P – приближаемое преобразование P0 – начальное преобразование (единичная матрица)




Only for Maxus

Direct alignment algorithm Определение преобразования

Параметры для определения:

67

S, S' – яркость точки (x,y,t) в reference и input последовательностях

соответственно – искомое преобразование

Для минимизации функции ошибки ERR(P) применяется алгоритм

Гаусса-Ньютона

SSD error function:

P




Only for Maxus

Fireworks sequence Входные данные




Only for Maxus

Fireworks sequence Наложение




Only for Maxus

Fireworks sequence Результат




Only for Maxus

Light sequence Входные данные




Only for Maxus

Light sequence Наложение




Only for Maxus

Light sequence Результат




Only for Maxus

Wind sequence Входные данные




Only for Maxus

Wind sequence Наложение




Only for Maxus

Wind sequence Результат




Only for Maxus

Выводы

Достоинство:

Высокая точность


Объекты должны быть удалены от камер на расстояние на порядок большее расстояния между камерами

77 Y.Caspi, M.Irani, "Spatio-Temporal Alignment of Sequences", IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002



Only for Maxus


Введение







78



Only for Maxus


Алгоритм:

1. Вычисление фундаментальной матрицы, определение эпиполярных линий (с использованием SIFT)

2. Построение следа изобажений на эпиполярных линиях

3. Определение временного сдвига по полученному следу

79 V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008



Only for Maxus

Feature-based algorithm Пример

80

Камера 1

Камера 2

Входные последовательности:

V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008



Only for Maxus

Feature-based algorithm Алгоритм

81

1. Поиск соответствующих точек (SIFT)

2. Восстановление эпиполярной геометрии

3. Выделение последовательности изменения для каждой эпиполярной линии

след эпиполярной линии




Only for Maxus

Feature-based algorithm Алгоритм (2)

4. Сопоставление схожих участков следов эпиполярных линий с использованием SIFT

5. Определение δ(t) с помощью медианы

как сдвига последовательности для данной эпиполярной линии

по всем эпиполярным линиям

82

результат работы SIFT след эпиполярной линии




Only for Maxus

Выводы


Интересный алгоритм

Возможность адаптации к потерянным кадрам

Недостатки:

Неустойчивость к активному движению по всем эпиполярным линиям

Запуск камер должен производиться в статичном положении

83 V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008



Only for Maxus


Введение





84



Only for Maxus


Рассмотрены алгоритмы:

цветокоррекции, основанные на глобальном и локальном преобразовании

исправления геометрии, основанные на восстановлении эпиполярной геометрии

синхронизации стерео видео с использованием эпиполярной геометрии и без неё

85



Only for Maxus

Заключение Дальнейшие планы

Реализовать алгоритмы:

цветокоррекции hybrid color correction

синхронизации по времени

коррекции геометрии с использованием эпиполярной геометрии с возможностью определения:

вертикального параллакса

поворота ракурсов

искажения вертикальной перспективы

86



Only for Maxus

Литература

1. Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, International Journal of Automation and Computing, 2008

2. Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV Conference: The True Vision – Capture, Transmission and Display of 3D Video (3DTV-CON), 2011

3. Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, Lecture Notes in Computer Science, 2006

4. Yaron Caspi, Michal Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002

5. Vincent Guitteny, Ryad Benosman, Christophe Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, Lecture Notes in Computer Science, 2008

87



Only for Maxus

Литература (2)

6. Feng Shao, Zongju Peng, You Yang, “Color correction for multi-view video based on background segmentation and dominant color extraction”, The World Scientific and Engineering Academy and Society (WSEAS) Transactions on Computers, 2008

7. Daniel Wedge, “Video Sequence Synchronization”, The University of Western Australia, 2007

8. http://en.wikipedia.org/wiki/Histogram_matching

9. http://en.wikipedia.org/wiki/Homogeneous_coordinates

10. http://en.wikipedia.org/wiki/Epipolar_geometry

11. http://en.wikipedia.org/wiki/Fundamental_matrix_(computer_vision)

12. Benjamin Stetter, "3D view of stereo laparoscope in the operating room", Munich Technical University, 2005

13. http://en.wikipedia.org/wiki/Camera_matrix

14. Guo-Yu Lin, Xu Chen, Wei-Gong Zhang, "A Robust Epipolar Rectification Method of Stereo Pairs", Proceedings of the 2010 International Conference on Measuring Technology and Mechatronics Automation, 2010

88



Only for Maxus Лаборатория компьютерной

графики и мультимедиа

Видеогруппа — это:

Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)

Выпускниками защищено 5 диссертаций

Наиболее популярные в мире сравнения видеокодеков

Более 3 миллионов скачанных фильтров обработки видео

89


http://en.wikipedia.org/wiki/Comparison_of_video_codecs



Исправление стерео видео

Education

Transcript of Исправление стерео видео