Определения и основные требования к качеству сегментации Анализ проблемы
Обзор методов сегментации видео
-
Upload
msu-gml-videogroup -
Category
Education
-
view
329 -
download
1
Transcript of Обзор методов сегментации видео
![Page 1: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/1.jpg)
Обзор методов сегментации видео
Денис Сумин
Video Group CS MSU Graphics & Media Lab
![Page 2: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/2.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сегментация изображений
Сегментация видео
Video Segmentation by Tracking Regions
Hierarchical Graph-Based Video Segmentation
2
![Page 3: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/3.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение
Сегментация изображения — выделение регионов, соответствующих объектам
3 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 4: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/4.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Применения
Компьютерное зрение:
Распознавание движения
Слежение за объектами
Извлечение информации из изображений
Видео:
Создание карт глубины
Удаление объектов
4
![Page 5: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/5.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Изображение → видео
Нельзя применять методы для сегментации изображений к каждому кадру видео:
Сложно установить связь между сегментами от кадра к кадру
Сегменты будут дрожать
В видео информации гораздо больше, чем в одном кадре — ее надо использовать!
5
![Page 6: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/6.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сегментация изображений
Сегментация видео
Video Segmentation by Tracking Regions
Hierarchical Graph-Based Video Segmentation
6
![Page 7: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/7.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift
Алгоритм ищет локальные максимумы плотности в поле свойств изображения
7
Изображение Поле свойств (цвет в Luv пространстве)
Источник: www.cs.unc.edu/~lazebnik
![Page 8: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/8.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift
8 Источник: Y. Ukrainitz, B. Sarel
![Page 9: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/9.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift
9 Источник: Y. Ukrainitz, B. Sarel
![Page 10: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/10.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift
10 Источник: Y. Ukrainitz, B. Sarel
![Page 11: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/11.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift
11 Источник: Y. Ukrainitz, B. Sarel
![Page 12: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/12.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift
Кластер: точки, сдвиг среднего для которых приводит к одной и той же моде распределения
12 Источник: Y. Ukrainitz, B. Sarel
![Page 13: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/13.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift Результаты
13 Источник: http://www.caip.rutgers.edu/~comanici
![Page 14: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/14.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Mean Shift Итоги
Плюсы:
Не делается предположений о форме кластеров и форме распределения
Число кластеров определяется автоматически
Минусы:
Выбор параметров ядровой функции нетривиален, и от них очень сильно зависит результат сегментации
Вычислительно сложный метод
14
![Page 15: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/15.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод графов
Изображение — взвешенный неориентированный граф
Вершины графа — пиксели
Ребра — связи между соседними пикселями
Вес ребер пропорционален «похожести» пикселей
Критерии «похожести»
Расстояние
Яркость
15
Цвет
Текстура
Источник: А. Конушин, «Методы сегментации изображений»
![Page 16: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/16.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод графов
Разрез графа G=(V,E):
Непересекающиеся подмножества вершин A и B из V
Удаляем все ребра, связывающие A и B
Разрез графа превращает граф в два несвязанных друг с другом подграфа
16 Источник: А. Конушин, «Методы сегментации изображений»
![Page 17: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/17.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод графов (1 из 2)
Если множества A и B не заданы заранее,
разрезать граф можно по-разному:
Минимальный разрез: сумма весов удаленных ребер минимальна
17 Источник: А. Конушин, «Методы сегментации изображений»
![Page 18: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/18.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод графов (2 из 2)
Если множества A и B не заданы заранее,
разрезать граф можно по-разному:
Нормализованный разрез: группы вершин нормируются на «объем», занимаемый ими в графе
Минимальный нормализованный: величина Ncut
минимальна
18 Источник: А. Конушин, «Методы сегментации изображений»
![Page 19: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/19.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод графов Результат
19
![Page 20: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/20.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод графов Итоги
Плюсы:
Хорошие результаты
Гибкость
Минусы:
Требуется много памяти
Вычислительная сложность
В случае нормализованного разреза стремится к равным сегментам
20
![Page 21: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/21.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сегментация изображений
Сегментация видео
Video Segmentation by Tracking Regions
Hierarchical Graph-Based Video Segmentation
21
![Page 22: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/22.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сегментация видео
Все алгоритмы сначала сегментируют отдельные кадры
22 Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
![Page 23: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/23.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Spatial grouping approaches
23 Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
![Page 24: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/24.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Trajectory
grouping approaches
24 Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
![Page 25: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/25.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Grouping in spatial and
temporal volume
25 Liu Siying, “Video Segmentation: Temporally-constrained Graph-based Optimization”, 2010
![Page 26: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/26.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сегментация изображений
Сегментация видео
Video Segmentation by Tracking Regions
Hierarchical Graph-Based Video Segmentation
26
![Page 27: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/27.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Алгоритм
1. Каждый кадр сегментируется независимо (например, mean shift)
2. Сегменты каждой пары последовательных кадров соотносятся между собой
3. Границы пар сегментов соотносятся с помощью CDTW (cyclic dynamic-time warping)
4. Полученные пары сегментов из всего видео кластеризуются
27 William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 28: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/28.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Алгоритм
28 William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 29: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/29.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions DTW
Две последовательности точек: bi={bi1, .., biM} и bj={bj1, .., bjN}
f={(biu, bjv) : u=1..M, v=1..N}
c(bi., bj.) — мера различия точек
Имея соответствия (bi1, bj1) и (biM, bjN),
DTW находит оптимальное соответствие последовательности точек
29 William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 30: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/30.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions CDTW
π* — оптимальная граница πm — граница через точку m
30
Cm — окрестность точки m
1/λ и1/μ — ML-оценки элементов в С
William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 31: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/31.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Устойчивость CDTW
31
Регион 1
Регион 2
William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 32: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/32.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Region tracking
Оцениваем правдоподобность границы на предыдущем шаге s(i, j) = exp(−c(i, j))
Все правдоподобности записываем в граф G
Применяем метод кластеризации relaxation labeling (RL) к графу G
Считаем вероятности правильного сегментирования для всего видео
32 William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 33: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/33.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Результаты
33
Оригинальное видео
Результат
William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 34: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/34.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Результаты
34 William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 35: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/35.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Результаты
35 William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, ICCV 2009
![Page 36: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/36.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Tracking Regions Итоги
Плюсы:
Скорость
Минусы:
Среднее качество
36
![Page 37: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/37.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сегментация изображений
Сегментация видео
Video Segmentation by Tracking Regions
Hierarchical Graph-Based Video Segmentation
37
![Page 38: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/38.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Алгоритм
1. Обрабатываем каждый пиксель кадра, учитывая его 26 соседей. Получаем мелкие сегменты
2. Добавляем Lab гистограммы
3. Укрупняем сегменты на основе имеющейся информации. Сохраняем всю информацию в дерево
38 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 39: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/39.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Алгоритм
Алгоритм хорошо работает, но требует слишком много памяти
Работаем с сегментами внутри некоторого окна
3 типа краев: граничный, внешний, внутренний
Постепенно увеличиваем окна
Получается тот же результат, но алгоритм получается масштабируемым
39 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 40: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/40.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Clip-based processing
Разбиваем все видео на клипы по 20–30 кадров
В каждый клип добавляем треть кадров из предыдущего клипа
Для пересечения считаем Функция Ri сопоставляет id сегментов пикселям
40 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 41: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/41.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Результаты
41 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 42: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/42.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Результаты
42 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 43: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/43.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Результаты
43 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 44: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/44.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Результаты
44 Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
![Page 45: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/45.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Hierarchical Graph-Based Итоги
Плюсы:
Очень хорошее качество
Минусы:
Для действительно хорошего качества используется Optical Flow => потеря скорости
45
![Page 46: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/46.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Литература
1. William Brendel, Sinisa Todorovic “Video Object Segmentation by Tracking Regions”, in Proc. IEEE Int’l Conf. Computer Vision (ICCV), Kyoto, Japan, 2009
2. Matthias Grundmann, Vivek Kwatra, Mei Han, Irfan Essa, “Efficient Hierarchical Graph-Based Video Segmentation”, CVPR 2010
3. Liu Siying, “Video Segmentation Temporally-constrained Graph-based Optimization”, National University of Singapoure, 2010
4. www.cs.unc.edu/~lazebnik 5. А. Конушин, «Методы сегментации изображений»
46
![Page 47: Обзор методов сегментации видео](https://reader034.fdocument.pub/reader034/viewer/2022052514/58aeb2271a28ab00708b53db/html5/thumbnails/47.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
47