Examining the Effect of Perceptual Saliency on the Liking Judgment
Способы построения saliency map
-
Upload
msu-gml-videogroup -
Category
Education
-
view
70 -
download
12
Transcript of Способы построения saliency map
![Page 1: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/1.jpg)
Способы построения saliency map
Максим Харенко
Video Group CS MSU Graphics & Media Lab
![Page 2: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/2.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Методы построения
Локальные
Глобальные
Правила визуального восприятия сцены
Оценка качества
2
![Page 3: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/3.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение Что привлекает человеческое внимание?
3 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 4: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/4.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение Салиентность
4 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 5: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/5.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение Применение карт салиентности
Сегментация
Распознавание объектов
Удаление объектов из видео
5 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
Измерение качества 3D
видео
Создание коллажей
Image thumbnailing
Image and video retargeting
![Page 6: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/6.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Введение Методы построения карт салиентности
Методы моделирования человеческого визуального внимания:
Временные
Локальные
Глобальные
Основанные на правилах организации сцены
Учет высокоуровневых факторов
7 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 7: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/7.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Методы построения
Временные
Локальные
Глобальные
Основанные на правилах организации сцены
Оценка качества
8
![Page 8: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/8.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Временные методы Временная карта салиентности(1)
9 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011
Для каждого пикселя кадра считается optical flow и строится поле векторов
Оценивается global motion
Остаточное движение считается как:
Исходный кадр
![Page 9: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/9.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Временные методы Временная карта салиентности(2)
10 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011
Психо-визуальные ограничения:
Человеческий глаз не успевает следить за движением скорость которого превышает 80 deg./s
Визуальная салиентность достигает максимума, когда значение движения находятся между 6 deg./s и 30 deg./s
Временная карта салиентности до фильтрации
![Page 10: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/10.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Временные методы Временная карта салиентности(3)
11 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011
Фильтрация:
Временная карта салиентности после фильтрации
![Page 11: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/11.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Методы построения
Временные
Локальные
Глобальные
Правила визуального восприятия сцены
Оценка качества
12
![Page 12: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/12.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальные методы Пространственно-временной алгоритм
13 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011
Для каждого кадра строится пространственная карта салиентности
Строится временная карта салиентности
Путем их объединения получается финальная карта салиентности
Исходный кадр
![Page 13: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/13.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальные методы Пространственная карта салиентности
14 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011
Суммируются 7 характеристик :
контраст насыщенности
контраст яркости
контраст оттенка
контраст противоположных цветов
контраст теплых и холодных цветов
доминирование теплых цветов
доминирование яркости и оттенка
Пространственная карта салиентности
![Page 14: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/14.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Локальные методы Карта салиентности
15 H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011
Перемножив пространственную и временную карту салиентности с весами 2D Gauss, получаем финальную карту салиентности
Карта салиентности
![Page 15: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/15.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Методы построения
Временные
Локальные
Глобальные
Правила визуального восприятия сцены
Оценка качества
16
![Page 16: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/16.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы Основные принципы
Используются соображения, основанные на частотно-фазовых характеристиках изображения
Часто встречающиеся особенности подавляются
Важные места определяются как отклонение от нормы
17 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 17: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/17.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы Логарифмический спектр
18 X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007
1 – спектр фаз
1 – спектр амплитуд
– преобразование Фурье
![Page 18: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/18.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы Остаточный спектр
19 X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007
Saliency map
![Page 19: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/19.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы SR: Результаты
20 X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007
![Page 20: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/20.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы PFTи PQFT
21 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
Использует только фазовые характеристики
Работает быстрее SR
Имеет временную реализация
![Page 21: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/21.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы Реконструкция сигнала по спектру фаз
22 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
![Page 22: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/22.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы Построение saliency map
23 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
![Page 23: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/23.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы PFT: результаты на изображениях
24 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
![Page 24: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/24.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы PFT: результаты на видео (1)
25 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
![Page 25: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/25.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы PFT: результаты на видео (2)
26 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
![Page 26: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/26.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы Сравнение (1)
27 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
![Page 27: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/27.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Глобальные методы Сравнение (2)
28 C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008
![Page 28: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/28.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Методы построения
Временные
Локальные
Глобальные
Основанные на правилах организации сцены
Оценка качества saliency map
29
![Page 29: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/29.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Визуальное восприятие Основные принципы
Важны не только объекты, но и часть их окружения, передающая суть изображения
Салиентные пиксели должны быть сгруппированы вместе, а не разбросаны по всему изображению
Не салиентные области могут находится и рядом и далеко друг от друга
30 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 30: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/30.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Визуальное восприятие Local-global single-scale saliency(1)
Рассматривается патч размером r вокруг каждого пикселя i
Пиксель i – салиентен, если непохожесть его патча
ко всем другим патчам изображения высока, т.е. евклидово расстояние по цвету велико
Патч салиентен, если похожие патчи располагаются близко и менее салиентен, если похожие патчи далеко
Dpozition(pipj) – евклидово расстояние между положениями и
31 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 31: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/31.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Визуальное восприятие Local-global single-scale saliency(2)
Тогда мера похожести между парой патчей:
Для каждого патча в изображении проводится поиск K самых похожих на него патчей qkk
Значение салиентности пикселя i при размере r:
32 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 32: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/32.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Визуальное восприятие Multi-scale saliency
При однородном или размытом фоне удобно использовать патчи разных размеров
Патч размера r сравнивается
с патчами-кандидатами со всего изображения размером
33 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 33: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/33.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Cравнение результатов: Одиночный объект на простом фоне
34 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
input local
global context-aware
![Page 34: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/34.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Визуальное восприятие Добавление ближайшего фона
Близкие к фокусу внимания области салиентны:
Из полученной карты салиентности извлекаются самые «привлекательные» области
Пиксель «привлекателен», если
Остальные пиксели взвешиваются с
Салиентность пересчитывается:
35 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
– евклидово расстояние между позициями пикселей i и ближайщего «привлекательного»
![Page 35: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/35.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Cравнение результатов Области вокруг фокуса внимания тоже салиентны
36 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
input local
global context-aware
![Page 36: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/36.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Cравнение результатов Cложные сцены (1)
37 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
input local
global context-aware
![Page 37: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/37.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Cравнение результатов Cложные сцены (2)
38 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
input local
global context-aware
![Page 38: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/38.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Визуальное восприятие Создание коллажей (1)
39 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
![Page 39: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/39.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Визуальное восприятие Создание коллажей (2)
40 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010
Суммарный коллаж
![Page 40: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/40.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Методы построения
Временные
Локальные
Глобальные
Правила визуального восприятия сцены
Оценка качества
41
![Page 41: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/41.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Оценка качества saliency map Критерии оценки и ground truth
В задачах обнаружения объектов – количество правильно распознанных объектов
В задачах сегментации – сравнение границ сегментов
Для коллажей – красота, корректность и информативность
Визуальное сравнение: группу людей просят показать «важные» регионы изображения
42
![Page 42: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/42.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Оценка качества saliency map Эксперимент
Движения глаз записываются бинокулярно с частотой 250 Hz с помощью инфракрасного video-based eye tracker
Монитор: 17 дюймов, 1280x960 pixels
43 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012
Ход эксперимента: испытуемый смотрит в экран, eye tracker записывает данные
![Page 43: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/43.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Оценка качества saliency map Видеопоследовательности
Выбраны 25 динамичных сцен из боевиков длительностью по 20 секунд
Видео: 1280x720 pixels, 25 fps
Половина тестируемых просто смотрела видео, другая – оценивала качество
44 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012
Кадр из видео с битрейтом 1237 bit/s
Кадр из видео с битрейтом 209 bit/s
![Page 44: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/44.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Eye tracker фиксирует движения глаза, следящего за объектами
Для каждой секунды каждого видео создается общая карта фиксаций, усредняющая информацию от всех испытуемых
Значение каждой координаты – общая продолжительность фиксации глаз всех испытуемых на этой координате
20 карт фиксаций на видео
Карта фиксаций трансформируются в карту салиентности:
45
(xy) – пространственные координаты j фиксации
Т – общее количество фиксаций
Si(kl) – saliency map размера MxN
O – дисперсия
Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012
Оценка качества saliency map Построение карты
![Page 45: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/45.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Оценка качества saliency map Результаты
46 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012
Полученные карты салиентности
![Page 46: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/46.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Карты салиентности, построенные по видео низкого качества, схожи у большинства испытуемых: люди в первую очередь обращают внимание на артефакты
У групп людей с разным характером просмотра получаются разные карты салиентности
Результаты свободного просмотра видео высокого качества больше всего приближены к законам салиентности
47 Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012
Оценка качества saliency map Выводы
![Page 47: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/47.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Литература
1. H. Boujut, O. Hadar, J. Benois-Pineau, T. Ahmed, and P. Bonnet, “Weighted-MSE based on saliency map for assessing video,” Electronic Imaging, 2011.
2. S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” CVPR, 2010.
3. X. Hou and L. Zhang, “Saliency detection: A spectral residual Approach”, CVPR, 2007.
4. C. Guo, Q. Ma, and L. Zhan, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform,” CVPR, 2008.
5. Hani Alersa, Judith A. Redia, and Ingrid Heynderickxa, “Examining the effect of task on viewing behavior in videos using saliency maps,” Human Vision and Electronic Imaging XVII, 2012.
48
![Page 48: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/48.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
ВОПРОСЫ? ….Или сразу в кино?
49
![Page 49: Способы построения saliency map](https://reader034.fdocument.pub/reader034/viewer/2022050907/55a8baf61a28ab9d418b46f5/html5/thumbnails/49.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)
Выпускниками защищены 5 диссертаций
Наиболее популярные в мире сравнения видеокодеков
Более 3 миллионов скачанных фильтров обработки видео
50