ECCV 2012 Новикова Татьяна 521 группа
Семинар "Компьютерное зрение" Лаборатория Компьютерной Графики и Мультимедиа Факультет ВМК МГУ имени М.В. Ломоносова
29 октября 2012
Общая информация
• Флоренция, Италия • 7 дней ( 7 октября – 13 октября) • Основная конференция – 4 дня • Устные доклады • Постеры • Демо презентации
• Тематические секции (workshop) – 3 дня • Мастер-классы (tutorial) – 1 день
Основные направления работ
• Семантическая сегментация изображений
• Анализ выражения лица
• Отслеживание людей на видео
• Анализ поведения людей и групп людей на
видео
• Бинарное кодирование
Призовые работы
• Best student paper award • Reconstructing the World’s Museums
Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time
expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett
• Best Paper Award – Honorable Mention • Activity Forecasting
Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet
Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
Призовые работы
• Best student paper award • Reconstructing the World’s Museums
Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time
expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett
• Best Paper Award – Honorable Mention • Activity Forecasting
Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet
Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
Reconstructing the World’s Museums Получение фотореалистичной карты музеев
Невозвожно получить фотографии всех ракурсов интерьера с воздуха!
Reconstructing the World’s Museums
Фотографии из музея + 3D точки с лазерного сканера
Чистая, хорошо регуляризованная, текстурированная 3D модель интерьера
Сбор информации: автобус с 2 вертикальными линейными сканерами и 1 горизонтальным + множество камер
Reconstructing the World’s Museums
Фотографии из музея + 3D точки с лазерного сканера
Чистая, хорошо регуляризованная, текстурированная 3D модель интерьера
Сбор информации: автобус с 2 вертикальными линейными сканерами и 1 горизонтальным + множество камер
Reconstructing the World’s Museums
Hough-transform для выделения гипотез линий Из линий получают гипотезы геометрических примитивов
Reconstructing the World’s Museums Генерируется Constructing Solid Geometry модель жадным алгоритмом, добавляющим и вычитающим примитивы Тем самым каждый раз улучшаем соответствие модели лазерным данным
Reconstructing the World’s Museums Аналогичным образом получаем из множества 2D кусков целую 3D модель
Reconstructing the World’s Museums
Призовые работы
• Best student paper award • Reconstructing the World’s Museums
Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time
expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett
• Best Paper Award – Honorable Mention • Activity Forecasting
Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet
Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
Emotion Mirror: A novel intervention for autism using real-time expression recognition. • Компьютерное зрение + медицина • Игры для улучшения восприятия и воспроизведения
эмоций у детей, больных аутизмом
Emotion Mirror: A novel intervention for autism using real-time expression recognition. • Использует разработки по извлечению эмоций из изображений
лица • Computer Expression Recognition Toolbox (CERT), кодирует: • Меру 6 эмоций (злость, отвращение, страх, радость, грусть и
удивение) • 3 измерения положение головы • 20 мимических движений из Facial Action Coding System • 12-15 кадров в секунду
• Два варианта • Участник показывает одну из 6 эмоций – персонаж повторяет • Участник должен повторить эмоцию за персонажем
Призовые работы
• Best student paper award • Reconstructing the World’s Museums
Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time
expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett
• Best Paper Award – Honorable Mention • Activity Forecasting
Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet
Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
Activity Forecasting
• Для одного пешехода нужно оценить путь, по которому будет двигаться пешеход в будущем
• Используется: • Семантическое понимания сцены (физическое понимание
сцены) • Теория оптимального управления (априорные знания цели)
Activity Forecasting • Метод инвертированного принятия решения • Мгновенное поощрение • Ожидаемое поощрение в будущем • Цель
• Марковский процесс принятия решения
• S – текущее состояние, a – действие, r – стоимость, u –
зашумленные данные
Activity Forecasting
• Для оценки стоимости извлекались карты вероятностей для 9 семантических меток: • Здания, машины, бордюр, трава, проезжая часть, люди,
тротуары, забор, гравий.
Activity Forecasting
Призовые работы
• Best student paper award • Reconstructing the World’s Museums
Jianxiong Xiao and Yasutaka Furukawa • Demo paper award • Emotion Mirror: A novel intervention for autism using real-time
expression recognition. David Derisory, Josh Susskind, Lauren Kreiger and Marian Bartlett
• Best Paper Award – Honorable Mention • Activity Forecasting
Kris Kitani, Brian D. Ziebart, James Bagnell and Martial Hebert • Best paper award • Segmentation Propagation in ImageNet
Daniel Kuettel, Matthieu Guillaumin and Vittorio Ferrari
Segmentation Propagation in ImageNet • ImageNet – милионная база изображений • Иерархические метки основного изображенного класса • Некоторые катринки имеют bounding box главного объекта • Никто не имеет сегментации объект-фон
Segmentation Propagation in ImageNet • Предлагается алгоритм автоматической сегментации
ImageNet
Segmentation Propagation in ImageNet • Рекурсивно расширяем множество сегментированных
изображений
• Используем набор уже сегментированных изображений ܵ௧ିଵ для сегментации набора новых изображений ߬ ௧
• Переносим сегментацию с маски окна из ܵ௧ିଵ на визуально схожее окно изображения из ߬௧
• Уточнаяем сегментацию с помощью GrabCut
• Совместная сегментация изображений одного класса с разделяемой моделье внешнего вида
Segmentation Propagation in ImageNet • ܵ - размеченные изображения с PASCAL VOC 2010 • ଵܵ - расширена с помощь изображений с ImageNet, у
которых есть bounding box • ܵ௧ - расширяется с помощью изображений классов, у
которх есть размеченные примерны • ܵ௧ା - расширяется с помощью смежных классов
• Множество сегментированных изображений расширяется
с помощью наиболее схожих изображений • Ошибка сегментации накапливается
Segmentation Propagation in ImageNet • Перенос сегментации • Извлекаем 100 кандидатов окна через objectness sampling • Переносим маску на визуально похожие окна из
сегментированных изображений (взвешенное среднее) • Соединяем окна в единую маску
• Описание окна – HOG + бинарное кодирование
Segmentation Propagation in ImageNet • Унарный потенциал • Для конкретного изображения • Внешний вид класса • При новом классе (нет сегментированных примеров,
последние этапы) – унарные потенциалы для всех связанных классов
Segmentation Propagation in ImageNet • Результаты iCoseg:
• ImageNet (10 изображений 446 классов) – 77.1%
• Сравнение полная модель vs перенос сегментации только с начальной сегментации: • Шаг 2 + 3.6 %, шаг 3 + 0.7%, шаг 4 - 0%, шаг 5 - 5.9% • Итоговое улучшение - + 1.2%
Top Related