Поиск и удаление дефектов в старом видео

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Поиск и удаление дефектов

архивного видео

Матюнин Сергей

Video GroupCS MSU Graphics & Media Lab

Only for Maxus

Содержание

Введение

Примеры дефектов

Методы обработки

Методы поиска дефектов

Методы удаления дефектов

Дальнейшие планы

Список материалов

Only for Maxus

3Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.

ВведениеПримеры дефектов

Only for Maxus

6On missing data treatment for degraded video and film archives: a

survey and a new Bayesian approach. Kokaram, A.C. IEEE Transactions on Image Processing. 2004.

Only for Maxus

ВведениеМетоды обработки

Ручной Очень качественный

Медленный

Дорогой

Автоматический Быстрый

Дешевый

Возможны ошибки

Полуавтоматический Средняя скорость

Средняя цена

Хорошее качество

Only for Maxus

ВведениеАвтоматическая обработка

Вход

Выход

Предобработка

(ME, MC)

Детектор

дефектов

Восстановление

повреждений

Постобработка

(уточнение)

Only for Maxus

ВведениеМетоды тестирования

Классический – создание искусственных дефектов Недостаточно реалистичный

Прост в реализации

Инфракрасная съемка Необходимо дополнительное оборудование

Порог бинаризации инфракрасного снимка нужно подбирать вручную

Черные дефекты на черном фоне не видны

Only for Maxus

Введение

Пространственные

Временные

Метод объединения результатов детекторов

Методы удаления ложных срабатываний

Only for Maxus

13Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of

degraded image sequences. Application to film restoration. Image and Vision Computing, UK: Elsevier, 2001.

Поиск дефектовПространственный метод

Основан на специфических свойствах дефектов:

Маленькая площадь (до 2% изображения)

Четкие границы

Используются операции математической морфологии

Only for Maxus

Исходное изображение, закрытие, разность.

Only for Maxus

Содержание Введение Методы поиска дефектов

Временные SDI ROD SROD Улучшенный алгоритм MSU Old Film Restore

Методы удаления дефектов Дальнейшие планы Список материалов

Only for Maxus

17On missing data treatment for degraded video and film archives: a

survey and a new Bayesian approach. Kokaram, A.C. IEEE Transactions on Image Processing. 2004.

Поиск дефектовSDI-детектор

Spike Detection Index

иначе,0

)()( и и если,1

иначе,0

и если,1

)()()()(

bffbSDIp

fbSDIa

EsignEsignTETE (x) b

TETE (x) b

xIxIExIxIE

Only for Maxus

Blotch and Scratch Detection in Image Sequences based on Rank Ordered Differences M. J. Nadenau and S. K. Mitra 5th International

Workshop on Time-Varying Image Processing and Moving Object Recognition, September 5-6, 1996

Поиск дефектовROD-детектор

Ranked Ordered Difference

.,,izmzIzpzI

zmzIzIzpzd

(z)p(z)p m(z)

(z)p(z)p

321 )()(,)()(

)()( ,)()()(

величине по ныеупорядочен

Only for Maxus

21Restoration and Storage of Film and Video Archive Material. P.M.B. van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and

Storage of Film and Video Archive Material. 1999.

Поиск дефектовSROD-детектор

Simplified Ranked Ordered Difference

иначе

Tzdеслиzmask

)( ,1)(

Only for Maxus

Поиск дефектовСравнение

Only for Maxus

24An improved motion-compensated restoration method for damaged

color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004

Поиск дефектовУлучшенный алгоритм

Only for Maxus

Для обнаружения дефектов используется ROD детекторы

Only for Maxus

ME по пяти

кадрамСтарт

Нашли MV по

направлениям

№1-4?

Детектор

дефектов

Меньше чем T%

пикселей блока

дефектны?

Удаление

дефектов

Нашли MV по

направлениям 5-

Оцениваем MV

для n-го кадра

по MV №5-7

Получили

близкие

векторы?

MV[n] =

среднему

вектору

Нет

ДаДа

Не удалось

предсказать

Нет

Детектор

дефектов

Меньше чем T%

пикселей блока

дефектны?

Нет

Only for Maxus

Улучшенный алгоритмТестирование

Использовалось K=4 уровня в схеме multiresolution.

Фильтр: гауссовский. На нулевом уровне

на остальных:

и т.д.

Размер изображения: CIF.

Параметры ME

Only for Maxus

32Методы подавления шума и царапин в старых видеозаписях. Титаренко А. В. 2007

Поиск дефектовMSU Old Film Restore

Считаем локальную ошибку компенсации:

Две вспомогательные маски:

Применяем операции сужения и расширения:

Окончательная маска:

,,,,,,LSADp q

qjpiktmc_frameqjpitframejikt

иначе

TjitLSADjit

),,1(,1,,1mask

иначе

qpqjpitmaskjit

31;1,|1),,(,1,,mask

иначе

qpqjpitmaskjit

01;1,|1),,(,1,,mask

jitИjitji ,,1mask,,1mask,mask

Only for Maxus

Введение

Временные

Only for Maxus

34Fusion of complementary detectors for improving blotch detection in

digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.

Поиск дефектовОбъединение детекторов

Используем детекторы: SROD и пространственный.

Only for Maxus

Поиск дефектовОбъединение детекторов

Старт

Вероятность того, что оба

детектора показывают

неоднозначный результат < T

Результат

определен

Оба детектора

обнаружили дефект

Пиксель

дефектный

Оба детектора не

обнаружили дефекта

Пиксель не

дефектный

Нет

ДаНет

Only for Maxus

Объединение детекторовТесты

Only for Maxus

Поиск дефектовТесты

Only for Maxus

Введение

Временные

Only for Maxus

44A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,

Signals and Image Processing, 2007.

Удаление ложных срабатываний

A contrario FA removal

Only for Maxus

Дефекты распределены независимо.

Если распределение не равномерное –

ложное срабатывание.

Only for Maxus

Рассматриваем области, соседние с проверяемой.

ki - количество дефектов в области

n - пикселей в области

N - всего областей

Распределение дефектов считаем биномиальным с вероятностью p.

p оцениваем как .

Оцениваем для каждой области, с какой вероятностью по крайней мере ki пикселей в области дефектны

ji ppCknpB i 1)1(),,(

)*/( nNki

Only for Maxus

Вероятность того, чтобы хотя бы в одной области по крайней мере ki пикселей в области дефектны

Если , то считаем что было ложное срабатывание.

),,( iknp NBNFA

Only for Maxus

Два прохода:

Временной

Пространственный (проверяем только области, отмеченные на первом проходе)

Оценка для хвоста биномиального распределения

ppnknpB

где

1log)1(log(exp(),,(

Only for Maxus

A contrario FA removalТесты

Only for Maxus

После удаления FA(слева) и ИК изображение дефектов

Only for Maxus

M2D – multiresolution global motion estimatorPhC – phase correlation dense motion estimator

*P4, CPU 3GHz. Наиболее затратная часть алгоритма – Motion Estimation. Обнаружение дефектов и пост-обработка занимает 300 ms/frame

ME До После Скорость*

True FA True FA

M2D 50% 4.5% 39% 0.43% 1 s/frame

PhC 37.81%

0.29% 32% 0.19% 2.3 s/frame

Only for Maxus

53Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE

International Conference on Image Processing, 2006.

Удаление ложных срабатыванийБайесовский подход

Only for Maxus

Необходимо создать маску для изображения вида

движение сложное,2

дефект,1

движения сложного и дефектов нет,0

)(xmask

Only for Maxus

,1остинеоднородн

временной индикатор -

(x)] t(x), t(x),t(x),[t state(x) 2n1n1-n2-n

Only for Maxus

Только состояние 6 указывает на дефект в текущем кадре. Состояния 3 и

12 могут свидетельствовать о присутствии дефекта с соседних кадрах.

Only for Maxus

Сложное движение идефекты зачастую нарушаютгладкость поля векторовдвижения. Можноиспользовать отклонениевекторов как индикаторподозрительных областей.Таким образом строим маску

иначе0,

области ьнойподозрител 1, (x)bdiv

Only for Maxus

Необходимо оценить state(x) и mask(x). Воспользуемся формулой для апостериорной вероятности:

xΔxΔxΔxΔxΔmask|bpe)p(mask|L|mask,stat,L)~p(Δ,bte|Δp(mask,sta

divndivn

пикселей ссоседних всех для mask(y) значений множество

)],(),(),(),([)( где),()

областяхх недефектны в дисперсия где

])[])[1(2

kstatekstatek

e)~e|mask,statp(Δk e

Only for Maxus

Регионы со сложным движением расположены рядом

xсоседей множество )(

гладкости, веннойпространст ткоэффициен где,)(

ep(mask|L)~

ymaskxmaskxNy

Only for Maxus

Для получения окончательного решениявычисляем вероятности для каждого mask(x)методом максимизации апостериорной оценки(MAP).

гладкости веннойпространст ткоэффициен где

divmaske

maske)~p(mask|b

Only for Maxus

Содержание Введение Методы поиска дефектов Методы удаления дефектов

Внутрикадровая интерполяция Интерполяция рациональными функциями Многошаговая медианная фильтрация Смешивание Байесовский подход

Дальнейшие планы Список материалов

Only for Maxus

63Motion compensated film restoration. Buisson O., Boukir S., Besserer

B. Machine Vision and Applications N 13. IEEE Computer Society, 2003.

Удаление дефектовВнутрикадровая интерполяция

Кубическая интерполяция

Оценка коэффициентов методом наименьших квадратов по недефектным пикселям.

Восстанавливает только низкие частоты.

Удаляет только небольшие дефекты.

Не требует ME.

,),(k l

lkКИ yxayxI

Only for Maxus

65Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.

Удаление дефектовИнтерполяция рациональными функциями

Работает в пространственной области.

k – коэффициент нелинейности

a3 a2 a1 X b1 b2 b3

11 )1( baX

Only for Maxus

66Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.

Удаление дефектовИнтерполяция рациональными функциями

1. Вычислить

2. Временно вычислить и

5. Повторно вычислить и

)4,1,1,4(0 bbaaRX

)2,,,( 2201 bXXXRX

),,,2( 2021 XXXaRX

),,1,3( 112 XXaaRX

)3,1,,( 112 bbXXRX

Для дефектной области длиной 5 пикселей

Only for Maxus

Удаление дефектовМногошаговая медианная фильтрация

где W – множество пикселей, среди которых ищется

медиана, а – значения яркостей этих пикселей.if

ffmedian minarg

),,,,()(5,...,1),(

54321 mmmmmmedianrxlWmedianm ll

Only for Maxus

Удаление дефектовСмешивание

. пикселя значение новое -

, пикселя яркостьтыкоэффициен весовые -

пиксели, с соседние - пискель, аемыйрассматрив - где

rrI'rrI

rIrWrI'

Only for Maxus

71A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica,

W. Philips, D. Van De Ville, 3rd IEEE Benelux Signal Processing Symposium (SPS-2002). 2002.

Пиксели из пространственно-временной области вокруг текущего пикселя

Среднее.W=1. Усеченное среднее.Сортируем пиксели:

Улучшенный алгоритм.Сортируем пиксели:

Nxx ,...,1

Nxxx ...21

NNxyNN

i **2 ,1 *

Nxxxxxx ...21

MaMiaMia

, 0 ,..1 1

Only for Maxus

Вес может зависеть от

значения маски дефекта

пространственной и временной удаленности пикселей от текущего

качества ME

Only for Maxus

74Practical MCMC for Missing Data Treatment in Degraded Video. Anil

Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.

Удаление дефектовБайесовский подход

Модель поврежденной последовательности:

- пиксель исходного кадра

- изображение дефекта

- маска дефекта

- шум

Only for Maxus

Модель последовательности:

- ошибка оценки

Only for Maxus

и - маски несоответствия.

равна 1, если данных кадра n нет на кадре n-1.

- маска дефектов.

- вектор объединяющий , ,

- значения в точках, отличных от x.

Нужно оценить

Only for Maxus

и - распределение

и в окрестности x

- вероятность ошибки

Only for Maxus

ME – по блокам

- множество соседних блоков

- обратно пропорциональна расстоянию между блоками

Only for Maxus

- векторы смещения между x и пикселями из окрестности x

равно 1, если между и есть резкий переход.

Only for Maxus

Нужно найти, где достигается максимум

Можно использовать сэмплер Гиббса.

Only for Maxus

Удаление дефектовСэмплер Гиббса

выполняем раз z,..., руемИнициализи

,,, Известно

),...,ybp(z|az),...,zcp(b|ab

),...,zp(a|ba

y)p(z|a,...,...,z) p(b|a,cz)p(a|b,...,

Only for Maxus

Введение

Only for Maxus

Опробовать рассмотренные методы

Доработать фильтр для обработки Betacam видео

Поиск и удаление цветовых пятен

Адаптивность

Модификация для восстановления архивного видео

Only for Maxus

Введение

Only for Maxus

Список материалов(1/2)

1. A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S.Laborelli, L. Bloch, I. Systems, Signals and Image Processing, 2007 .

2. Advances in the detection and reconstruction of blotches in archived film and video. Kokaram, A.C. IEESeminar on Digital Restoration of Film and Video Archives

3. An improved motion-compensated restoration method for damaged color motion picture films. Gangal Ali ;Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004

4. Automated treatment of film tear in degraded archived media. D. Corrigan, A. Kokaram, IEEE, 2004.5. Blotch Detection for Digital Archives Restoration based on the Fusion of Spatial and Temporal Detectors.

Tilie, S. Laborelli, L. Bloch, I. 9th International Conference on Information Fusion, 2006.6. Complex event classification in degraded image sequences. Rares, A.; Reinders, M.J.T.; Biemond, J.

Image Processing, 2001.7. Fast and efficient MRF-based blotch detection algorithm for degraded film sequences. Sang-Churl Nam;

Abe, M.; Kawamata, M. Intelligent Signal Processing and Communication Systems, 2007. ISPACS 2007.8. A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica, W. Philips, D. Van De Ville, 3rd IEEE

Benelux Signal Processing Symposium (SPS-2002). 2002.9. Motion compensated film restoration. Buisson O., Boukir S., Besserer B. Machine Vision and Applications N

13. IEEE Computer Society, 2003.

Only for Maxus

Список материалов (2/2)

10. Fusion of complementary detectors for improving blotch detection in digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.

11. On missing data treatment for degraded video and film archives: a survey and a new Bayesian approach.Kokaram, A.C. IEEE Transactions on Image Processing. 2004.

12. Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE International Conference on Image Processing, 2006.

13. Practical MCMC for Missing Data Treatment in Degraded Video. Anil Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.

14. Trainable blotch detection on high resolution archive films minimizing the human interaction. Attila Licsár, Tamás Szirányi and László Czúni. Machine Vision and Applications. 2007.

15. Trainable post-processing method to reduce false alarms in the detection of small blotches of archive films. Licsar, A.; Czuni, L.; Sziranyi, T. IEEE International Conference on Image Processing, 2005. ICIP 2005.

16. Restoration and Storage of Film and Video Archive Material. P.M.B. van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and Storage of Film and Video Archive Material. 1999.

17. Blotch and Scratch Detection in Image Sequences based on Rank Ordered Differences M. J. Nadenau and S. K. Mitra 5th International Workshop on Time-Varying Image Processing and Moving Object Recognition, September 5-6, 1996

18. Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.

19. Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of degraded image sequences. Application to film restoration // Image and Vision Computing Volume 19 N 8. London, UK: Elsevier, 2001. P, 503-516.

Only for Maxus

Вопросы

Поиск и удаление дефектов в старом видео

Technology

Transcript of Поиск и удаление дефектов в старом видео

ПРОЕКТ ПРОФЕССИОНАЛЬНОГО СТАНДАРТА … RO_2.pdf · Выявление дефектов и повреждаемости на закреплённом

Малков Ф.М. В старом Очёре: Записки краеведа. (Пермь,1959)

Инструкция пользователя CMS - amatek.suamatek.su/userfiles/file_program_dop/programmnoe_obespechenie_cms... · Добавление, удаление и управление

Исследование радиационных дефектов в кристаллах под действием тяжелых ионов

Методика ранжирования коррозионных дефектов магистральных газопроводов, обнаруженных при внутритрубной

Удаление SO2 из отходящих газов металлургического производства Микеле Дженова

20170220 Арифметика циклов времени в Старом и Новом завете, Евангелиях в сумме Библии

Новый процесс тестирования на "старом" проекте

ЗАВИСИМОСТЬ ПОЛЯРИТОННОГО СПЕКТРА НЕИДЕАЛЬНЫХ 1D ФОТОННЫХ ЖИДКИХ КРИСТАЛЛОВ ОТ КОНЦЕНТРАЦИИ ДЕФЕКТОВ

Применение нейронных сетей для анализа дефектов

пайпс россия при старом режиме

Арьес Ф. Ребенок и Семейная Жизнь При Старом Порядке (Другая История)1999

ВЛИЯНИЕ ДЕФЕКТОВ НА УСКОРЕННОЕ ФОРМИРОВАНИЕ НАНОПРЕЦИПИТАТОВ SiO 2 В Si ПОД ДЕЙСТВИЕМ RTA

Удаление 3х Моляров

Поисковые игры в Старом городе

Обзор критериев допустимости поверхностных коррозионных дефектов (локальная потеря металла) сухопутных

Восполнение дефектов системы судебного контроля в уголовном судопроизводстве

Buron5.ru - Удаление негативных упоминаний

Приложение № 1 - mephi.ru po remontu.pdf · Производить документирование выполняемых операций. ... дефектов во

Аудит безопасности программного кода: Подходы, стандарты, технологии выявления дефектов безопасности