Поиск и удаление дефектов в старом видео
-
Upload
msu-gml-videogroup -
Category
Technology
-
view
1.389 -
download
2
description
Transcript of Поиск и удаление дефектов в старом видео
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
1
Поиск и удаление дефектов
архивного видео
Матюнин Сергей
Video GroupCS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
2
Содержание
Введение
Примеры дефектов
Методы обработки
Методы поиска дефектов
Методы удаления дефектов
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
3Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
ВведениеПримеры дефектов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
4Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
ВведениеПримеры дефектов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
5Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
ВведениеПримеры дефектов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
6On missing data treatment for degraded video and film archives: a
survey and a new Bayesian approach. Kokaram, A.C. IEEE Transactions on Image Processing. 2004.
ВведениеПримеры дефектов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
7
ВведениеПримеры дефектов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
8
ВведениеПримеры дефектов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
9
ВведениеМетоды обработки
Ручной Очень качественный
Медленный
Дорогой
Автоматический Быстрый
Дешевый
Возможны ошибки
Полуавтоматический Средняя скорость
Средняя цена
Хорошее качество
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
10
ВведениеАвтоматическая обработка
Вход
Выход
Предобработка
(ME, MC)
Детектор
дефектов
Восстановление
повреждений
Постобработка
(уточнение)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
11
ВведениеМетоды тестирования
Классический – создание искусственных дефектов Недостаточно реалистичный
Прост в реализации
Инфракрасная съемка Необходимо дополнительное оборудование
Порог бинаризации инфракрасного снимка нужно подбирать вручную
Черные дефекты на черном фоне не видны
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
12
Содержание
Введение
Методы поиска дефектов
Пространственные
Временные
Метод объединения результатов детекторов
Методы удаления ложных срабатываний
Методы удаления дефектов
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
13Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of
degraded image sequences. Application to film restoration. Image and Vision Computing, UK: Elsevier, 2001.
Поиск дефектовПространственный метод
Основан на специфических свойствах дефектов:
Маленькая площадь (до 2% изображения)
Четкие границы
Используются операции математической морфологии
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
14Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of
degraded image sequences. Application to film restoration. Image and Vision Computing, UK: Elsevier, 2001.
Поиск дефектовПространственный метод
Исходное изображение, закрытие, разность.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
15Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of
degraded image sequences. Application to film restoration. Image and Vision Computing, UK: Elsevier, 2001.
Поиск дефектовПространственный метод
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
16
Содержание Введение Методы поиска дефектов
Временные SDI ROD SROD Улучшенный алгоритм MSU Old Film Restore
Методы удаления дефектов Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
17On missing data treatment for degraded video and film archives: a
survey and a new Bayesian approach. Kokaram, A.C. IEEE Transactions on Image Processing. 2004.
Поиск дефектовSDI-детектор
Spike Detection Index
иначе,0
)()( и и если,1
иначе,0
и если,1
)()()()(
1
1
bffbSDIp
fbSDIa
nnf
nnb
EsignEsignTETE (x) b
TETE (x) b
xIxIExIxIE
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
18
Содержание Введение Методы поиска дефектов
Временные SDI ROD SROD Улучшенный алгоритм MSU Old Film Restore
Методы удаления дефектов Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
19
Blotch and Scratch Detection in Image Sequences based on Rank Ordered Differences M. J. Nadenau and S. K. Mitra 5th International
Workshop on Time-Varying Image Processing and Moving Object Recognition, September 5-6, 1996
Поиск дефектовROD-детектор
Ranked Ordered Difference
.,,izmzIzpzI
zmzIzIzpzd
(z)p(z)p m(z)
(z)p(z)p
ninn
nnin
in
n,n,
nn,i
321 )()(,)()(
)()( ,)()()(
2
величине по ныеупорядочен
7,
,
,
43
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
20
Содержание Введение Методы поиска дефектов
Временные SDI ROD SROD Улучшенный алгоритм MSU Old Film Restore
Методы удаления дефектов Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
21Restoration and Storage of Film and Video Archive Material. P.M.B. van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and
Storage of Film and Video Archive Material. 1999.
Поиск дефектовSROD-детектор
Simplified Ranked Ordered Difference
иначе
Tzdеслиzmask
n
n,0
)( ,1)(
1
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
22Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
Поиск дефектовСравнение
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
23
Содержание Введение Методы поиска дефектов
Временные SDI ROD SROD Улучшенный алгоритм MSU Old Film Restore
Методы удаления дефектов Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
24An improved motion-compensated restoration method for damaged
color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
Поиск дефектовУлучшенный алгоритм
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
25An improved motion-compensated restoration method for damaged
color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
Поиск дефектовУлучшенный алгоритм
Для обнаружения дефектов используется ROD детекторы
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
26An improved motion-compensated restoration method for damaged
color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
Поиск дефектовУлучшенный алгоритм
ME по пяти
кадрамСтарт
Нашли MV по
направлениям
№1-4?
Детектор
дефектов
Меньше чем T%
пикселей блока
дефектны?
Удаление
дефектов
Нашли MV по
направлениям 5-
7?
Оцениваем MV
для n-го кадра
по MV №5-7
Получили
близкие
векторы?
MV[n] =
среднему
вектору
Да
Нет
ДаДа
Да
Не удалось
предсказать
MVF
Нет
Детектор
дефектов
Меньше чем T%
пикселей блока
дефектны?
Да
Нет
Нет
Нет
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
27An improved motion-compensated restoration method for damaged
color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
Улучшенный алгоритмТестирование
Использовалось K=4 уровня в схеме multiresolution.
Фильтр: гауссовский. На нулевом уровне
на остальных:
и т.д.
Размер изображения: CIF.
Параметры ME
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
28An improved motion-compensated restoration method for damaged
color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
Улучшенный алгоритмТестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
29An improved motion-compensated restoration method for damaged
color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
Улучшенный алгоритмТестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
30An improved motion-compensated restoration method for damaged
color motion picture films. Gangal Ali ; Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
Улучшенный алгоритмТестирование
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
31
Содержание Введение Методы поиска дефектов
Временные SDI ROD SROD Улучшенный алгоритм MSU Old Film Restore
Методы удаления дефектов Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
32Методы подавления шума и царапин в старых видеозаписях. Титаренко А. В. 2007
Поиск дефектовMSU Old Film Restore
Считаем локальную ошибку компенсации:
Две вспомогательные маски:
Применяем операции сужения и расширения:
Окончательная маска:
2
2
2
2
,,,,,,LSADp q
qjpiktmc_frameqjpitframejikt
иначе
TjitLSADjit
,0
),,1(,1,,1mask
иначе
qpqjpitmaskjit
,0
31;1,|1),,(,1,,mask
иначе
qpqjpitmaskjit
,0
01;1,|1),,(,1,,mask
jitИjitji ,,1mask,,1mask,mask
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
33
Содержание
Введение
Методы поиска дефектов
Пространственные
Временные
Метод объединения результатов детекторов
Методы удаления ложных срабатываний
Методы удаления дефектов
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
34Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Поиск дефектовОбъединение детекторов
Используем детекторы: SROD и пространственный.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
35Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Поиск дефектовОбъединение детекторов
Старт
Вероятность того, что оба
детектора показывают
неоднозначный результат < T
Результат
не
определен
Оба детектора
обнаружили дефект
Пиксель
дефектный
Оба детектора не
обнаружили дефекта
Пиксель не
дефектный
Да
Нет
Да
Нет
ДаНет
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
36Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Объединение детекторовТесты
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
37Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Объединение детекторовТесты
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
38Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Объединение детекторовТесты
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
39Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Объединение детекторовТесты
T=0.1
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
40Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Поиск дефектовТесты
T=0.6
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
41Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Объединение детекторовТесты
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
42Fusion of complementary detectors for improving blotch detection in
digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
Объединение детекторовТесты
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
43
Содержание
Введение
Методы поиска дефектов
Пространственные
Временные
Метод объединения результатов детекторов
Методы удаления ложных срабатываний
Методы удаления дефектов
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
44A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
Удаление ложных срабатываний
A contrario FA removal
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
45A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
Удаление ложных срабатываний
A contrario FA removal
Дефекты распределены независимо.
Если распределение не равномерное –
ложное срабатывание.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
46A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
Удаление ложных срабатываний
A contrario FA removal
Рассматриваем области, соседние с проверяемой.
ki - количество дефектов в области
n - пикселей в области
N - всего областей
Распределение дефектов считаем биномиальным с вероятностью p.
p оцениваем как .
Оцениваем для каждой области, с какой вероятностью по крайней мере ki пикселей в области дефектны
n
kj
njk
ji ppCknpB i 1)1(),,(
)*/( nNki
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
47A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
Удаление ложных срабатываний
A contrario FA removal
Вероятность того, чтобы хотя бы в одной области по крайней мере ki пикселей в области дефектны
Если , то считаем что было ложное срабатывание.
),,( iknp NBNFA
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
48A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
Удаление ложных срабатываний
A contrario FA removal
Два прохода:
Временной
Пространственный (проверяем только области, отмеченные на первом проходе)
Оценка для хвоста биномиального распределения
n
kp
p
pp
p
ppnknpB
l
l
l
l
l
где
)),1
1log)1(log(exp(),,(
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
49A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
A contrario FA removalТесты
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
50A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
A contrario FA removalТесты
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
51A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
A contrario FA removalТесты
После удаления FA(слева) и ИК изображение дефектов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
52A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S. Laborelli, L. Bloch, I. Systems,
Signals and Image Processing, 2007.
A contrario FA removalТесты
M2D – multiresolution global motion estimatorPhC – phase correlation dense motion estimator
*P4, CPU 3GHz. Наиболее затратная часть алгоритма – Motion Estimation. Обнаружение дефектов и пост-обработка занимает 300 ms/frame
ME До После Скорость*
True FA True FA
M2D 50% 4.5% 39% 0.43% 1 s/frame
PhC 37.81%
0.29% 32% 0.19% 2.3 s/frame
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
53Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
54Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
Необходимо создать маску для изображения вида
движение сложное,2
дефект,1
движения сложного и дефектов нет,0
)(xmask
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
55Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
kk
kk
k
k
T
Tt
t
,0
,1остинеоднородн
временной индикатор -
(x)] t(x), t(x),t(x),[t state(x) 2n1n1-n2-n
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
56Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
Только состояние 6 указывает на дефект в текущем кадре. Состояния 3 и
12 могут свидетельствовать о присутствии дефекта с соседних кадрах.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
57Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
Сложное движение идефекты зачастую нарушаютгладкость поля векторовдвижения. Можноиспользовать отклонениевекторов как индикаторподозрительных областей.Таким образом строим маску
иначе0,
области ьнойподозрител 1, (x)bdiv
x
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
58Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
Необходимо оценить state(x) и mask(x). Воспользуемся формулой для апостериорной вероятности:
ухL
xΔxΔxΔxΔxΔmask|bpe)p(mask|L|mask,stat,L)~p(Δ,bte|Δp(mask,sta
nnnnn
divndivn
пикселей ссоседних всех для mask(y) значений множество
)],(),(),(),([)( где),()
2112
областяхх недефектны в дисперсия где
,2
])[])[1(2
][(
3
02
2
ne
kstatekstatek
n
Δ
e)~e|mask,statp(Δk e
n
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
59Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
Регионы со сложным движением расположены рядом
xсоседей множество )(
,y-x
1~
гладкости, веннойпространст ткоэффициен где,)(
)()(
xN
ep(mask|L)~
y
l
ymaskxmaskxNy
yl
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
60Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
Для получения окончательного решениявычисляем вероятности для каждого mask(x)методом максимизации апостериорной оценки(MAP).
гладкости веннойпространст ткоэффициен где
,2
2)1(
b
b
b
divmaske
maske)~p(mask|b
divb
divb
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
61Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE
International Conference on Image Processing, 2006.
Удаление ложных срабатыванийБайесовский подход
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
62
Содержание Введение Методы поиска дефектов Методы удаления дефектов
Внутрикадровая интерполяция Интерполяция рациональными функциями Многошаговая медианная фильтрация Смешивание Байесовский подход
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
63Motion compensated film restoration. Buisson O., Boukir S., Besserer
B. Machine Vision and Applications N 13. IEEE Computer Society, 2003.
Удаление дефектовВнутрикадровая интерполяция
Кубическая интерполяция
Оценка коэффициентов методом наименьших квадратов по недефектным пикселям.
Восстанавливает только низкие частоты.
Удаляет только небольшие дефекты.
Не требует ME.
3
0
3
0
,),(k l
lk
lkКИ yxayxI
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
64
Содержание Введение Методы поиска дефектов Методы удаления дефектов
Внутрикадровая интерполяция Интерполяция рациональными функциями Многошаговая медианная фильтрация Смешивание Байесовский подход
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
65Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.
Удаление дефектовИнтерполяция рациональными функциями
Работает в пространственной области.
k – коэффициент нелинейности
a3 a2 a1 X b1 b2 b3
2
31
2
31
2
31
)()(2
)(1
abbak
bak
11 )1( baX
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
66Old Movie Restoration Using Rational Spatial Interpolators. Khriji L., Gabbouj M., Ramponi G., Ferrandiere E.D. IEEE. 1999.
Удаление дефектовИнтерполяция рациональными функциями
1. Вычислить
2. Временно вычислить и
3. Вычислить
4. Вычислить
5. Повторно вычислить и
)4,1,1,4(0 bbaaRX
3
2 012
XaX
3
2 012
XbX
)2,,,( 2201 bXXXRX
),,,2( 2021 XXXaRX
),,1,3( 112 XXaaRX
)3,1,,( 112 bbXXRX
Для дефектной области длиной 5 пикселей
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
67
Содержание Введение Методы поиска дефектов Методы удаления дефектов
Внутрикадровая интерполяция Интерполяция рациональными функциями Многошаговая медианная фильтрация Смешивание Байесовский подход
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
68
Удаление дефектовМногошаговая медианная фильтрация
где W – множество пикселей, среди которых ищется
медиана, а – значения яркостей этих пикселей.if
Wf
jiWf
ji
ffmedian minarg
),,,,()(5,...,1),(
54321 mmmmmmedianrxlWmedianm ll
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
69
Содержание Введение Методы поиска дефектов Методы удаления дефектов
Внутрикадровая интерполяция Интерполяция рациональными функциями Многошаговая медианная фильтрация Смешивание Байесовский подход
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
70
Удаление дефектовСмешивание
. пикселя значение новое -
, пикселя яркостьтыкоэффициен весовые -
пиксели, с соседние - пискель, аемыйрассматрив - где
,
rrI'rrI
Wrr
r
rW
rIrWrI'
r
r
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
71A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica,
W. Philips, D. Van De Ville, 3rd IEEE Benelux Signal Processing Symposium (SPS-2002). 2002.
Удаление дефектовСмешивание
Пиксели из пространственно-временной области вокруг текущего пикселя
Среднее.W=1. Усеченное среднее.Сортируем пиксели:
Улучшенный алгоритм.Сортируем пиксели:
Nxx ,...,1
Nxxx ...21
NNxyNN
Ni
i **2 ,1 *
1*
Nxxxxxx ...21
MaMiaMia
xay
N
i
iii
N
i
ii
1
1
, 0 ,..1 1
,1
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
72
Удаление дефектовСмешивание
Вес может зависеть от
значения маски дефекта
пространственной и временной удаленности пикселей от текущего
качества ME
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
73
Содержание Введение Методы поиска дефектов Методы удаления дефектов
Внутрикадровая интерполяция Интерполяция рациональными функциями Многошаговая медианная фильтрация Смешивание Байесовский подход
Дальнейшие планы Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
74Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
Модель поврежденной последовательности:
- пиксель исходного кадра
- изображение дефекта
- маска дефекта
- шум
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
75Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
Модель последовательности:
- MV
- ошибка оценки
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
76Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
и - маски несоответствия.
равна 1, если данных кадра n нет на кадре n-1.
- маска дефектов.
- вектор объединяющий , ,
, ,
- значения в точках, отличных от x.
Нужно оценить
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
77Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
и - распределение
и в окрестности x
- вероятность ошибки
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
78Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
79Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
ME – по блокам
- множество соседних блоков
- обратно пропорциональна расстоянию между блоками
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
80Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
- векторы смещения между x и пикселями из окрестности x
равно 1, если между и есть резкий переход.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
81Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовБайесовский подход
Нужно найти, где достигается максимум
Можно использовать сэмплер Гиббса.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
82Practical MCMC for Missing Data Treatment in Degraded Video. Anil
Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
Удаление дефектовСэмплер Гиббса
},~,~
~{
выполняем раз z,..., руемИнициализи
,,, Известно
11
11
00
),...,ybp(z|az),...,zcp(b|ab
),...,zp(a|ba
Na
y)p(z|a,...,...,z) p(b|a,cz)p(a|b,...,
iiii
iiii
iii
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
83
Содержание
Введение
Методы поиска дефектов
Методы удаления дефектов
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
84
Дальнейшие планы
Опробовать рассмотренные методы
Доработать фильтр для обработки Betacam видео
Поиск и удаление цветовых пятен
Адаптивность
Модификация для восстановления архивного видео
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
85
Содержание
Введение
Методы поиска дефектов
Методы удаления дефектов
Дальнейшие планы
Список материалов
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
86
Список материалов(1/2)
1. A contrario False Alarms Removal for Improving Blotch Detection in Digitized Films Restoration. Tilie, S.Laborelli, L. Bloch, I. Systems, Signals and Image Processing, 2007 .
2. Advances in the detection and reconstruction of blotches in archived film and video. Kokaram, A.C. IEESeminar on Digital Restoration of Film and Video Archives
3. An improved motion-compensated restoration method for damaged color motion picture films. Gangal Ali ;Kayikcioglu Temel; Dizdaroglu Bekir; Signal processing. Image communication. 2004
4. Automated treatment of film tear in degraded archived media. D. Corrigan, A. Kokaram, IEEE, 2004.5. Blotch Detection for Digital Archives Restoration based on the Fusion of Spatial and Temporal Detectors.
Tilie, S. Laborelli, L. Bloch, I. 9th International Conference on Information Fusion, 2006.6. Complex event classification in degraded image sequences. Rares, A.; Reinders, M.J.T.; Biemond, J.
Image Processing, 2001.7. Fast and efficient MRF-based blotch detection algorithm for degraded film sequences. Sang-Churl Nam;
Abe, M.; Kawamata, M. Intelligent Signal Processing and Communication Systems, 2007. ISPACS 2007.8. A NEW NON-LINEAR FILTER FOR VIDEO PROCESSING. V. Zlokolica, W. Philips, D. Van De Ville, 3rd IEEE
Benelux Signal Processing Symposium (SPS-2002). 2002.9. Motion compensated film restoration. Buisson O., Boukir S., Besserer B. Machine Vision and Applications N
13. IEEE Computer Society, 2003.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
87
Список материалов (2/2)
10. Fusion of complementary detectors for improving blotch detection in digitized films. Sorin Tilie, Isabelle Bloch, Louis Laborelli. Elsevier Science Inc. 2007.
11. On missing data treatment for degraded video and film archives: a survey and a new Bayesian approach.Kokaram, A.C. IEEE Transactions on Image Processing. 2004.
12. Pathological Motion Detection for Robust Missing Data Treatment in Degraded Archived Media. Corrigan, D. Harte, N. Kokaram, A. IEEE International Conference on Image Processing, 2006.
13. Practical MCMC for Missing Data Treatment in Degraded Video. Anil Kokaram European Conference on Computer Vision workshop on Statistical methods in video processing. 2002.
14. Trainable blotch detection on high resolution archive films minimizing the human interaction. Attila Licsár, Tamás Szirányi and László Czúni. Machine Vision and Applications. 2007.
15. Trainable post-processing method to reduce false alarms in the detection of small blotches of archive films. Licsar, A.; Czuni, L.; Sziranyi, T. IEEE International Conference on Image Processing, 2005. ICIP 2005.
16. Restoration and Storage of Film and Video Archive Material. P.M.B. van Roosmalen and J. Biemond and R.L. Lagendijk Restoration and Storage of Film and Video Archive Material. 1999.
17. Blotch and Scratch Detection in Image Sequences based on Rank Ordered Differences M. J. Nadenau and S. K. Mitra 5th International Workshop on Time-Varying Image Processing and Moving Object Recognition, September 5-6, 1996
18. Restoration of Archived Film and Video. P. M. B. van Roosmalen. Ph.D. dissertation, Tech. Univ. Delft, Delft, The Netherlands, 1999.
19. Joyeux L., Boukir S., Besserer B., Buisson O. Reconstruction of degraded image sequences. Application to film restoration // Image and Vision Computing Volume 19 N 8. London, UK: Elsevier, 2001. P, 503-516.
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
88
Вопросы
?