Apresentação : Henrique Repinaldo Orientação: Natalia Fedorova
E. Ostheimer, V. G. Labunets, D. E. Komarov, T. S. Fedorova and V. V. Ganzha - Fréchet Filters for...
Transcript of E. Ostheimer, V. G. Labunets, D. E. Komarov, T. S. Fedorova and V. V. Ganzha - Fréchet Filters for...
Fréchet Filters for Color and Hyperspectral Images Filtering
E.Ostheimer1 , V.G. Labunets, D.E.Komarov,
T.S.Fedorova , V.V.Ganzha
Yekaterinburg , AIST-2015
Ural Federal University, pr. Mira, 19, Yekaterinburg,
620002, Russian Federation
Capricat LLC 1340 S. Ocean Blvd., Suite 209 Pompano
Beach 33062 Florida USA
1. Введение
2. Постановка
проблемы
4. Экспериментальные
результаты
3. Предлагаемый подход
5. Выводы
S1 S2
S3
S4
S5
Основные требования, предъявляемые к алгоритмам
фильтрации:
1) Эффективное подавление шума
2) Минимальные искажения полезного сигнала (в частности
сохранение перепадов яркости)
3) Высокое быстродействие.
СХЕМА
Скалярные фильтры
Оптимальный вектор
Фреше
Векторные фильтры
Обобщенная стоимостная функция Метрика
Пакет изображений, полученных оптическими датчиками вразличных частотных диапазонах, называется гиперспектральнымизображением.
Математической моделью гиперспектрального изображенияявляется двумерный векторно-значный сигнал:
( , ) :[0, 1] [0, 1] Kn m N M f R
2
11
2
( , )( , )
( , ) ( , )( , )
... ...
( , ) ( , )KK
f n mf n m
f n m f n mn m
f n m f n m
f
Гиперспектральные изображения
Цветные изображения
S1 S2
S3
S4
S5
Модель обрабатываемого изображения
Рассмотрим изображение следующей формы
( ) ( ) ( )f x s x η x
где - оригинальное К-канальное изображение,
- шум, воздействующий на
- искаженное шумом изображение( )η x
( )f x
( )s x( )s x
Восстановление полезного сигнала
Задача: максимально точно выделить полезное
изображение и с максимальной степенью подавить помеху.
Степень точности оценки (точности фильтрации)
определяется некоторой мерой близости (мерой схожести)
между и :( )s rˆ( )s r
ˆ( ), ( ) s r s r
Наилучшим фильтром будет такой, который минимизирует
функционал .
( ) ( )ˆ( ) FILTER πs r s r r
S1 S2
S3
S4
S5
( ,
( 1, 1) ( 1, ) ( 1, 1)
( , 1) ( , 1)
( 1, 1) ( 1, ) ( 1,
)ˆ( ,
1
)
)
s i
f i j f i j f i j
f i j f i j
f i j f i j f i j
f i jj
Filter
Filter
Упрощающее предположение 1. Для простоты будем считать,
что наблюдаемый сигнал является аддитивной смесью
полезного сигнала и шума
2( ) ( ) ( ), f r s r r rπ Z
1 1 2 2 1 2 1 2( | , ), 0, ( , ) ( , ) ( ) ( )p x i j m i j i j E i i j j
( ) ( , ) t x y
( )t
Упрощающее предположение 2. Будем также предполагать,
что полезный сигнал (изображение) представляет собой
объединение областей, в которых сигнал принимает постоянные
значения (изображение типа “лоскутного одеяла”)
, ) 1 2(
.( , ) , ,..., , ,...,m n Лоскут
N
Nm n s s s
s
Упрощающее предположение 3. Будем предполагать, что
совместная плотность распределения вероятностей наблюдаемых
данных определяется совместной плотностью распределения
шума, т.е.
1 2 1 2, ,..., , ,...,N Np x x x p x x x
Более того, будем предполагать, что шум в во всех пикселях
действует независимо друг от друга, т.е.
1
1 2, ,...,
N
ii
Nx x xp p x
1 1 1 2 2 2
1 2
1
1
1
1 2
log log
log log
, ,...,
, , ...,
, ,...,
max max
экс экс экс
N N N
экс экс экс
N
opt
N
ii
Nэксi
i
Nэксi
i
N
Эксперимент
f f f
p x
L x
L x
L x
p x x x
x x x
L L x x x
L
L
1
Nэксi
i
2
2
( )
2X
2
1( | , )
2
x m
x m e
N
2
1 22
2
2
2
2
( )
2
1 1
( )
2
1
2 2
1 1
1 2
1
2
1
2
log ( ) log ( )
, ,...,
, ,...,
max min
i
экс экс экс
N N
opt
эксi
xN N
ii i
xN
i
N Nэкс эксi i
i i
N
const
p x e
e
x x
p x x x
L L x x x
L L
1
10log opt
Nэксi
iNxL
2 2
1 11 1
ˆ = ( )arg min arg minэкс
opt i
N N
ii i
x
R R
(1)эксx
(9)эксx
(5)эксx
(4)эксx
(3)эксx
(2)эксx (6)
эксx(8)эксx
(7)эксx
(1)эксx
(9)эксx
(5)эксx
(4)эксx(3)
эксx(2)эксx (6)
эксx(8)эксx
(7)эксx
29 ( )
28 ( )
24 ( )
27 ( )
26 ( )
21 ( )
22 ( )
23 ( )
29 ( )
28 ( )
27 ( )
26 ( )
25 ( )
23 ( )
22 ( )
21 ( )
1R
1R
1
1opt
Nэксi
iNx
+
+
+
+
1 2
2| |
1 1
2| |
1
1 1
1 2
2
2
log log
, ,...,
, ,...,
max min
N
N
экс экс экс
N
экс экс
i opt i
i
эксi
N N x
ii i
N x
i
N N
i i
N
const x x
p x e
e
p x x x
L L x x x
L L
?? ???log optL
2| |2
( | )x
p x e
1 11 1
ˆ = ( )arg min arg minэкс
opt i
N N
ii i
x
R R
(1)эксx
(9)эксx
(5)эксx
(4)эксx
(3)эксx
(2)эксx (6)
эксx(8)эксx
(7)эксx
(1)эксx
(9)эксx
(5)эксx
(4)эксx
(3)эксx
(2)эксx (6)
эксx(8)эксx
(7)эксx
9 ( )
8 ( )
4 ( )
7 ( )
6 ( )
1 ( )
2 ( )
3 ( )
9 ( )
8 ( )
7 ( )
6 ( )
5 ( )
3 ( )
2 ( )
1 ( )
1R
1R+
+
+
+
11 2 2, ,...,
ˆ arg min экс
quasiopt i
N
iэкс экс эксx x x
x
(1)эксx
(9)эксx
(5)эксx
(4)эксx
(3)эксx
(2)эксx
(8)эксx
(7)эксx
(1)эксx
(9)эксx
(5)эксx
(4)эксx(3)
эксx (2)эксx (6)
эксx(8)эксx
(7)эксx
9 ( )
8 ( )
4 ( )
7 ( )
6 ( )
1 ( )
2 ( )
3 ( )
9 ( )
8 ( )
7 ( )
6 ( )
5 ( )
2 ( )
1 ( )
1 2 2, ,...,quasiopt
экс экс эксx x x
= Med
1 2 2, ,...,экс экс эксx x x
1 2 2, ,...,экс экс эксx x x
Пусть - метрическое гиперспектральное пространство с
метрикой . Пусть N нормированных весов и
пусть - N экспериментальных данных
,KR
1 2, ,..., Nw w w1 2, ,..., N K x x x D R
Определение 1. Оптимальным взвешенным вектором (медианой)
Фреше, ассоциированным с метрикой , называется вектор
который минимизирует функцию стоимости Фреше
и формально определяется как
( )K K
opt med c R c R
1
,N
i
i
i
w
c x
1 2
1
, ,..., ,K
NN i
opt i
i
w
Rcc FrechVec x x x arg min c x =
1 2
1 2
, ,..., 1
ˆ , ,..., ,N
NN i
opt i
i
w
x x xc
c FrechMed x x x argmin c x=
1x2x
3x
4x
5x6x
R
G
B
1x2x
3x
4x
5x6x
R
G
B
1
ˆ arg min , k
N
opt iR
i
x
+
+
1x2x
3x
4x
5x6x
R
G
B
1x2x
3x
4x
5x6x
R
G
B
1 2
1
ˆ arg min , , ,...,ˆi
N
opt i Nx
i
quasioptx Med x x xμ
Сити метрика:
Евклидова (квадратичная) метрика:
Lp - метрика:
Расстояние по Колмогорову:
Max метрика:
Min метрика:
1
1
1( , ) ( , )
K
i i
i
x yN
x y x y x y
2
2 21
1( , ) ( , ) ( )
K
i i
i
x yN
x y x y x y
1
1( , ) ( , ) ( )
Kpp
p i ipi
x yN
x y x y x y
1 1
1
1( , ) ( , ) Kol (Kol( )) Kol ( Kol( ))
K
Kol i i
i
x yN
x y x y x y
1 1max( ) max( ,..., )k kx y x y x y
1 1min( ) min( ,..., )k kx y x y x y
Медианная псевдо-метрика (агрегация координат):
Ранговая псевдо-метрика (агрегация координат):
Все известные метрики имеют агрегированный тип, поэтому мы предлагаем использовать агрегационное расстояние вместо классического расстояния .
1 1med( ) med( ,..., )med k kx y x y x y
1 1( ) ( ,..., )rank k krank rank x y x y x y
Agg
1 2 1 2
1 2
1 2 1 2
1
... 1 2 ... 1 2
( , ,..., )
1( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,...,N k
N
N
N N i
i
w w w N w w w
x x x
x x x x x x xN
x x x x x x
Aggreg
M
1. Арифметическое среднее
ean
2. Взвешенное ср
Arithm
Aggreg Mean
еднее
1 2 ... 1 2
1 1
1
)
1 ( , ,..., )
k
N
N N
iw w w N i i iNi i
i
i
x x x w x w x
w
Arithm
1 2 1 2
1
1 ( , ,..., ) ( , ,..., )
Npp
p N p N i
i
x x x x x x xN
Aggreg M
3. Степенные p - сре
e n
д
a
ние
1 2 1 2
1
1 2 1 2
1
( , ,..., ) ( , ,..., )
1 ( , ,..., ) ( , ,..., )
1
(
N
NGeo N Geo N i
i
Har k Har N N
i i
x x x x x x x
x x x x x x
x
x
4. Геометрическое среднее
5. Гармоническое среднее
6. Min-, Max - средние
Aggreg Mean
Aggreg Mean
Aggreg 1 2 1 2
1 2 1 2
1 2 1 2
1 2 1 2
, ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
N N
N N
Med N N
N N
x x x x x
x x x x x x
x x x x x x
x x x x x x
Min
Aggreg Max
Aggreg Med
Aggr
7. Mедиа
x
на
eg Ma
11 2 1 2
1
1
( , ,..., ) ( , ,..., )N
iN NKol Koli
x x x x x x K K xN
9. Среднее по Колмогорову
Aggreg Mean
maxx
Физическая шкалаФизическая шкала
maxK x
Шкала Комогорова
maxx
minx
minK xminx
K
1K
Agg
Frechet Cost Function Metric
Aggregation functionAggregation function
costAgg
...
... ... ... ...
...
...
...
cos
1
tAgg
...
cos
2
tAgg
cost
nAgg
1Agg
2Agg
mAgg
cos ,
11
tAgg
cos ,
21
tAgg
cos ,
1
t
nAgg
cos ,
12
tAgg
cos ,
22
tAgg
cos ,
2
t
nAgg
cos ,
1
t
mAgg
cos ,
2
t
mAgg
cos ,t
nmAgg
cos tAgg
Agg
costAgg
Mean
Med
Min
Geo
Agg
2
2,meanGenVectAgg
2,medGenVectAgg
2,minGenVectAgg
2geo,GenVectAgg
0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x 9
1
1
, q
p i
i
x x
9
2
1
, q
p i
i
x x
9
2
1
, q
p i
i
x x
1
min ,N
q
p i j
i
x x
Векторные медианные фильтры,
ассоциированные с метрикой Lp и
усредняющей стоимостной функцией
0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x 1, q
p iMed x x
min ,q
p i jMed x x
Векторные медианные фильтры,
ассоциированные с метрикой Lp и
медианной стоимостной функцией
2 , q
p iMed x x
9 , q
p iMed x x
0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x 1, q
p iMin x x
Векторные медианные фильтры,
ассоциированные с метрикой Lp и
Min-стоимостной функцией
2 , q
p iMin x x
9 , q
p iMin x x
min ,q
p i jMin x x
Векторные медианные фильтры
а) Original image b) Noised images, PSNR = 21.83cos
2, tAgg Agg Mean
PSNR = 32.524
cos
2, tAgg Agg Med
PSNR = 31.788
cos
2, tAgg Agg Min
PSNR = 28.293
cos
2, tAgg Agg Geo
PSNR = 30.517
Fig. 1. Noise: “Salt-Peper”. Denoised images (c)-(f)
c)
d) e) f)
Векторные медианные фильтры
а) Original image b) Noised images, PSNR = 28.24cos
2, tAgg Agg Mean
PSNR = 30.68
cos
2, tAgg Agg Med
PSNR = 29.61
cos
2, tAgg Agg Min
PSNR = 27.77
cos
2, tAgg Agg Geo
PSNR = 30.14
Fig. 3. Noise: “Laplacian PDF”. Denoised images (c)-(f)
c)
d) e) f)
Векторные медианные фильтры
а) Original image b) Noised images, PSNR = 17.18cos
2, tAgg Agg Mean
PSNR = 21.83
cos
2, tAgg Agg Med
PSNR = 20.84
cos
2, tAgg Agg Min
PSNR = 19.04
cos
2, tAgg Agg Geo
PSNR = 20.50
Fig. 3. Noise: “Gaussian PDF”. Denoised images (c)-(f)
c)
d) e) f)
Векторные медианные фильтры
b) Noised images, PSNR = 17.18
“Gaussian PDF”
cos
2, tAgg Agg Mean
PSNR = 21.83
Noised images, PSNR = 28.24
cos
2, tAgg Agg Mean
PSNR = 30.68
“Laplacian PDF”
Noised images, PSNR = 21.83c)
cos
2, tAgg Agg Mean
PSNR = 32.524
“Salt-Peper”
ВОПРОСЫ
1 2
1
ˆ arg min , , ,.. ,ˆ .N
opt i N
i
quasioptx Med x xμ x
0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x 9
1
1
, p i
i
x x
9
2
1
, p i
i
x x
9
2
1
, p i
i
x x
1
min ,N
p i j
i
x x
Векторные медианные фильтры,
ассоциированные с метрикой Lp и
усредняющей стоимостной функцией
Что есть агрегационный оператор?
1 2
1 2
1
11.
= ( , ,..., )
( , ,..., )
N
N
N
ii
xN
x x x
x x x
x
Arithm
Mean
1 22. ( , ,..., )Nx x x xMed
minx
maxx
Mean
Med
min maxx x x
1 2( , ,..., )Nx x x x
1 2( , ,..., )Nx x x y x Aggreg
Основные свойства АО
1) ( )
2) (0,...,0) 0 and (1,...,1) 1,
3) ( ,..., ) ( ,..., ),
если ( ,..., ) ( ,..., ).
l n l n
l n l n
y x x
y
y x x y y
x x y y
Aggreg
Aggreg Aggreg
Aggreg Aggreg
Основные ограничения:
1 2 1 2 2
1 2 1 2
11) min( , ,..., ) ( , ,.
( , ,..., ) ( , ,..
.., ) max( , ,..., )
2) ., )
n n n
n nx m x m x m A
x x x x x x x x
m x x
x
x
Aggreg A
Aggreg
ggreg
Дополнительные ограничения:
0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x 9
91
1
, p i
i
x x
Векторные медианные фильтры,
ассоциированные с метрикой Lp и
Geo-стоимостной функцией
9
9
1
min , p i j
i
x x
9
92
1
, p i
i
x x
9
99
1
, p i
i
x x
Экспериментальная часть
𝑓𝑀𝑐𝑜𝑙 𝑥 = 𝑆𝑀𝑐𝑜𝑙 𝑥 + 𝜂𝑀𝑐𝑜𝑙(𝑥), где
𝑆𝑀𝑐𝑜𝑙 𝑥 = 𝑠1 𝑥 , 𝑠2 𝑥 , … , 𝑠𝑘 𝑥 - оригинал k-канального изображения, 𝜂𝑀𝑐𝑜𝑙 𝑥 =(𝜂1 𝑥 , 𝜂2 𝑥 , … , 𝜂𝑘(𝑥)) - k-канальный шум, 𝑓𝑀𝑐𝑜𝑙 𝑥 =(𝑓1 𝑥 , 𝑓2 𝑥 , … , 𝑓𝑘 𝑥 ) – искаженное изображение, полученное воздействием шума 𝜂𝑀𝑐𝑜𝑙 𝑥 на изображение 𝑆𝑀𝑐𝑜𝑙 𝑥 .
𝑥 = (𝑖, 𝑗) ∈ 𝑍2 – это двухмерное пространство, которое принадлежит к области изображения и представляет собой местоположение пикселей.
Общая схема фильтрации
𝑀 𝑖,𝑗 (𝑚, 𝑛)𝑚=−𝑟,𝑛=−𝑟
𝑚=+𝑟,𝑛=+𝑟- квадратное окно размером
N= 2 ∙ 𝑟 + 1 ∙ 2 ∙ 𝑟 + 1 .
𝑆𝑀𝑐𝑜𝑙 𝑖, 𝑗 = 𝑀𝑒𝑎𝑛(𝑚,𝑛)∈𝑀(𝑖,𝑗)
{ 𝑓𝑀𝑐𝑜𝑙(𝑚, 𝑛)},
где 𝑆𝑀𝑐𝑜𝑙 𝑖, 𝑗 – это отфильтрованное изображение
{ 𝑓𝑀𝑐𝑜𝑙(𝑚, 𝑛)}(𝑚,𝑛)∈𝑀(𝑖,𝑗)– это блок изображения
фиксированного размера N, извлеченного из 𝑓𝑀𝑐𝑜𝑙, перемещая окно M(i,j) в позицию (i,j)