Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4...
Transcript of Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4...
![Page 1: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/1.jpg)
1
Uni
vers
idad
Car
los
III
1
Aplicación de Técnicas de Separación Ciega de Fuentes al
Procesado de Señal
Francisco Javier González Serrano
Uni
vers
idad
Car
los
III
2
IndiceParte I: IntroducciónParte II:Contrastes− Máxima entropía, máxima verosimilitud− Aproximaciones senoidales
Parte III: Algoritmos adaptativos− Gradiente relativo− Gradiente natural
Parte IV: Aplicaciones− EEG-ERP− MUD en CDMA − Sellado de imágenes
![Page 2: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/2.jpg)
2
Uni
vers
idad
Car
los
III
3
IntroducciónExisten aplicaciones de ICA/BSS en:− Bioingeniería:
• ECG, EEG.− Técnicas de procesado de señal (voz, imagen,...):
• codificación, compresión, indexado, clasificación.− Comunicaciones:
• receptores CDMA, conformado de haz.− Finanzas.
Que se beneficiarían de algoritmos que − presenten mejores prestaciones − con una carga computacional menor − y que puedan hacer frente a problemas tales como la
presencia de ruido
Uni
vers
idad
Car
los
III
4
Parte I
Introducción
![Page 3: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/3.jpg)
3
Uni
vers
idad
Car
los
III
5
Mezcla instantánea y Separación
Uni
vers
idad
Car
los
III
6
Mezcla instantánea y Separación
A B
L x N N x 1
γt
N x 1 N x L
ruido
N-fuentes
N-fuentes recuperadas o componentes independientes
Separación y=Bx=BAs+Bγ
Mezcla x=As+γ
L-sensores
N ≤ L
1R ×∈ Ltx1R ×∈ N
ts 1R ×∈ Nty
![Page 4: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/4.jpg)
4
Uni
vers
idad
Car
los
III
7
Separación de fuentesMezcla instantánea de 2 fuentes independientes s1 y s2
s1
s2x1
x2
y1
y2z2z1
x=As
p1(s1) p2(s2)
y=Bx
z=Wx1º) Blanqueado
y=Uz2º) Rotación
Vista superior de fdp conjunta
Aproximación al problema:
s1
s2
Vista superior de fdp conjunta
p (s1, s2)
( )TE =zz I
Uni
vers
idad
Car
los
III
8
Separación ciega de fuentesSi desconocemos la matriz de mezcla, ¿cómo llegamos a la separación?
Blanquear (PCA, ortogonalidad): matriz W
Rotar: matriz U
Vista superior de fdp conjunta de distintas mezclas de dos variables con fdp uniformes
Mezcla
![Page 5: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/5.jpg)
5
Uni
vers
idad
Car
los
III
9
AmbigüedadesAmbigüedades en ICA− Escalado de fuentes:
• ICA no recupera la varianza original
− Permutación de fuentes
Blanquear (PCA, ortogonalidad)
Rotar
Uni
vers
idad
Car
los
III
10
Independencia estadísticaConcepto de independencia− Intuitivo
• Las variables y1 e y2 son independientes si el valor de y1 no
aporta ninguna información acerca del valor de y2.
− Matemático: funciones de densidad de probabilidad (pdf)• Sea p(y1,y2) la función de densidad de probabilidad conjunta de
y1 e y2.
• Sea p1(y1) la pdf marginal de y1
• y de forma similar para y2• Entonces, y1 e y2 son independientes si y sólo si:
1 1 1 2 2( ) ( , )p y p y y d y= ∫
1 2 1 1 2 2( , ) ( ) ( ). p y y p y p y=
![Page 6: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/6.jpg)
6
Uni
vers
idad
Car
los
III
11
Independencia estadísticaConcepto de independencia− Matemático: Si y1 e y2 son independientes
• Incorrelación: h(·), g(·) son la identidad
Incorrelación ⇐ Independencia
( ) ( ) ( )1 2 1 2( ), ( ) ( ) ( ) . E g y h y E g y E h y= ×
( ) ( ) ( )1 2 1 2, 0E y y E y E y− × =
Uni
vers
idad
Car
los
III
12
Parte II
Funciones contraste
![Page 7: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/7.jpg)
7
Uni
vers
idad
Car
los
III
13
Medida de la independencia¿Cómo medir estadísticamente la independencia?− Divergencia de Kullback-Leibler
− Para un vector de variables aleatorias
• Si p(·) es “factorizable”, la divergencia se anula
• La divergencia se denomina información
mutua de las variables
− Información mutua y entropía
[ ] ( )| ( ) log( )
fK f g f dg
= ∫yy yy
R∈ Ny
[ ]1 21 1
( )| ( ) log( ) ( )N
N N
pK p p p p p dp y p y
= ∫yy y
[ ]1 2| NK p p p p
1( ), , ( )Ny t y t…
[ ] [ ] [ ]111 1
( ), , ( ) log( ) ( )
N
N iiN N
pI y y p d H y Hp y p y =
= = −∑∫yy y y
Uni
vers
idad
Car
los
III
14
Funciones contrasteFunciones contraste− Son funciones reales de la distribución de probabilidad.− Los contrastes se deben diseñar para que su mínimo
coincida con una solución del problema ICA/BSS.
• La igualdad se produce cuando sea una copia de es una matriz de permutaciones y escalados
− El cálculo del gradiente de un contraste permite implementaciones adaptativas de algoritmos BSS
− Contraste ortogonal• Los datos están blanqueados (decorrelados)
[ ] [ ], siendo un vector de comp. independientesφ φ≥Cy y y
=y Bx sC
[ ]oφ y( )TE =zz I
![Page 8: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/8.jpg)
8
Uni
vers
idad
Car
los
III
15
Funciones contrasteContraste basado en la información mutua (o de máxima entropía)
− Si consideramos la condición de blanqueado
• Hay que tener en cuenta que la entropía de y, H[y], es invariante a rotaciones.
− Algoritmo de separación
donde es un vector de componentes independientesy
[ ] [ ]|ME Kφ =y y y
[ ] [ ] [ ] [ ]cte.
1 1
N NoME i i
i iH y H H yφ
= =
= − =∑ ∑y y
[ ]min MEφB
Bx
[ ] [ ] log detH H= +Bx x B
Uni
vers
idad
Car
los
III
16
Funciones contrasteContraste basado en máxima verosimilitud
− Relación con otros contrastes
• porque
− Interpretación• El contraste de máxima verosimilitud maximiza la
independencia de las componentes de la salida y minimiza la “distancia” a la fdp de los datos.
-1donde se supone conocida la fdp de =s A x
[ ] [ ]1 1
( )| ( ) log( ) ( )ML
N N
pK p dq s q s
φ = = ∫yy y s y y
[ ] [ ] [ ]|ML ME Kφ φ= +y y y s
[ ] [ ] [ ]| | |K K K= +y s y y y s
![Page 9: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/9.jpg)
9
Uni
vers
idad
Car
los
III
17
Funciones contrasteContraste Infomax− El desconocimiento de la fdp real de las fuentes ( qi(si) )
se suple suponiendo que éstas tienen una fdp fija ( r(·) ).
-1donde NO se supone conocida la fdp real de =s A x
[ ] [ ]1
( )| ( ) log( ) ( )InfoMax
N
pK p dr s r s
φ = = ∫yy y s y y
Uni
vers
idad
Car
los
III
18
Aproximaciones de contrastesAproximaciones de orden superior− Están basados en los Cumulantes de orden 4
− Relación con otros estadísticos
− Para señales independientes
[ ]Cum Cum[ , , , ]
[ ] [ ] [ ]
[ ] [ ] [ ] [ ]
ijkl i j k l
i j k l i j k l
i l j k i k j l
y y y y
E y y y y E y y E y y
E y y E y y E y y E y y
=
= −
− −
y
[ ] 4 2 2kurt[ ]=Cum [ ] 3 [ ]iiii i iE y E y= −y y[ ]2 2
i =Cum [ ]ii iE yσ =y
[ ]Cum =kurt[ ]ijkl ijklδs s
![Page 10: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/10.jpg)
10
Uni
vers
idad
Car
los
III
19
Aproximaciones de contrastesAproximaciones de orden superior− Comon (1989, 1994) demuestra que el contraste
(ortogonal) de máxima entropía se puede aproximar por
• reduce la dependencia entre las entradas del
vector de salida en términos de los estadísticos de orden 4.
• se puede interpretar
como una “desgaussianización” del vector de salida.
[ ] [ ]( ) [ ]( )cte.2 2
Cum CumoME ijkl iiii
ijkl iiii iφ
≠
≈ =−∑ ∑y y y
[ ]( )2Cumijkl
ijkl iiii≠∑ y
[ ]( ) ( )2 2Cum kurt[ ]iiii ii i
y− = −∑ ∑y
Uni
vers
idad
Car
los
III
20
Mezcla y gaussianidadUn concepto clave en ICA/BSS es la “no gaussianidad”− La mezcla de variables aleatorias tiende a
“gaussianizarlas”.• Teorema Central del Límite
− Si además, las componentes del vector x tienen ruidogaussiano, el problema se agrava.
El contraste de Máxima Entropía puede interpretarse como un método que “desgaussianiza”las componentes del vector x
[ ] [ ]( ) ( )2 2min min Cum max kurt[ ]φ≠
⇔ ⇔∑ ∑oME ijkl i
ijkl iiii i
yB B B
y y
![Page 11: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/11.jpg)
11
Uni
vers
idad
Car
los
III
21
Kurtosis: medida de independenciaMedidas intuitivas de la “no gaussianidad”− Kurtosis (cumulante de cuarto orden)
• Si y tiene varianza unidad
• Las variables aleatorias gaussianas tienen kurtosis 0
{ } { }( )24 2kurt( ) 3y E y E y= −
{ }4kurt( ) 3y E y= −
•Fdp Laplaciana•Kurtosis positiva
•leptokurtic
•Supergaussiana
21( )2
yp y e−=•Fdp Uniforme•Kurtosis negativa
•platykurtic
•Subgaussiana
Uni
vers
idad
Car
los
III
22
Separación de gaussianas¿Por qué no se pueden separar señales gaussianas?− Incorrelación ⇔ Independencia
• Después del blanqueado, la kurtosis es nula.
( )2 21 2
21 2
1,2
y y
p y y eπ
+− =( )
2 21 2
2 21 22 2
1 21 2
1,2
s s
p s s e σ σ
π σ σ
− + =
Mezcla Blanqueado
![Page 12: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/12.jpg)
12
Uni
vers
idad
Car
los
III
23
Aproximaciones de contrastesAproximaciones de orden superior− JADE: Cardoso (1993, 1999) propone un contraste
“reducido-aproximado” diagonalización conjunta
− MaxKurt: en el caso de que las fuentes tengan kurtosis con el mismo signo, se puede derivar, a partir de
[ ] [ ]( ) [ ]( ) ( )cte.2 2 2Cum Cum kurt[ ]φ
≠
≈ = − = −∑ ∑ ∑oME ijkl iiii i
ijkl iiii i i
yy y y
[ ] [ ]cte.
4
1Cum
NoKurt iiii i
i iE yφ
=
≈ − = − ∑ ∑y y
[ ] [ ]( )2º CumJADE ijkl
ijkl iikl
φ≠
= ∑y y
Uni
vers
idad
Car
los
III
24
Aproximaciones de contrastesAproximaciones de orden superior− Máxima verosimilitud:
• Error cuadrático entre cumulantes de segundo y cuarto orden de la fdp de la salida y la propuesta para los datos
− Amari (1996) propone emplear estos cumulantes para aproximar el contraste ML
[ ] [ ] [ ]( ) [ ]( )22 22 Cum Cum Cumij ij ij i ij
ij ijφ σ δ= − = −∑ ∑y y s y
[ ] [ ] [ ]( ) [ ] ( )( )22 24 Cum Cum Cum kurt[ ]ijkl ijkl ijkl i ijkl
ijkl ijklsφ δ= − = −∑ ∑y y s y
[ ] ( )2 4 241[ ] | 12 [ ] [ ] [ ]48ML Kφ φ φ φ= ≈ + =y y s y y y
![Page 13: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/13.jpg)
13
Uni
vers
idad
Car
los
III
25
Aplicación contrastes en BSSAplicación al problema de separación ciega
Supongamos dos fuentes s1 y s2 independientes con kurtosis kurt(s1) y kurt(s2)Si las mezclamosSi blanqueamos
Problema ICA: » Encontrar matriz de rotación U
» con la que se consiga independencia ⇔max. no gaussianidad⇔min. contraste
» Según Máxima Entropía,
» y la solución es
2 1 2 2 2 1× × ×=x A s1
2 1 2 2 2 2 2 12
cos sinsin cos
ss
φ φφ φ× × × ×
− = =
z W A s
[ ] 24 41 2min cos ( ) kurt( ) sin ( ) kurt( )ME s s
ϑφ ϑ φ ϑ φ= + + +y
s1
s2
x1
x2
y1
y2
z2
z1
2 1 2 2 2 2 2 2 2 1
2 2 2 1
× × × × ×
× ×
==
y U W A sC s
A
W
U
2 2
cos sinsin cos
ϑ ϑϑ ϑ×
− =
Uφ
ϑ φ= −
[ ]minϑφ y
Uni
vers
idad
Car
los
III
26
Aproximaciones sinusoidalesContraste ME
[ ] [ ]( ) [ ]( )22 CumCum yyy jjjjiiiiME −−=φ
z1
z2
βρ
y2
y1
γ=θ+ β
2γ4
2γ2γ4ργ4 32
121
163
41
ccccME κκκκκφ −−−+=
0 4020 60 80-3
-2
-1
0
1
2
3
+
_
![Page 14: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/14.jpg)
14
Uni
vers
idad
Car
los
III
27
Aproximaciones sinusoidalesContraste SICA
[ ] [ ]( ) [ ]( )22 CumCum yyy jjjjiiiiME −−=φ
2γ4
2γ2γ4ργ4 32
121
163
41
ccccME κκκκκφ −−−+=
( )24γ ρ 4γ 2γ
1 3 1 44 16 2SICA c c c fφ κ κ κ κ θ= + − − =
Se elimina (SICA)
Min. φºSICA1flop
Min. φºME1400 flops Separación
Máxima Mezcla
0 0,5 1 1,5Rotación (rad)
φºSICAφºME
θ
Uni
vers
idad
Car
los
III
28
Blanquear
z1
z3
z2
y1
y3
y2
x1
x3
x2
yj
yi
θij
x
z
Mientras no se llegue a separación:•Aplicar SICA en cada plano bidimensional yi,yj:
Se calculan momentos Mij4
Se calcula θij que minimiza φSICA(θij, Mij
4), y se rota.
y
SICA: N dimensiones
![Page 15: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/15.jpg)
15
Uni
vers
idad
Car
los
III
29
Inicializar Momentos, M4
Blanquear
Mientras no se llegue a separación:•Aplicar SICA en cada plano bidimensional yi,yj:
Se calculan rotan momentos M4: Mij4
Se calcula θij que minimiza φSICA(θij, Mij4) y
se rota.
y
M4 requiere ¼ de la memoria necesaria en el
JADE
El número de operaciones disminuye
SICA inicializado: ISICA
Uni
vers
idad
Car
los
III
30
2 4 6 8 10 120
1
2
3
4
η n
Número de fuentes, N.
n=50 n=100n=200n=300
n=103
n= 1010SICA
ISICA
OSICA¿Cuándo usar inicialización?
¿Cuando n >>0? (Cardoso , 1999)
MACsno inicializado
ηn=MACsinicializado
(n : número de muestras)
SICA si N≥8ISICA si N<8
![Page 16: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/16.jpg)
16
Uni
vers
idad
Car
los
III
31
0.5 1 1.5 2
-10-505
Indi
cede
Sepa
raci
ón (d
B)
0.5 1 1.5 20
2
4 x 107
Flop
s
0.5 1 1.5 20123
Tiem
po C
PU (s
g)
Muestras x 104
JADE ME (Comon)
ISICA SICA
SICA
6 fuentes uniformemente distribuidas
Uni
vers
idad
Car
los
III
32
SICA
0.1 0.2 0.3 0.4 0.51520253035
Indi
cede
Sepa
raci
ón (d
B)
0.5 1 1.5 20
2
4x 108
Flop
s
0.5 1 1.5 20
10
20
Tiem
po
CPU
(sg)
ISICA SICA JADE ME (Comon)
Muestras x 104
12 fuentes:− 9 uniformentedistribuidas− 3 gaussianas al cubo
![Page 17: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/17.jpg)
17
Uni
vers
idad
Car
los
III
33
Parte III
Gradiente natural y relativo
Uni
vers
idad
Car
los
III
34
Escenario en BSS
En espacios euclídeos, la ley de aprendizaje basada en el gradiente (estocástico) permite alcanzar una solución:
− El algoritmo es estable cuando el contraste es mínimo.Problema − el espacio de las matrices “invertibles” B no es euclídeo.
Algoritmos adaptativos de BSS
1 ( )t t tλ φ+ = − ∇B B B
Axt Bt
ytst
1−≈B AMezcla
Separación
![Page 18: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/18.jpg)
18
Uni
vers
idad
Car
los
III
35
Gradiente relativoGradiente convencional: espacio euclídeo− la transformación infinitesimal de B se expresa como
Gradiente relativo: − la transformación infinitesimal de B se expresa como
( )→ + = +B I B B Bεε
→ +B B ε
B+B Bε
+B εEspacio de las
matrices de separación
Uni
vers
idad
Car
los
III
36
Gradiente relativoGradiente convencional: espacio euclídeo
Gradiente relativo:
Comparación:
( | () ( ) ( ) )oφ φ φ+ ∇ += +B B Bε ε ε
, 1
donde |N
Tij ij
i j
Traza A B=
= = ∑A B A B y ( )ijBφφ ∂
∇ =∂
B
( | () ( ) ( ) )oφ φ φ+ ∇ += +B B B B Bε ε ε
ˆ ( ) ( ) Tφ φ∇ ∇=B B B
B+B Bε
+B εEspacio de las
matrices de separación
ˆ ( )φ∇ B( )φ∇ B
ˆ( | () ( ) ( ) )oφ φ φ+ ∇ += +B B B Bε ε ε
![Page 19: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/19.jpg)
19
Uni
vers
idad
Car
los
III
37
Gradiente naturalGradiente natural:− Planteamiento: encontrar dB que minimiza
Comparación:
( |) ( ) ( )d dφ φ φ+ ∇= +B B B B B2 2teniendo en cuenta que d ε=B
B+B Bε
+B εEspacio de las
matrices de separación
ˆ ( )φ∇ B( )φ∇ B
min ( )d
dφ +B
B Bd+B B
( )φ∇ B gradiente natural
ˆ( ) ( ) ( ) Tφ φ φ∇ ∇ ∇= =B B B B B B
Uni
vers
idad
Car
los
III
38
Gradiente convencional y natural(a) Gradiente convencional(b) Gradiente natural
![Page 20: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/20.jpg)
20
Uni
vers
idad
Car
los
III
39
Gradiente convencional y naturalGradiente convencional y natural
Uni
vers
idad
Car
los
III
40
Algoritmo de aprendizajeAlgoritmo basado en el Gradiente convencional:
− En el caso de emplear ML:
• Teniendo en cuenta que
Por tanto
• y que
1 ( )t t tλ φ+ = − ∇B B B
( )( )-11 ( )
TTt t tλ ϕ+ = − −B B y y I B
( ) 1( ) log ( ) ( )= = ( )
( )y k k i i
j i i jij i i
p q y d q y x yB q y
ϕ −∂ − ′
− ∂
∫ y yB y
[ ] [ ]1 1
( )( ) | ( ) ( ) log
( ) ( )y
ML ML y yN N
pK p q p d
q s q sϕ ϕ = = = ∫
yy Bx y s y y
.( ) ( ) log ( ) log det( )
cte
y yH p p d= − =∫y y y y B
( )1( )T
H −∇ =B y B
![Page 21: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/21.jpg)
21
Uni
vers
idad
Car
los
III
41
Algoritmo de aprendizajeAlgoritmo basado en el Gradiente natural:
− En el caso de emplear:
Algoritmo basado en el gradiente relativo
B+B Bε
+B εEspacio de las
matrices de separación
ˆ ( )φ∇ B( )φ∇ B
min ( )d
dφ +B
B Bd+B B
( )φ∇ B gradiente natural
1 ( )t t tλ φ+ = − ∇B B B
( )1 ( )Tt t tλ ϕ+ = − −B B y y I B
[ ]MLφ y
1, ,
( )siendo ( ) "score function"( )
T i i
i i i N
q yq y
ϕ=
′= − …
y
( )1 ( )Tt t λ ϕ+ = − −B B y y I
ˆ( ) ( ) ( ) Tφ φ φ∇ ∇ ∇= =B B B B B B
Uni
vers
idad
Car
los
III
42
Algoritmo de aprendizajeAlgoritmo ML − Gradiente natural:
− Gradiente relativo
− Gradiente convencional− ¿ϕ(y)?: si no se conoce, se emplean funciones no
lineales y3, y5, ...• Al multiplicar ϕi(yi) por yj se generan productos cruzados
( )1 ( )Tt t tλ ϕ+ = − −B B y y I B
( )1 ( )Tt t λ ϕ+ = − −B B y y I
ϕ(y)
y
( )( )11 ( )
TTt t tλ ϕ −+ = − −B B y y I B
![Page 22: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/22.jpg)
22
Uni
vers
idad
Car
los
III
43
Algoritmo de aprendizaje¿ϕ(y)?: − Supongamos una fdp Laplaciana
[ ] 1, ,1, ,
( )entonces ( ) sgn( )( )
T i ii i N
i i i N
q y yq y
ϕ=
=
′= − =
……
y
ϕ(y)
y
21( )2
yiq y e−=
Uni
vers
idad
Car
los
III
44
[ ] 0)sgn(E 12 =−+−= dcbayy
Centros de masa de cada cuadrante
y1
y2y2
y1
abc
d
( )( ) kH
kkkk BIyyBB −−=+ sgn1 λ
Máxima Verosimilitud, Gradiente Natural
( ) ( )( ) kH
kkkk Iλ ByyBB −−=+ sgn1 ϕ
Momentos de orden superior
La función signo: centro de masa
![Page 23: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/23.jpg)
23
Uni
vers
idad
Car
los
III
45
Versión Ortogonal: Median-EASIEl algoritmo EASI (Equivariant Adaptive Separation via Independence) actualiza la matriz de separación según la siguiente ley de aprendizaje:
Blanqueado Rotación
( ) kH
kkHkk
Hkkkk ByyyyIyyBB )()(1 ϕϕ −+−−=+ λ
Median-EASI:
( ) kH
kkHkk
Hkkkk ByyyxIyyBB )(sgn()sgn()()sgn(1 ϕϕ )−+−−=+ λ
Uni
vers
idad
Car
los
III
46
M-EASI: Recuperación de fases
EASI
M-EASI
![Page 24: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/24.jpg)
24
Uni
vers
idad
Car
los
III
472000 4000 6000 80000
10
20
Muestras
Indi
cede
Sep
. (dB
) EASI M-EASI
2000 4000 6000 80000
10
20
Muestras
Indi
cede
Sep
.(dB
) EASI M-EASI
M-EASI: mezclas ruidosas
Con ruido
Sin ruido
Uni
vers
idad
Car
los
III
48
Estabilidad: caso regular
-4 -2 0 2 4
κi-γj
4
2
κi-γj 0
-2
-4
Estable
ML,Gradiente NaturalML,Gradiente Mediana
![Page 25: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/25.jpg)
25
Uni
vers
idad
Car
los
III
49
Parte IV
Aplicaciones
Uni
vers
idad
Car
los
III
50
SICA en ECG Fetal
ECG
![Page 26: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/26.jpg)
26
Uni
vers
idad
Car
los
III
51
ECG
SICA en ECG Fetal
Uni
vers
idad
Car
los
III
52
SICA en ECG Fetal: Carga Computacional
Método FlOps Tiempo de CPU
SICA 6.7 106 0.52
JADE 15.1 106 (∆ = 125%) 0.69 (∆ = 32%)
![Page 27: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/27.jpg)
27
Uni
vers
idad
Car
los
III
53
x1
x2
x3x’3
x’2
x’1
x y=Bx x’
Se Obtienen Registros
ERP
ICA Componentes Independientes
El personal especializado selecciona una componente para proyectarla en el cuero cabelludoB B-1
SICA en ERP- EEG
Uni
vers
idad
Car
los
III
54
SICA en ERP- EEG
![Page 28: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/28.jpg)
28
Uni
vers
idad
Car
los
III
55
SICA en ERP- EEG
Uni
vers
idad
Car
los
III
56
SICA en EEGCarga Computacional y Separación
Método FlOps Tiempo de CPU (sg) p.v.a.f
SICA 6.5 106 0.61 97%
E. Infomax 49.7 106 (∆ = 664%) 3.19 (∆ = 422%) 88%
JADE 40.2 106 (∆ = 518%) 2.09 (∆ = 242%) 95%
![Page 29: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/29.jpg)
29
Uni
vers
idad
Car
los
III
57
CDMA y BSSSistema CDMA con N-usuarios:
La señal recibida x es la superposición de las señales ensanchadas de los N usuarios más ruido aditivo gaussiano.
b1
b2
bN
...
code1
code2
codeN
L chips
P1
P2
PN
ruido
L chips
1L1NNL1L nbΗx ×××× +=
NL×H
BSS permite recuperar b a partir de x sin conocer H→ independencia estadísitica
Uni
vers
idad
Car
los
III
58
Arquitectura del Rx CDMAArquitectura RX ciego para CDMA
− El separador de subespacio proyecta el espacio de entrada (L) en el subespacio de señal (N) : SVD, MPLL (Barry 1998), ...
− El bloque separador recupera los usuarios.
Rx CDMA Ciego
Canal=f(H)xt zt yt
L x N N x L N x N
bt
γt
Separador
SubespacioBSS
S
![Page 30: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/30.jpg)
30
Uni
vers
idad
Car
los
III
59
Subespacio I-WR (semiciego)
Subespacio I -MEASI (ciego)
Subespacio II-MEASI (ciego)
MMSE
Filtro Adaptado
Rx CDMA: MUD
0 1000 2000 3000 40000
5
10
15
208 Usuarios SNR: 20 MAI: 0
SIN
R (d
B)
Muestras
0 1000 2000 3000 40000
5
10
15
20
SIN
R (d
B)
8 Usuarios SNR: 20 MAI: 30
Muestras 0 1000 2000 3000 4000
0
5
10
15
20
SIN
R (d
B)
8 Usuarios SNR: 20 MAI: 15
Muestras 0
Uni
vers
idad
Car
los
III
60
Rx CDMA: BER
0 2 4 6 8 10 12
10-4
10-3
10-2
10-1
8 usuarios y MAI: 15
BER Rx's con M-EASI
Otro Rx ciego (1998)
SNR
Filt. Adap
MMSE
![Page 31: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/31.jpg)
31
Uni
vers
idad
Car
los
III
61
Descomposición imagen
ICAB
Procesado componentes
Composición imagen
I xt yt
X=
I=n
m/k x n/k
k x k
m
xt
Procesado ICA de imagen
Uni
vers
idad
Car
los
III
62
Descomposición Imagen BG
InserciónComponentes
Composición Imagen
B-1G
Descomposición Marca BM
Extraccióncomponentes
marca
Descomposición imagen selladaBG
Composición MarcaB-1
W
ManipulacionesAtaques
Procesado ICA de imagen
![Page 32: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes](https://reader033.fdocument.pub/reader033/viewer/2022041414/5e1a29aa9d7bc70eb46ac21c/html5/thumbnails/32.jpg)
32
Uni
vers
idad
Car
los
III
63
Sellado Robusto
Sella
do R
obus
to
Orig
inal
Rec
orte
y ru
ido
JPEG
80%
Suav
izad
o
Uni
vers
idad
Car
los
III
64
Sella
do R
obus
to
Orig
inal
Rec
orte
y ru
ido
JPEG
80%
Suav
izad
o