Introducción a las

REDES NEURONALES

Javier García

GILAB - UdG

Definición de neurona artificial

Memoria asociativa

Redes cibernéticas I: Perceptrón simple

Redes cibernéticas II: Perceptrón multicapa

Aplicaciones

Sumario

Neurona real

Neurona artificial

x

0.1

1

0.9

2 1.1 0.2

Ejemplo

x 1. 08fx tanhx 0.7932

Memoria asociativa

Memoria asociativa

1

Conjunto de neuronas interconectadas que evolucionan en el tiempo

a partir de un estado inicial hasta estabilizarse en uno de los posibles

estados finales.

Ejemplo: 4 neuronas

Utilidad? Sí, para recordar de forma estable

4

2

3

Memoria asociativa

s1t Valor neurona 1 en el tiempo t

s2t Valor neurona 2 en el tiempo t

s3t Valor neurona 3 en el tiempo t

s4t Valor neurona 4 en el tiempo t

Evolución en el tiempo

s1t 1 f1,1s1t 1,2s2t 1,3s3t 1,4s4t

s2t 1 f2,1s1t 2,2s2t 2,3s3t 2,4s4t

s3t 1 f3,1s1t 3,2s2t 3,3s3t 3,4s4t

s4t 1 f4,1s1t 4,2s2t 4,3s3t 4,4s4t

i,j 1N

sisj

Patrón a ‘recordar’:

Memoria asociativa Ejemplo

1 1 1 1

1 1 1 1

1 1 1 1

1 1 1 1

s 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1

5

13

9

4

8

12

16 14 15

12 13

16 17

10 111

Patrón para almacenar en memoria

sTs 1

16

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Memoria asociativa Ejemplo

5

Evolución (1 iteración)

s 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

s2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

fsT

Patrón inicial defectuoso

Patrón final almacenado

ir

Ejemplo online

Capacidad de la memoria asociativa:

Con N neuronas podemos guardar N patrones.

Perceptrón simple

Perceptrón simple

Input Output

s1

s2

1

2

Perceptrón simple

s1

s2

1

2

3

4

ejemplo

i,p

j, i

sj,p

s f Flujo hacia adelante:

j,p

i 1,2,3,4

j 1,2

p 1, . . . ,Np

Perceptrón simple

Back propagation learning simplificación: 0

error 12

p1

Np

j1

N2

deseoj,p salidaj,p 2 1

2 p1

Np

j1

N2

j,p sj,p 2

error 12

p1

Np

j1

N2

f2

errorj,i

p

ff p

j,pi,p

f x 1 f2x j,p j,p sj,p 1 sj,p

2

cambio en pesos errorj,i

p

j,pi,p

Perceptrón simple

IDEA

-4

-4

-2

-2

0 00 2

4

10

20z

30

40

50

y2x

4

f x2 y2

f

x x0,y0

2x0

f

y x0,y0

2y0

x1 x0 2x0

y1 y0 2y0

x1 1 2x0

y1 1 2y0

xn 1 2nx0

yn 1 2ny0

0.1

1 0.2 0.8 0

Perceptrón multicapa

Perceptrón multicapa

s1

1

2

Capa de entrada Capa oculta Capa de salida

s f1 1 S f2s 2

S f2f1 1 2

error 12

p1

Np

j1

N2

deseoj,p salidaj,p 2

Learning rule

Minimizar:

Aplicaciones

Perceptrón multicapa

s1

1

2

Puerta XOR

Entradas Salidas deseadas

11 0

21 0s11 0

12 1

22 0s12 1

13 0

23 1

14 1

24 1s14 0

s13 1

23

s13

Input 2

Patrón 3

Output 1

Patrón 3

Notación

Código XOR

Perceptrón multicapa

s1

1

2

-1.0 -0.8 -0.6 -0.4 -0.2 0.2 0.4 0.6 0.8 1.0

-2

-1

1

2

x

y

Ecuación de tercer grado

Código Ecuación

x3 ax b 0

x3 1x 1 0, Solution is: 0.68233

x3 0.1x 0.8 0, Solution is: 0.96421

x3 0.1x 0.2 0, Solution is: 0.528

x3 0.6x 0.2 0, Solution is: 0.29189

x3 0.1x 0 0, Solution is: 0

x3 0.7x 1 0, Solution is: 0.77180

x3 0.1x 0.8 0, Solution is: 0.89243

x3 0.3x 0.7 0, Solution is: 0.77596

Testeo de generalización

Más aplicaciones

- Movimiento de robots

- Predicción de estructura secundaria de las proteínas

- Aprendizaje pronunciación humana

- Reconocimiento de: escritura escrita, caras, clientes, etc..

- Predicción de series temporales (Bolsa)

- Clusterización: Agrupar datos aprovechando relaciones

escondidas (difíciles de detectar por humano)

Más aplicaciones

Gracias por vuestra atención