Mg. Samuel Oporto Díaz Lima, 15 octubre 2005 Agentes Inteligentes INTELIGENCIA ARTIFICIAL.
Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.
-
Upload
roberta-fidel -
Category
Documents
-
view
18 -
download
5
Transcript of Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.
![Page 1: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/1.jpg)
Introducción a las Redes Neuronales
Mg. Samuel Oporto Díaz
SISTEMAS INTELIGENTES
![Page 2: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/2.jpg)
22 /73/73
Tabla de Contenido
1. Objetivos
2. Neuronas Naturales
3. Inteligencia Artificial
4. Redes Neuronales
5. Aplicaciones
6. Tipos de Redes Neuronales• Redes de Nivel Simple• Redes de Nivel Múltiple
![Page 3: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/3.jpg)
33 /73/73
Objetivos• Presentar a las redes neuronales como una técnica
inspirada en las neuronas naturales.• Presentar el modelo matemático de las redes neuronales.• Exponer las redes neuronales de nivel simple y de múltiples
nivel.
![Page 4: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/4.jpg)
44 /73/73
NEURONAS NATURALES
![Page 5: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/5.jpg)
55 /73/73
Cerebro Humano• 1011 Neuronas
(procesadores)• Poder desconocido• 1000 – 10000
conecciones por neurona
• Capacidad basada en las conexiones.
• Cada neurona es muy compleja.
• Almacenamiento redundante.
• No binario, no estable y no síncrono.
![Page 6: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/6.jpg)
66 /73/73
Neuronas
¿Cómo funciona ?
Color
Sabor
Olor
Sonido
Tersura
Conexionesinformación
acciones
![Page 7: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/7.jpg)
77 /73/73
Unidad de Procesamiento: La Neurona
Cuerpo
DendritasAxon
Señal
Sinapsis
(Información)
![Page 8: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/8.jpg)
88 /73/73
Neurona en Reposo
![Page 9: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/9.jpg)
99 /73/73
Potencial de acción
Na+K+Na+K+
Na+K+Na+K+
![Page 10: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/10.jpg)
1010 /73/73
Propagación del potencial de acción
![Page 11: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/11.jpg)
1111 /73/73
Sinapis• Región donde las neuronas entran en contacto
– Los impulsos son transmitidos desde el axón de una neurona hacia las dentritas de otra neurona.
– Efecto excitatorio: estimula la acción de la neurona. – Efecto inhibitorio: efecto contrario
axón dendrita
![Page 12: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/12.jpg)
1212 /73/73
Conexiones del Sistema Nervioso.
GENÉTICO.• El niño nace con un conjunto de conexiones por defecto
(definidas genéticamente)
EXPERIENCIA.• Nuevas conexiones se crean en el proceso de aprendizaje.• Las conexiones se refuerzan con la repetición.• Las conexiones se refuerzan cuando se crean redes de
resonancia.
![Page 13: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/13.jpg)
1313 /73/73
Características del Sistema Nervioso• adaptabilidad • aprendizaje continuo
• distribución del procesamiento y del “almacenamiento”• alta redundancia• plasticidad (creación/modificación de sinapsis).• tolerante a fallas
• 10 a 100 billones de neuronas, cada una conectado a otras 10.000 neuronas
• Los humanos pierden prox. 1000 neuronas por dia.
![Page 14: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/14.jpg)
1414 /73/73
INTELIGENCIA ARTIFICIAL
![Page 15: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/15.jpg)
1515 /73/73
Inteligencia Artificial• Es una ciencia que intenta la creación de programas para
máquinas que imiten el comportamiento y la comprensión humana, que sea capaz de aprender, reconocer y pensar.
• Se orienta a la construcción de entidades inteligentes como a su comprensión.
• Usa una serie de técnicas.
![Page 16: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/16.jpg)
1616 /73/73
Técnicas de la IA• Sistemas Basados en Conocimiento.• Visión Computacional• Procesamiento de Voz y Lenguaje Natural• Lógica Difusa• Redes Neuronales• Computación Evolutiva• Sistemas Multiagente• Robótica• Aprendizaje Mecánico.• Técnicas Heurísticas (recocido simulado)
![Page 17: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/17.jpg)
1717 /73/73
Modelos Inspirados en la Naturaleza• Neuronas Red Neuronal• Evolución Natural Algoritmo genético• Experiencia Sistema Experto• Razonamiento Lógica Difusa• Enfriamiento de metales Recocido Simulado• Hormigas Colonia de Hormigas
![Page 18: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/18.jpg)
1818 /73/73
REDES NEURONALES
![Page 19: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/19.jpg)
1919 /73/73
Redes Neuronales.• Intento de producir sistemas de aprendizaje inspirados en
la naturaleza (basado en modelos abstratos de cómo pensamos y cómo funciona el cerebro)
• Modelo matemático inspirado en el funcionamientos de las neuronas biológicas
• Conformado por varias unidades de procesamiento (neuronas) interligadas por conexiones (sinapsis)
• Eficiente donde los métodos tradicionales son considerados inadecuados.
• El aprendizaje se logra en la actualización de esos pesos.
![Page 20: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/20.jpg)
2020 /73/73
Red Neuronal
Neuronas intermedias
Neuronas de salída
Neuronas de Entrada
Conexiones
Arquitectura
![Page 21: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/21.jpg)
2121 /73/73
Elemento Procesador
Señal
Entrada Salida
f
elementoprocesador
Entrada / Función de Transferencia / Salida
![Page 22: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/22.jpg)
2222 /73/73
Elemento ProcesadorEntrada / Función de Transferencia / Salida
![Page 23: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/23.jpg)
2323 /73/73
Elemento Procesador
n
k
1
u
...
...
X1
Xk
Xn
W1u
Wku
Wnu
Entrada Neta u = Xi Wiu
n
i 1
Yu = f (Entrada Neta u )
Yu = f ( Xi Wiu )
n
i 1
Yu
![Page 24: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/24.jpg)
2424 /73/73
Función de Transferencia
n
k
1
u
...
...
X1
Xk
Xn
W1u
Wku
Wnu
Entrada Neta u = Xi Wiu
n
i 1
Yu = f (Entrada Neta u )
Función de Activación o Transferencia
Yu = f ( Xi Wiu )
n
i 1
Yu
![Page 25: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/25.jpg)
Entrada Neta u = Xi Wiu
p
i 1
y = f ( Xi Wiu )
p
i 1
Elemento Procesador
Na+K+
Na+K+
Na+K+Na+K+
Na+K+Na+K+
![Page 26: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/26.jpg)
2626 /73/73
Valores de entrada / salida• Las señales de e/s de una RNA son generalmente
números reales• Estos números deben encontrarse dentro de un intervalo
• típicamente entre [0,1] o [–1,1]• Técnica de codificación mas simples es la binaria
2 5 9 3 0 5
6 2 1 3 5 4
3 4 5 7 3 1
5 5 2 3 1 4
![Page 27: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/27.jpg)
2727 /73/73
Conexiones • Semejantes a la sinapsis.
• Las unidades son conectadas a través de conexiones
• Codifican el conocimiento de la red– conexiones poseen valores asociados (pesos)
• Tipos de conexiones
– excitatorias wij > 0
– inhibitorias wij < 0
– inexistentes wij = 0
wij
![Page 28: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/28.jpg)
2828 /73/73
APLICACIONES
![Page 29: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/29.jpg)
2929 /73/73
Aplicaciones• Se usan para la clasificación y reconocimiento de
patrones.• Problemas donde es importante el patrón más que los
datos exactos.
• Aplicaciones:• Clasificación.• Predicción• Clustering• Aproximación de curvas• Optimización.• Reconocimiento de patrones.
![Page 30: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/30.jpg)
3030 /73/73
Clasificación
![Page 31: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/31.jpg)
3131 /73/73
Predicción
![Page 32: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/32.jpg)
3232 /73/73
Clustering
![Page 33: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/33.jpg)
3333 /73/73
Aproximación de curvas
![Page 34: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/34.jpg)
3434 /73/73
Optimización
![Page 35: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/35.jpg)
3535 /73/73
TIPOS DE REDES NEURONALES
![Page 36: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/36.jpg)
3636 /73/73
Topologia o Arquitectura de RN
A) Redes Feedforward (No recurrentes) Conexiones unidireccionales:
Una Capa:Perceptron, Adaline (ADAptive LInear Neuron),
Multicapa: MLP
Clasificación de RN por el tipo de sus Conexiones
![Page 37: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/37.jpg)
3737 /73/73
B) Redes Feedback (recurrentes)
Presenta conexiones de Retorno
Topologia o Arquitectura de RN
Redes de kohonen Redes de Base Radial
Clasificación de RN por el tipo de sus Conexiones
![Page 38: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/38.jpg)
3838 /73/73
Tipos de Aprendizaje ArtificialAprendizaje
Supervisado
Aprendizaje No Supervisado
??
![Page 39: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/39.jpg)
3939 /73/73
Aprendizaje Supervisado• Se logra comparando la salida de la red con la respuesta
correcta ya conocida por el MAESTRO.
• La diferencia de esta comparación permite ajustar los pesos de las conexiones entre sus neuronas, para buscar una salida mas aproximada a la correcta.
• El aprendizaje se da a través de un proceso iterativo de ajuste aplicado a sus pesos sinápticos
![Page 40: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/40.jpg)
4040 /73/73
Aprendizaje No Supervisado• No requiere influencia externa para ajustar sus pesos de
las conexiones entre sus neuronas.
• No recibe ninguna información del entorno que le indique si la salida generada respecto a una determinada entrada es o no correcta.
• Por ello se dice que estas RN son capaces de Autoorganizarce.
![Page 41: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/41.jpg)
4141 /73/73
Aprendizaje
¿Cómo aprenden?
Depende del tipo de red
![Page 42: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/42.jpg)
4242 /73/73
• Redes de nivel simple• Redes de Multiple nivel• Redes recurrentes
Tipos de Redes Neuronales
![Page 43: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/43.jpg)
4343 /73/73
REDES DE NIVEL SIMPLE
![Page 44: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/44.jpg)
4444 /73/73
Perceptrón• Separa espacio con hiperplanos
y = f ( w1 u1 + w2 u2 + ... + wn un ), f(s) = { 1 si s0, 0 si s<0 }
• Puede incluir offset w0.
• Importante históricamente– estudiado muy detalladamente (Minsky y Papert ‘69)
• Es un clasificador lineal en 2 clases.– bueno si patrones linealmente separables– problema XOR
wt.u=0
u1
u2
![Page 45: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/45.jpg)
4545 /73/73
Perceptrón
![Page 46: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/46.jpg)
4646 /73/73
Perceptrón
![Page 47: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/47.jpg)
4747 /73/73
Perceptrón
![Page 48: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/48.jpg)
4848 /73/73
Perceptrón
![Page 49: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/49.jpg)
4949 /73/73
Perceptrón
![Page 50: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/50.jpg)
5050 /73/73
Adaline• Adaptive Linear Element• Estructura:
– Como un Perceptrón pero con función lineal a la salida.
• Permite trabajar con problemas más generales que usando el perceptrón.
ippip
ppp
n
iii
xytw
ytE
wxwy
2
01
21
y=0
![Page 51: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/51.jpg)
5151 /73/73
Adaline
![Page 52: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/52.jpg)
5252 /73/73
Adaline
![Page 53: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/53.jpg)
5353 /73/73
REDES DE MÚLTIPLE NIVEL
![Page 54: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/54.jpg)
5454 /73/73
Perceptrón Multicapa• Werbos (1972)• Red lineal• Activaciones dependen:
– entradas– activaciones de neuronas
precedentes
• Derivadas ordenadas backpropagation
1
2
3
4
57
6Wij
1 Wij2
u1
u2
y1
y2
Wij3
u1
u2
y1
y21 2 3 4 5 6 7
i
i
j
ni
kkikjijii uwxwfx
1
1 1
0
![Page 55: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/55.jpg)
5555 /73/73
Perceptrón Multicapa
w11=1 w12=1w21=1 w22=1
w31=1 w32=-1.5b1=0.5 b2=1.5 b3=0.5
![Page 56: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/56.jpg)
5656 /73/73
Retropropagación• Procedimiento para encontrar el vector gradiente de una
función error asociada a la salida de la red con respecto a los parámetros de la misma
• El nombre backpropagation surge pues el cálculo se hace en el sentido inverso de la red, propagándose desde los nodos de salida hacia los nodos de entrada
• Esto permite poder aplicar a posteriori alguno de los muchos métodos de optimización con gradiente para obtener el comportamiento deseado de la red
![Page 57: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/57.jpg)
5757 /73/73
Retropropagación
f()
entradasPesos
k = capa
sumatoria
constanteb
función detransferenciaresultado
net =ok(n)salida
calculadayk(n)
x1(n)wk1 (n)
x2(n)
x3(n)
wk2 (n)
wk3 (n)ek(n) = dk(n) – yk(n)
salidadeseadadk(n)
ek(n)
![Page 58: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/58.jpg)
5858 /73/73
Función de transferencia
![Page 59: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/59.jpg)
5959 /73/73
Aprendizaje
entrada neta a ij i
salida de i
error de la salida k
error total
regla de aprendizaje
η: velocidad de aprendizaje
![Page 60: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/60.jpg)
6060 /73/73
Regla de Aprendizaje
Si j es una unidad de salida
Si no
![Page 61: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/61.jpg)
6161 /73/73
REDES RECURRENTES
![Page 62: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/62.jpg)
6262 /73/73
Redes de Base Radial• Red feed-forward• Combinación lineal de funciones base
o receptores dadas.• Funciones Base:
– Gaussianas, Logistic– Normalizadas en gral
• Aplicaciones– Aproximación funcional,
interpolación– Clasificación de datos– Clustering– Modelado y control de sistemas
dinámicos
Wix1
x2
y
N
i
x
i
N
iii
i
i
ewxRwxy1
2
1
2
2
.)(.)(
![Page 63: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/63.jpg)
6363 /73/73
Redes de Hopfield• Hopfield
– McCulloch-Pitts (1943): modelo discreto.– Recurrente, totalmente conectada
• Asociada con sistema dinámico• Actualización de activaciones
– Extensiones: Neuronas con constante de tiempo, uso de probabilidad en salida
– Concepto de energía y entropía desarrollado
• Aplicaciones– Descripción de sistemas cristalinos, y
fenómenos físicos asociados– Uso en optimización
• ej: TSP, distribución, despacho de carga
– Memoria asociativa• Deducir patrón asociado a partir de dato
parcial
– Representables en hardware• VLSI
uy
p
pj
piij
ijjiij
ij
jijii
i
ij
jiji
ij
jiji
XXN
W
XXWE
UXWfXdtdX
UXWgXP
UXWX
1
21
1
sgn
![Page 64: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/64.jpg)
6464 /73/73
Mapas Auto-Organizados• Self-organizing maps (Kohonen, 1982)• Identificar estructura en datos de trabajo
– conservan topología de datos• Hipótesis:
– Entradas similares producen salidas similares– Conjuntos entrada-salida similares agrupables
• Estructura– red de una capa
• distribución espacial especificada• capa competitiva
– entradas: dimensión de espacio– Pueden usarse neuronas con dinámica
• Neuronas competitivas - selección– Dada entrada, selecciona neurona con mayor
activación– Uso de pesos para inhibición lateral– Cooperación:
• Adaptación restringida a vecindad de neurona seleccionada
• Aplicaciones– Clasificación de datos, Clustering– Componentes principales (PCA)– Codificación
Entradas (u)
capa
2D
![Page 65: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/65.jpg)
6565 /73/73
MAPEADOR UNIVERSAL
![Page 66: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/66.jpg)
6666 /73/73
Mapeo Universal• Pregunta:
– Qué tipo de funciones puedo representar con una ANN?
• La idea se remonta al problema #13 de Hilbert (1900).– Representar función de N variables como combinación lineal de funciones
en una variable (bajar dimensionalidad del problema)
• Respuesta:– Puedo representar el conjunto de funciones “suaves”.
– Hay varias pruebas para diferentes arquitecturas
– Kolgomorov (1957)
– Cybenko (1960)
– Hornik (1989)
– Chen (1991)
![Page 67: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/67.jpg)
6767 /73/73
Mapeo Universal• Idea:
– Usando red con 2 capas ocultas es posible crear funciones tipo localizadas que combinadas pueden formar cualquier función “suave”
• Prueba intuitiva:– Fácil de ver en R2 R.– Red: y = ANN (x1,x2)
• Paso 1:– Que mapeo obtengo con una sola
neurona?• y = logsig(.x1)
• y = logsig(.x2)
![Page 68: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/68.jpg)
6868 /73/73
Mapeo Universal• Paso 2:
– Uso Perceptron Multicapa
– Puedo lograr “pico” en cualquier valor de x1 con red de 1 sola capa oculta
• el ancho del pico depende del valor de b.
– Puedo hacer lo mismo con x2.
x1
1
y
b
b
b-b
1
1-1
![Page 69: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/69.jpg)
6969 /73/73
Mapeo Universal• Paso 3:
– Agrupo redes en cada entrada en una sola red para combinar picos en x1 y x2.
– Ajustando parámetros puedo obtener un pico bien definido centrado en cualquier punto de R2.
x1
1y
b
b
b-b
1
1
-2
x2
1
b
b
b-b
1
1
![Page 70: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/70.jpg)
7070 /73/73
Mapeo Universal• Paso 4:
– Agregando una capa adicional• 2 capas ocultas
– Combinando estos picos se puede aproximar cualquier función de R2 R con el grado de error que desee.
x1
1
a
b1c1
-a 1
1
-2
x2
1
a
d1e1
-a 1
1
x1
1
a
bncn
-a 1
1
-2
x2
1
a
dnen
-a 1
1
y
f1
fn
![Page 71: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/71.jpg)
7171 /73/73
CONCLUSIONES• Las redes neuronales se aplican a resolver problemas de
reconocimiento de patrones.• Las redes neuronales de nivel simple, permiten reconocer
patrones donde el espacio puede ser divido en dos por un hiperplano.
• Las redes neuronales de múltiple nivel pueden reconocer patrones del tipo XOR.
• El aprendizaje de la red se realiza modificando los pesos de las conexiones.
• La arquitectura de la red es la disposición de las neuronas (capas y elementos por capa)
![Page 72: Introducción a las Redes Neuronales Mg. Samuel Oporto Díaz SISTEMAS INTELIGENTES.](https://reader033.fdocument.pub/reader033/viewer/2022061302/54e8b3444a7959127d8b47cc/html5/thumbnails/72.jpg)
7272 /73/73
PREGUNTAS