Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales...
Transcript of Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales...
![Page 1: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/1.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 1
C261-69
Tópicos Avanzados:
Redes Neuronales Artificiales
Dra. Ma. del Pilar Gómez Gil
Primavera 2013 [email protected], [email protected]
V:22-Ene-13
![Page 2: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/2.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 2
Objetivo del curso
Introducir a estudiantes de posgrado en los
tópicos fundamentales de las Redes
Neuronales Artificiales (RNA) y desarrollar
habilidades para su uso en la solución de
problemas.
![Page 3: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/3.jpg)
Página de recursos del curso:
http://ccc.inaoep.mx/~pgomez/cursos/redes%20neuronales%20artificiales/
(c) 2008-2013. P. Gómez-Gil, INAOE 3
![Page 4: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/4.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 4
Redes Neuronales Artificiales...
están inspiradas en las neuronas biológicas
tienen habilidades de aprendizaje automático, generalización y abstracción.
Con estos modelos pueden resolverse una gran variedad de problemas de reconocimiento, aproximación, predicción, clasificación, optimización etc.
![Page 5: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/5.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 5
Objetivos específicos del curso
Conocer los conceptos fundamentales de las RNA y brevemente su
historia.
Identificar las situaciones donde las soluciones basadas en modelos de
RNA son factibles.
Entender el funcionamiento de las arquitecturas mas populares de RNA
Dominar detalladamente la aplicación del modelo de aprendizaje de retro-
propagación y SOM
Conocer un modelo recurrente básico de RNA manejado a través del
algoritmo de aprendizaje de retro-propagación a través del tiempo, sus
aplicaciones y limitaciones.
Conocer aplicaciones actuales de los modelos estudiados
Conocer y comentar de manera general otros modelos de RNA y sus
posibles aplicaciones en reconocimiento de patrones y predicción.
![Page 6: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/6.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 6
Las RNA forman parte
del campo conocido
como Inteligencia
Computacional
![Page 7: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/7.jpg)
Que es “inteligencia”?
Según el diccionario Merriam-Webster:
“Es la habilidad de aprender, entender o
enfrentar nuevas situaciones;
Es la habilidad de aplicar conocimiento para
manipular el medio ambiente;
Es la habilidad de pensar de manera
abstracta; puede medirse con criterios
objetivos obtenidos de pruebas.
(c) 2008-2013. P. Gómez-Gil, INAOE 7
![Page 8: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/8.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 8
Qué es Inteligencia
Computacional?
![Page 9: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/9.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 9
![Page 10: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/10.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 10
http://cis.ieee.org/about-cis.html
![Page 11: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/11.jpg)
11
Mapa Conceptual de Inteligencia Computacional [Eck et al. 2006]
![Page 12: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/12.jpg)
12
Mapa conceptual Simplificado [Eck et al 2006]
* Eck, J. et al .”Visualizing the Computational Intelligence field.” IEEE
Computational Intelligence Magazine Nov. 2006.
![Page 13: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/13.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 13
La Computación “Convencional”
PASOS PARA LA SOLUCION DE PROBLEMAS EN COMPUTADORA
1. Desarrollo de una formulación matemática.
2. Desarrollo de un algoritmo para implementar la solución
matemática.
3. Codificación del algoritmo en un lenguaje específico.
4. Ejecución del código.
![Page 14: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/14.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 14
Estados del procesamiento
computacional
DATOS
MUESTRAS
INFORMACIÓN
PREDICCIÓN
![Page 15: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/15.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 15
Operaciones típicas de la
computación convencional (1/3)
Procesamiento de señales
Supresión de ruido.
Transformación
Filtrado.
Extracción de características.
![Page 16: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/16.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 16
Operaciones típicas de la
computación convencional (2/3)
Procesamiento de Datos
Aproximación numérica.
Determinación de modelos.
Producción numérica
Ordenamiento.
![Page 17: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/17.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 17
Operaciones típicas de la
computación convencional (3/3)
Procesamiento de Conocimiento
Identificación
Entendimiento de escenas
Razonamiento
Predicción
![Page 18: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/18.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 18
Éxitos de la Computación
Convencional
Muy eficiente en la solución a
problemas matemáticos complejos y de
simulación.
Muy eficiente realizando tareas
repetitivas y bien definidas.
![Page 19: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/19.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 19
Fracasos de la Computación
Convencional
Muy ineficiente resolviendo problemas de reconocimiento, tales como:
Reconocimiento de imágenes
Reconocimiento de voz
Muy ineficiente con adaptación y aprendizaje.
Muy ineficiente con problemas de percepción.
![Page 20: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/20.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 20
Algunas Características
de los Sistemas Biológicos
Aún los organismos mas primitivos tienen herramientas
sofisticadas de PERCEPCION.
Muestran gran capacidad de ADAPTACIÓN y
APRENDIZAJE.
Pueden conseguir éxito aún con dispositivos bastante
lentos (con un tiempo de respuesta en décimas de
milisegundos) poco exactos o a veces, incluso si están
dañados.
![Page 21: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/21.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 21
Conclusión 1.
Los seres humanos no tienen mucho éxito
en tareas que las computadoras
convencionales realizan excelentemente,
y viceversa.
![Page 22: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/22.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 22
Características de la Computación Biológica
Masivamente paralela
Altamente interconectada
Tolerante al ruido en el medio ambiente y en sus componentes
Gran variabilidad y especialización en sus componentes.
Adaptable al medio
Lenta
Baja en precisión
Desarrollo evolutivo hacia sistemas más complejos
www.invdes.com.mx
![Page 23: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/23.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 23
Conclusión 2
Los sistemas biológicos utilizan estrategias
de procesamiento muy diferentes a los
sistemas de cómputo convencionales.
![Page 24: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/24.jpg)
Existen los sistemas adaptivos inteligentes
(Smart Adaptive Systems)?[Gabrys 2005]
Actualmente hay muchos intentos
prometedores usando RNA, sistemas
difusos, métodos de aprendizaje de
máquina y teoría de aprendizaje y
computación evolutiva, útiles cuando
pueden recolectarse datos de
entrada/salida
A estas técnicas se les conoce como
“cómputo suave” (c) 2008-2013. P. Gómez-Gil, INAOE 24
![Page 25: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/25.jpg)
Niveles de adaptación de un
SAS [Gabrys 2005]
1. Adaptación a un medio ambiente cambiante. El sistema se adapta a cambios suaves en el medio ambiente. Ejemplo, sistemas de preferencias de clientes en comercio electrónico.
2. Adaptación sin una guía explícita. El medio ambiente cambia en sí mismo, mas que sus características. Ejemplo, el sistema tiene que transferirse a otra planta, sin necesidad de definir explícitamente parámetros.
3. Adaptación a aplicaciones nuevas/desconocidas. (Problema abierto). Empezando con información muy limitada, es posible construir al sistema a través de aprendizaje incremental.
(c) 2008-2013. P. Gómez-Gil, INAOE 25
![Page 26: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/26.jpg)
Requerimientos de los SAS [Kasabov 2002]
1. Deben tener estructuras abiertas, extendibles y ajustables
2. Deben adaptarse en línea, de forma incremental y durante toda su vida, de manera que nuevos datos son usados tan pronto como estén disponibles
3. Deben aprender rápido, de una gran cantidad de datos, idealmente en modo de “un solo paso”
(c) 2008-2013. P. Gómez-Gil, INAOE 26
![Page 27: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/27.jpg)
Requerimientos de los SAS [Kasabov 2002]
4. Un SAS deberá tener una memoria capaz de añadir, consultar o eliminar piezas individuales de datos e información.
5. Un SAS deberá ser capaz de mejorar su desempeño, a través de interactuar con otros sistemas y con el medio ambiente, de una manera jerárquica y modular.
6. Un SAS deberá representar adecuadamente el tiempo y el espacio en diferentes escalas, memoria de corto y largo plazo, edad etc.
7. Un SAS deberá ser capaz de auto-mejorarse, analizar su propio desempeño y explicar que ha aprendido acerca de un problema que esté resolviendo
(c) 2008-2013. P. Gómez-Gil, INAOE 27
![Page 28: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/28.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 28
Que Son las Redes Neuronales
Artificiales?
Las Redes Neuronales Artificiales (R.N.A.) son modelos matemáticos inspirados en sistemas
biológicos, adaptados y simulados en computadoras convencionales.
Los elementos que las conforman se asemejan a las neuronas biológicas.
[Wasserman 89]
![Page 29: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/29.jpg)
Una definición mas amplia de Redes
Neuronales Artificiales…
“Una red neuronal es un procesador masivamente paralelo y distribuido hecho de unidades procesadoras simples, las cuales son de manera natural propensas a almacenar conocimiento adquirido de la experiencia y hacerlo útil. Se parece al cerebro en dos aspectos: 1. La red neuronal adquiere el conocimiento del medio
ambiente, a través de un proceso de aprendizaje
2. La fuerza de conexión entre los neurones, conocida como los pesos sinápticos, se utiliza para almacenar el conocimiento adquirido ” [Haykin 1999]
(c) 2008-2013. P. Gómez-Gil, INAOE 29
![Page 30: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/30.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 30
Componentes básicos de las RNA
1. Elementos de procesamiento: Neurones
2. Regla de activación de los elementos.
3. Topología de interacción entre los elementos de
procesamiento.
4. Regla de propagación a través de las conexiones.
5. Regla de aprendizaje.
6. Medio ambiente en el que el sistema opera.
![Page 31: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/31.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 31
Características Principales de Las RNA
1. APRENDIZAJE. Una red neuronal puede modificar su comportamiento en respuesta al medio ambiente.
2. GENERALIZACION. Una vez entrenada, la red neuronal puede ser insensible a cambios en sus entradas.
3. ABSTRACCION. Una red neuronal puede determinar la esencia o características principales de un conjunto de datos.
![Page 32: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/32.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 32
OTROS NOMBRES DE LAS R.N.A.
Modelos Conexionistas (Connectionist
Models)
Procesamiento distribuído en paralelo
(Parallel Distributed Processing)
Sistemas neuronales artificiales (Artificial
Neural Systems or ANS)
![Page 33: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/33.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 33
Ejemplos de Profesionales
Involucrados con RNA
Biólogos
Psicólogos
Ingenieros Electrónicos
Ingenieros Civiles
Fisiólogos
Computólogos
Matemáticos
Etc.
![Page 34: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/34.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 34
Asociaciones Importantes
Relacionadas a RNA
IEEE Computational Intelligence:
http://ieee-cis.org/
Capítulo México de la IEEE-CIS
http://www.hafsamx.org/cis-chmexico/
Neural Networks Society
http://www.inns.org/
Sociedades de Reconocimiento de Patrones,
Control, Visión, etc.
![Page 35: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/35.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 35
Revistas relevantes al curso (1/2)
![Page 36: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/36.jpg)
Revistas relevantes al curso (2/2)
(c) 2008-2013. P. Gómez-Gil, INAOE 36
![Page 37: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/37.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 37
Miembros de la IEEE-CIS México
con el Prof. Zurada (Oct. 2006)
![Page 38: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/38.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 38
Miembros de la IEEE-CIS México
en el WCCI 2006
![Page 39: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/39.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 39
EVENTOS HISTORICOS IMPORTANTES
1943. W. McCulloch y W. Pitts publican "A Logical Calculus of the ideas imminent in nervious activity" in Bulletin of Mathematical Biophysics, 5: 115-33.
1949. D. O. Hebb publica el libro "Organization of Behavior" New York: Science Editions. La ley de aprendizaje especificada por Hebb ha sido la base para los algoritmos de entrenamiento de R.N.A.
Entre los años 50´s y 60´s un grupo de investigadores producen las primeras redes neuronales artificiales, implementadas con circuitos electrónicos. Entre ellos están Marvin Minsky, Frank Rosenblatt y Bernanrd Widrow.
1962. F. Rosenblatt publica el libro "Principles of neurodynamics". New York: Spartan Books, presentando las bases del perceptrón.
![Page 40: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/40.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 40
EVENTOS HISTORICOS IMPORTANTES
(2)
1969. M. Minsky y S. Papert publican "Perceptrons" Cambridge, MA: MIT Press. En este libro muestran que el perceptrón es teóricamente incapaz de resolver problemas muy simples. Se crea una fuerte desmotivación en la investigación del área.
1974. Paul J Werbos publica su tesis doctoral: “Beyond Regression: new tools for prediction and analysis in the behavioral sciences,” Harvard University, Cambridge, MA. En 1990, en el artículo “Backpropagation through time: what it does and how to do it” Procceding of the IEEE, Vol78, pp. 1550-1560, Werbos muestra que este trabajo corresponde al algoritmo de retro-propagación de Rumelhart et al.
1986. D. E. Rumelhart, G. E. Hinton y R. J. Williams publican "Learning internal representations by error propagation", en Parallel Distributed Processing, Vol I, pp 318-62. Cambridge MA: MIT Press. Acá presentan uno de los primeros algoritmos para entrenar redes neuronales de varios niveles, destruyendo el mito de Minsky y haciendo resurgir la investigacion en el área de R.N.A.
... Cientos de modelos y aplicaciones han surgido desde entonces....
![Page 41: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/41.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 41
La Neurona Biológica
![Page 42: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/42.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 42
El Cerebro Humano
Contiene más de 100 billones de elementos de proceso llamados neuronas,
Contiene cerca de 100 trillones de conexiones llamadas sinapsis
Es el mayor consumidor de energía del cuerpo humano. Siendo el 2% de la masa total del cuerpo, consume más del 20% del oxígeno.
![Page 43: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/43.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 43
Características de una neurona
Dependiendo de la región del cerebro y su
función, su diámetro va de una décima a una
centésima de milímetro (10 – 100 μm)
Está formada de 3 partes principales: Dentritas
Axon
Cuerpo
![Page 44: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/44.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 44
Dentritas
Reciben señales de otras células en puntos de conexión
llamados sinapsis. Las señales se pasan al cuerpo de la
célula, donde son "promediadas" con otras señales.
![Page 45: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/45.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 45
Axón y Cuerpo
Axón. Manda pulsos a otras células en caso de que el promedio
obtenido en el cuerpo de la célula sea suficientemente grande por determinado tiempo.
El axón tiene en la punta ramificaciones, cada una de las cuales termina con un botón sináptico ( o sinapsis) el cual se usa para transmitir información de un neurón a otro .
El axón puede medir desde menos de un milímetro hasta un metro.
Cuerpo. Es una fábrica química capaz de procesar y emitir señales, controlar la
energía del neurón, realizar actividades de mantenimiento, etc.
![Page 46: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/46.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 46
Un botón sináptico
![Page 47: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/47.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 47
Botones sinápticos
De Wilde, 1997
![Page 48: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/48.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 48
Interconectividad
Los neurones están altamente interconectados, teniendo alrededor de 104 botones sinápticos conectados a las dentritas de otros neurones.
La conectividad de las neuronas, más que su complejidad funcional, es lo que le da al cerebro su capacidad de procesamiento
![Page 49: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/49.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 49
Algunos Ejemplos de Aplicaciones de
RNA
Reconocimiento de caracteres manuscritos, impresos, de font antiguo, etc. .
Construcción de Memorias asociativas.
Reconocimiento de voz
Control de robots
Predicción de series de tiempo
Toma de decisiones administrativas, financieras etc.
Reconocimiento de enfermedades
Reconocimiento de señales de radio
Predicción de Señales y series de tiempo Caóticas
Generación de reglas para sistemas expertos
Aplicaciones en economía para predicción
Aplicaciones en geología, meteorología, astronomía
Aplicaciones en ....
![Page 50: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/50.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 50
ALCANCES Y LIMITACIONES DE LAS
RNA
Las R.N.A. no son la solución de todos los problemas, sino solo de aquellos en los que "las reglas de solución" no son conocidas, y existen suficientes datos ejemplos que permitan a la red aprender.
Las R.N.A. son hasta cierto punto impredecibles.
Las R.N.A. no pueden explicar como resuelven un problema. La representación interna generada puede ser demasiado compleja para ser analizada, aún y en los casos más sencillos.
![Page 51: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/51.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 51
Resumen de los Beneficios de los
Sistemas Neuronales Artificiales [Haykin
1994]
1. Son sistemas no lineales
2. Son capaces de hacer un mapeo entre entradas y salidas
3. Son adaptables
4. Pueden dar información sobre la confiabilidad de sus respuestas
5. Pueden dar información sobre el “contexto” de la selección
6. Son tolerantes a fallas
7. Son implementables en VLSI
8. Son universales en cuanto a su análisis y diseño
9. Presentan analogías con los sistemas biológicos
![Page 52: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/52.jpg)
Una solución basada en RNA
vale la pena si…
Las reglas de decisión de la solución no
se conocen explícitamente
Hay una gran cantidad de datos que
representan al problema…
(c) 2008-2013. P. Gómez-Gil, INAOE 52
![Page 53: Tópicos Avanzados: Redes Neuronales Artificiales Dra. Ma ...pgomez/cursos/redes neuronales artificiales... · EVENTOS HISTORICOS IMPORTANTES 1943. W. McCulloch y W. Pitts publican](https://reader030.fdocument.pub/reader030/viewer/2022033122/5e199223637a973a281c3c42/html5/thumbnails/53.jpg)
(c) 2008-2013. P. Gómez-Gil, INAOE 53
Bibliografía
Bell, T. E.”Games Engineers Play” The Institute IEEE. Sept. 2006. Vol 30, No. 3 www.ieee.org/theinstitute
De Wilde, Philippe. Neural Network Models. Second Edition. Springer. 1997
Eck, J. et al .”Visualizing the Computational Intelligence field.” IEEE. Computational Intelligence Magazine Nov. 2006.
Gabrys, B. Do Smart systems exists? – Introduction. StudFuzz 173, 1-17, 2005. Springer-Verlag.
Kasabov, N. Evolving connectionist systems – methods and applications in bioinformatics, brain study and intelligent machines, Springer Verlag, London-New York, 2002.
S. Haykin. Neural Networks, A comprehensive Foundation. MacMillan College Publishing Company. 1999
Wasserman 99. Artificial Neural Networks.