Seminario Cientfico Internacional 2008 de invierno (SCI 2008i) - Francisco Garca Fernndez. Dr. Ingeniero de Montes - Luis Garca Esteban. Dr. Ingeniero de Montes - Paloma de Palacios de Palacios. Dr. Ingeniero de Montes - Antonio Guindeo Casass. Dr. Ingeniero de Montes

Ctedra de Tecnologa de la MaderaEscuela Tcnica Superior de Ingenieros de MontesUniversidad Politcnica de MadridLAS REDES NEURONALES ARTIFICIALES Y SUSAPLICACIONES INDUSTRIALES

APLICACIONES INDUSTRIALES DE LAS REDES NEURONALESINTRODUCCIN / HISTORIA

TIPOS DE REDES NEURONALES ARTIFICIALES

MODELOS MS UTILIZADOS EN LA INDUSTRIAPERCEPTRON MULTICAPAREDES DE BASE RADIALREDES RECURRENTESMAPAS AUTOORGANIZATIVOS DE KOHONEN

UTILIZACIN DE LAS REDES NEURONALES EN LA INDUSTRIACONDICIONES DE USOPROCEDENCIA DE LOS DATOSDIVISIN DE LOS DATOSUSOS

EJEMPLOS

TIPOS DE REDES NEURONALESINTRODUCCIN.Estructura que intenta imitar algunas caractersticas de los sistemas biolgicos. Aprenden a resolver problemas en base al conocimiento extrado del entorno.

No hay una definicin precisa de ellas:Haykin, 1994. Conjunto de procesadores en paralelo capaces de almacenar informacin procedente de patrones conocidos y aplicarla a ejemplos desconocidos.El conocimiento se adquiere en la fase de entrenamiento.El conocimiento se almacena en las conexiones entre neuronas.Zurada, 1992. Conjunto de elementos fsicos interconectados capaces de almacenar y utilizar conocimiento.Prez Delgado y Martn Martn, 2003. Arquitecturas de procesamiento paralelo que ofrecen nuevos mecanismos aplicables a una amplia gama de problemas.

Comienzos:A partir de la dcada de 40s.McCulloch-Pitts (1943). Primer modelo matemtico de una RNA con salida binaria.Donald Hebb. Desarrolla el modelo matemtico de aprendizaje.Marvin Minsky (1951). Primeros resultados prcticos con RNAs.Frank Rosenblatt (1957). Desarrolla el percetrn.

TIPOS DE REDES NEURONALESDEPENDIENDO DEL TIPO DE APRENDIZAJESupervisado: A la red se le presenta la solucin a cada vector de entrada.No supervisado: No se presenta la solucin. Clasificadores.

TOPOLOGAFeedforward:Son redes con conexiones hacia delante.No se forman bucles internos entre capas.Feedback:Se forman bucles internos entre capas o intracapas.La salida de una capa depende de los valores anterioes.

TIPOS DE DATOSCategricasVariables discretas. CuantitativasVariables nmeros reales.

FeedbackFeedforward

MODELOS MS UTILIZADOS EN LA INDUSTRIAPERCEPTRON MULTICAPAArquitectura de neuronas con conexiones hacia delante.Aproximador universal para cualquier funcin continua y diferenciable en un compacto de nVentajasCapacidad de aprendes a partir de ejemplos.Aroximador de funciones no lineales.Filtrar ruido.Inconvenientes:Largo proceso de aprendizaje.Modelo no interpretable.Arquitectura:Capa de entrada.Capas ocultas.Capa de salida.Funciones ms comunes (tansig, logsig, purelin).Diseo:N de neuronas en la capa de entrada: Estudio previo del proceso.Variables correlacionadas.Variables no relevantes.N de neuronas de las capas ocultas y capas ocultas: Prueba y error.N de conexiones+n de neuronas

MODELOS MS UTILIZADOS EN LA INDUSTRIAPERCEPTRONProceso de aprendizaje:Aprendizaje supervisado.Inicializacin de los valores de la red.Clculo de la salida final.Obtencin del error de salida.Modificacin de los valores iniciales de forma que la funcin error tienda al mnimo.Repeticin de los pasos anteriores hasta alcanza el mnimo deseado.Capacidad de generalizacin:Caracterstica ms importante.La red puede aprender los ejemplos pero no generalizarlos.Se debe evaluar la capacidad de generalizacin durante el proceso.Conjunto de entrenamiento.Conjunto de validacin.Elegidos aleatoriamenteEntrenamiento: 70-80%.Validacin: 20-30%.Deben ser representativos de la poblacin, no debe haber diferencias significativas entre ellos.Introduccin de datos anmalos.Tcnica Early-stopping.

MODELOS MS UTILIZADOS EN LA INDUSTRIARED DE BASE RADIALRedes multicapa con conexiones hacia adelante.Menor tiempo de aprendizaje que el perceptron.Aproximadores universales.Arquitectura.Capa de entrada.Capa oculta.Slo una capa oculta.Funciones: Gauss, Cuadrtica inversa, Multicuartica inversa. Cada neurona de la capa oculta tiene un carcter local.Capa de salida.Diseo.N de neuronas de la capa de entrada: Variables implicadas en el proceso.N de neuronas de las capas ocultas y capas ocultas: Prueba y error.Proceso de aprendizaje.Aprendizaje hbridoCapa oculta: No supervisado. Determinacin de los centros y amplitudes.Capa de salida: supervisado. Determinacin de pesos y umbrales de salida.Aprendizaje totalmente supervisado.Se pierde el carcter local de la red.Red Radial vs. PerceptronPerceptron: Aproximaciones globales.Red radial: Aproximaciones locales.RBN

MODELOS MS UTILIZADOS EN LA INDUSTRIAREDES RECURRENTESRedes con conexiones recurrentes que crean bucles entre capas o intracapas.Aprendizaje lento y complejo.Facilita el tratamiento de informacin temporal o patrones dinmicos.El valor de un patrn en un determinado momento depende de los instantes anteriores de tiempo.

MAPAS AUTOORGANIZATIVOS DE KOHONENAprendizaje no supervisado.Arquitectura de dos capas:Capa de entrada: tantas neuronas como dimensin del vector de entrada.Capa de competicin: Conexiones laterales inhibitorias. Cada neurona compite por de forma que la entrada active slo a una de ellas.Proceso que realiza la red:Familiaridad: Similitud entre la entrada y un valor tipo (media de valores).Anlisis de componentes principales: Qu variables tienen ms preponderancia en el conjunto.Agrupamiento: Dividir el conjunto de entrada en subconjuntos.Codificacin: Compresin de datos, se reduce la dimensin del dato de entrada sin perder informacin.Extraccin de caractersticas: Puesta en relieve la estructura organizativa de los patrones de entrada.

UTILIZACIN DE LAS REDES NEURONALES EN LA INDUSTRIA

CONDICIONES DE USO

Disponemos de una gran cantidad de datos.El proceso de entrenamiento exige una gran cantidad de datos.El nmero depende de la complejidad de la red. Para una red con tres capas ocultas y una neurona en la capa de salida con una neurona tendremos:

Puede que no necesitemos tener totalmente definida la red. No necesitamos la mejor sino una que nos satisfaga.

No pretendemos interpretar el fenmeno sino predecir resultados.Un modelo fsico interpreta el fenmeno.Una RNA es una caja negra de imposible interpretacin.Las RNA predicen el resultado con muy buena precisin.

UTILIZACIN DE LAS REDES NEURONALES EN LA INDUSTRIAPROCEDENCIA DE LOS DATOSProcedentes de la produccin diaria.Son fieles a nuestra situacin productiva.Bajo coste de obtencin. Proceden del control diario de la produccin.Pueden no abarcar todo el rango de situaciones. Se debe procurar a la hora de seleccionarlos abarcar el mayor rango posible.

Procedentes de un diseo de experimentos.El diseo de experimentos permite abarcar todos las situaciones posibles de produccin.Mayor coste que los procedentes de produccin diaria.

Datos simulados.Se puede recurrir a ellos en caso de que no dispongamos de muchos datos.Libres de ruido.Menor coste de todos.Exigen un modelado matemtico de la produccin y esto no siempre es posible.

UTILIZACIN DE LAS REDES NEURONALES EN LA INDUSTRIA

USOSModelado de procesos.El entrenamiento se produce con datos procedentes de la produccin.La red reacciona de forma equivalente a nuestro proceso productivo.Permite optimizar el proceso.Se pueden realizar estudios de modificaciones en el proceso sin coste extra de ensayos.

Monitorizacin y control.Control de calidad del producto final.Datos de entrada fciles y rpidos de obtener.Tableros: Parmetros de fabricacin o ensayos de control de calidad rpidos.Cemento: Acortar el tiempo real de ensayos.Permite detectar de forma rpida fallos en el producto final.Dos tipos.Valor cuantitativo de una propiedad.Adecuacin a una especificacin.

EJEMPLOS

INDUSTRIAS AGRARIAS

INDUSTRIA CEMENTERA

INDUSTRIA FORESTAL

INDUSTRIA METALRGICA

INDUSTRIA PAPELERA

INDUSTRIA QUIMICA/FARMACETICA

INDUSTRIA TEXTIL

INDUSTRIAS AGRARIASReconocimiento y clasificacin de semillas y productos.Burks, T.F.; Shearer, S.A.; Heath, J.R.; Donohue, K.D. (2005). Evaluation of Neural-network Classifiers for Weed Species Discrimination. Biosystems Engineering. vol. 91(3), 293-304.Clasificacin de semillas.A partir de imgenes digitalesRedes vs. Mtodos estadsticos de clasificacin Kohonen, Red Radial, MLP 97% de aciertos frente al 93% del mtodo estadstico.

Granitto, P.M.; Navone, H.D.; Verdes, P.F.; Ceccatto, H.A. (2002). Weed Seeds identification by machine vision. Computers and electronics in agriculture. vol. 33, 91-103.Identificacin de semillas a partir de imgenesSe clasificaron correctamente el 99.5%de las imgenes.

Kavdir, I. (2004). Discrimination of sunflower, weed and soil by artificial neural networks. Computers and electronics in agriculture. vol. 44, 153-160.Discriminacin a partir de imgenes.MLP Error: 10-15%

Esquema de la red utilizada

INDUSTRIAS AGRARIASReconocimiento y clasificacin de semillas y productos.Marini, F.; Baliestrieri, F.; Bucci, R.; Magri, A.D.; Magri, A.L.; Marini, D. (2004). Supervised pattern recognition to autenticate Italian extra virgin olive oil. Chenometrics and intelligent laboratory systems. vol. 73, 85-93.Identificacin de 14 variedades de aceite (segn especie y procedencia) a partir de 10 parmetros qumicos.AcidezPalmticoOleicoEsterico.....90.6% de aciertos en el grupo de validacin.

Marini, F.; Magri, A.L; Bucci, R.; Magri, A.D.; Magri, A.L. (2007). Use of different artificial neural networks to resolve binary blends of monocultivar Italian olive oils. Analytica Chimica Acta. vol. 599, 232-240.Diferenciacin de tipos de mezclas de aceites.Combinacin de dos tipos de red.Kohonen para seleccin de muestrasMLP para la diferenciacinA partir de parmetros qumicos.R2: 0.91-0.96

INDUSTRIAS AGRARIASModelizacin de procesos de secado.Ceylan, , Akta. (2008). Modeling of a hazenut dryer assisted heat pump by using artificial neural networks. Applied Energy. vol. 85, 841-854.Modelizacin del proceso.Dos redes: MLPControl de velocidad de secado y humedad final: MLP [3-4-2]Control del tiempo de secado: MLP [3-2-1]

R2: 0.84-0.95

Hernndez-Prez, J.A.; Garca-Alvarado, M.A.; Trystram, G.; Heyd, B. (2004). Neural networks for the heat and mass transfer prediction during drying of cassava and mango. Innovative Food Science & Emerging Technologies. vol. 5, 57-64.MLP [5-3-2]Variables entrada: Temperatura, Tiempo, Contraccin volumtrica, Veloc. aire, %HRSalida:Temperatura y humedad de las muestrasR2= 0.91-1.00Esquema de las redes utilizadas

INDUSTRIAS AGRARIASModelizacin de curvas de sorcin.Myhara, R.M.; Sablani, S. (2001). Unification of fruit water sorption isoterms using artificial neural networks. Drying Technology. vol. 19(8), 1543-1554.GAB vs. RNA para 10 tipos de frutas.Entrada T y awSalida: EMCLa RNA da resultado inferior a la curva GABLa RNA permite incluir datos de la composicin qumica.

Myhara, R.M.; Sablani, S.; Al-Alawi, S.M.; Taylor, S.M. (1998). Water Sorption Isotherms of Dates: Modeling Using GAB Equation and Artificial Neural Network Approaches. Lebensn-Wiss. u Technol. vol 31, 699-706.MLP vs. GABMLP: R2=0.998GAB: R2=0.996MLP permite incluir datos de la composicin qumicaMLP no proporciona los valores de K, Cg y Xm.

Peng, G.; Chen, X.; Wu, W.; Jiang, X. (2007). Modeling of water sorption isotherm for corn starch. Journal of Food Engineering. vol. 80, 562-567.MLP vs. varios modelos de sorcin (GAB, Peleg, Henderson, Smith)MLP: 3% errorGAB: 6% error

Proceso de sorcin de un material higroscpicoCurva tpica de sorcinde un material higrscopico

INDUSTRIA CEMENTERAObtencin de las propiedades fsicas del hormign.Baykasolu, A.; Dereli, T.; Tani, S. (2004). Prediction of cement strength using soft computing techniques. Cement and Concrete Research. vol. 34, 2083-2090.MLP para la obtencin de la resistencia a la compresin a los 28 das. Frente a mtodos tradicionales de envejecimiento acelerado.Datos procedentes de produccin19 parmetros qumicos y fsicos de entradaMLP vs. Modelo lineal de regresin.MLP: R2=0.697Regresin lineal: R2=0.357

Gonzlez, B.; Martnez, M.I.; Carro, D. (2006). Prediction of the Consistency of Concrete by Means of the Use of Artifical Neural Networks. Artificial Neural Networks in Real-Life Applications. Ed. IDEA GROUP. London, UK. ISBN. 1-59140-904-7.Muestras preparadas en laboratorio.MLPEntrada: Composicin qumica y granulometra.Salida: Asentamiento del cono de Abrams (cm)

Asentamiento del cono de Abrams

INDUSTRIA CEMENTERAObtencin de las propiedades fsicas del hormign.Sbarti, Z.M.; Laurens, S.; Viriyametanont, K.; Balayssac, J.P.; Arligie, G. Non-destructive evaluation of concrete physical condition using radar and artificial neural networks. Construction and Building Materials. In press.Ensayos no destructivos2 MLPContenido de aguaAmplitud de la seal reflejadaAmplitud de la seal directaRetraso en la seal de reflexinContenido de cloruroIdemContenido de aguaR2(agua)=0.93; R2(Cl)=0.98 sobre el conjunto de validacin.

Yeh, I.C. (1998). Modeling of strength of high-performance concrete using artifical neural networks. Cement and Concrete Research. vol. 28, 1797-1808.Muestras preparadas ad hoc.MLP vs. Regresin mltipleMLP: R2=0.85-0.92Regresion: R2=0.71-0.79Entrada: densidad, contenido en agua, cenizas, % de finos, momento del ensayo.Salida: Resistencia a la compresin.

Seal de radar tpica

INDUSTRIA FORESTALControl de produccin.Cook, D.F.; Chiu, C-C. (1997). Predicting the internal bond strength of particleboard utilizing a radial basis function neural network. Engng. Applic. Artif. Intell. vol 10(2), 171-177.Red RadialObtencin de la cohesin interna a partir de parmetros de produccinMC, T prensas, Tiempo de prensado, T del secadero...Error: 12.5%Cook, D.F.; Whittaker, A.D. (1992). Neural network models for prediction of process parameters in wood products manufacturing. First Industrial Engineering Research Conference Proceedings. 209-211.MLPEntrada: Parmetros de produccinSalida: Por encima de especificacin-Perteneciente a especificacin-Por debajo de especificacin.Garca Fernndez, F.; Garca Esteban, L.; de Palacios, P.; Navarro, N.; Conde, M. (2008). Prediction of standard particleboard mechanical properties utilizing an artificial neural network and subsequent comparison with a multivariate regression model. Investigacion Agraria: Sistemas y Recursos Forestales In press.A partir de propiedades fsicas rpidas de medirDatos procedentes de produccinMLP vs Regresin MultivarianteMLP: RIB=0.87; RMOR=0.87; RMOE=0.87Regresin: RIB=0.70; RMOR=0.65; RMOE=0.52

Esquema de la RedEnsayo MOR-MOE para tableros

INDUSTRIA FORESTALClasificacin.Drake, P.R.; Packianather, M.S.; (1998). A decission Tree of Neural Networks for Classifying Images of Wood Veneer. The International Journal of Advanced Manufacturing Technology. vol. 14, 280-285.Entrada de imgenes tratadas digitalmenteSalida: Tipo de defecto:Nudo, corteza, decoloracin, desviacin de la fibra....RNA: 88% de aciertos. Clasificacin manual: 68% aciertos.

Ramirez Alonso, G.MJ.; Chacn Murgua, M.I.; (2005). Clasificacin de los defectos en la Madera utilizando Redes Neuronales Artificiales. Computacin y Sistemas. vol. 9 (1), 17-27.MLPClasificacin de 7 tipos de defectosTratamiento de imgenes por filtros digitalesAciertos: 83.9%

Nordmark, U. (2002). Knot identification from CT images of young Pinus sylvestris sawlogs using artificial neural networks. Scandinavian Journal Forest Research. vol. 17, 72-78.MLPTratamiento digital de las imgenesAciertos: 97-98%

Ejemplo de imagende un nudoEsquema de la RedTratamiento de las imgenes

INDUSTRIA FORESTALVarios.Diamantopoulou, M.J. (2005). Artificial Neural Networks as an alternative tool in pine bark volume estimation. Computers and electronics in agriculture. vol. 48, 235-244.MLP vs. Regresin multivarianteMLP: Error= 5-7%Regresin: Error=18-23%

Mansfield, S.D.; Iiadis, L.; Avramidis, S. (2007). Neural network prediction of bending strength and stiffness in western hemlock (Tsuga heterophylla Raf.) Holzforschung vol. 61, 707-716.MLP vs Modelos lineares de regresinModelos de regresin:MOR: R2=0.33MOE: R2=0.43MLP:MOR: R2=0.56MOE: R2=0.70

Ensayo de MOE-MOR para probetas de grandes dimensiones.

INDUSTRIA METALRGICAPropiedades mcnicas de aleacionesMcBride, J.; Malinov, S.; Sha, W. (2004). Modelling tensile properties of gammna-based titanium aluminides using artificial neural networks. Materials Science and Engineering A. vol. 384, 129-137.MLPEntrada: Composicin, Microestructura (12 tipos), T ensayo.Salida: Propiedades mecnicas.R2=0.97 (Grupo de validacin)Pu, Y.; Mesbahi, E. (2006. Application of artificial neural networks to evaluation of ultimate strength of steel panels. Engineering Structures. vol. 28, 1190-1196.Planchas destinadas a la industria navalMLP vs. modelos empricos.Entrada: Anchura de la plancha, espesor, lmite de fluencia, esfuerzo residualSalida: Resistencia mximaError MLP: 4.3%Resistencia de soldaduraMartin, O.; Lpez, M.; Martn, F. (2007. Artificial neural networks for quality control by ultrasonic testing in resistance spot welding. Journal of Materials Processing Technology. vol. 183, 226-233.MLP [3-6-6-1]Entrada: Tiempo de soldadura, Intensidad de corriente y tipo de electrodoSalida: Punto vlido/no vlidoAciertos: 96.8%Esquema de la red utilizada

INDUSTRIA PAPELERAOptimizacin de procesosAguiar, H.E.; Maciel, A.; Maciel, R. ( 1998). Modeling and optimization of pulp and paper processes using neural networks. Computers Chem. Engng. vol 22 Suppl, S981-S984.Modelizacin del digestor KraftModelo terico vs. MLPEntrada: Alcalinidad, espesor de la partcula de madera, temperatura inicial, temperatura de cocido, densidad, contenido en lignina, contenido en celulos, contenido en hemicelulosaSalida: Cantidad de lignina de la pasta.El modelo terico proprciona una interpretacin del procesoLa RNA proporciona una herramienta de experimentacin con bajo coste.Calidad del producto finalEdwards, P.J.; Murray, A.F.; Papadopoulos, G.; Gordon, M.F.; Wallace, A.R.; Barnard, J.; Smith, G. (1999). The applications of Neural Networks to the papermaking industry. IEEE Transactions on Neural Networks. vol 10, 1456-1464.Datos procedentes de produccin. Las variables se escogieron por su facilidad de medicin en fbrica.Entrada: % madera de confera, contenido en cenizas, gradacin del papel, espesor en la formadora...Salida: grado de rugosidadModelo linear vs. MLPModelo lineal: MSE=155.43MLP: MSE=127.02

INDUSTRIA QUIMICA/FARMACEUTICAQumica.Ramadhas, A.S.; Jayaraj, S.; Muraleedharan, C.; Padmakurami, K. (2006). Artificial neural networks used for the prediction of the cetane number of biodiesel. Renewable Energy. vol 31, 2524-2533.Obtencin del CN (ASTM D613) Es un procedimiento muy complejo que involucra fuentes de incertidumbre no atribuibles al error de experimentacin.Entrada: Composicin en cidos grasos (palmtico, esterico, oleico, linoleico, linolenico)4 tipos de RNA: MLP: Error=3.4%RB: Error=5.0%GRNN: Error=3.8%RNN: Error=3.6%

Farmaceutica.Domnguez Rubio, J.L.; Castro Bleda, M.J.; Daz Villanueva, W. (2003). Discriminacin y prediccin de propiedades de frmacos mediante redes neuronales. Inteligencia Artificial, Revista Iberoamericana de Inteligencia Artificial. vol 18, 7-16.Herramienta de ayuda a la investigacin.4 MLP segn la propiedad estudiadaEntrada: Datos topolgicos moleculares: presencia de ciertos tomos, su posicin tipos de enlaces y posicin...Salida: Presencia/ausencia de efecto analgsico: Aciertos=86.18%Presencia/ausencia de efecto antidiabtico: Aciertos=94.19% [64-4-4-1]Actividad bactericida: RMS=0.45 [52-64-1]Solubilidad: RMS=1.74 [52-32-1]

INDUSTRIA TEXTILPropiedades de materiales textiles.Yuen, C.W.M.; Wong, W.K.; Qian, S.Q.; Chan, L.K.; Fung, E.H.K. (2008). A hybrid model using genetic algorithm and neural network for classifying garment defects. Expert Systems with Applications. In press.A partir de imgenes tratadas digitalmente.MLPEntrada: Tamao de la zona daada, Valor medio de la intensidad, Desviacin tpica del valor de los pixels de la zona daana.Salida: Pareja de valores reales redondeados.Sin defectos (0,0): Aciertos=100%Presencia de pliegues (0,1): Aciertos=100%Presencia de arrugas: Aciertos=100%

Wong , W.K.; Yuen, C.W.M, Fan D.D.; Chan, L.K.; Fung, E.H.K. (2008). Stitching defect detection and classification using wavelet transform and BP neural network . Expert Systems with Applications. In press.A partir de imgenes tratadas digitalmeteMLPSalida: 5 defectos de cosidoPliegues: Aciertos=100%Arrugas: Aciertos=100%Tirantez en costura: Aciertos=100%Ausencia de puntada: Aciertos=100%Agujeros: Aciertos=93%

Esquema de la red utilizada

Muchas Gracias

Francisco Garca FernndezDr. Ingeniero de Montesfrancisco.garcia@upm.es