12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina:...
-
Upload
carolina-sabala-pinhal -
Category
Documents
-
view
214 -
download
0
Transcript of 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina:...
![Page 1: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/1.jpg)
04/27/23 MD - Prof. Paulemir Campos 1
UPE – Caruaru – Sistemas de InformaçãoDisciplina: Mineração de DadosProf.: Paulemir G. Campos
Redes Neurais Artificiais(Parte 1)
![Page 2: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/2.jpg)
04/27/23 MD - Prof. Paulemir Campos 2
Roteiro da Aula Redes Neurais Artificiais (RNAs):
Introdução; Tipos de RNAs; Aprendizado em RNAs.
Referências.
![Page 3: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/3.jpg)
04/27/23 MD - Prof. Paulemir Campos 3
Redes Neurais Artificiais:Introdução
![Page 4: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/4.jpg)
04/27/23 MD - Prof. Paulemir Campos 4
O Que São RNAs? Redes Neurais Artificiais (RNAs) são
modelos de computação com propriedades particulares:
Capacidade de se adaptar ou aprender;
Generalizar; Agrupar ou organizar dados.
![Page 5: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/5.jpg)
04/27/23 MD - Prof. Paulemir Campos 5
O Que São RNAs? RNAs:
estruturas distribuídas formadas por grande número de unidades de processamento conectadas entre si;
Multi-disciplinaridade: Ciência da Computação, Matemática,
Física, Engenharias, Psicologia, Biologia, Lingüística, Filosofia, etc.
![Page 6: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/6.jpg)
04/27/23 MD - Prof. Paulemir Campos 6
O Que São RNAs? Modelos inspirados no cérebro
humano: Compostas por várias unidades de
processamento (“neurônios” ou nodos) interligadas por um grande número de conexões (“sinapses” ou pesos).
Eficientes onde métodos tradicionais têm se mostrado inadequados.
![Page 7: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/7.jpg)
04/27/23 MD - Prof. Paulemir Campos 7
O Que São RNAs?
Exemplo de Topologia de uma RNA
![Page 8: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/8.jpg)
04/27/23 MD - Prof. Paulemir Campos 8
Características das RNAs
Aprendem através de exemplos; Adaptabilidade; Capacidade de generalização; Tolerância a falhas; Implementação rápida.
![Page 9: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/9.jpg)
04/27/23 MD - Prof. Paulemir Campos 9
História das RNAs Inter-relação entre
Investigação do comportamento e estrutura do sistema nervoso através de experimentação e modelagem biológica;
Desenvolvimento de modelos matemáticos e suas aplicações para a solução de vários problemas práticos.
Simulação e implementação destes modelos.
![Page 10: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/10.jpg)
04/27/23 MD - Prof. Paulemir Campos 10
História das RNAsA Origem (384-322 a. C.) Aristóteles escreveu:
“De todos os animais, o homem, proporcionalmente, tem o maior cérebro.”
(1700) Descartes acreditava que mente e cérebro eram entidades separadas;
(1911) Ramon e Cajal introduzem a idéia de neurônios como estruturas básicas do cérebro.
![Page 11: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/11.jpg)
04/27/23 MD - Prof. Paulemir Campos 11
História das RNAsA Década de 1940: O Começo (1943) McCulloch & Pitts:
Provam, teoricamente, que qualquer função lógica pode ser implementada utilizando unidades de soma ponderada e threshold (limiar);
(1949) Hebb desenvolve algoritmo para treinar RNA (aprendizado Hebbiano): Se dois neurônios estão simultaneamente
ativos, a conexão entre eles deve ser reforçada.
![Page 12: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/12.jpg)
04/27/23 MD - Prof. Paulemir Campos 12
História das RNAs1950-1960: Anos de Euforia (1958) Von Neumann mostra interesse
em modelagem do cérebro (RNA): “The Computer and the Brain”, Yale
University Press (1959) Rosenblatt implementa
primeira RNA, a rede Perceptron: Ajuste iterativo de pesos; Prova teorema da convergência.
![Page 13: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/13.jpg)
04/27/23 MD - Prof. Paulemir Campos 13
História das RNAsDécada de 1970: Pouca Atividade (1969) Minsky & Papert analisam
Perceptron e mostram suas limitações:
Não poderiam aprender a resolver problemas simples como o OU-exclusivo;
Causou grande repercussão.
![Page 14: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/14.jpg)
04/27/23 MD - Prof. Paulemir Campos 14
História das RNAsDécada de 1970: Pouca Atividade (1971) Aleksander propõe Redes
Booleanas; (1972) Kohonen e Anderson
trabalham com RNA Associativas; (1975) Grossberg desenvolve a
Teoria da Ressonância Adaptiva (redes ART).
![Page 15: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/15.jpg)
04/27/23 MD - Prof. Paulemir Campos 15
História das RNAsDécada de 1980: A Segunda Onda (1982) Hopfield mostra que Redes
Neurais podem ser tratadas como sistemas dinâmicos;
(1986) Hinton, Rumelhart e Williams, propõem algoritmo de aprendizagem para redes multi-camadas: Parallel Distribuited Processing Paul Werbos (1974)
![Page 16: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/16.jpg)
04/27/23 MD - Prof. Paulemir Campos 16
Unidades de Processamento Função: receber entradas de conjunto
de unidades A, computar função sobre entradas e enviar resultado para conjunto de unidade B.
Entrada Total: N
u = xiwj
i=1
![Page 17: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/17.jpg)
04/27/23 MD - Prof. Paulemir Campos 17
Unidades de Processamento Representação
Local: unidades representam objetos bem definidos (Ex. letras, palavras, faces, etc);
Distribuída: unidades representam elementos abstratos.
Localização das unidades Intermediária (escondida); Saída.
![Page 18: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/18.jpg)
04/27/23 MD - Prof. Paulemir Campos 18
Unidades de Processamento Estado de ativação:
Representa o estado dos neurônios da rede;
Pode assumir valores: Binários (0 e 1); Bipolares (-1 e +1); Reais
Definido através de funções de ativação.
![Page 19: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/19.jpg)
04/27/23 MD - Prof. Paulemir Campos 19
Funções de Ativação Processa conjunto de entradas
recebidas e o transforma em estado de ativação;
Funções de ativação típicas envolvem: Adições; Comparações; Transformações matemáticas.
![Page 20: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/20.jpg)
04/27/23 MD - Prof. Paulemir Campos 20
Funções de Ativação Função de ativação
Atualiza estado de ativação a(t + 1) = F [a(t), u(t)] a(t + 1) = F [a(t)] a(t + 1) = F [u(t)]
Atualização Síncrona (mais comum) Assíncrona
![Page 21: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/21.jpg)
04/27/23 MD - Prof. Paulemir Campos 21
Funções de Ativação Funções de ativação mais comuns
![Page 22: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/22.jpg)
04/27/23 MD - Prof. Paulemir Campos 22
Funções de Ativação Sigmoid Logística
![Page 23: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/23.jpg)
04/27/23 MD - Prof. Paulemir Campos 23
Funções de Ativação Tangente Hiperbólica
![Page 24: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/24.jpg)
04/27/23 MD - Prof. Paulemir Campos 24
Funções de Saída Função de saída
Transforma estado de ativação de uma unidade em seu sinal de saída
yi(t) = fi (ai(t))
Geralmente é uma função identidade.
![Page 25: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/25.jpg)
04/27/23 MD - Prof. Paulemir Campos 25
Valores de Entrada e Saída Sinais de entrada e saída de uma RNA
geralmente são números reais Números devem estar dentro de um
intervalo Tipicamente entre -1 e +1 ou 0 e 1 Codificação realizada pelo projetista da rede
Técnica de codificação mais simples é a binária Número restrito de aplicações.
![Page 26: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/26.jpg)
04/27/23 MD - Prof. Paulemir Campos 26
Conexões Definem como neurônios estão
interligados Nós são conectados entre si através
de conexões específicas. Codificam conhecimento da rede
Uma conexão geralmente tem um valor de ponderamento ou peso associada a ela.
![Page 27: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/27.jpg)
04/27/23 MD - Prof. Paulemir Campos 27
Conexões Tipos de conexões (wik(t))
Excitatória: (wik(t) > 0) Inibitória: (wik(t) < 0) Conexão inexistente: (wik(t) = 0)
Número de conexões de um nó Fan-in: número de conexões de entrada; Fan-out: número de conexões de saída.
![Page 28: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/28.jpg)
04/27/23 MD - Prof. Paulemir Campos 28
Redes Neurais Artificiais:Tipos
![Page 29: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/29.jpg)
04/27/23 MD - Prof. Paulemir Campos 29
Topologia Número de camadas
Uma camada (Ex.: Perceptron, Adaline)
Multi-camadas (Ex.: MLP) Completamente conectada; Parcialmente conectada; Localmente conectada.
![Page 30: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/30.jpg)
04/27/23 MD - Prof. Paulemir Campos 30
Topologia Completamente Conectada
![Page 31: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/31.jpg)
04/27/23 MD - Prof. Paulemir Campos 31
Topologia Parcialmente Conectada
![Page 32: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/32.jpg)
04/27/23 MD - Prof. Paulemir Campos 32
Topologia Localmente Conectada
![Page 33: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/33.jpg)
04/27/23 MD - Prof. Paulemir Campos 33
Topologia Arranjo das conexões:
Redes Feedforward Não existem loops de conexões
Redes Recorrentes Conexões apresentam loops Mais utilizadas em sistemas dinâmicos
Lattices Matriz n-dimensional de neurônios
![Page 34: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/34.jpg)
04/27/23 MD - Prof. Paulemir Campos 34
Topologia Redes Feedforward
Sinal segue numa única direção; Tipo mais comum.
![Page 35: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/35.jpg)
04/27/23 MD - Prof. Paulemir Campos 35
Topologia Redes Recorrentes
Possuem conexões ligando saída da rede a sua entrada;
Podem lembrar entradas passadas e, conseqüentemente, processar seqüência de informações (no tempo ou espaço)
![Page 36: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/36.jpg)
04/27/23 MD - Prof. Paulemir Campos 36
Topologia Redes Recorrentes
![Page 37: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/37.jpg)
04/27/23 MD - Prof. Paulemir Campos 37
Topologia Lattices
. . . . . .
Camada de Entrada
1 i n
Camada de Saída
Nodo Vencedor
![Page 38: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/38.jpg)
04/27/23 MD - Prof. Paulemir Campos 38
Redes Neurais Artificiais:
Aprendizado
![Page 39: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/39.jpg)
04/27/23 MD - Prof. Paulemir Campos 39
Aprendizado Capacidade de aprender a partir de seu
ambiente e melhorar sua performance com o tempo;
Parâmetros livres de uma RNA são adaptados através de estímulos fornecidos pelo ambiente: Processo iterativo de ajustes aplicado a
sinapses e thresholds; Idealmente, a RNA sabe mais sobre seu
ambiente após cada iteração.
![Page 40: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/40.jpg)
04/27/23 MD - Prof. Paulemir Campos 40
Aprendizado RNA deve produzir para cada
conjunto de entradas apresentado o conjunto de saídas desejado:
wik(t+ 1) = wik(t) + wik(t)
![Page 41: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/41.jpg)
04/27/23 MD - Prof. Paulemir Campos 41
Aprendizado Mecanismos de aprendizado:
Modificação de pesos (wij(t)) associados às conexões;
Armazenamento de novos valores em conteúdos de memória;
Acréscimo e/ou eliminação de conexões/neurônios.
![Page 42: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/42.jpg)
04/27/23 MD - Prof. Paulemir Campos 42
Paradigmas de Aprendizado Os paradigmas de aprendizado em
RNAs são:
Aprendizado Supervisionado; Aprendizado por Reforço; Aprendizado Não-Supervisionado.
![Page 43: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/43.jpg)
04/27/23 MD - Prof. Paulemir Campos 43
Aprendizado Supervisionado Professor externo:
Possui conhecimento sobre ambiente Representado por conjunto de pares (x,d); Geralmente, a rede não possui
informações prévias sobre ambiente. Parâmetros da rede são ajustados por
(x,d); Rede procura emular professor.
![Page 44: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/44.jpg)
04/27/23 MD - Prof. Paulemir Campos 44
Aprendizado Supervisionado Problema de atribuição de crédito:
Atribuir crédito ou culpa pelo resultado à cada uma das decisões internas que contribuíram para ele;
Para rede melhorar desempenho, o custo deve mover para ponto de mínimo na superfície de erro: Utiliza informação sobre gradiente da
superfície para os parâmetros atuais da rede; Gradiente: vetor que aponta na direção da
descida mais íngreme.
![Page 45: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/45.jpg)
04/27/23 MD - Prof. Paulemir Campos 45
Aprendizado Supervisionado Formas de aprendizado
supervisionado: Offline (estático)
Módulo externo para aprendizado; Rede é congelada após o treinamento.
Online (dinâmico) Rede nunca para de ser treinada; Aprendizado auto-contido
Desvantagem: dependência do professor
![Page 46: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/46.jpg)
04/27/23 MD - Prof. Paulemir Campos 46
Aprendizado Supervisionado
Um algoritmo de aprendizado supervisionado é o aprendizado por correção de erro;
![Page 47: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/47.jpg)
04/27/23 MD - Prof. Paulemir Campos 47
Aprendizado Supervisionado Aprendizado por Correção de Erro:
Regra Delta (Widrow e Hoff 1960); Erro: ek(t) = dk(t) - yk(t); Minimizar função de custo baseada em ek(t); Função de custo
c(t) = -1/2e2k(t)
Minimização de c(t) utiliza método de gradiente descendente;
Aprendizado atinge solução estável quando os pesos não precisam mudar muito.
![Page 48: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/48.jpg)
04/27/23 MD - Prof. Paulemir Campos 48
Aprendizado Supervisionado Aprendizado por Correção de Erro
(Cont.): Após seleção da função de custo,
aprendizado se torna um problema de otimização:
RNA é otimizada pela minimização de c(t) com respeito aos pesos da rede
Modelo matemático: wik(t) = . ek(t) . xi(t)
![Page 49: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/49.jpg)
04/27/23 MD - Prof. Paulemir Campos 49
Aprendizado Por Reforço Crítico externo:
Processo de tentativa e erro; Procura maximizar sinal de reforço.
Se ação tomada por sistema é seguida por estado satisfatório, sistema é fortalecido, caso contrário, sistema é enfraquecido (lei de Thorndike).
![Page 50: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/50.jpg)
04/27/23 MD - Prof. Paulemir Campos 50
Aprendizado Não-Supervisionado
Não tem crítico ou professor externo;
Extração de características estatisticamente relevantes: Cria classes automaticamente.
![Page 51: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/51.jpg)
04/27/23 MD - Prof. Paulemir Campos 51
Aprendizado Não-Supervisionado São métodos de aprendizado não-
supervisionado:
Aprendizado Hebbiano; Aprendizado Competitivo.
![Page 52: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/52.jpg)
04/27/23 MD - Prof. Paulemir Campos 52
Aprendizado Não-Supervisionado Aprendizado Hebbiano:
Regra mais antiga e famosa (Hebb 1949); Dois neurônios estão simultaneamente
ativos, a conexão entre eles deve ser fortalecida;
Regra modificada (sinapse Hebbiana) Dois neurônios são ativados sincronamente, força
da sinapse deve ser aumentada; Dois neurônios são ativados assincronamente,
força da sinapse deve ser reduzida.
![Page 53: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/53.jpg)
04/27/23 MD - Prof. Paulemir Campos 53
Aprendizado Não-Supervisionado Aprendizado Competitivo:
Neurônios competem entre si para ser ativado;
Apenas um neurônio se torna ativo (regra winner-takes-all);
Adequado para descobrir características estatisticamente salientes:
Podem classificar conjuntos de entradas
![Page 54: 12/11/2015MD - Prof. Paulemir Campos1 UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais.](https://reader035.fdocument.pub/reader035/viewer/2022062819/570638671a28abb8239030a0/html5/thumbnails/54.jpg)
04/27/23 MD - Prof. Paulemir Campos 54
Referências Braga, A. P.; Ludermir, T. B. e
Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000.
Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE.