UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos
-
Upload
mufutau-kramer -
Category
Documents
-
view
25 -
download
0
description
Transcript of UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos
![Page 1: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/1.jpg)
04/19/23 RN - Prof. Paulemir Campos 1
UPE – Caruaru – Sistemas de InformaçãoDisciplina: Redes NeuraisProf.: Paulemir G. Campos
Aprendizado em Redes Neurais
(Parte 2)
![Page 2: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/2.jpg)
04/19/23 RN - Prof. Paulemir Campos 2
Roteiro da Aula
Algoritmos de Aprendizado;
Referências.
![Page 3: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/3.jpg)
Algoritmos de Aprendizado em RNA
04/19/23 RN - Prof. Paulemir Campos 3
![Page 4: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/4.jpg)
Introdução Algoritmos de Aprendizado
Aprendizado por Correção de Erro; Aprendizado Hebbiano; Aprendizado Competitivo; Aprendizado de Boltzmann.
04/19/23 RN - Prof. Paulemir Campos 4
![Page 5: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/5.jpg)
Aprendizado porCorreção de Erro Regra Delta (Widrow e Hoff, 1960)
Erro: ek(t) = dk(t) – yk(t)
Minimizar função de custo baseada em ek(t)
04/19/23 RN - Prof. Paulemir Campos 5
![Page 6: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/6.jpg)
Aprendizado porCorreção de Erro Função de custo
C(t) = -1/2Σ(ek(t))2
Minimização de c(t) utiliza método de gradiente descendente;
Aprendizado atinge solução estável quando os pesos não precisam mudar muito.
04/19/23 RN - Prof. Paulemir Campos 6
![Page 7: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/7.jpg)
Aprendizado porCorreção de Erro Após seleção da função de custo,
aprendizado torna-se um problema de otimização RNA é otimizada pela minimização de
c(t) com respeito aos pesos da rede. Modelo matemático
Δwik(t) = ηek(t)xi(t)
04/19/23 RN - Prof. Paulemir Campos 7
![Page 8: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/8.jpg)
Aprendizado porCorreção de Erro Superfície de erro: superfície multi-
dimensional representando gráfico da função de custo versus peso Unidades lineares: superfície é uma
função quadrática dos pesos (mínimo global único)
Unidades não-lineares: superfície tem mínimos locais e mínimo global
04/19/23 RN - Prof. Paulemir Campos 8
![Page 9: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/9.jpg)
Aprendizado porCorreção de Erro Superfície de erro: superfície multi-
dimensional representando gráfico da função de custo versus peso (Continuação) Iniciando de um ponto qualquer da
superfície mover em direção a um mínimo global.
04/19/23 RN - Prof. Paulemir Campos 9
![Page 10: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/10.jpg)
Aprendizado porCorreção de Erro Taxa de aprendizado (η)
0 < η ≤ 1 Taxas pequenas
Taxas grandes
Taxas variáveis
04/19/23 RN - Prof. Paulemir Campos 10
Média das entradas
anteriores
Estimativas estáveis de
pesos
Aprendizado lentoAprendizado rápido
Captação de mudanças no
processo
Instabilidade
![Page 11: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/11.jpg)
Aprendizado Hebbiano Regra mais antiga e famosa (Hebb,
1949)
Dois neurônios estão simultaneamente ativos, a conexão entre eles deve ser fortalecida
04/19/23 RN - Prof. Paulemir Campos 11
![Page 12: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/12.jpg)
Aprendizado Hebbiano Regra modificada (Sinapse Hebbiana)
Se dois neurônios em lados diferentes de uma sinapse são ativados sincronamente, então a força da sinapse entre eles deve ser aumentada;
Se dois neurônios em lados diferentes de uma sinapse são ativados assincronamente, então a força da sinapse entre eles deve ser reduzida.
04/19/23 RN - Prof. Paulemir Campos 12
![Page 13: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/13.jpg)
Aprendizado Hebbiano Sinapse anti-Hebbiana
Enfraquecimento de sinapses com atividades pré e pós-sinápticas correlacionadas e reforço em caso contrário.
Sinapse não Hebbiana Não envolve mecanismos Hebbianos.
04/19/23 RN - Prof. Paulemir Campos 13
![Page 14: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/14.jpg)
Aprendizado Hebbiano Propriedades da sinapse Hebbiana
Dependência do tempo: Mudanças dependem do tempo de
ocorrência dos sinais pré e pós-sinápticos;
Localidade: Informações localmente disponíveis são
usadas para produzir modificações sinápticas;
04/19/23 RN - Prof. Paulemir Campos 14
![Page 15: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/15.jpg)
Aprendizado Hebbiano Propriedades da sinapse Hebbiana
(Continuação) Interatividade:
Modificações sinápticas têm que considerar sinais dos dois lados da sinapse;
Correlação entre sinais pré e pós-sinápticos:
A ocorrência simultânea entre tais sinais é suficiente para modificar a força sináptica.
04/19/23 RN - Prof. Paulemir Campos 15
![Page 16: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/16.jpg)
Aprendizado Hebbiano Depressão sináptica:
enfraquecimento de uma sinapse com o passar do tempo Atividades nas membranas pré e pós-
sinápticas não correlacionadas ou negativamente correlacionadas;
Ausência de atividades coincidentes entre as membranas pré e pós-sinápticas.
04/19/23 RN - Prof. Paulemir Campos 16
![Page 17: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/17.jpg)
Aprendizado Hebbiano Modelos matemáticos
Um peso sináptico wik(t) entre as unidades de processamento xi e yk é ajustado no tempo t usando a seguinte expressão
Δwik(t) = f(xi(t),yk(t))
onde f(.,.) é a função dos sinais pré e pós-
sinápticos.
04/19/23 RN - Prof. Paulemir Campos 17
![Page 18: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/18.jpg)
Aprendizado Hebbiano Modelos matemáticos
(continuação) Hipótese de Hebb: Regra do produto
de atividades
Δwik(t) = η xi(t) yk(t)
onde η é a taxa de aprendizado.
04/19/23 RN - Prof. Paulemir Campos 18
![Page 19: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/19.jpg)
Aprendizado Hebbiano Modelos matemáticos (continuação)
Hipótese da Covariância: Regra que considera a diferença dos sinais pré e pós-sinápticos de suas médias (xiM e ykM)
Δwik(t) = η (xi(t) – xiM) (yk(t) – ykM)
onde η é a taxa de aprendizado.
04/19/23 RN - Prof. Paulemir Campos 19
![Page 20: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/20.jpg)
Aprendizado Competitivo
A idéia é, dado um padrão de entrada, fazer com que as unidades de saída disputem entre si para serem ativadas.
04/19/23 RN - Prof. Paulemir Campos 20
![Page 21: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/21.jpg)
Aprendizado Competitivo Ou seja, neurônios competem entre si
para serem ativados Apenas um neurônio ou grupo de
neurônios vizinhos torna-se ativo.
Adequado para descobrir características estatisticamente salientes Podem agrupar conjuntos de entradas
04/19/23 RN - Prof. Paulemir Campos 21
![Page 22: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/22.jpg)
Aprendizado Competitivo Elementos básicos
Conjunto de neurônios iguais (exceto por alguns pesos randomicamente distribuídos)
Limite imposto na força de cada neurônio
04/19/23 RN - Prof. Paulemir Campos 22
![Page 23: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/23.jpg)
Aprendizado Competitivo Elementos básicos (continuação)
Mecanismo que permita neurônios competirem pelo direito de responder a um dado subconjunto de entradas (winner-takes-all)
Neurônios individuais especializam-se em conjuntos de padrões semelhantes.
04/19/23 RN - Prof. Paulemir Campos 23
![Page 24: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/24.jpg)
Aprendizado Competitivo Algoritmo mais simples
Uma camada de neurônios completamente ligada à entrada por conexões excitatórias;
Conexões laterais inibitórias entre neurônios na camada de processamento
Normalização dos pesos excitatórios de i: Σ(wik(t))2 = 1
04/19/23 RN - Prof. Paulemir Campos 24
![Page 25: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/25.jpg)
Aprendizado Competitivo Algoritmo mais simples (continuação)
Ativação da vencedora
onde vi é o campo local induzido para todo i diferente de k. O vencedor inibe as outras unidades.
Modelo matemático (nodo vencedor) Δwik(t) = η (xi(t) + wik(t))
04/19/23 RN - Prof. Paulemir Campos 25
contráriocaso
vysey
ikk
,0
,1
![Page 26: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/26.jpg)
Aprendizado de Boltzmann
Algoritmo de aprendizagem estocástico cuja concepção foi inspirada na mecânica estatística.
04/19/23 RN - Prof. Paulemir Campos 26
![Page 27: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/27.jpg)
Aprendizado de Boltzmann Deu origem ao modelo de rede
neural máquina de Boltzmann Estrutura recorrente com dois estados
de ativação: 1 ou -1; Função de energia: E=-1/2ΣΣwijxixj
(i≠j)
04/19/23 RN - Prof. Paulemir Campos 27
![Page 28: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/28.jpg)
Aprendizado de Boltzmann Deu origem ao modelo de rede neural
máquina de Boltzmann (continuação) Mudança de estado:
onde P é a probabilidade de mudança de estado de um neurônio xj, ΔEj é a mudança de energia resultante e T é a pseudo temperatura.
04/19/23 RN - Prof. Paulemir Campos 28
)/exp(1
1)(
TExxP
jjj
![Page 29: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/29.jpg)
Aprendizado de Boltzmann Operação do Algoritmo de Boltzmann
Escolhe-se um neurônio xj aleatoriamente;
Muda-se seu estado de ativação de xj(t) para –xj(t) com probabilidade P a uma pseudo temperatura T até rede atingir o equilíbrio térmico.
04/19/23 RN - Prof. Paulemir Campos 29
![Page 30: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/30.jpg)
Aprendizado de Boltzmann
Tipos de neurônios
Visíveis; Escondidos.
04/19/23 RN - Prof. Paulemir Campos 30
![Page 31: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/31.jpg)
Aprendizado de Boltzmann Modos de operação
Ativação mantida Estado de ativação das unidades visíveis
são mantidos constantes nos valores determinados pelo ambiente
Ativação livre Todas as unidades têm estado de
ativação livre.
04/19/23 RN - Prof. Paulemir Campos 31
![Page 32: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/32.jpg)
Aprendizado de Boltzmann Modelo matemático
Δwik(t) = η(ρmik - ρl
ik), com i ≠ k
onde ρmik e ρl
ik são as correlações dos neurônios i e k na condição de ativação mantida e livre, respectivamente.
As correlações consideram todos os estados possíveis para o equilíbrio térmico.
04/19/23 RN - Prof. Paulemir Campos 32
![Page 33: UPE – Caruaru – Sistemas de Informação Disciplina: Redes Neurais Prof.: Paulemir G. Campos](https://reader035.fdocument.pub/reader035/viewer/2022062718/56812bf4550346895d906abf/html5/thumbnails/33.jpg)
04/19/23 RN - Prof. Paulemir Campos 33
Referências Braga, A. P.; Ludermir, T. B. e
Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000.
Notas de aulas da Profa. Teresa B. Ludermir e do Prof. Aluízio Araújo, ambos do CIn/UFPE.