Post on 07-Apr-2016
Extração de Conhecimentos com Interpretabilidade Aumentada Utilizando
Modelagem Fuzzy e Otimização Multi-objetivo
Rogério IshibashiOrientador: Cairo L. Nascimento Jr.
Instituto Tecnológico de Aeronáutica16/Dez/2013
Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso:
4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido
5. Conclusões finais
2/58
1. Introdução• Grande quantidade de dados armazenados.
• Necessidade de programas computacionais para a extração de conhecimentos.
• Técnicas comuns utilizadas: modelos fuzzy, redes neurais, árvores de decisão, etc.
• Preocupação na otimização da acurácia e não na interpretação dos modelos.
3/58
1. Introdução: Motivação• Na definição de regras de forma manual a
responsabilidade recai sobre os especialistas.• Depende de especialistas experientes que podem ter
dificuldade para modelar sistemas complexos.• Automatizar a extração de conhecimentos em bases de
dados.• Gerar modelos com boa precisão e interpretáveis para
auxiliar um especialista em sua tomada de decisão.• Vantagens de modelos interpretáveis:– verificação do conhecimento extraído,– aumento da confiança do usuário no modelo.
4/58
1. Introdução: Objetivo
Árvores de Decisão
Lógica Fuzzy
Algoritmos Genéticos
Otimização multi-objetivo
Interpretabilidade
Interpretabilidade
Acurácia
Mecanismo AutomáticoGeração de Regras Fuzzy e Calibração de Funções de
Pertinência
5/58
Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso
4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido
5. Conclusões finais
6/58
2.1 Revisão: Árvores de Decisão (AD)
• Representação de conhecimento através de uma estrutura em forma de árvore que descreve decisões.
7/58
2.2 Revisão: Lógica Fuzzy
• Temperatura discreta.
• Temperatura fuzzy:– Variáveis linguísticas,– Funções de pertinência,– Grau de pertinência;
• Variável pode assumir infinitos valores entre 0 e 1.• Tratamento de incertezas e imprecisões.• Dois métodos principais: Mamdani e Sugeno.
8/58
2.3 Revisão: Algoritmos Genéticos• Algoritmos de propósito geral que usam os princípios
da evolução natural para buscar soluções aproximadas.
9/58
2.4 Revisão: Sistema Fuzzy Gen. Baseado em Regras
• Sistema Fuzzy Baseado em Regras apoiado por um processo de aprendizagem genético.
RF: Regra Fuzzy, FP: Função de Pertinência
10/58
2.5 Revisão: Otimização multi-objetivo
• Múltiplos objetivos conflitantes são avaliados independentemente através do conceito de dominância.
• Fronteira de Pareto.• NSGA-II (Deb, 2001).
• x1 domina x2 se e somente se:
11/58
2.6 Revisão: Interpretabilidade em Sistemas Fuzzy
• Permite a representação do conhecimento de forma similar aos conceitos compreendidos por seres humanos (Cannone et al., 2009).
• Interpretabilidade e acurácia geralmente são conflitantes. Ex: redes neurais.
• Um modelo fuzzy interpretável é um modelo fácil de ser compreendido, explicado ou descrito por uma pessoa, relacionando o modelo ao seu domínio de conhecimento.
12/58
2.6 Revisão: Interpretabilidade em Sistemas Fuzzy
• Condições para interpretabilidade:– utilização de funções de pertinência (FP) que
façam sentido,– número de regras reduzido,– utilização de regras compactas, com poucas
variáveis.• Como medir interpretabilidade? – características de alto nível: nº de regras, nº de
atributos e nº de FP,– características de baixo nível: formato,
sobreposição e cobertura das FP.
13/58
2.6 Revisão: Interpretabilidade em Sistemas Fuzzy
14/58
Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso
4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido
5. Conclusões finais
15/58
3. Proposta de Solução: MoGFT-I
• MoGFT-I: Multi-objective GFRBS supported by a Decision Tree with improved Interpretability.
• Dois módulos principais e independentes:– Geração de regras,– Ajustes nas funções de pertinência.
• Divididos em 3 fases.
16/58
3. Proposta de Solução: MoGFT-I
17/58
3. Proposta de Solução: MoGFT-I
• Fase 1: Geração da Árvore de Decisão.• Fase 2: Extração das regras fuzzy.
18/58
3. Proposta de Solução: MoGFT-I
• Fase 3: Algoritmo genético multi-objetivo para os ajustes das funções de pertinência.
• Função Objetivo 1: Minimizar a complexidade através do cálculo das penalidades das funções de pertinência.
• Função Objetivo 2: Minimizar erros de aproximação- Depende da aplicação (estudo de caso).
19/58
3. Proposta de Solução: MoGFT-I
20/58
3. Proposta de Solução: MoGFT-I
• Avaliação + seleção + recombinação + mutação.
21/58
Implementaçãoem Matlab
Implementaçãoem linguagem Java
Banco de Dados
Extração de regras fuzzy
Gerador de Dados
Normalização/Discretização
Recombinação
Mutação
Avaliação
SeleçãoConjunto de soluções/modelos (arquivos .fis)
Modelo de Árvore de Decisão
Regras Fuzzy
Dados
Árvore deDecisão
RemoveRuídos
Dados
Dados
Dados
Curva de Pareto
Weka
<<usa>>
Global Optimization Toolbox (Matlab)
<<usa>>
<<usa>>
0..1
Simulink(Matlab)
<<usa>>
0..1
Simulink(Matlab)
Fuzzy LogicToolbox (Matlab)
<<usa>>
Gera populaçãoinicial
22/58
Implementação emSimulink (Matlab)
Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso
4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido
5. Conclusões finais
23/58
4.1 Estudo de Caso 1: PHM• PHM: Prognostic and Health Management.
• Permite que a confiabilidade de um sistema seja avaliada durante seu ciclo de vida através da predição de seu tempo de vida (RUL – Remaining Useful Life).
• Benefícios:– mitigar os riscos de falha do equipamento,– otimizar o planejamento logístico de manutenção,– aumentar a segurança operacional de aeronaves.
24/58
4.1 Estudo de Caso 1: PHM
25/58
4.1 Estudo de Caso 1: PHM• Função objetivo 1: Minimizar a complexidade através
do cálculo das penalidades.
• Função objetivo 2: Minimizar os erros de aproximação (aumentar a acurácia):
• 10 Regras geradas pelo algoritmo de árvore de decisão C4.5 com confidence factor 10-4.
26/58
4.1 Estudo de Caso 1: PHM• Final da execução do Algoritmo Genético Multi-
objetivo.
27/58
4.1 Estudo de Caso 1: PHM
28/58
4.1 Estudo de Caso 1: PHM• Exemplo de resultado da aplicação de um dos modelos gerados para os
dados de teste.
29/58
4.1 Estudo de Caso 1: PHM• Curvas de Pareto geradas com diferentes configurações de poda.
30/58
Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso
4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido
5. Conclusões finais
31/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
32/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
• Quantidade de regras geradas pelo algoritmo C4.5 para diferentes configurações de poda.
33/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
• Função objetivo 1: minimizar a complexidade através dos cálculos das penalidades.
• Função objetivo 2: minimizar os erros de aproximação.
34/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
• Caracter ‘2’• Sem poda
• 19 Regras• 9 soluções
• Final da execução do algoritmo genético multi-objetivo.
35/58
4.2 Estudo de Caso 2: Reconhecimento de imagens• Combinação de classificadores:
36/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
• Curvas de Pareto geradas para a combinação de classificadores.
37/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
• Imagens com 8% de ruídos. • Imagens com 10% de ruídos.38/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
• Testes com diferentes níveis de ruído em 5% e 8%.
39/58
4.2 Estudo de Caso 2: Reconhecimento de imagens
• Média e desvio padrão das penalidades das 16 soluções.• Distribuição das penalidades das 16 soluções.
40/58
Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso
4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido
5. Conclusões finais
41/58
4.3 Estudo de Caso 3: Controle
• Controle do carro com pêndulo invertido.
• Problema não linear.
• Planta instável.
• Desafio é manter o pêndulo equilibrado na posição vertical e deslocar o carro para a origem.
42/58
4.3 Estudo de Caso 3: Controle
• Ângulo do pêndulo ( ).• Velocidade angular do pêndulo ( ).• Posição do carro ( ).• Velocidade do carro ( ).
• Massa do carro (M): 1,0 kg.• Massa do pêndulo (m): 0,1 kg.• Comprimento do pêndulo (2l): 1,0 m.• Gravidade (g): 9,8 m/s2.
43/58
4.3 Estudo de Caso 3: Controle
44/58
4.3 Estudo de Caso 3: Controle• Problema de regulação.• Dados de treinamento gerados pelo controlador do Simulink/Matlab.
45/58
4.3 Estudo de Caso 3: Controle
• Fase 1: variáveis de entrada e de saída normalizadas e discretizadas em negative, medium, positive.
• Regras geradas pelo algoritmo de AD C4.5:
46/58
4.3 Estudo de Caso 3: Controle
• Equações para o cálculo dos erros de aproximação.
,
47/58
4.3 Estudo de Caso 3: Controle
• Final da execução do algoritmo genético multi-objetivo.
48/58
4.3 Estudo de Caso 3: Controle
49/58
Solução com 0 penalidades Solução com 2 penalidades
4.3 Estudo de Caso 3: Controle
• Simulação com estado inicial em = (0o; 0o/s; 1,0 m; 0 m/s).
50/58
Solução com 0 penalidades Solução com 2 penalidades
4.3 Estudo de Caso 3: Controle
• Simulação com estado inicial em = (0o; 0o/s; 0,2 m; 0 m/s).
51/58
4.3 Estudo de Caso 3: Controle
• Diagrama de fases com estado inicial em: = (0o; 0o/s; 1,0 m; 0 m/s).
52/58
4.3 Estudo de Caso 3: Controle
• Simulação com estado inicial em = (0o; 0o/s; 1,0 m; 0 m/s).
53/58
Roteiro1. Introdução2. Revisão Bibliográfica3. Proposta de Solução: MoGFT-I4. Estudos de Caso
4.1 Estimação do tempo de vida de um motor aeronáutico4.2 Reconhecimento de imagens binárias 7x7 com ruído4.3 Controle do carro com pêndulo invertido
5. Conclusões finais
54/58
5. Conclusões finais: Principais Contribuições
• Concepção do método MoGFT-I.
• Método com módulos independentes.
• Utilização de algoritmo multi-objetivo para otimização da acurácia e da interpretabilidade.
• Análise através das curvas de Pareto.
• Aplicação em problemas relevantes.
55/58
5. Conclusões finais: Principais Contribuições
• Publicações geradas até o momento:
– Knowledge extraction using a genetic fuzzy rule-based system with increased interpretability. IEEE International Symposium on Applied Machine Intelligence and Informatics, Herl’any, Slovakia, 2012 (IEEE SAMI 2012).
– GFRBS-PHM: A genetic fuzzy rule-based system for PHM with improved Interpretability. IEEE International Conference on Prognostics and Health Management, Gaithersburg, USA, 2013 (IEEE PHM 2013).
56/58
5. Conclusões finais: Considerações Finais
• Os resultados obtidos cumpriram com o objetivo proposto.
• Foi mostrado a relevância da otimização multi-objetivo para avaliar funções conflitantes.
• As capacidades do método MoGFT-I puderam ser demonstradas em diferentes áreas.
• Finalmente, espera-se que esta pesquisa possa servir de inspiração para futuros trabalhos.
57/58
Fim
Obrigado a todos.
58/58