Algoritmo EM
-
Upload
manuel-vargas -
Category
Documents
-
view
955 -
download
0
Transcript of Algoritmo EM
![Page 1: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/1.jpg)
Vasamento: Algoritmo EM
Manuel Ramón Vargas Avila
![Page 2: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/2.jpg)
Introdução
Algoritmo EM definição:Es un método general para encontrar el estimador de máxima verosimilitud de los parámetros de una distribución de probabilidad. La situación en la que el algoritmo EM muestra toda su potencia es en los problemas de datos incompletos, donde la estimación de máxima verosimilitud resulta difícil debido a la ausencia de alguna parte de los datos dentro de una estructura de datos simple y familiarSe utiliza en problemas de : clustering, reconocimiento de patrones, Modelos ocultos de Markov, entre otros. aplicaciones en casi todos los contextos estadísticos y en casi todos los campos donde se hayan aplicado técnicas estadísticas: tratamiento de imágenes médicas, corrección de censos, epidemiología del SIDA, y entrenamiento de redes neuronales artificiales, entre otros.
![Page 3: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/3.jpg)
• El algoritmo EM consta de dos pasos: paso-E y paso-M. El paso-E consiste en generar datos para conseguir un problema de datos completos, usando el conjunto de datos observados del problema de datos incompletos y el valor actual de los parámetros, de modo que el cálculo del paso-M sea más simple al poderser aplicado a este conjunto de datos completo y rectangular.
![Page 4: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/4.jpg)
Derivação do algoritmo EM
Para isto se introduce se utiliza o logaritmo da equação de verosimilianza
X vector aleatório de uma família parametrizada.
O que se deseja: tal que P(X|) é um maximo.
![Page 5: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/5.jpg)
Derivação do algoritmo EM
• A estimação atual de é dada por depois da enésima iteração.
• Objetivo L(), calcular um estimador atualizado talque L()> L()
Isto é equivalente a:
Equação 2
![Page 6: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/6.jpg)
Derivação do algoritmo EM
• Se supone que el conocimiento de las variables ocultas hara que la maximizacion de la funcion sea mas facil.
• Z vector aleatorio oculto y elementos z, la probabilidad total en terminos de z es:
• Equação 3
![Page 7: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/7.jpg)
Derivação do algoritmo EM
• Equação 3 em 2: equação 4
• Desigualdad de jensens
![Page 8: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/8.jpg)
Derivação do algoritmo EM
• Analogamente aplicando para equação 3
![Page 9: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/9.jpg)
Derivação do algoritmo EM
Por conveniência
![Page 10: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/10.jpg)
Interpretação de uma iteração do algoritmo
Acotada por
![Page 11: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/11.jpg)
Expectation
Maximixation
![Page 12: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/12.jpg)
Processo• Inicialização:
• Execução:Etapa E:
Etapa M:
Iterar ate convergência (não garantia de máximo global) o condição de terminação
![Page 13: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/13.jpg)
Exemplo #1Queremos classificar um grupo de pessoas em dois grupos de alta ou baixa
Para esto nos basamos en el modelo estadísticoDe mezclas finitas.
![Page 14: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/14.jpg)
Mezclas finitas
Para determinar completamente este
modelo se deben determinar los 5
parámetros
![Page 15: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/15.jpg)
Media Equa: 1
VarianzaEqua: 2
ProbabilidadeDo Grupo AEqua: 3
Função Normal
Xi= dado
Wai= Probabilidade que o dado i pertence ao grupo A
![Page 16: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/16.jpg)
PG1 é sorteado aleatoriamente
INICIALIZAÇÃO
![Page 17: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/17.jpg)
• Passo M:Calculamos os 5 parametros com as equações 1, 2, 3 onde 1 e 2 podem ser aplicadas para o grupo B.
![Page 18: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/18.jpg)
Passo ESe calcula para cada dado e grupo
Se normaliza
![Page 19: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/19.jpg)
Condição de terminaçãoIterar hasta que la diferencia de log probabilidad global sea menor a 0,01 para 3 iteraciones sucesivas.
![Page 20: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/20.jpg)
Resultado Final
![Page 21: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/21.jpg)
Exemplo #2: Mistura de gaussianas
Suma ponderada de K gaussianas
Onde
Parâmetros a estimar
![Page 22: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/22.jpg)
Exemplo #2: Mistura de gaussianas
Se X é um conjunto de n mostras I.I.D
Então
![Page 23: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/23.jpg)
Dadas n mostras i.i.d
Tomadas de uma misturaDe gaussianas com parâmetros:
Definimos a la probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana como
Satisfaze
![Page 24: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/24.jpg)
probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana
![Page 25: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/25.jpg)
• Considere uma mistura de gaussianas 2D com parametros
![Page 26: Algoritmo EM](https://reader035.fdocument.pub/reader035/viewer/2022081506/557ccaacd8b42a43438b4dfd/html5/thumbnails/26.jpg)
Solução
Depois da terça iteração