Bases Formales de la Computación: Redes de Bayes (segunda...
Transcript of Bases Formales de la Computación: Redes de Bayes (segunda...
Bases Formales de la Computacion:
Redes de Bayes (segunda parte)
Prof. Gloria Ines Alvarez V.
Departamento de Ciencias e Ingenierıa de la Computacion
Pontificia Universidad Javeriana Cali
Periodo 2008-2
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Razonamiento en Redes de Bayes
Las RB ofrecen una representacion completa de lasdistribuciones de probabilidad sobre sus variables.
Se pueden plantear condicionales sobre cualquier subconjuntode variables.
Soporta razonamiento en cualquier direccion.
Considerar el efecto de cierta evidencia sobre la red, consisteen calcular la distribucion de probabilidad a posteriori de unconjunto de nodos de consulta dados los valores de dichaevidencia.
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Diagrama sobre tipos de razonamiento1
1Tomado de Bayesian Artificial Intelligence
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Tipos de Evidencia
Definida: cuando se conoce el valor preciso de una variable
No definida: cuando se conoce que el valor de una variablepuede ser uno de varios posibles descartando el resto de losvalores permitidos para la variable.
Negativa: se sabe que una variable no puede tomardeterminado valor.
Virtual: se conocen indicios que modifican la distribucion aposteriori de la variable.
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Ejemplo de razonamiento numerico2
2Tomado de Bayesian Artificial Intelligence
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Independencia Condicional
Una red de Bayes, que cumple la propiedad de Markov, sepuede considerar un mapa de independencia (I-maps) entre lasvariables, ya que la ausencia de arco entre dos variablescorresponde a la independencia real entre esas variables en elsistema.
La aparicion de evidencia modifica la relacion dedependencia/independencia que tienen inicialmente lasvariables. Calcular si dos variables, o dos conjuntos devariables son independientes entre sı, dada una evidencia no esun problema trivial. En principio se pueden dar tres casosgenerales.
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Casos Generales de Dependencia Condicional3
Cadena causal: P(C |B) = P(C |A,B) si sabemos A estoafecta la probabilidad de C .
Causas comunes: si sabemos B , A y C son independientes.
Efectos comunes: P(A|C ,D) 6= P(A|C ) ≡ ¬(A ‖ C |B)
3Tomado de Bayesian Artificial Intelligence
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
D-separacion
Sean X ,Y conjuntos de variables aleatorias dentro de una red deBayes.
Definicion
Un camino entre las variables X y Y va de un nodo de X a unnodo de Y sin tomar en cuenta la direccion de las fechas y sinpasar varias veces por un mismo nodo.
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
D-separacion
Definicion
Un camino esta bloqueado, dado un conjunto de variables deevidencia E , si existe un nodo Z en el camino que cumple una delas siguientes condiciones:
Z ∈ E y Z tiene un arco que entra a el y otro que sale de el.
Z ∈ E y Z tiene dos arcos que salen de el.
Z 6∈ E ni ninguno de sus descendientes, ambos arcos llegan aZ
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
D-separacion
Definicion
Un conjunto de nodos E d−separa dos conjuntos de nodos X ,Y sitodo camino desde X hasta Y esta bloqueado por E.
Si X ,Y estan d−separados por E , entonces X ,Y soncondicionalmente independientes dado E y dado que se cumple lapropiedad de Markov.
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
D-separacion4
4Tomado de Bayesian Artificial Intelligence
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmos de Inferencia para Redes de Bayes
El problema de la inferencia en redes de Bayes general es NP-hard.Los algoritmos existentes se pueden agrupar con diversos criterios.En cuanto a la exactitud de la solucion:
Exactos: calculan completamente las distribuciones deprobabilidad a posteriori para todas las variables.
Aproximados
En cuanto a la topologıa de la red:
Sobre poliarboles (hay algoritmo polinomial)
Sobre grafos con loops
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmo de Kim y Pearl por Paso de Mensajes
Es un algoritmo exacto y funciona sobre arboles y poliarboles.
Requiere mantener tres tipos de parametros que almacenan: lafuerza de soporte predictivo de las entradas, de soportediagnostico de las salidas y la tabla de probabilidadescondicionales de un nodo X .
El algoritmo consta de tres pasos:
Actualizacion de las creencias: se activa por la llegada de unmensaje desde un padre o un hijo avisando que han cambiadolos parametros de creencia.Propagacion bottomup: el nodo computa nuevos mensajespara enviar a sus padres.Propagacion topdown: el nodo computa nuevos mensajes paraenviar a sus hijos.
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmo de Kim y Pearl por Paso de Mensajes
Definicion
Definimos:
La constribucion a la fuerza de soporte predictivo actual decada enlace de entrada Ui → X, como:πX (Ui) = P(Ui |EUi\X ) (evidencia sin contar X)
La contribucion a la fuerza de soporte diagnostico λ de cadaenlace de salida X → Yj , como: λYj
(X ) = P(EYj\X |X )
La tabla fija P(X |Ui , . . . ,Un)
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmo de Kim y Pearl por Paso de Mensajes
Estos valores se utilizan para la actualizacion de la crencia ası:
Bel(xi) = αλ(xi )π(xi )
Donde α es una constante de normalizacion y las funciones secalculan de la siguiente manera:
λ(xi ) =
1 if evidence is X = xi
0 if evidence is for another xj
πjλYj(xi) otherwise
π(xi ) =∑
u1,...,un
P(xi |u1, . . . , un)∏
i
πX (ui )
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmo de Kim y Pearl por Paso de Mensajes
En el paso de propagacion bottomup, cada nodo calcula nuevosmensajes π para enviar a sus padres:
λX (ui ) =∑
xiλ(xi )
∑
uk :k 6=i P(xi |u1, . . . , un)∏
k 6=i πX (uk)
En el paso de propagacion topdown el nodo computa nuevosmensajes λ para enviar a sus hijos:
πYj(xi ) =
1 si entra xi
0 si entra otro xj
α[∏
k 6=j λYk(xi )] sino
∑
u1,...,unP(xi |u1, . . . , un)
∏
i πX (ui)
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmo de Kim y Pearl por Paso de Mensajes5
Ejemplo sobre el flujo de los mensajes:
5Tomado de Bayesian Artificial Intelligence
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmo de Kim y Pearl por Paso de Mensajes6
Ejemplo sobre el flujo de los mensajes:
6Tomado de Bayesian Artificial Intelligence
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Algoritmo de Kim y Pearl por Paso de Mensajes
Caracterısticas del algoritmo:
Todos los calculos de paso de mensaje se hacen localmente.
El algoritmo calcula una suma sobre todas las conjuntas de losnodos padres, que es exponencial en el numero de padres delnodo, ası que el algoritmo no es practico cuando crece elnumero de padres de un nodo.
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes
Otras aproximaciones
Metodos de conglomerado, como los arboles de cruce
Metodos de simulacion estocastica, como el muestreo logico
Prof. Gloria Ines Alvarez V. Sesion 8. Redes de Bayes