Dr. José Castil lo Montes

CADENAS DE MARKOV

Definición. Una cadena de Markov es un proceso estocástico que presenta las siguientes propiedades:

Ejemplo: 1.Serie mensual de ventas de un producto2. Estado de una máquina al final de cada semana (funciona/averiada)3. Nº de clientes esperando en una cola cada 30 segundos4. Marca de detergente que compra un consumidor cada vez que hace la compra. 5. Nº de unidades en almacén al finalizar la semana

Andréi Márkov

• Una Cadena de Markov (CM) es:• Un proceso estocástico• Con un número finito de estados (M)• Con probabilidades de transición

estacionarias• Que tiene la propiedad markoviana

Una cadena de Markov es un proceso estocástico en el que

Si el estado actual Xn y los estados previos X1,...,Xn−1 son conocidos

La probabilidad del estado futuro Xn+1

No depende de los estados anteriores X1,...,Xn−1, y Solamente depende del estado actual Xn.

Es decir,

♣ Para n = 1, 2,... y

♣ Para cualquier sucesión de estados s1,...,sn+1

P(Xn+1 = sn+1 | X1 = s1, X2 = s2, ..., Xn = sn ) = = P(Xn+1 = sn+1 | Xn = s

P(Xn+1 = Sn+1 | X1 = S1, X2 = S2, ..., Xn = Sn ) == P(Xn+1 = Sn+1 | Xn = Sn

ELEMENTOS DE UNA CADENA DE MARKOV

1. Espacio de estados: 1 2, , , sE E E E

2. Matriz de transición: 11 12 1

21 22 2

1 2

s

s

s s ss

p p pp p p

P

p p p

1siendo ij t j t ip P X E X E

3. Distribución inicial 0 0 0 01 2, , , sP p p p

Un proceso estocástico tiene la propiedad markoviana si las probabilidades de transición en un paso sólo dependen del estado del sistema en el período anterior (memoria limitada)

Una Cadena de Markov (CM) es: Un proceso estocástico con un número finito de estados (M), con probabilidades de transición estacionarias y que tiene la propiedad markovianaProceso estocástico

Un proceso estocástico tiene la propiedad markoviana si las probabilidades de transición en un paso sólo dependen del estado del sistema en el período anterior (memoria limitada)

PROPIEDAD MARKOVIANA

Una herramienta fundamental en el estudio de las cadenas de Markov lo constituyen las matrices de transición en n pasos: P(n) = (P(n)

ij ), donde P(n)ij denota la probabilidad de que el proceso

pase del estado i al estado j en n pasos:

P (n)ij = P(Xn+m = j|Xm = i).

Recordamos que estamos trabajando con procesos cuyas matrices de transición son estacionarias.

Una matriz de transición para una cadena de Markov de “n” estado es una matriz de nxn con todos los registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o fila) es 1

MATRIZ DE TRANSICIÓN

P(n) es la matriz de transición en n pasos, de orden (M+1)x(M+1)

Una cadena de Markov (CM) es una sucesión de variables aleatorias Xi, iN, tal que:

t

t

t

tXjXPXXX

jXP 1

10

1,...,,

Probabilidades de transiciónLas CM están completamente caracterizadas por las probabilidades de transición en una etapa,

TtSjiiXjXP

t

t

,,,1

CM homogéneas en el tiempo, que son aquellas en las que

ijt

t qiXjXPTtSji

1,,

donde qij se llama probabilidad de transición en una etapa desde el estado i hasta el estado j

Probabilidad de transición en n pasos P(n)ij

Se define P(n)ij como la probabilidad de que la cadena esté en el

estado Ej después de n pasos, dado que la cadena empezó en el estado Ei.

Se tiene que p(n)ij = P (Xn = j | X0 = i) por la propiedad markoviana se

tiene que

para n ≥ 2, ya que la cadena debe haber pasado por uno de los m posibles estados en la etapa n − 1

ikjP XXXP nn

m

kij

n

01

1

)( /, |

Probabilidades estacionarias de un paso

Si para cada i y j se cumple:

P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i }

entonces, se dice que las probabilidades de un paso son estacionarias

Notación: Pij

Propiedades de Pij(n)

1. Pij(n) ≥ 0 para todo i, j y n = 0, 1,

2, …

2. S Pij(n) = 1 para todo i, j de 0 a M,

y n = 0, 1,

2, …

fii = probabilidad de que el proceso regrese al estado i, dado que comienza en el estado i.

Estado recurrente: fii = 1

Estado transitorio: fii < 1

Estado absorbente: pii = 1

Probabilidades de Estado Estable Es la probabilidad de que le sistema se

encuentra en el estado j, independiente del estado inicial

pj = lim pij (n) , con n tendiendo al infinito

pi = 1 / mii

Ecuaciones de estado estableTeorema:Sea P la matriz de transición de una cadena ergotica

de S estados. Existe un vector π =(π1π2π3………….πn) y se llama distribución de estado estable o distribución de equilibrio para la cadena de markov

1. pj = S pj * pij para j = 0, 1, …, M y la sumatoria variando de i = 0, 1, …, M

2. S pj = 1

PROBABILIDADES EN ESTADO ESTACIONARIO.

Si P es la matriz de transición de una cadena ergódica de S estados entonces existe un vector p=[p1 p2 ...p3 ] tal que

Se le llama distribución de estado estable o de equilibrio para la cadena de Markov.

- p se puede determinar a partir de la ecuación: pj = Σ Pkj

K=1

- En forma matricial p =pp

- Este sistema tiene un número infinito de soluciones porque el rango de P siempre resulta ser menor o igual que s-1; También se debe verificar que,p1 +π2 +... + ps = 1

Estados Absorbentes

Un estado es absorbente cuando una vez que se entra en él no se puede salir del mismo.

Un estado Ei es absorbente siPii = 1

Pij =0 (i 6= j, j = 1,...,m) en la i-ésima fila de T. Si k es un estado absorbente, y el

proceso comienza en el estado i, la probabilidad de llegar en algún momento a k se llama probabilidad de absorción: Notación: fik

Clasificación de los estadosEn una cadena homogénea con m estados E1, E2,...,Em y matriz de transición T = [Pij ] , (1 ≤ i, j ≤ m) el valor de Pij es la probabilidad de que haya una transición entre Ei y Ej en un momento dado. Según lo anterior se pueden clasificar los estados de una cadena

Para toda cadena de Markov absorbente se desea conocer :a) Si la cadena comienza en un estado determinado transitorio, uy

antes de alcanzar un estado absorbente, ¿ cual es el numero esperado de veces que se llegara a un estado? ¿Cuántos periodos esperamos pasar en un determinado estado transitorio antes que se efectué la absorción?

b) Si una cadena inicia en un estado transitorio dado. ¿Cuál es la probabilidad de terminar en cada uno de los estados absorbentes?

* Para contestar a estas preguntas necesitamos formular la matriz de transición con los estados en una lista con el siguiente orden: primero los estados transitorios y después los absorbente.

s – m m columnas columnas

s-m filas Q Rm filas 0 I

De donde:I = matriz identidad de orden mxm representa la probabilidad de permanecer dentro de un estado absorbente.Q = matriz de orden (s-m)x(s-m) probabilidad de ir de un estado transitorio hasta otro estado transitorioR = matriz de orden (s-m) x m : probabilidad de ir de un estado transitorio hasta un estado absorbente0 = matriz nula de orden mx(s-m) : representa las probabilidades de ir de un estado absorbente hasta un estado transitorio

En base a esto es posible determinar1) El numero esperado de veces que se llegara a un estado: (I-Q)-1

2) El numero de periodos que esperamos pasar en un determinado estado transitorio antes que se efectué la absorción: (I-Q)-1

3) La probabilidad de determinar en cada uno de los estados absorbentes:

(I - Q) -1. R

Estado periódicoLa probabilidad de que se regrese al estado Ei en el paso n es P(n)

ii . Sea t un número entero mayor que 1. Supongamos que

p(n)ii = 0 para n ≠ t, 2t, 3t, . . .

p(n)ii ≠ 0 para n = t, 2t, 3t,

En este caso se dice que el estado Ei es periódico de periodo t. Si para un estado no existe dicho valor de t entonces se dice que el estado es aperiódico.

Ecuaciones:fik = S pij * fjk para todo i = 0, 1, …, M; y la sumatoria variando de j = 0 hasta M

La ecuación anterior está sujeto a:

fkk = 1

fik = 0, si el estado i es recurrente, y además i es distinto de k

Si los estados de una CM son recurrentes, aperiódicos y se comunican entre si, se dice que la cadena es ergodica. Se distinguen dos tipos de cadenas ergodicas:a) Cadena ergodica cíclica: en ella solo se puede entrar en un

estado a intervalos periódicos fijos.

b) Cadena ergodica es regular: cuando no es cíclica. Si para alguna potencia de la matriz de transición tiene únicamente elementos positivos de probabilidades

CADENA ERGÓDICAS

Diagrama de transición de estados

El diagrama de transición de estados (DTE) de una CM es un grafo dirigido cuyos nodos son los estados de la CM y cuyos arcos se etiquetan con la probabilidad de transición entre los estados que unen. Si dicha probabilidad es nula, no se pone arco.

Ejemplos:   S1 s2s1 1/2 1/2s2 1/2 1/2

  S1 s2 S3s1 0 3/4 1/4s2 1/2 0 1/2S3 1/4 3/4 0

  S1 s2 S3s1 1/2 ¼ 1/4s2 0 1/3 2/3S3 0 ¼ 3/4

  S1 s2 S3s1 0 0 1s2 1 0 0S3 0 1 0

Cadena regular Cadena y la matriz son regular S1 es un Estado transitorio y la cadena es no regular y no ergodica, aunque S2 y S3 sean conjunto ergodicos

Cadena cíclica ergodica y no una cadena regular

Caso 2.-En una cierta región el tiempo atmosférico sigue la siguiente secuencia: Un día se denomina soleado (S) si el sol luce más de la mitad del día, y se denomina nublado (N), si lo hace menos. Por experiencia, se sabe que si hay un día nublado, es igual de probable que el día siguiente sea también nublado. Si el día es soleado hay una probabilidad de 2/3 de que sea también soleado.

1. Construye la matriz de transición T de este proceso.2. Si hoy está nublado, ¿cuál es la probabilidad de que dentro de tres

días esté también nublado? ¿y de que esté soleado?