Cadenas de Markov

Cadenas de MarkovTiempo Discreto

Profesor: Pedro Pea CarterIngeniero Comercial UTFSM

MBA IEDE ESPAA

Departamento de Industrias Universidad Tcnica Federico Santa Maria

Introduccin

Un Proceso Estocstico se define comosecuencia de variables aleatorias {Xt} tT,donde el conjunto de ndices T puede serun conjunto discreto, por ejemplo T ={0,1,2,3,...}, caso en el cual decimos que el{0,1,2,3,...}, caso en el cual decimos que elproceso es tiempo discreto o bien T puedeser un intervalo, por ejemplo T= [0,), casoen el cual decimos que el proceso es entiempo continuo.

Departamento de Industrias - Universidad Tcnica Federico Santa Maria

IntroduccinEl proceso estocstico {Xt}, t T puederepresentar por ejemplo:

El nivel de inventario de cierto producto al finaldel da t.del da t.

El valor de una determinada accin en el instantet.

El estado de gravedad de un paciente en unaunidad de cuidado intensivo el da t


Introduccin

El proceso estocstico {Xt}, t T puederepresentar por ejemplo:

El nivel de satisfaccin con la empresa de uncliente determinado el da tcliente determinado el da t

El nmero de vehculos esperando en una plazade peaje en el instante t.

El nmero total de llamadas recibidas solicitandoun determinado servicio hasta el instante t.


Cadenas de Markov: Tiempo Discreto

Para comenzar consideremos el siguiente ejemplo:Suponga usted que si llueve hoy, llover maana conprobabilidad 1/3, en cambio, si no llueve hoy, llover maanacon probabilidad 3/4.

LLUEVE NO LLUEVEEstado Inicial LLUEVE NO LLUEVEEstado Inicial

Siguiente Etapa

LL NLL LL NLL

1/3 2/3 3/4 1/4


Cadenas de Markov: Tiempo Discreto

Sea Xn= El estado del tiempo en unacuidad, pas u otro, al comienzo del dan=1,2,...

En este caso los estados son dos:

0: Llueve 1: No Llueve0: Llueve 1: No Llueve

Se define , como laprobabilidad de que se este en el estado j alcomienzo del da n+1 dado que secomienza en el estado i al comienzo del dan.

)iX/jX(IPp n1nij


Dinmica de Paciente

En primer lugar, se determina un SCOREque define los estados por nivel degravedad de cada paciente, se emplea, enorden de importancia: tipo de intervencinquirrgica, diagnstico, complicacionesquirrgica, diagnstico, complicacionespost-operatorias, condicin inicial, cirugaprevia y edad.

0 10 20 30 40

intervencin quirrgica

diagnstico

complicacin postoperatoria

condicin inicial

ciruga previa

edad

score

Dinmica de PacienteGrupo 1Score : 4

Cierre de DuctusReparacin de Coartacin

Grupo 2Score : 8

- Cierre de CIA- Cierre de CIV- Reseccin Estenosis Sub Artica y Sub-pulmonar

Grupo 3Score : 12

-Recambio valvular-Op. Glenn

Grupo 4Score : 16

- Reparacin de T. de Fallot- Correccin de DVPAT supradiafragmatico- Op. Cavopulmonar-Cierre de CIV y Homo injerto para reparar Atresia pulmonar+ CIV .- Cierre de CIV + reparacin de Coartacin Artica

El SCORE refleja laimportancia de la

patologa

El SCORE a cadapatologa fue determinado- Cierre de CIV + reparacin de Coartacin Artica

Grupo 5Score : 20

- Op Jatene para reparacin de TGA- Cierre de CIV + rerouting en Doble Salida VD + HP- Valvulotoma en Atresia pulmonar con septum intacto

Grupo 6Score : 24

- Reparacin de T de Fallot + Canal- Correccin de DVPAT Infradiafragmatico

Grupo 7Score : 28

- Reparacin de T Fallot + Agenesia de velos pulmonares- Op. Rastelli o REV

Grupo 8Score : 32

-Reparacin de la Interrupcin de Cayado Artico.- Op. Ross- Op. Stanzel

Grupo 9Score : 36

-Op. Norwood (1 etapa)-Reparacin de Tronco Arterioso 1 o 2- Doble Switch .- Reparacin de Tronco arterioso + Interrupcin de Cayado Artico-Op Jatene + reparacin de Interrupcin de Cayado Artico

patologa fue determinadoen conjunto con

especialistas de dichaspatologas

Dinmica de Paciente

A partir de la suma de los SCORES paracada aspecto particular, se obtiene elSCORE de un paciente para cada etapa detiempo t en que permanezca en la UCIC.

Este SCORE determina finalmente la clasificacin de laEste SCORE determina finalmente la clasificacin de lagravedad de un paciente, etapa por etapa, en cualquiera de lossiguientes estados:

A B C D E

Riesgo Bajo Riesgo Medio Riesgo Alto Riesgo Grave Salida


Dinmica de Paciente

A B C D E

Riesgo Bajo Riesgo Medio Riesgo Alto Riesgo Grave Salida

SCORE 25 26 SCORE 41 42 SCORE 57 SCORE 58

Indica cuando un pacienteha salido de un sistema enbuen estado o no.


http://www.scielo.cl/pdf/ingeniare/v14n2/art09.pdf

Dinmica de PacienteTA BLA Da 1 Da 2 Da 3 Da 4 Da 5 Da 6 Da 7 Da 8 Da 9 Da 10 Da 11 Da 12 Da 13

Pacien t e 1 C B A A E - - - - - - - -Pacien t e 2 B B A E - - - - - - - - -Pacien t e 3 B C B C A A A A A A A E -Pacien t e 4 A B C B A E - - - - - - -Pacien t e 5 B C A A E - - - - - - - -Pacien t e 6 C C C C B A A A E - - - -Pacien t e 7 B D E - - - - - - - - - -Pacien t e 8 B B B B B D B B B B B B E

ijPCantidad total de transiciones desde el estado i al estado j

Cantidad total de transiciones desde estado i a cualquier estado

DETERMINAR LA MATRIZ DE PROBABILIDADES DE TRANSICIN


Dinmica de Paciente

)())(( nPnXE

)(nX ij1, Si un paciente que ingresa en el estado i est

en el estado j al cabo de n etapas.

0, Lo Contrario.

)())(( nPnXE ijij

.,...1

)()(nm

ijij mXnV

MATRIZ DE PROBABILIDADES DE TRANSICIN

.,...1.,...1

)())(())((nm

ijnm

ijij mPmXEnVE

Todas las transiciones.

N Esperado.


Dinmica de Paciente

EDCBAJ

iji nVnV,,,,

)()(

)()( nVLimV ini Distribucin LIMITE.

Cantidad (ESPERADA) de etapas que un pacientedado permanece en la UCI dado que ingres enel estado i

EDCBAI

ii VFEP,,,,

)0( )(

Suponiendo una distribucin inicial con probabilidades Fi(0),la estada promedio de un paciente cualquiera resulta ser


Dinmica de Paciente

3

4

5

6

7

8

0

1

2

1 3 5 7 9 1 1 1 3 1 5

Etapas C o nsideradas

Observado Estimado


Propiedades de MARKOVUn proceso estocstico en tiempo discreto{Xn}n=1,2,.... se denomina una Cadena de Markov entiempo discreto ssi satisface las siguientespropiedades:

Propiedad Markoviana:Propiedad Markoviana:

Donde i0, i1, ..., in-1, i, j son posibles estados o valores quepuede tomar el proceso estocstico en las distintas etapas.

)/(),,...,,/( 11111001 iXjXIPiXiXiXiXjXIP nnnnnn


Propiedades de MARKOVPropiedad estacionaria:

La probabilidad , no depende de la

etapa n.

Es decir, las probabilidades de cambiar de estado son lasmismas en cualquier instante. Esta propiedad indica que lasprobabilidades de transicin son estacionarias.

)iX/jX(IPp n1nij

probabilidades de transicin son estacionarias.


Propiedades de MARKOVMATRIZ DE PROBABILIDADES DE TRANSICIN

M22221

M11211

M...1jM...1iij

ppp

pppppp

)p(P

MM2M1M

M)1M(2)1M(1)1M(M...1j

pppppp


Propiedades de MARKOVDISTRIBUCION INICIALAdicionalmente, se supone conocida la distribucin deprobabilidad de la Cadena de Markov en la etapa inicial, quedenotamos segn f(0) , donde :

)1( 0XIP

Construir las etapas futuras,

)(

)2(

0

0

0

)0(

MXIP

XIPf


Construir las etapas futuras,sean en un momento en

particular o una secuenciasde sucesos

Propiedades de MARKOVQue se busca?El conocimiento del proceso estocstico {Xn}n=0,1,2,...consisteen poder determinar la distribucin de probabilidad en cada

etapa, esto es calcular IP (Xn = j) para cada n 1 yestado j= 1,2,.....,M.

Notar que para cada j:

i1nij

1ni

1nnn

)iX(IPp

)iX(IP)iX/jX(IP)jX(IP


Propiedades de MARKOVMatricialmente esto equivale a tener:

)MX(IP

)2X(IP)1X(IP

ppp

pppppp

)MX(IP

)2X(IP)1X(IP

f1n

1n

2M2212

1M2111

n

n

n

De Forma Recursiva, obtenemos:

F(n) = PT F(n-1) = (PT)n F(0)

)MX(IPppp)MX(IP 1nMMM2M1n


Propiedades de MARKOV

f(n) = PT f(n-1) = (PT)n f(0)

Para la determinacin Para la determinacin


Para la determinacin

de hechos sucesivos,

por ejemplo: Para calcular

la probabilidad que llueva

tres das seguidos.

Para la determinacin

de hechos en etapas

especificas, por ejemplo:

Para calcular

la probabilidad que llueva

el tercer da.

Propiedades de MARKOV

Tambin es posible obtener las probabilidades detransicin de un estado a otro al cabo de k etapas,que denotamos por :

Que resumidas en una matriz ( para el caso de un

)iX/jX(IP)iX/jX(IPp 0knkn)k(

ij

Que resumidas en una matriz ( para el caso de unnmero finito de estados).

Estas satisfacen las ecuaciones de Chapman yKolmogorov que implican: P(k) = Pk

)p(P )k(ij)k(


EJEMPLO 1: Migracin de Individuos

Cada familia norteamericana se puede clasificar como habitantede zona urbana, rural o suburbana. Durante un aodeterminado el 15% de todas las familias urbanas se cambian auna zona suburbana y el 5% se cambian a una zona rural.Tambin el 6% de las familias suburbanas pasan a zona urbanay el 4% se mudan a zona rural. Por ltimo el 4% de las familiasrurales pasan a una zona urbana y el 6% se mudan a una zonasuburbana.

Debemos determinar la matriz de probabilidades de transicin enuna etapa.



Definamos:Xn= Zona en que se encuentra un individuo al cabo de unaetapa.Estado 0: Zona Urbana.Estado 1: Zona Rural.Estado 2: Zona Sub-Urbana.Sea P01 = Probabilidad de que un individuo estando en el estado 0 (ZonaUrbana) originalmente, se encuentre en el estado 1 al cabo de una etapa(Migracin) = 5% = 0,05.

P00 = 0,8 P01 = 0,05 P02 = 0,15P10 = 0,04 P11 = 0,9 P12 = 0,06P20 = 0,06 P21 = 0,04 P22 = 0,9



9,004,006,006,09,004,015,005,08,0

P MATRIZ DE PROBABILIDADES DETRANSICIN EN UNA ETAPA.

Si una familia actualmente vive en una zona urbana. Cul es la probabilidad

que despus de dos aos viva en una zona urbana? En zona suburbana? En zona rural?que despus de dos aos viva en una zona urbana? En zona suburbana? En zona rural?

)0(2)2()0()( )()( fPffPf TnTn

001

)0(f

258,0091,0651,0

)2()1()0(

001

8214,0114,0258,0075,08144,0091,0

1036,00716,0651,0

2

2

2)2(

XIPXIPXIP

f65,1% ZU

9,1% ZR

25,8% ZSUDepartamento de Industrias - Universidad Tcnica Federico Santa Maria

EJEMPLO 2: Lealtad de Marca

Actualmente existen tres marcas en el mercado A, B y C, cuyasparticipaciones actuales son: 45%, 35% y 20% respectivamente.Segn estudios anteriores, se ha logrado determinar que unindividuo que consume la marca A se cambia a la marca B conuna probabilidad del 12% y a C con 8% en un mes. A su vez unindividuo que consume la marca B se cambia a la marca A conprobabilidad del 14% y a la marca C con 12% en un mes,finalmente un individuo que consume la marca C solo estaradispuesto a cambiarse con un 21% a la marca A en un mes.

Determinar la matriz de probabilidades de transicin.

Determinar como ser la distribucin al cabo de dos meses.


Definamos:Xn= Marca en la que se encuentra un individuo al cabo de unmes.Estado A: Marca A.Estado B: Marca B.


Estado C: Marca C.Sea PAB = Probabilidad de que un individuo estando en la Marca Aoriginalmente, se encuentre en la marca B al cabo de un mes = 12% = 0,12.

PAA = 0,8 PAB = 0,12 PAC = 0,08PBA = 0,14 PBB = 0,74 PBC = 0,12PCA = 0,21 PCB = 0 PCC = 0,79



79,0021,012,074,014,008,012,08,0


Al Cabo de dos meses la distribucin de marcas ser:

)0(2)2()0()( )()( fPffPf TnTn

35,045,0

)0(f)0(2)2()0()( )()( fPffPf TnTn

20,035,0)0(f

45,4% MA

28,6% MB

26% MC

26008,028574,045418,0

20,035,045,0

6409,01948,01416,00252,05644,01848,03339,02408,06736,0

)2(f


EJEMPLO 3: Inventarios

Considere una tienda que mantiene un inventario de un productodado para satisfacer una demanda (aleatoria). La demanda diariaD, tiene la siguiente distribucin:

IP (D = 0) = 1/4, IP (D = 1) = 1/2,IP (D = 2) = 1/4, IP (D >= 3) = 0

Sea Xn el nivel de inventario al inicio del da n y suponga que laSea Xn el nivel de inventario al inicio del da n y suponga que latienda tiene la poltica de mantencin de inventario (s, S), queconsiste en que si al final del da se posee menos de s, se haceuna orden de pedido que al inicio del da siguiente eleva lasexistencias al nivel S y en caso contrario, no se pide nada. Asumaque la demanda no satisfecha es demanda perdida y que al iniciodel horizonte de planificacin hay S unidades en inventario cons = 1 y S = 2.


EJEMPLO 3: Inventarios

Definamos:Xn= El nivel de inventario al inicio del da nEstado 1: Una Unidad en Inventario.Estado 2: Dos Unidades en Inventario.Sea P11 = Probabilidad de que existiendo una unidad en inventario alinicio del da, exista la mima unidad en inventario al da siguiente.En este caso, solo existe la posibilidad que no me demanden nada, por lotanto P11 = 1/4.P12 = Probabilidad de que existiendo una unidad en inventario al inicio

del da, existan dos unidades en inventario al da siguiente.


EJEMPLO 3: InventariosEn este caso hay dos opciones:a) Que exista demanda por 2 unidades, es decir, se vende solo una, la otraes demanda insatisfecha, se baja el inventario s a cero y al periodosiguiente habrn S = 2.b) Que exista demanda por 1 unidad, se baja el inventario s a cero y al

periodo siguiente habrn S = 2.

Por lo Tanto P12 = IP (D = 1) + IP (D = 2) = 1/4 + 1/2 =3/4.Por lo Tanto P12 = IP (D = 1) + IP (D = 2) = 1/4 + 1/2 =3/4.P21 = Probabilidad de que existiendo dos unidades en inventario al iniciodel da, exista una unidad en inventario al da siguiente.Es claro que para que esto suceda, solo debern demandar una unidad.

P21 = 1/2.


EJEMPLO 3: InventariosP22 = Probabilidad de que existiendo dos unidades en inventario al iniciodel da, existan dos unidades en inventario al da siguiente.Es claro que para que esto suceda, no se demanda ninguna unidad o sedemandan al menos dos unidades.

P22 = IP (D = 0) + IP (D 2) = 1/4 + 1/4 = 1/2.

2/12/14/34/1



Clasificacin de Estados

En esta seccin se presentan algunosresultados que tienen relacin con laexistencia y clculo de una distribucinpara la Cadena de Markov en el largoplazo. Previamente, se enumeran algunasplazo. Previamente, se enumeran algunasdefiniciones que clasifican los estados deuna cadena:


Clasificacin de Estadosi) Un estado j se dice accesible desde el estado i, ssipara algn n.

ii) Si tanto el estado i es accesible desde j como viceversa

0)iX/jX(IPp 0n)n(

ij

1 2

Si tanto el estado i es accesible desde j como viceversadecimos que los estados i y j se comunican.

1 2


Clasificacin de Estadosiii) Dos estados que se comunican estn en una mismaclase de estados. Cuando una cadena define una solaclase de estados, se dice que dicha cadena es:IRREDUCIBLE

iv) Se dice que una cadena es irreducible si hay unasola clase de estados.

1 2

3

Clasificacin de Estadosv) Un estado se dice que tiene periodo d, para el mayorvalor del entero d que cumple:

slo para valores de n pertenecientes al conjunto {d, 2d,

0)iX/iX(IPp 0n)n(

ii

slo para valores de n pertenecientes al conjunto {d, 2d,3d, ....}. Si d=1 decimos que el estado es aperidico.

d = 2


Clasificacin de Estadosvi) Se define T(i,j) como el nmero de etapas requeridaspor el proceso para pasar de estado i al estado j porprimera vez. De igual modo se define:

)k)j,i(T(IP)j,i(Fk

es decir :

Como la probabilidad de que comenzando en i, ocurra laprimera transicin al estado j al cabo de exactamente ketapas.

)iX/jX,...,jX,jX(IP)j,i(F 011kkk



vii) En particular, se denota por Fk(i,i) la probabilidad deque el proceso retorne al estado i por primera vez al cabode k etapas. De modo que:

1k

k )i,i(F)i,i(F

Es la probabilidad que partiendo en i , el proceso regreseal estado i alguna vez.

1k



viii) Un estado se dice recurrente, ssi F(i,i) = 1

ix) Un estado se dice transciente ssi F(i,i)< 1

x) Sea , el valor esperado de elnmero de etapas que le toma al proceso volver al estadoi por primera vez, partiendo del estado i.

1k k )i,i(Fk))i,i(T(IE


Clasificacin de EstadosSuponga usted que si llueve hoy, llover maana con

probabilidad 2/3, en cambio, si no llueve hoy, llover

maana con probabilidad 3/4.Este ejercicio define la siguiente Cadena de Markov

Xn= Estado del tiempo al cabo de un da.Estado 0: LlueveEstado 1: No Llueve.Sea P00 = Probabilidad de que llueva maana, dado que estalloviendo hoy.P00 = 2/3 P01 = 1/3

P10 = 3/4 P11 = 1/4

4/14/33/13/2

P


Clasificacin de EstadosDada la matriz de probabilidades de transicin, procedemosa graficar la cadena.

0 11/3

3/41/4

2/3

Se Comunican

Una clase de estados

Aperiodicos

Cadena Irreducible

F1(0,0)= Probabilidad de que comenzando en el estado 0 (Llueve), vuelva apasar por cero (Llueve), al cabo de una etapa (Sin pasar ms de una vez por 0.F1(0,0) = 2/3.F2(0,0) = (1/3) x (3/4) = (1/4)1

F3(0,0) = (1/3) x (1/4) x (3/4) = (1/4)2

F4(0,0) = (1/3) x (1/4) x (1/4) x (3/4) = (1/4)3

F5(0,0) = (1/3) x (1/4) x (1/4) x (1/4) x (3/4) = (1/4)4

FK(0,0) = = (1/4)k-1


Clasificacin de EstadosFK(0,0) = (1/4)k-1 + (2/3) Fk(0,0) = ( (1/4)k-1) +2/3

= ( (1/4)k x (4)) +2/3= (4 (1/4)k) +2/3= (4 (1/4) ) +2/3= 4 ((1/16)/(1-(1/4))) +2/3= 4(4/48) + 2/3

FK(0,0) = 1/3 + 2/3 = 1Por lo tanto, el estado cero es un estado recurrente. Ademscomo la cadena es irreducible, el estado uno tambien esrecurrente.


Clasificacin de EstadosOtros Ejemplos:

0 11/3

3/4

1/42/3

Clase 10 1

1/3

3/4

2/3

1/3 3

Clase 1

2

1/43/4Clase 22

1/3

31/3

2/3 41/21/2

Clase 2

Clase 3


Distribucin LimiteSi la distribucin de probabilidad del proceso enel largo plazo existe y es independiente de ladistribucin inicial (o del estado inicial), decimosque el proceso tiene una distribucinestacionaria p = (p , p , ..., p )Testacionaria p = (p1, p2, ..., pM)T


)n(ijnnnj

plim)jX(IPlim

Distribucin LimiteProposicin.

Sea {Xn}n=0,1,2 una cadena de Markov irreduciblecon estados recurrentes positivos aperidicos,entonces existe una distribucin estacionaria ,tal que > 0 y que se obtiene como la solucinnica del sistema:nica del sistema:


0

1P

j

jj

T

Distribucin LimiteVolviendo al ejercicio de Estado del tiempo, situvisemos que determinar cuando llevarparaguas y cuando no , En que proporcin loharamos?

4/33/2 00

TP

14/13/1

10

11

P


Distribucin Limite

101

100

41

32

43

31

10100 89

43

31

Despejando la primera ecuacin, obtenemos:(1)

(2)

110 (3)

(4)

Sustituyendo (4) en (1):0 = 9/17 = 0.529 = 53,9%


0 = 9/17 = 0.529 = 53,9%1 = 8/17 = 0.471 = 47,1%

En Conclusin el 53,9% de las veces llover yel 47,1% de las veces no llover.

Aplicaciones

Probmod.exe


Probmod.exe

Cadenas de Markov

Documents

Transcript of Cadenas de Markov