Universidad de Antioquia Departamento de Ingeniería Industrial...Bernardo A. Calderón C....

Universidad de Antioquia

Departamento de Ingeniería Industrial

Procesos Estocásticos

Bernardo A. Calderón C.

Medellín, abril de 2014

Bernardo A. Calderón C. “Cadenas de Markov” 2

1. Procesos Estocásticos 1.1. Definición

Un proceso estocástico {Xt, tT} es una colección de variables aleatorias. Esto es, para cada tT, Xt es una variable aleatoria. Índice de proceso. El conjunto T es llamado el “índice” del proceso. El índice t es a menudo interpretado como tiempo, sin embargo puede referirse a cualquier otra cosa,. Por ejemplo, al número de juegos realizados por un jugador, o al número de metros desenrollados al inspeccionar un rollo de tela. Si T es contable se tiene un proceso discreto en el tiempo, y por lo general se usará la siguiente notación, reemplazando el subíndice t por n: {Xn, n = 0, 1,...}. Decimos que tenemos un proceso estocástico de parámetro discreto.

Si T es un intervalo, se trata de un proceso continuo en el tiempo. Notación: {Xt, t 0} proceso estocástico de tiempo continuo (proceso estocástico de parámetro continuo). Denotamos por Xt a la variable que representa el estado del proceso en el tiempo t. Esa variable de estado Xt puede ser: Número de clientes en un supermercado

Estado del tiempo

Precio de una acción, etc. Espacio de estados = E. Conjunto de todos los posibles valores que la variable Xt puede tomar. En resumen, un proceso estocástico es una familia de variables aleatorias que describe la evolución de un proceso (físico) a través del tiempo. Para describirlo, bastaría con conocer la distribución conjunta de probabilidad de dichas variables aleatorias. Realización de un proceso: Conjunto particular de valores que toma el proceso. Ejemplo 1.1 Problema del jugador

Considere un jugador A, que apuesta contra otro jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1-p. Sea k el capital inicial del jugador A, y sea M el capital de ambos jugadores. Sea Xn el capital del jugador A después de realizar n juegos. Entonces Xn es un proceso estocástico de parámetro continuo, donde el espacio de estados es el conjunto de enteros, 0, 1, 2,….,M La figura siguiente muestra un posible evolución del capital del jugador después de realizar 30s juegos, si empieza con un capital inicial de $10.


1.2. Estructura probabilística del proceso

Como ya se mencionó, para conocer el comportamiento de un proceso estocástico, basta con conocer la distribución conjunta de probabilidad P(x1,x2,....Xn) Considere un proceso estocástico de parámetro discreto n = 0, 1, 2,...,. Considere el conjunto de variables aleatorias X0, X1, ...,Xn. Su comportamiento puede describirse mediante la función de probabilidad conjunta.

Para ello considere la siguiente probabilidad: P = P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) Usando la fórmula de probabilidad condicional P(AB) = P(A/B) P(B), la probabilidad anterior puede escribirse como: P = P(Xn=in, Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1, …, X1=i1, X0=i0) Usando de nuevo el condicional, la probabilidad se puede expresar como: P = P(Xn=in/ Xn-1=in-1, …, X1=i1, X0=i0) P(Xn-1=in-1/ Xn-2=in-2 …, X1=i1, X0=i0) P(Xn-2=in-2 …, X1=i1, X0=i0) Repitiendo de nuevo el proceso anterior y usando el condicional en forma iterativa, se llega a la siguiente expresión para la probabilidad conjunta: P = P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0)xP(Xn-1=in-1/ Xn-2=in-2 …, X1=i1, X0=i0)xP(Xn-2=in-2/ …, X1=i1, X0=i0)

x…x P(X2=i2/X1=i1, X0=i0)xP(X1=i1/X0=i0) x P(X0=i0)

De lo anterior, se observa que la probabilidad conjunta puede expresarse en términos de las probabilidades condicionales, condicionando el resultado en el tiempo n a los resultados obtenidos en los tiempos n-1, n-2,...,1 y el estado inicial, luego el resultado en el tiempo n-1 se condiciona a los resultados obtenidos en los tiempos n-2,...,1 y el estado inicial, y así sucesivamente hasta condicionar el resultado en el tiempo 1 al estado inicial. Usando la expresión anterior, se pueden calcular la probabilidad conjunta para cualquier caso, pero nuestro interés se centra en dos casos especiales: el caso independiente y el caso dependiente de Markov. 1.3. Caso independiente.

Si las variables aleatorias son independientes, es decir, P(Xn=in/Xn-1=in-1, …, X1=i1, X0=i0) = P(Xn=in), la probabilidad conjunta está dada por:

P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0 ) = P(Xn = in) P(Xn-1 = in-1)P(Xn-2 = in-2)…P(X1 = i1) P(X0 = i0) Ejemplo 1.2 Problema del jugador


Considere de nuevo el problema del jugador, pero en este caso Xn representa el resultado del n-ésimo juego. Su espacio de estados es E = (-1, 1). En este caso Xn es un proceso estocástico independiente, ya que el resultado de un juego es completamente independiente de los resultados de los juegos anteriores. 1.4. Caso Markoviano

Suponga que la probabilidad condicional en el tiempo n, dados los períodos n-1, n-2,...,1 y 0 se puede expresar de la siguiente manera: P(Xn = in/Xn-1 = in-1, Xn-2 = in-2…, X1 = i1, X0 = i0) = P(Xn = in/Xn-1 = in-1) Es decir, el estado futuro del proceso Xn depende solo del estado presente Xn-1 y es independiente de los estados pasados (Xn-2, Xn-3,…, X1, X0). En este caso se dice que el proceso tiene la “propiedad Markoviana”, o tiene pérdida de memoria, es decir, el futuro depende únicamente del presente y es independiente del pasado. A la probabilidad condicional P(Xn = in/Xn-1 = in-1) se la denomina “probabilidad de transición” del estado Xn-1 al estado Xn en un período. La probabilidad conjunta se expresa entonces como P(Xn = in, Xn-1 = in-1, …, X1 = i1, X0 = i0) =

P(Xn = in/Xn-1 = in-1)P(Xn-1 = in-1/ Xn-2 = in-2)…P(X2 = i2/X1 = i1)P(X1 = i1/X0 = i0)P(X0 = i0)

Ejemplo 1.3 Problema del jugador

Considere de nuevo el problema del jugador, pero en este caso Xn representa el capital del jugador después del n-ésimo juego. Su espacio de estados es E = (0, 1, 2, …, M). En este caso, será Xn un proceso de Markov? Solución. El capital del jugador A después de n juegos puede expresarse en términos del capital inicial X0 ( =

k) y de los resultados de las n apuestas que haga Y1, Y2,..., Yn-1, Yn.

Xn = X0 + Y1 + Y2 + ... + Yn-1 + Yn Al examinar la expresión podría pensarse que no se cumple la condición de Markov. Sin embargo debe tenerse en cuenta que el capital después de los n-1 primeros juegos Xn-1 es igual a:

Xn-1 = X0 + Y1 + Y2 + ... + Yn-1 con lo cual el capital del jugador A después de n juegos se puede expresar como

Xn = Xn-1 + Yn

donde Yn es el resultado del n-ésimo juego (1). De la expresión anterior, se concluye que cumple la condición de Markov.


2. Cadenas de Markov

Considere el proceso estocástico de parámetro discreto {Xn, n = 0, 1,2,...,} que toma un número finito o infinito de valores. Supondremos que E = (0, 1,2,...,M) ó E = (0, 1,2,...) Si Xn = i decimos que el proceso se encuentra en el estado i en el tiempo o etapa n. El tiempo se denomina “etapa o paso” Considere la secuencia Xt+1, Xt, Xt-1,...,X1, X0. Se dice que un proceso cumple la condición de Markov o tiene la propiedad markoviana si P(Xt+1 = j/Xn = i, Xn-1 = in-1…, X1 = i1, X0 = i0) = P(Xt+1 = j/Xn = i) Se tiene entonces que la probabilidad condicional de cualquier evento futuro dados el evento presente o actual y los eventos pasados depende únicamente del presente y es independiente del pasado

2.1. Probabilidad de transición

La probabilidad P(Xt+1 = j/Xt = i) se denomina “probabilidad de transición” o probabilidad de pasar del estado i al estado j en una etapa o transición. 2.1.1. Probabilidad estacionaria

Si para cada i, j y t se cumple

P(Xt+1=j/Xt=i) = P(Xt+s+1=j/Xt+s=i) = P(X1=j/X0=i) se dice que las probabilidades son “estacionarias”, es decir, no cambian con el tiempo y se denotan simplemente por pij. Estas probabilidades de transición tienen las siguientes propiedades:

jij

ij

1)b

10)a

p

p

2.1.2. Probabilidad de transición en n pasos

También se puede hacer la transición del estado i al estado j en varios pasos, no necesariamente en uno, y esta probabilidad se denota por

P(Xt+n = j/Xt = i) = P(Xn = j/X0 = i) = pij(n)

y se denomina “probabilidad de transición en n pasos” Como los pij

(n) son probabilidades se tiene que:

,,.,2,1,0n,itodopara,1M

0j

p )n(ij

)b

,,.,2,1,0n,j,itodopara,1p0 )n(ij

)a

2.1.3. Matriz de transición en una etapa P

Es una matriz cuadrada conformada por las probabilidades de transición en una etapa P = {pij}, donde las filas

representan el estado actual i, y las columnas el estado futuro j.


pppp

pppp

pppp

pppp

MM2M1M0M

M2222120

M1121110

M0020100

....

..............................

....

....

....

P

La matriz de transición es una matriz estocástica y debe cumplir las siguientes propiedades:

1)filai(sumatodopara1,M

0j

pij)b

ji,todopara1,p0)a ij

La primera propiedad se debe al hecho de que se trata de una probabilidad, y la segunda al hecho de que si en el tiempo t el proceso se encuentra en el estado i, en el tiempo t+1 se debe encontrar en cualquier estado, incluyendo el estado i. 2.1.4. Diagrama de transición

Una cadena de Markov se puede representar en forma gráfica mediante un diagrama de transición, en el cual los estados se representan por figuras geométricas (círculos, cuadrados, etc), y mediante flechas orientadas se indican las transiciones posibles entre los diferentes estados. (ver el problema del jugador) Ejemplo 2.1 Estado del tiempo

Suponga que el estado del tiempo en un día cualquiera depende únicamente del estado del tiempo del día

anterior. Mas específicamente, suponga que si llueve hoy, la probabilidad de que llueva mañana es (=0.7), y

si no llovió hoy la probabilidad de que llueva mañana es (=0.4). Represente este proceso como una cadena de Markov. Solución. Si denotamos por Xn el estado del tiempo el día n, por las suposiciones dadas se concluye

claramente que el proceso Xn es una cadena de Markov, con el siguiente espacio de estados:

E = (Lluvia, no lluvia) = (0, 1) La matriz de transición correspondiente será:

6.04.0

3.07.0

1

1P

Ejemplo 2.2 Problema del jugador

Considere un jugador A, que apuesta contra otro jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1-p. Sea k el capital inicial del jugador A, y sea M el capital de ambos jugadores. Si denotamos por Xn el capital del jugador A después de n jugadas, a) Es Xn una cadena de Markov? b) Si lo es, cual sería la matriz de transición. Solución. Como se explicó previamente, el capital del jugador A después de n juegos es igual al capital que

tiene al final del juego n-1 más el resultado obtenido al realizar el último juego n, es decir,

Xn = Xn-1 + Yn

donde Yn es el resultado del n-ésimo juego (1). De la expresión anterior, se concluye que cumple la condición de Markov.


El espacio de estados está dado por E = (0, 1, 2,..., M)

Las probabilidades de transición están dadas por: p00 = 1 (si el jugador está arruinado no puede apostar y se quedará con cero pesos de capital) p01 = p02 =…= p0M = 0

1Además

1ijsi0

M,0i,1ijsiq

M,0i,1ijsip

}i/j{P

pp

XXp

MM00

1nnij

ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se tiene todo el capital, el oponente no puede realizar ninguna apuesta.

i / j 0 1 2 3 … M-1 M

0 1 0 0 0 ... 0 0

1 1-p 0 p 0 ... 0 0

P = 2 0 1-p 0 p ... 0 0

3 0 0 1-p 0 ... 0 0

... ... ... ... ... ... ... ...

M-1 0 0 0 0 ... 0 P

M 0 0 0 0 ... 0 1

El problema el jugador se puede representar mediante el siguiente “diagrama de transición”. Ejemplo 2.3 Sistema de inventarios

Considere un sistema de inventario (s, S) donde se pide la cantidad necesaria para elevar el inventario al nivel S cuando el inventario es menor que s. En caso contrario no se pide nada. El pedido se hace al final de la semana y se entrega al principio de la siguiente semana. La demanda semanal tiene la siguiente distribución

de probabilidad (corresponde a una distribución de Poisson con tasa = 1.5):

Demanda 0 1 2 3 4 5 Probabilidad .223 .335 .251 .126 .047 .018

La demanda que no se puede satisfacer a tiempo se pierde, es decir, el cliente se va para donde otro proveedor. Sea Xn el inventario al final de la semana n. a) ¿Es Xn una cadena de Markov? b) En caso afirmativo, ¿cual será la matriz de transición?. Sea s = 1, S = 3 Solución. El inventario al final de una semana (Xn) es igual al inventario al final de la semana anterior (Xn-1)

menos la demanda atendida durante la semana Dn más las órdenes colocadas al final de la semana anterior para reabastecer el inventario (On-1), las cuales llegan al principio de la semana. Por lo tanto Xn se expresa como:

Xn = Xn-1 + Qn-1 - Dn

0 1 M-2 M-1 M 2 3


donde Qn-1 = Cantidad pedida al final de la semana n-1 (que llega al principio de la semana n) Dn = demanda atendida durante la semana n El espacio de estados está dado por E = (0, 1, 2, 3)

Cálculo de las probabilidades de transición

Cálculo de p00. Para calcular p00 debe tenerse en cuenta que si el inventario es cero al final de una semana,

se piden tres unidades que llegan al principio de la semana siguiente, y para poder terminar de nuevo la semana en cero, se requiere que la demanda durante esa semana sea de por lo menos tres unidades

P00=P(Xn = 0/Xn-1 = 0)= P(D 3) = .126 + .047 + .018 =.191 Cálculo de p01, p02 y p03. Para calcular p0j (j = 1, 2, 3) debe tenerse en cuenta que si el inventario es cero al

final de una semana, se piden tres unidades que llegan al principio de la semana siguiente, y para poder terminar la semana con inventarios de 1, 2 o 3 unidades, se requiere que las demandas respectivas durante la semana sean de 2, 1 y 0 unidades P01 = P(Xn = 1/Xn-1 = 0) = P(D = 2) = 0.251 P02 = P(Xn = 2/Xn-1 = 0) = P(D = 1) = 0.335 P03 = P(Xn = 3/Xn-1 = 0) = P(D = 0) = 0.223 Cálculo de p1j. Si el inventario al final de una semana es uno no se hace ningún pedido. Por lo tanto, para

pasar de un inventario de uno a un inventario de cero, (p10) se requiere que la demanda durante esa semana sea de por lo menos una unidad, y para poder terminar la semana con una unidad en el inventarios la demanda durante la semana debe ser cero. Además, como no se hace pedido, no es posible terminar la semana con dos o tres unidades si al final de la semana anterior sólo había una unidad en el inventario.

P10 = P(D 1) = 0.335 + .251 + .126 + .047 + .018 = 0.777 P11 = P(D = 0) = 0.223 P12 = 0, P13 = 0 La matriz de transición resultante es la siguiente: 0.191 0.251 0.335 0.223 0.777 0.223 0 0 P = 0.442 0.335 0.223 0

0.191 0.251 0.335 0.223 Ejemplo 2.4 Genio de una persona.

Suponga que el genio (humor) de un compañero en un día cualquiera puede ser “alegre”, “normal”, o “de mal genio (malhumorado)”. Suponga además que si hoy está de buen genio mañana puede estar de buen genio, normal o malhumorado con probabilidades de 0.5, 0.4 y 0.1, respectivamente. Si hoy está “normal” mañana puede estar de buen genio, normal o malhumorado con probabilidades de 0.3, 0.4 y 0.3, respectivamente. Finalmente si hoy está de mal humor, mañana puede estar de buen genio, normal o malhumorado con

probabilidades de 0.2, 0.3 y 0.5, respectivamente. Si {Xn, n 0} representa el genio de su compañero, la matriz de transición estará dada por

5.03.02.0

3.04.03.0

1.04.05.0

P

donde el espacio de estados es E = [alegre, normal, malhumorado] = [0, 1, 2] Problemas propuestos: Libro de Hillier: 14.2.1, 14.2.3, 14.3.2, 14.3.3 a y b, 14.5.1a, 14.5.2a, 14.5.3a, 14.6.6a


Ejemplo 2.5 Transformación de una cadenas de Markov. El estado del tiempo

Suponga que el estado del tiempo un día cualquiera depende de las condiciones del tiempo en los dos días anteriores. Así:

Si ha llovido en los dos últimos días, lloverá mañana con probabilidad de 0.7

Si llovió hoy pero no ayer, la probabilidad de que llueva mañana es de 0.5

Si llovió ayer pero no hoy, la probabilidad de que llueva mañana es de 0.4

Si no ha llovido los dos últimos días, la probabilidad de que llueva mañana es de 0.2 a) ¿Es el proceso anterior una cadena de Markov? b) Si no lo es, ¿puede transformarse para que lo sea? Solución. Si denotamos por Xn el estado del tiempo el día n, entonces Xn es una función no sólo de Xn-1 sino

también de Xn-2, por lo cual no es una cadena de Markov. Si embargo, si redefinimos el estado del proceso como el estado del tiempo en dos días consecutivos, el proceso sería una cadena de Markov. Así: Xn = Estado del tiempo en los días n y n-1. La convención podría ser la siguiente: Estado Condición

0 Llueve los dos últimos días- LL 1 Llueve el día actual pero no el anterior-LN 2 No llueve el último día, pero sí el anterior- NL 3 No ha llovido los dos últimos días-NN

E = (0, 1, 2, 3) = (LL, LN, NL, NN) Cálculo de las probabilidades de transición Estado futuro = Estado del tiempo mañana y hoy Estado actual = Estado del tiempo hoy y ayer P00 = P(LmañanaLhoy/LhoyLayer) = Probabilidad de lluvia en los dos últimos días) = 0.7 P01 = P(LmañanaNhoy/LhoyLayer) = 0 P02 = P(NmañanaLhoy/LhoyLayer) = 0.3 P03 = P(NmañanaNhoy/LhoyLayer) = 0 P10 = P(LmañanaLhoy/LhoyNayer) = 0.5 P11 = P(LmañanaNhoy/LhoyNayer) = 0 P12 = P(NmañanaLhoy/LhoyNayer) = 0.5 P13 = P(NmañanaNhoy/LhoyNayer) = 0 La matriz de transición resultante es la siguiente: 0.7 0.0 0.3 0.0 0.5 0.0 0.5 0.0 P = 0.0 0.4 0.0 0.6

0.0 0.2 0.0 0.8 Ejemplo 2.6 Taller con dos máquinas y un mecánico

Considere un taller que tiene 2 máquinas y un solo mecánico que las repara cuando fallan. Si una máquina

está trabajando, la probabilidad de que falle en una hora es . Si una máquina está bajo reparación, la

probabilidad de que el mecánico termine de repararla en una hora es . Si Xn es el número de máquinas en operación al final de la hora n, a) ¿Es Xn una cadena de Markov?. Explique b) En caso afirmativo, calcule la matriz de transición


Solución. El número de máquinas en operación al final de una hora (Xn) es igual al número de máquinas en

operación al final de la hora anterior (Xn-1) más el número de máquinas reparadas durante la última hora (Rn) menos el número de máquinas que han fallado durante la última hora (Fn). Por lo tanto Xn se expresa como se indica a continuación, de donde se desprende que es una cadena de Markov. Se supone que las máquinas fallan al final de la hora, o que sólo al final de la hora se descubre que las máquinas han fallado, o que el mecánico ha terminado la reparación. (No hay eventos simultáneos, es decir, una máquina no puede fallar y ser reparada en la misma hora)

Xn = Xn-1 + Rn - Fn

donde Rn = Número de máquinas reparadas durante la última hora. Fn = Número de máquinas que fallaron durante la última hora. El espacio de estados está dado por E = (0, 1, 2)

Cálculo de las probabilidades de transición Cálculo de p00, p01 y p02. Para pasar del estado cero al estado cero se requiere que el mecánico no termine

la reparación de la máquina que estaba reparando (1 - ) y para pasar al estado uno se requiere que termine

de reparar la máquina ().

P00 = P(mecánico no termine la reparación) =1 -

P01 = P(mecánico termine la reparación) = P02 = P(Reparar dos máquinas) = 0 Cálculo de p10, p11 y p12. Para pasar del estado uno al estado cero se requiere que el mecánico no termine la

reparación de la máquina que está arreglando (1 - ) y que la máquina que estaba en operación se dañe (). Para pasar del estado uno al estado uno se requiere que el mecánico no termine la reparación de la máquina

que está arreglando (1 - ) y que la máquina que estaba operando no se dañe (1 - ), o que el mecánico

termine la reparación de la máquina que está arreglando () y que la máquina que estaba operando se dañe

().Para pasar del estado uno al estado dos se requiere que el mecánico termine la reparación de la máquina

que está arreglando () y que la máquina que estaba operando no se dañe (1 -)

p10 = P(No terminar reparación y máquina buena se dañe = (1 - ) () p11 = P(no terminar reparación y la máquina buena no se dañe)

P(terminar reparación y la máquina buena dañe)

= (1 - ) (1 - ) + () ()

p12 = P(terminar reparación y que máquina buena no se dañe) = () ()

Queda como un ejercicio calcular las probabilidades de transición desde el estado 2 hacia los demás estados. La matriz de transición resultante es la siguiente:

)1(22

)1(2

)1()1()1()1(

01

P

2.2. Matriz de transición en n etapas P(n)

Se denomina probabilidad de transición en n etapas pij(n)

a la probabilidad de que un proceso pase del estado i al estado j en n transiciones o pasos.

P(Xn=j/X0 =i) = P(Xn+m=j/Xm =i) = pij(n)

, n, i, j 0

Se tiene que pij(1)

= pij.


Cálculo de pij

(2).

Para pasar del estado i al estado j en dos transiciones se puede pasar por un estado intermedio k en la primera transición y luego ir del estado k al estado j en la segunda transición. Este estado k puede ser cualquiera de los estados del proceso, incluyendo los estados i y j. La figura siguiente ilustra el proceso

M

0kkjik

M

0k1201

M

0k01012

M

0k01202

)2(

ij

ppXXXX

XXXXX

XXXXXp

)k/j(P)i/k(P

)i/k(P)i,k/j(P

)i/k,j(P)i/j(P

Denotemos por P

(2) la matriz formada por las probabilidades de transición en dos etapas, cuyos elementos

son las diferentes probabilidades de transición en dos etapas pij(2)

. Al analizar la expresión resultante para pij

(2) observamos este elemento es igual al producto de la fila i de la matriz de transición en una etapa P por la

columna j de la misma matriz. Es decir, la matriz de transición en dos etapas, es simplemente el producto de la matriz de transición de una etapa por sí misma. Por lo tanto,

P(2)

= P(1)

P(1)

= P P = P2

Matriz de transición en 3 etapas Cálculo P

(3)

Para pasar del estado i al estado j en tres etapas se puede pasar en el primer paso por un estado intermedio k, y luego hacer la transición del estado k al estado j en los restantes dos pasos, es decir:

M

0k

)2(

kjik

M

0k130103

)3(

ijppXXXXXXp )k/j(P)i/k(P)i/j(P

Si P(3)

es la matriz de transición en 3 pasos, entonces se tiene que

P(3)

= P(1)

P(2)

= P P2 = P

3

También se puede pasar al estado intermedio k en los primeros dos pasos, y luego hacer la restante transición al estado j en un paso, es decir

M

0kkj

)2(

ik

M

0k230203

)3(


Es decir, P

(3) se puede expresar como:

P

(3) = P

(2) P

(1) = P

2 P = P

3

Matriz de transición en n etapas - P(n) Ecuación de Chapman Kolmogorov .

Para pasar del estado i al estado j en n etapas se puede pasar en los m primeros pasos por un estado intermedio k, y luego hacer la transición del estado k al estado j en los n-m pasos restantes, es decir:

0

i

k

1 j


M

0k

mn

kj

m

ik

M

0kmn0m0n

)n(


Si P(n)

es la matriz de transición en n pasos, entonces puede expresarse como:

P(n)

= P(m)

P(n-m)

= Pm P

n-m = P

n

También para pasar del estado i al estado j en n etapas se puede pasar al estado intermedio k en los primeros n-m pasos, y luego hacer la transición al estado j en m pasos, es decir

M

0k

m

ik

mn

ik

M

0kmnn0mn0n

)n(


Es decir, P(n)

se puede expresar como:

P(n)

= P(n-m)

P(m)

= Pn-m

Pm= P

n

El sistema anterior de ecuaciones recibe el nombre de Ecuación de Chapman Kolmogorov

Propiedades:

,,.,2,1,0n,itodopara,1M

0j

p )n(ij

)b

,,.,2,1,0n,j,itodopara,1p0 )n(ij

)a

Ejemplo 2.7 Estado del tiempo. ¿Cuál es la probabilidad de que llueva dentro de 4 días si está lloviendo

hoy?. Solución. Para responder esta pregunta debemos calcular las probabilidades de transición en cuatro paso

P(4)

4286.05714.0

42854.05715.0

4332.05668.0

4251.05749.0

48.052.0

39.061.0.

48.052.0

39.061.0

48.052.0

39.061.0

6.04.0

3.07.0.

6.04.0

3.07.0

6.04.0

3.07.0P

P

P

P

)8(

)4(

)2(

La probabilidad requerida está dada por p)4(

00

= 0.5749

Ejemplo 2.8 Sistema de inventarios. Calcule la probabilidad de que no haya unidades en el inventario

dentro de cuatro días si hoy no hay artículos en inventario. La matriz de transición en varias etapas (n =2, 4, 8) se presenta en la página siguiente:

La probabilidad requerida está dada por p)4(

00

= 0.3993


¿Qué comportamiento se observa en P(n) a medida que n aumenta? 2.3. Probabilidades de estado qj

(n)

Se denomina “probabilidad de estado” a la probabilidad (incondicional) de que después de n transiciones el proceso se encuentra en el estado j, la cual denotaremos por qj

(n) = P(Xn=j)

Cálculo 1. La probabilidad de estado qj

(n) se puede calcular condicionando bien sea en el estado inicial o en

cualquier otro estado. Condicionando en el estado inicial se tiene:

M

0i

)n(

ij

)0(

i

M

0i00nn

)n(

jpqXXXXq )i(P)i/j(P)j(P

Si denotamos por Q(n)

={q0(n)

, q1(n)

,...,qM(n)

} un vector fila con las probabilidades de estado, y analizamos la ecuación anterior tenemos que Q

(n) se puede expresar como

: Q

(n) = Q

(0) P

(n),

donde Q

(0) es el vector de estado o probabilidad inicial {qj

(0) = P(X0=j)} y Q

(0) ={q0

(0), q1

(0),...,qM

(0)}

Cálculo 2. También se puede calcular qj(n)

condicionando en cualquier otro estado. Si se condiciona en el

penúltimo estado que visite el proceso se tiene:

M

0iij

)1n(

i

M

0i01nnn

)n(

jpqXXXXq )i(P)i/j(P)j(P

Analizado la ecuación anterior tenemos que:

Q(n)

= Q(n-1)

P, donde Q

(n-1) es el vector de probabilidad de estado para la etapa n-1.

Ejemplo 2.9 Estado del tiempo. Calcule la probabilidad de que llueva dentro de cuatro días si es

igualmente probable que llueva o no llueva hoy. Solución. Como es igualmente probable que llueva o no llueva hoy, se tiene que Q

(0) = (0.5, 0.5). La

probabilidad de que llueva dentro de cuatro días se calcula como: q0

(4) =

q0

(0) p00

(4) + q1

(0) p10

(4) = 0.5 x 0.5749 + 0.5 x 0.5668 = 0.57085

Ejemplo 2.10 Sistema de inventarios 1. Si el inventario inicial es 2 unidades, cual es la probabilidad de

que no haya inventario al final de la primera semana? De la cuarta? De la octava?. Qué pasa si el inventario inicial fuera tres?

0.191 0.251 0.335 0.223 0.4222 0.2721 0.2134 0.0923

P = 0.777 0.223 0 0 P(2) = 0.3217 0.2448 0.2603 0.1733

0.442 0.335 0.223 0 0.4433 0.2604 0.1978 0.0986

0.191 0.251 0.335 0.223 0.4222 0.2721 0.2134 0.0923

0.3993 0.2622 0.2228 0.1157 0.4005 0.2623 0.2222 0.1149

P(4) 0.4031 0.2624 0.2208 0.1138 P(8) 0.4005 0.2623 0.2222 0.1149

0.4002 0.2627 0.2225 0.1146 0.4005 0.2623 0.2222 0.1149

0.3993 0.2622 0.2228 0.1157 0.4005 0.2623 0.2222 0.1149


Solución. Si el inventario inicial es dos unidades, tenemos entonces que Q

(0) = (0, 0, 1, 0). Por lo tanto: Q

(n) =

Q(0)

P(n)

.

)0223.0335.0442.0(

223.0335.0251.0191.0

0223.0335.0442.0

00223.0777.0

223.0335.0251.0191.0

)0100(Q)1(

Q

(2) = Q

(0) P

(2).= (0.4433 0.2604 0.1978 0.0986)

Q(4)

= Q(0)

P(4)

.= (0.4002 0.2627 0.2225 0.1146) Q

(8) = Q

(0) P

(8).= (0.4005 0.2623 0.2222 0.1149)

La probabilidad de que no haya inventario al final de la primera semana es 0.442, al final de la cuarta es 0.4002 y al final de la octava es 0.4005 .

Ejemplo 2.11 Sistema de inventarios 2. Si el inventario inicial fuera 3 unidades, las probabilidades de

estado para las etapas 1,2, 4 y 8 serían: Q

(0) = (0, 0, 0, 1).

Q(1)

= Q(0)

P(1)

.= (0.191 0.251 0.335 0.223 ) Q

(2) = Q

(0) P

(2).= (0.4222 0.2721 0.2134 0.0923)

Q(4)

= Q(0)

P(4)

.= (0.3993 0.2622 0.2228 0.1157) Q

(8) = Q

(0) P

(8).= (0.4005 0.2623 0.2222 0.1149)

La probabilidad de que no haya inventario al final de la primera semana es 0.191, al final de la cuarta es 0.3993 y al final de la octava es 0.4005 Analice las respuestas anteriores, y como es su comportamiento. ¿Qué se observa? Comportamiento de las probabilidades de estado.

a) Qué se observa en el comportamiento de Q(n)

cuando n aumenta? b) Qué pasa con Q

(n) cuando n aumenta y se cambia el estado inicial?

2.4. Clasificación de estados

Accesibilidad. El estado j es accesible desde el estado i (ij) si pij(n)

>0. Esto implica que j es accesible desde

i si y solo si, empezando en i es posible que el proceso entre al estado j. Esto es verdadero dado que si j no es accesible desde i, entonces se tendría que

0n

)n(

ij00n

n

0n1nn

0)i/j(P

)i/j(P)ienempieza/jaentrar(P

pXX

XX

Comunicabilidad. Si el estado j es accesible desde el estado i, y el estado i es accesible desde el estado j,

entonces se dice que los estados i y j se comunican (ij). La comunicación tiene las siguientes propiedades: a) Reflexiva: Todo estado se comunica consigo mismo, ya que Pii

(0) = 1

b) Simétrica: Si el estado i se comunica con el estado j, entonces j se comunica con i. c) Transitiva: Si el estado i se comunica con el estado j, y el estado j se comunica con el estado k, entonces

el estado i se comunica con el estado k.. i

k

j


0pppppm

jk

n

ij

M

0r

m

rk

n

ir

)mn(

ik

Conjunto cerrado C. Sea Cj el conjunto (clase cerrada) formado por el estado j y todos los estados que se

comunican con el estado j. Puede contener un solo elemento. Ejemplo 2.12 Sistema de inventarios. Se tiene que:

C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E

Ejemplo 2.13 Problema del jugador- Se tiene que

C0 = (0) C1 = (1, 2, 3, ..., M-1) = C2 = C3 = ...= CM-1 CM = (M)

Clases disjuntas. Los estados de una cadena de Markov se pueden clasificar en clases disjuntas (cerradas)

E1, E2, .., Ek,, donde los estados que se comunican pertenecen a la misma clase, y se tiene que:

E = E1E2...Ek, con E1 E2... Ek = , Ei Ej = Ejemplo 2.14 Problema del jugador. Se tiene que E=(0,1,2,...,M-1,M)

C0 = (0) = E1, C1 = (1, 2, ..., M-1) = C2 = ... = CM-1 = E2, CM = (M) = E3

y E1 E2 E3 = E Ejemplo 2.15 Problema de inventarios. Se tiene: E = (0, 1, 2, 3).

C0 = (0, 1, 2, 3) = C1 = C2 = C3 = E Proceso irreducible. Una cadena de Markov es irreducible si sólo contiene una clase, es decir, si todos los

estados se comunican. Por ejemplo el sistema de inventarios. Estados recurrentes y transitorios

Sea fii= Probabilidad de que el proceso regrese al estado i dado que empieza o se encuentra en dicho estado i Estado recurrente. El estado i es recurrente si fii=1, es decir, si hay certeza de regresar a dicho estado. Estado absorbente: Es un caso especial de un estado recurrente cuando pii=1 Estado transitorio: El estado i es transitorio si fii<1, es decir existe una probabilidad =1 – fii>0 de no regresar

al estado una vez se sale de él. Ejemplo 2.16 Problema del jugador. Se tiene que E = (0, 1, 2, ..., M-1, M)

Como se observa en el diagrama de transición, los estados 0 y M son absorbentes, ya que una vez el proceso entra en dichos estados, no vuelve a salir de allí. Los demás estados se comunican entre sí, pero son transitorios, ya que si el proceso sale del estado 1 hacia el estado 0 o sale del estado M-1 hacia el estado M

nunca regresa a dichos estados. Se tiene que f00 = fMM = 1, y fii < 1, para i 0, M Para encontrar el número esperado de períodos que el proceso se encuentra en el estado i dado X0 = i, considere:

Sea Bn = 1 si Xn = 1, y Bn = 0 si Xn i

0 1 M-2 M-1 M 2 3


La cantidad )i/ XB( 01n

n

representa el número de períodos que el proceso está en el estado i dado que

X0=i. Su esperanza está dada por:

1n

)n(

ii1n

0n1n

0n1n

0n pXXXBXB )i/i(P)i/(E)i/(E

De lo anterior se tiene que :

El estado i es recurrente si

1

)(

n

p nii

El estado i es recurrente si

1

)(

n

p nii

La recurrencia es una propiedad de clase, es decir, todos los estados que pertenezcan a una misma clase o son todos recurrentes o son todos transitorios. De nuevo, considere el problema del jugador. Claramente el estado 1 es transitorio, ya que si del estado 1 se pasa al estado 0, nunca se regresa al estado 1. Además, los estados 1, 2,..., M-1 se comunican entre sí. Por lo tanto, estos estados son también transitorios. El mismo argumento empleado para el estado 1 se puede usar para el estado M-1. No todos los estados de una cadena de Markov pueden ser transitorios, ya que el proceso siempre debe estar en algún estado. Considere un proceso de Markov con la siguiente matriz de transición. Clasifique sus estados. Sea E=(0, 1, 2, 3, 4) (Uso diagrama de transición) ½ ½ 0 0 0 ½ ½ 0 0 0 P = 0 0 ½ ½ 0 0 0 ½ ½ 0 1 0 0 0 0

Solución: C0 =(0,1) =C1, C2 = (2,3) = C3, C4= (4) E1 = (0,1), E2 = (2,3), E3 = (4)

Recurrentes = (0,1), (2,3) y transitorio = (4)

Período. El período de un estado i se define como el entero t (t>1) si pii(n)

= 0 para todos los valores de n t,

2t,3t,..., y t es el entero mayor con esta propiedad. Ejemplo 2.17 Problema del jugador. Considere el estado 1. Si se está en el estado 1, sólo se puede

pasar a él, en los tiempos 2, 4, 6, etc. Igual sucedería con los estados, 2, 3,.., M-1. (Esto se puede verificar calculando pij

(n) o analizando el diagrama de transición).

La periodicidad es propiedad de clase, es decir, si el estado i es periódico con período t, y el estado i se comunica con el estado k, entonces el estado k también tiene período t. Estado aperiódico. El estado i es aperiódico si existen dos enteros s y s+1 tales que el proceso pueda

encontrarse en el estado i en los tiempos s y s+1. Se dice que el estado tiene período 1. Por ejemplo, en el sistema de inventarios analizado previamente todos los estados se comunican, y son aperiódicos. Recuerde que para pasar de un estado a otro, la transición se puede dar en varios pasos, no necesariamente en uno sólo. Para analizar el período considere de nuevo el problema del jugador, con un capital total disponible de 4. Sólo es posible pasar de un estado a ese mismo estado en las transiciones pares (excepto para los estados 0 y 4).


1 0 0 0 0 1 0 0 0 0

0,5 0 0,5 0 0 0,50 0,25 0,00 0,25 0

P(1)

= 0 0,5 0 0,5 0 P(2)

= 0,25 0,00 0,50 0,00 0,25

0 0 0,5 0 0,5 0,00 0,25 0,00 0,25 0,5

0 0 0 0 1 0 0 0 0 1

1 0 0 0 0 1 0 0 0 0

0,63 0,00 0,25 0,00 0,13 0,63 0,13 0,00 0,13 0,125

P(3)

= 0,25 0,25 0,00 0,25 0,25 P(4)

= 0,38 0,00 0,25 0,00 0,375

0,13 0,00 0,25 0,00 0,63 0,13 0,13 0,00 0,13 0,625

0 0 0 0 1 0 0 0 0 1

1 0 0 0 0 1 0 0 0 0

0,72 0,00 0,06 0,00 0,22 0,72 0,03 0,00 0,03 0,22

P(5)

= 0,44 0,06 0,00 0,06 0,44 P(6)

= 0,47 0,00 0,06 0,00 0,47

0,22 0,00 0,06 0,00 0,72 0,22 0,03 0,00 0,03 0,72

0 0 0 0 1 0 0 0 0 1

1 0 0 0 0 1 0 0 0 0

0,75 0,00 0,00 0,00 0,25 0,748 0,002 0,000 0,002 0,248

P(7)

= 0,50 0,00 0,00 0,00 0,50 P(8)

= 0,498 0,000 0,004 0,000 0,498

0,25 0,00 0,00 0,00 0,75 0,248 0,002 0,000 0,002 0,748

0 0 0 0 1 0 0 0 0 1

Estado ergódico. Se dice que un estado es ergódico si dicho estado es recurrente y aperiódico

Ergodicidad. Un proceso estocástico es ergódico si es irreducible y aperiódico Problema. Considere las cadenas de Markov descritas por las siguientes matrices de transición. Clasifique

sus estados. ½ ½ 0 0 0 0 ½ ½ ½ ½ 0 0 0 b) P = ½ 0 ½ a) P = 0 0 ½ ½ 0 ½ ½ 0 0 0 ½ ½ 0 1 0 0 0 0 ¼ ¾ 0 0 0 0 0 1/3 1/3 ¾ ¼ 0 0 0 1 0 0 0 c) P= 1/3 1/3 1/3 0 0 d) P = 0 1 0 0 0 0 0 ¾ ¼ 0 1 0 0 1 0 0 ¼ ¾ 2.5. Tiempos de primera pasada

El tiempo de primera pasada corresponde al número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez. Cuando i = j, corresponde al número de transiciones para regresar al estado i y se denomina tiempo de recurrencia. Por ejemplo, en el sistema e inventarios, el número de semanas requerido para pasar de un inventario de cero a otro inventario de cero, es decir, este tiempo de recurrencia es el tiempo entre dos pedidos consecutivos Los tiempos de primera pasada son variables aleatorias y por lo tanto tiene una función de densidad, la cual hallaremos mediante un conjunto de ecuaciones recursivas.


Ecuaciones recursivas para la función de densidad de tiempos de primera pasada

Sea fij

(n) la probabilidad de que el tiempo de primera pasada del estado i al estado j sea n. Para n = 1 se tiene

claramente que:

fij(1)

= pij(1)

= pij

Para n = 2, pij(2)

representa todas las formas en que se puede pasar de i a j en dos pasos, lo cual incluye pasar en un paso y quedarse en j el paso o la transición siguiente; por lo tanto estas probabilidades deben restarse de la probabilidad de transición en dos pasos

fij(2)

= pij(2)

- fij(1)

pjj

Para cualquier valor de n, pij

(n) representa todas las formas en que el proceso puede pasar del estado i al

estado j en n pasos, lo cual incluye pasar a j en un paso y quedarse ahí en las n-1 transiciones siguientes, o pasar a j en dos pasos y quedarse ahí en las n-2 transiciones siguientes,..., o pasar a j en los primeros n-1 pasos y quedarse ahí en la transición siguiente. Por lo tanto estas probabilidades deben restarse de la probabilidad de transición en n pasos.

fij(3)

= pij(3)

- fij(1)

pjj(2)

- fij(2)

pjj(1)

fij(n)

= pij(n)

- fij(1)

pjj(n-1)

- fij(2)

pjj(n-2)

...-fij(n-1)

pjj(1)

Sea fij la probabilidad (incondicional) de que el proceso pase del estado i al estado j, la cual está dada por:

1n

)n(

ijij ff

Entonces, como ya se había visto, el estado i es recurrente si fii=1, y es transitorio si fii<1 (no hay certeza de realizar la transición)

Tiempo esperado de primera pasada ij

Corresponde al tiempo esperado para ir del estado i al estado j, y en teoría, se puede calcular usando la definición de valor esperado, a saber:

1nij

)n(

ij

ii

ij 1sin

1si

ff

f

Los fij(n)

son difíciles de calcular. Sin embargo, los ij se pueden calcular más fácilmente usando el siguiente conjunto de ecuaciones:

Cálculo de ij .Si los estados i y j son recurrentes, los tiempos de primera pasada se pueden calcular usando

el conjunto de ecuaciones dado por:

kj

jkikij

p1

Explicación: Para ir del estado i al estado j por primera vez se requiere:

a) Realizar mínimo un paso. Si en dicho paso se llega al estado j, entonces ij = 1

b) Si en el primer paso no se llega al estado j sino a otro estado k, kj, entonces partiendo del estado k llega

al estado j en un número esperado de pasos dado por kj.

Primero se plantea y resuelve el sistema de ecuaciones para ij para ij, y luego se calcula la ecuación

correspondiente a jj.

Ejemplo 2.18 Sistema de inventarios. Calcular el tiempo medio de recurrencia del estado 0 00.

las ecuaciones a plantear y resolver son las siguientes:


30 = 1 + p31 10 + p32 20 + p33 30

20 = 1 + p21 10 + p22 20 + p23 30

10 = 1 + p11 10 + p12 20 + p13 30

Realizado el cálculo de 10, 20 y 30 se calcula 00 como:

00 = 1+ p01 10 + p02 20+ p03 30

Las ecuaciones resultantes son:

(1) 30 = 1 + 0.25110 + 0.33520 + 0.223 30

(2) 20 = 1 + 0.33510 + 0.22320 + 0 30

(3) 10 = 1 + 0.22310 + 020 + 030

De (3) se obtiene 10 = 1/0.777 = 1.287 (4)

(4) en (2): 20 = (1 + 0.335 x 1.287)/(1-.223) = 1.842 (5)

(4) y (5) en (1):30 =(1 + 0.251 x 1.287)/(1 - .223) = 2.497

00 = 1 + .251 x 1.287 + .335 x 1.842 + .223 x 2.497 = 2.497

¿Cómo se interpreta 00=2.497? Tiempo esperado entre dos pedidos consecutivos 2.6. Probabilidades de largo plazo de las Cadenas de Markov (Probabilidades de estado estable)

Al examinar las probabilidades de transición en n pasos pij

(n), se observa que a medida que n aumenta, estas

probabilidades tienden hacia una constante j, independiente del valor inicial de i es decir, puede existir una probabilidad límite, independiente de su estado inicial. Esta probabilidad límite está dada por

identeindependie,n

limj

)n(

ijp

Un comportamiento similar se observó al analizar el sistema de inventarios para la probabilidad de estado qj

(n)

para dos condiciones iniciales diferentes (gráfico de n vs qj(n)

). Además, los valores límites eran los mismos. Es decir,

j

)n(

jq

n

lim

2.6.1. Cálculo de probabilidades de estado estable j

Recordemos que la probabilidad de estado qj

(n) se puede calcular como:

M

0iij

)1n(

i

M

0i

)n(

ij

)0(

i

)n(

jpqpqq

Usando la expresión de la derecha tenemos que:

pqpqqij

)1n(

i

M

1i

M

1iij

)1n(

i

)n(

j n

lim

n

lim

n

lim

Como

i

)1n(

ij

)n(

jqq

n

lim

n

lim

Teniendo en cuenta lo anterior, se tiene que


M...,,2,1,0j,n

lim M

0iijij

)n(

jpq

Si definimos el vector fila = (0, 1, ..., M ) tenemos que la ecuación anterior se puede escribir en forma

matricial como = P (se obtiene un sistema de M+1 ecuaciones y M+1 variables)

Como los j forman una distribución de probabilidad, entonces 1M

0ii

. Por lo tanto, las probabilidades de

estado estable (o en régimen permanente) deben satisfacer el siguiente sistema de ecuaciones:

M

0j

1j

M...,,2,1,0j,M

0i

pijij

Se observa que existen M+2 ecuaciones y M+1 variables, lo cual quiere decir que hay una redundante, la cual no puede ser la última (¿por qué?).

2.6.2. Condiciones para la existencia de las probabilidades límites j

a) Si el proceso es irreducible, existen las probabilidades limites b) Si el proceso es ergódico, esas probabilidades son independientes del estado inicial 2.6.3. Tiempos medios de recurrencia

Se puede demostrar que los tiempos medios de recurrencia jj se pueden expresar en términos de las probabilidades límites como

jj = 1/j. Ejemplo 2.19 Cálculo de probabilidades límites

Sistema de inventarios: El sistema de ecuaciones = P queda de la siguiente manera:

223.0335.0251.0191.0

0223.0335.0442.0

00223.0777.0

223.0335.0251.0191.0

),,,(),,,(32103210

0 = 0.1910 + 0.7771 + 0.4422 + 0.1913 (1)

1 = 0.2510 + 0.2231 + 0.3352 + 0.2513 (2)

2 = 0.3350 + 01 + 0.2232 + 0..3353 (3)

3 = 0.2230 + 01 + 02 + 0.2233 (4)

Para que las j formen una distribución de probabilidad se debe agregar la siguiente ecuación

0 + 1 +2 + 3 = 1 (5) Solución

De (4) 3 = 0.2230/ 0.777= 0.287 0 (6)

(6) en (3): 2 = (0.3350 + 0.335 x 0.2870) /0.777 = 0.55488 0 (7)

(6) y (7) en (2):1 = (0.2510 + 0.335 x 0.55488 0 + 0.251x0.2870)/.777 = 0.65498 0 (8)

Reemplazando (6), (7) y (8) en (5) tenemos:


0 + 0.654980 + 0.554880 + 0.2873 = 1

0 = 1/2.49686 = 0.4005 00 =1/ 0.4005 = 2.4969

1 = 0.654980 = 0.2623 11 =1/ 0.2623 = 3.81216

2 = 0.554880 = 0.2222 22 =1/ 0.2222 = 4.4998

3 = 0.2870 = 0.1149 00 =1/ 0.1149 = 8.7 Observación: Como se puede observar estos valores son los mismos que aparecen en la matriz de transición

P(8)

calculada anteriormente, y en las probabilidades de estado Q(8)

calculadas también previamente 2.6.4. Probabilidades límites en cadenas periódicas

Si las cadenas de Harkov son periódicas el límite p)n(

ijn

lim

puede no existir. Considere la siguiente matriz

de transición de dos estados

01

10P

La matriz de transición en n pasos está dada por:

01

10P

)1k2(,

10

01P

)k2(

Tenemos que p00

(n) =1 si n es par, p00

(n) = 0 si n es impar. Por lo tanto el límite anterior no existe.

Sin embargo, el siguiente límite siempre existe para cadenas de Markov irreducibles y periódicos:

j

n

1k

)k(

ijp

n

1

n

lim

Es decir, para calcular las probabilidades límites, se calcula la matriz de transición en varias etapas, y se toma el promedio de dichas matrices

2.6.5. Interpretación de las j:

Si se analiza el límite anterior, se observa que el numerador representa la suma de las frecuencias (relativas) en que el proceso se encuentra en el estado j, es decir, el total de períodos o pasos en que el proceso visita el estado j, y el denominador representa el número total de transiciones observadas. Por lo tanto esta probabilidad de estado a largo plazo se le puede dar la siguiente interpretación: a) Probabilidad a largo plazo de que el sistema se encuentre en el estado j b) Proporción de tiempo que el sistema se encuentra en el estado j Ejemplo 2.20 Interpretación para el sistema de inventario. Los valores de las probabilidades límites y su

interpretación son los siguientes:

0 = 0.4005 Un 40% de las semanas no hay artículos en la tienda al final de la semana, o también, un 40% de las semanas es necesario colocar pedidos para reabastecer el inventario

1 = 0.2623 un 26.23% de las semanas se termina la semana con un artículo en inventario

2 = = 0.2222 un 2.22% de las veces se termina la semana con dos artículos en inventario.

3 = 0.1149 un 11.49% de las veces se termina la semana con tres artículos en inventario. Cálculo e Interpretación para el problema del estado del tiempo

La matriz de transición está dada por

6.04.0

3.07.0P

Las ecuaciones para el cálculo de las probabilidades límites son las siguientes:


0 = 0.70 + 0.4 1 (1)

1 = 0.30 + 0.6 13 (2)

0 + 1 = 1 (5)

Del sistema anterior de ecuaciones se obtiene que 0 = 0.571, 1 = 0.329 Interpretación: La probabilidad de que llueva en un día cualquiera es 0.571, o un 57.1% de los días lloverá. 2.7. Costo promedio esperado/unidad de tiempo

Suponga que se incurre en un costo C(Xt) cuando el proceso se encuentra en el estado Xt en el tiempo t. C(Xt) es una variable aleatoria que toma cualquiera de los valores C(0), C(1),..., C(M), y la función C(.) es independiente de t. El costo promedio esperado a lo largo de n períodos está dado por:

n

1tt)(C

n

1E X

Usando el resultado

j

n

1k

)k(

ijp

n

1

n

lim

Se puede demostrar que el “costo promedio esperado por unidad de tiempo” está dado por:

)j(C)(Cn

1E

n

lim M

0jj

n

1ttX

Ejemplo 2.21 Suponga que existe un costo de $2 por cada unidad que hay en inventario al final de la

semana t. Cuál sería el costo esperado por semana de mantenimiento del inventario? Se tiene que C(0) = 0, C(1) = 2, C(2) = 4, C(3) = 6 El costo esperado por semana está dado por:

Costo esperado = )j(CM

0jj

= 0.4005x0 + 0.2623x2 + 0.2222x4 + 0.1149x6= 2.1028

Funciones de costos más complejas

Suponga que deben tenerse en cuenta los costos de ordenar y de penalización por faltantes (demanda insatisfecha durante la semana). El costo por demanda insatisfecha depende de la demanda y del estado del proceso. El costo del período es una función de Xt, Xt-1 y D. El costo promedio esperado a la larga está dado por:

)j(C),,(Cn

1E

n

lim M

0jj

n

1tt1tt DXX

donde C(j) = E{C(Xt, Xt-1,Dt)} Ejemplo 2.22. Sistema de Inventarios. Suponga que se tienen los siguientes costos:

El costo de hacer un pedido para reabastecer el inventario es $10, mientras que el costo unitario es de $25. Por lo tanto, si se orden Q cámaras, el costo de pedir exigua a 10 + 25Q Costo de demanda insatisfecha = $50/unidad . Considerando únicamente los anteriores componentes, el costo semanal será:

x

xXD

xD

DXX

t

t1tt

tt

t1tt

2

1si}0),max{(50

1si}0),3max{(5010

),(C


Si al final de una semana hay 0 unidades en inventario, se hace un pedido por tres unidades. Habrá demanda insatisfecha al final de la semana siguiente, si durante la semana la demanda es de 4 o 5 unidades. Por lo tanto el costo esperado está dado por:: C(0)=10+25 x 3 + 50 E{max(Dt-3), 0} =75 + 50 {p4 + 2 p5} = 75 + 50x(0.047+2*0.018)= 79.15 C(1) = 2 + 50 E{max(Dt-1}, 0}=2 + 50 {p2+2p3+3p4+4p5}

= 2 + 50 (0.251 + 2 x 0.126 + 3 x 0.047 + 4 x 0.018} = 37.8 C(2) = 2 x 2 + 50 E{max(Dt-2}, 0} =4 + 50{p3 + 2p4 + 3p5}

= 4 + 50 (0.126+2 x 0.047 + 3 x 0.018) = 17.7 C(3) = 2 x 3 + 50 E{max(Dt-3}, 0) = 6 + 50 {p4 + 2p5}

= 6 + 50 (0.047 + 2 x 0.018) = 10.15 Por lo tanto, el costo esperado por unidad de tiempo está dado por:

Costo esperado = 79.15 x 0.4005 + 37.8 x 0.2623 +17.7 x 0.2222 + 10.15 x 0.1149 = 46.71 2.8. Estados absorbentes Definición. El estado k es absorbente si pkk = 1

Si el estado k es absorbente, y el proceso empieza en el estado i, entonces no se habla de probabilidades límites en el sentido en que fueron analizadas recientemente, sino que se cambian por las probabilidades de absorción, es decir, de que el estado i sea absorbido por el estado k, o “probabilidad de absorción” al estado k, denotada por fik. 2.8.1. Probabilidades de absorción

Si el proceso se encuentra en el estado i (no absorbente), para calcular la probabilidad de que este estado sea absorbido por el estado k, se puede condicionar en el resultado de la primera transición, de la siguiente manera: El proceso puede hacer una transición a un estado intermedio j, y de ahí ser absorbido posteriormente por el estado k. Por lo tanto, las probabilidades de absorción f ik pueden calcularse mediante el siguiente sistema de ecuaciones:

kierecurrenteesisi0

absorbenteesksi1

M...,,2,1,0ipara,

f

f

fpf

ik

kk

jk

M

1jijik

Ejemplo 2.23 Caminata aleatoria. Un proceso estocástico es una “caminata aleatoria” si se cumple que

estando en el estado i, en el instante siguiente puede estar sólo en i - 1, i e i + 1. Ejemplo: Juegos de azar Ejemplo 2.24 Estados absorbentes. Considere el problema del jugador con M = 3 y p = 0.5. Calcule fi0.

La matriz de transición está dada por:

1000

2/102/10

02/102/1

0001

Las ecuaciones para calcular fi0 son las siguientes f00=1 f10=1/2 f00+1/2f20 =1/2 +1/2f20 f20=1/2 f10+1/2f30 =1/2 f10 f30=0


Resolviendo se obtiene f10 = 2/3, f20 = 1/3 Demostrar que f13 = 1/3, f23 = 2/3 2.8.2. Número medio de pasos para la absorción

Si el proceso empieza en el estado j (o se encuentra en el estado j), donde j es un estado transitorio, el número medio de pasos para llegar a un estado absorbente, se puede calcular condicionando en el resultado de la primera transición, mediante el sistema de ecuaciones que se obtiene de la siguiente ecuación:

k

Tkjkj

p1

donde T es el conjunto de estados transitorios. También se podría escribir de la siguiente manera

k

kjkj

p1

donde la sumatoria se hace para todo estado k contenido en el espacio muestral, y teniendo en cuenta que k = 0 si k es un estado recurrente (absorbente), es decir, si un proceso llega a un estado absorbente, el tiempo medio de absorción a partir de ese estado es cero 2.8.3. Probabilidad de absorción. Calculo matricial

El cálculo se basa en la matriz fundamental. Simplemente daremos los pasos requeridos en el procedimiento, sin analizar detalladamente el por qué. Supondremos que el proceso tiene m estados transitorios, s estados absorbentes y k estados recurrentes. 1) Se reorganizan las filas y las columnas de la matriz de transición, tal que quede expresada (parcial o

totalmente) de la siguiente manera:

QR

0IP

donde

R es una matriz de transición (mxs) que representa las transiciones de los m estados transitorios a los s estados absorbentes

Q es una submatriz de transición entre estados transitorios (m x m)

I es una matriz identidad (s x s).

Se excluyen de la matriz las transiciones entre estados recurrentes, si los hay (ya que estos estados nunca serán absorbidos por los estados absorbentes).

2) Se calcula la matriz fundamental N como:

N = (I’ - Q)-1

, donde Ì´ es otra matriz identidad de m x m

3) Se calcula la matriz que contiene las probabilidades de absorción como PA = N x R La matriz de transición también puede organizarse de la siguiente manera:

I0

RQP

Ejemplo 2.25 Probabilidad de absorción.

Considere un almacén. Al final de cada mes se clasifican las cuentas por cobrar en cuatro categorías: i) cuentas saldadas, ii) cuentas insolutas, las que no adeudan abonos del mes anterior, iii) cuentas vencidas, las


que llevan entre uno y tres meses de atraso, y finalmente, iv) cuentas de dudoso o difícil cobro, las que llevan mas de tres meses de atraso en sus abonos. De los registros contables se extrajo la siguiente información: El 60% de las cuentas insolutas se pagan al siguiente mes, el 30% permanece en esta categoría y el 10% pasan a cuentas vencidas; el 40% de las cuentas vencidas se convierten en insolutas, el 30% se pagan, el 20% permanece como cuentas vencidas y el 10% pasan a deudas de dudoso cobro, consideradas como cuentas perdidas. a) Plantear este proceso como una cadena de Markov. b) ¿De $ 50 millones que tiene el almacén este mes en cuentas insolutas y $ 10 millones en cuentas

vencidas, cuánto dinero recuperará el almacén al mes siguiente y cuánto considera como perdido? Solución

Definición de estados. Los estados se pueden definir de la siguiente manera: :

0 = Cuentas saldadas

1 = Cuentas insolutas

2 = Cuentas vencidas

3 = Cuentas malas La siguiente es la matriz de transición resultante

1000

1.02.04.03.0

01.03.06.0

0001

P

Procedimiento: 1) Se intercambian inicialmente filas 2 y 4 y posteriormente las columnas 2 y 4. El espacio de estados queda como E´ = (0, 3, 2, 1) y la matriz resultante es la siguiente:

3.01.006.0

4.02.01.03.0

0010

0001

P

0.06.0

1.03.0R,

3.01.0

4.02.0Q,

10

01I

2) Cálculo de la matriz fundamental

5385.11923.0

2769.02346.1

7.01.0

4.08.0

3.01.0

4.02.0

10

01QI

)QI(1

3) Cálculo de las probabilidad de absorción

0192.09808.0

1346.08654.0

06.0

1.03.0

5385.11923.0

7692.02346.1RxNPA


Interpretación de las probabilidades de absorción: A largo plazo, un 86.5% de las cuentas vencidas son

canceladas, y un 13.5% se convierten en cuentas de dudoso recaudo. De las cuentas insolutas, un 98.1% se cancelan, y un 1.9% se convierten en deudas malas. Si el almacén tiene $50 millones este mes en cuentas insolutas y $10 millones en cuentas vencidas, la cantidad de dinero que recuperará el almacén, y la cantidad que se considerará como perdido se obtiene de la siguiente manera: Sea C = ($10, $50) millones un vector (fila) que representa las cuentas vencidas e insolutas, respectivamente, entonces a largo plazo se cancelarán o se perderán las siguientes cantidades:

)306.2$,694.57$()0192.0x501346.0x10,9808.0x508654.0x10(

0192.09808.0

1346.08654.050,10.CEC P

A

Es decir, de los $50 millones que tiene el almacén en cuentas insolutas y de los $10 millones en cuentas vencidas, se recuperarán $57.694 millones y se perderán $2.306 millones.

Resuelva este problema usando el sistema de ecuaciones visto antes 2.8.4. El problema del jugador. Otra visión.

Considere de nuevo el problema del jugador: Un jugador A apuesta contra otro jugador B. En cada jugada A puede ganar un peso con probabilidad p, o puede perderlo con probabilidad q = 1 - p. Sea i el capital inicial del jugador A, y sea M el capital de ambos jugadores. Estamos interesados en calcular la probabilidad de que el jugador A sea arruinado si empieza jugando con i pesos. Si denotamos por Xn el capital del jugador A después de n jugadas, vimos que Xn es una cadena de Markov, con las siguientes probabilidades de transición.

1ijsi0

M,0i,1ijsiq

M,0i,1ijsip

}i/j{P XXp 1nnij

Además 1ppMM00

ya que si no se tiene capital (jugador arruinado) no se puede apostar, o si se tiene

todo el capital, el oponente no puede realizar ninguna apuesta. Estamos interesados en fi0, la probabilidad de absorción por el estado 0, si empezamos con un capital de i.

Por simplicidad denotaremos por i la probabilidad de que el jugador A se arruine si empieza con un capital de i. Aplicando las ecuaciones para calcular las probabilidades de absorción se tiene:

kierecurrenteesisi0

absorbenteesksi1

M...,,2,1,0ipara,

f

f

fpf

ik

kk

jk

M

1jijik

Usando las probabilidades de transición se obtiene la siguiente ecuación:

i = p i+1 +q i-1 , para i = 1, 2, 3, …, M-1

0 = 1

M = 0

La ecuación para i nos dice que para arruinarse empezando con un capital inicial de i, se puede ganar la primera apuesta con probabilidad p, y luego arruinarse con un capital de i + 1, o se puede perder la primera apuesta con una probabilidad de q y luego arruinarse teniendo un capital de i – 1.


Como p + q = 1, se puede multiplicar i por (p + q) y no pasa nada. Por lo tanto, la ecuación queda como:

(p + q) i = p i+1 +q i-1 p i + q i = p i+1 +q i-1

q i - q i-1 = p I +1 – p i I +1 - i = (I - i-1) (q/p) , para i = 1, 2, 3, …, M-1

Aplicando la ecuación anterior para diferentes valores de i tenemos las siguientes ecuaciones:

Para i = 1

0112

p

q (1)

Para i = 2

01

2

1223

p

q

p

q (2)

Para i = 3

01

3

2334

p

q

p

q (3)

La expresión general sería:

01

1i

1ii

p

q (i)

Ahora, considerando i = 1 en la ecuación anterior se obtiene la siguiente identidad:

)0(0101

Si sumamos las ecuaciones (0), (1), (2), ...,(i) tenemos lo siguiente:

01

1i

01

2

01

1

011ii1201

p

q

p

q

p

q......

p

q

p

qj

1i

0j0101

j

1i

0j0i

1si,1

1p/q

p/q

p/qi

010i

1si,i p/q010i

Nota: La serie geométrica, dada por la expresión

jN

0j

toma los siguientes valores dependiendo de si la

constante es uno o diferente de 1.

1,1N

1,1

11N

jN

0j

Sabemos que: 0 = 1, M = 0, reemplazando i = M se tiene:


p/q

p/qp/q

p/q

p/qM1

M

1M1

11,1si,

1

111

M/11,1si,M1111M p/q

Reemplazando 1 – 1 y 0 = 1 se obtienen las siguientes expresiones para i:

1siM

i1

1si,1

11

p/q

p/qp/q

p/qM

i

i

Análisis de las probabilidades de arruinarse i

Se analizará la probabilidad de ruina para el caso en que se esté jugando contra un oponente sumamente rico

(M)).

Caso en que = (q/p) < 1

Cuando la probabilidad de ganar es mayor que la probabilidad de perder, se tiene que

11

1

M

lim1

M

limp/q

p/q

p/q i

M

i

i

Es decir, cuando la probabilidad de ganar es mayor que la de perder, la probabilidad de arruinarse es menor de 1, es decir, no hay certeza de ser arruinado empezando con un capital i.

Caso en que = (q/p) = 1

Cuando la probabilidad de ganar es igual a la probabilidad de perder, se tiene que

1M

i1

M

limi

Cuando la probabilidad de ganar es igual a la probabilidad de perder, y se está jugando contra un oponente sumamente rico, hay certeza de arruinarse, es decir, tarde o temprano el jugador A será arruinado.

Caso en que = (q/p) > 1

Cuando la probabilidad de ganar es menor que la probabilidad de perder, se tiene que

11

1

M

lim1

M

lim

p/q

p/qM

i

i

Cuando la probabilidad de ganar es menor que la probabilidad de perder, y se está jugando contra un oponente sumamente rico, hay certeza de arruinarse, es decir, tarde o temprano el jugador A será arruinado. 2.9. Problemas

1. Sea { Xn } una cadena de Markov con espacio de estados (0, 1, 2), vector de probabilidades iniciales Q(0)

= (1/4, 1/2, 1/4) y matriz de transición P dada por :


1/4 3/4 0 P 1/3 1/3 1/3 0 1/4 3/4

a) Calcule p(0, 1, 1) = Pr(X0 = 0, X1 = 1, X2 = 1)

b) Demuestre que Pr(X1 = 1, X2 = 1/ X0 = 0) = p01 p11

c) Calcule p)2(

01.

d) Calcule p)3(

01

e) Demuestre que la cadena es Irreducible. f) Encuentre el valor de las probabilidades estacionarias

2. Dos jugadores A y B juegan de la siguiente manera: Si A gana un juego recibe $ 2 y si pierde paga $ 1.

La probabilidad de que A gane un juego es 1/3 y que pierda es 2/3. El dinero total disponible es $ N. Si el capital de cualquiera de los dos jugadores cae por debajo del punto donde no pueda pagar el próximo juego si lo pierde, entonces el juego termina. Sea {Xn} el capital del jugador A después de n jugadas.

a) Encuentre la matriz de transición para esta cadena de Markov. b) Suponga que ambos jugadores acuerdan que si el capital de uno de ellos llega a ser $1, realizarán

la próxima jugada de $ 1 con igual probabilidad de ganar o perder. Encuentre la matriz de transición para este caso.

3. Una represa se utiliza para generar energía eléctrica y para el control del flujo de aguas. La capacidad de

la represa es 3 unidades. La función de probabilidad de la cantidad de agua que fluye a la represa -W- en el mes la siguiente:

Cantidad 0 1 2 3

Probabilidad 1/6 1/3 1/3 1/6

Si el agua en la represa excede la capacidad máxima, el agua sobrante se bota a través del vertedero, que es de flujo libre. Para generar energía se requieren mensualmente dos unidades que se sueltan al final de cada mes. Si hay menos de dos unidades en la represa, se genera energía con el agua disponible, es decir, se suelta toda el agua que haya.

Sea Xn la cantidad de agua en la represa en el mes n, después de que se suelta el agua. Suponga que inicialmente la represa está vacía. a) Es { Xn } una cadena de Markov ? b) Si { Xn } es una cadena de Markov, encuentre la matriz de transición.

4. El propietario de una barbería local que solamente posee una silla para prestarle el servicio a sus clientes

piensa agrandar su negocio pues le parece que siempre hay mucha gente esperando ser atendidos. Las observaciones indican que en el tiempo requerido para motilar una persona pueden llegar 0, 1, 2, o 3 personas con probabilidades de 0.3, 0.4, 0.2 y 0.1, respectivamente. La barbería tiene una capacidad fija de 6 asientos, incluyendo aquel en que se sienta el que está siendo atendido. Sea Xn el número de personas en la barbería cuando se completa el servicio al n-ésimo cliente. a) Demuestre que { Xn } es una cadena de markov. b) Encuentre la matriz de transición. c) Determine la proporción de tiempo, a largo plazo, que en la barbería hay seis personas, o que hay 4

personas. 5. Suponga que Usted ha realizado una serie de pruebas en un procedimiento de destreza manual y

encuentra que la siguiente matriz de probabilidad describe el curso de respuestas “correctas” e “incorrectas”.

ENSAYO j

Ensayo j

Correcta Incorrecta

Correcta 0.95 0.05

Ensayo i

Incorrecta 0.01 0.99


a) ¿Qué proporción de respuestas correctas se podría esperar de una persona completamente

entrenada? b) ¿Qué proporción de respuestas correctas se podría esperar de una persona después de repetir

cinco veces el procedimiento, si la respuesta inicial tiene igual probabilidad de ser correcta o incorrecta?

c) ¿Cual es la probabilidad de que una respuesta correcta se obtenga por primera vez, exactamente después de cuatro ensayos con respuesta incorrecta?

6. Suponga que la línea de ensamblaje de SOFASA tiene las siguientes reglas:

Un Renault X no puede seguir a otro Renault X porque el contenido de trabajo desbalancearía la línea.

Un Renault Y debe ser seguido por un Renault Z para balancear la línea.

Un Renault Z debe ser seguido por un Renault X o un Renault Y pero no por otro Renault Z. a) Encuentre una matriz de transición para este proceso. Use las letras a, b, c,..., cuando los valores de

las probabilidades de transición no estén numéricamente definidas. b) ¿Es esta cadenas irreducible ? c) ¿Cual es la probabilidad de que después de un Renault X el siguiente Renault X ocurra en la línea

después de otro vehículo diferente? d) Si P es una matriz de transición, ¿que interpretación daría Usted al elemento Pij

(n) para n grande?

7. Una partícula se mueve en un círculo a través de cinco puntos marcados con los números 0, 1, 2, 3 y 4.

En cada etapa la partícula tiene una probabilidad de dar un paso en el sentido de las manecillas del

reloj y 1 - de moverse en sentido contrario. Sea Xn la posición de la partícula en el círculo después de dar n pasos.

a) ¿Es {Xn, n 0} una cadena de Markov ? b) Si {Xn} es una cadena de Markov, encuentre la matriz de transición. c) Calcule las probabilidades límites. ¿Cómo se interpretan?

8. Una fábrica tiene dos máquinas y una cuadrilla de reparación. Suponga que la probabilidad de que una

máquina se dañe en un día cualquiera es . Suponga, además, que si la cuadrilla de reparación está

trabajando en una de las máquinas, la probabilidad de que termine la reparación en un día mas es . Sea Xn el número de máquinas en operación al final del n-ésimo día. Asuma que el comportamiento de { Xn } puede modelarse mediante una cadena de Markov. (Qué simplificaciones deben hacerse para que esta suposición sea completamente válida?). a) Encuentre la matriz de transición. b) Si ambas máquinas están funcionando cuando el sistema se inicia, cual es la probabilidad de que

ambas estén trabajando dos días después ? 9. Una moneda “honesta” se lanza al aire sucesivamente hasta que ocurran tres caras seguidas. Sea { Xn }

la longitud de la secuencia de caras que terminan en el n-ésimo lanzamiento. Cual es la probabilidad de que haya al menos 8 lanzamientos sucesivos de la moneda ?.

10. Considere el experimento de lanzar un dado de manera repetida. Sea Xn el máximo de los números que

ocurren en los primeros n lanzamientos. Si { Xn } es una cadena de marco: a) Encuentre la matriz de transición. b) Encuentre Q

(2) y Q

(3)

11. Tres niños A, B y C juegan con una pelota de la siguiente manera: Si A tiene la pelota siempre se la pasa

a B, y B siempre se la pasa a C, pero este se la pasa a A o a B indistintamente. Sea Xn la n-ésima persona en recibir la pelota. Es {Xn } una cadena de Markov?. Si es así, a) Encuentre la matriz de transición. b) Calcule Q

(3) sabiendo que inicialmente C tiene la pelota.

c) Calcule las probabilidades límites. 12. Se tienen 6 bolas, tres blancas y tres negras, las cuales se distribuyen al azar en dos urnas, de tal forma

que cada una contenga tres. En cada etapa se retiran, simultáneamente, una bola de cada urna, y se deposita en la urna contraria. Sea Xn el número de bolas blancas en la primera urna después de n intercambios. a) Explique por qué { Xn } es una cadena de Markov. b) Encuentre la matriz de transición.


c) ¿Cual es la probabilidad de que haya tres bolas blancas en la primera urna después de n

intercambios. d) Cual es la probabilidad, a largo plazo, de que haya dos bolas blancas en la primera urna?

13. Suponga que el estado del tiempo en un día cualquiera depende de las condiciones del tiempo en los dos días anteriores. Así, si llovió hoy y también ayer, la probabilidad de que llueva mañana es 0.7. S hoy llovió pero no ayer, lloverá mañana con una probabilidad de 0.5. Si no llovió hoy paro sí ayer, la probabilidad de que llueva mañana es 0.4. Si en los dos últimos días no ha llovido, la probabilidad de que llueva mañana es 0.2. a) Defina el proceso como una cadena de Markov. Defina apropiadamente los estados. b) Encuentre la matriz de transición. c) Si el lunes y martes de esta semana llovió, cual es la probabilidad de que llueva el jueves? d) Cual es la probabilidad de que llueva en los próximos cuatro días si hoy está lloviendo? e) Es esta una matriz irreducible?

14. Una matriz de transición P se dice que es doblemente estocástica si la suma de los elementos de cada

columna es igual a la unidad. Si tal cadena es aperiódica e irreducible, con espacio de estados (0, 1, 2,...,M), demuestre que las probabilidades límites están dadas por:

M,,...1,0j,1M

1j

15. Sea {Xn } una cadena de Markov con espacio de estados (0, 1, 2, 3, 4) y matriz de transición P. Para cada uno de los casos siguientes determine las clases cerradas comunicadas y los estados absorbentes.

Analice, además, el comportamiento probabilístico cuando n .

1/2 0 0 1/2 0 1/2 1/2 0 0 0

a) P 1/4 1/2 0 0 1/4 0 0 0 1 0 0 0 1/2 1/4 1/4 1/2 1/2 0 0 0 1/3 1/3 0 1/3 0

b) P 0 0 2/3 0 1/3 1/4 1/4 0 1/4 1/4 0 0 1/3 0 2/3 16. Comprobar la periodicidad de las siguientes matrices de transición y su período. Determine, además, los

estados periódicos: 0 1 0 0 0 0 0 0 0 1 0 0 1 0 0 1/3 0 0 2/3 0

a) 0 0 0 1 0 b) 0 1 0 0 0 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 1 0 0 0 17. Comprobar si las siguientes matrices de transición son periódicas y oscilantes 0 0 0 1/3 2/3 0 1/2 1/4 1/2 0 0 0 1/4 3/4 1 0 0 0 a) 0 0 0 1/6 5/6 b) 1 0 0 0 1/3 1/3 1/3 0 0 1 0 0 0 1/4 2/4 1/4 0 0 18. Considere una cadena de Markov con espacio de estados 0, 1,...,5 y definida por la siguiente matriz de

transición. Determine cuales estados son recurrentes y cuales son transitorios.


1 0 0 0 0 0 1/4 1/2 1/4 0 0 0 0 1/5 2/5 1/5 0 1/5 0 0 0 1/6 1/3 1/2 0 0 0 1/2 0 1/2 0 0 0 1/4 0 3/4 19. Considere una cadena de Markov con espacio de estados (0, 1, 2, 3, 4 ) y matriz de transición dada por: 1/2 1/2 0 0 0 1/3 2/3 0 0 0 P 1/4 0 1/4 1/4 1/4 0 1/4 1/4 1/4 1/4 0 0 0 0 1

a) Determine las clases comunicadas cerradas y los estados transitorios b) Para cada clase comunicada cerrada, encuentre las probabilidades tj de que el sistema entre a la

clase j dado que inicialmente estaba en el estado transitorio i 20. Suponga que en una estación de trabajo las partes a ser procesadas llegan en una caja a través de una

banda transportadora, y la caja sólo trae una pieza para ser procesada. Suponga, además, que en el tiempo que transcurre entre la llegada de dos cajas sucesivas, la estación de trabajo puede completar 0, 1 ó 2 partes con probabilidades de 3/8, 1/2 y 1/8 respectivamente. Suponga además que la estación puede acumular (en un almacenamiento temporal) máximo una pieza, además de la que está procesando. Si la banda transportadora llega con la caja, y la estación está inactiva o tiene una parte en operación entonces la pieza es descargada y se coloca a un lado para ser procesada cuando haya la oportunidad. Si la estación ya tiene una parte en operación y otra en almacenamiento temporal, entonces la pieza que llega pasa de largo y se pierde.

Sean los estados del proceso 0, 1, 2 que representan una estación vacía, una estación con una parte en proceso y una estación con una parte almacenada, El proceso se observa justo antes de la llegada de la banda transportada con la parte.

a) Encuentre la matriz de transición de una etapa. b) Encuentre la proporción de tiempo que el proceso pasa en cada estado en el largo plazo c) Si la estación empieza el día vacía, cual es la probabilidad de que la tercera caja que llegue no pueda

ser descargada?

21. En cierta ciudad hay dos supermercados: A y B . Los clientes visitan los supermercados una vez a la

semana pero unas veces van al supermercado A y otras al B aunque algunos clientes siempre van al

mismo. Una encuesta sobre preferencias indica que hay una probabilidad de 0.15 de que un cliente que fue al

supermercado A una semana vaya la próxima a B y una probabilidad de 0.10 de que un cliente de B

una semana vaya la próxima a .A Inicialmente el 60% de los clientes compran en A y el 40% en B .

a) Cuál será la distribución de clientes cinco semanas después? b) Cuáles serán los porcentajes de participación a largo plazo?

22. El mercado de exportación de un país, bajo condiciones político-económicas estables, puede ser

modelado por una cadena de Markov en tres estados:

0 Incremento en más del 5% con respecto al año anterior. 1 Fluctuación menor del 5% 2 Disminución en más del 5% con respecto al año anterior.

La matriz de transición es:


Este año

Ultimo año

6.04.00

35.03.035.0

02.08.0

210

2

1

0

Qué información puede extraerse de estos datos?

23. En una investigación de mercados se comprobó que el 90% de las personas que compraban la marca

X de cierto producto volvían a comprar la misma marca en la próxima ocasión, mientras que el 20% de los que no la habían comprado lo hacían en la próxima oportunidad. Cuál será el porcentaje real de

consumidores de la marca X a largo plazo?

24. En la fabricación en serie de un producto este debe pasar por tres departamentos y al final de cada uno se realiza una inspección y dependiendo de la calidad, el artículo se rechaza, se acepta y pasa al proceso siguiente o se devuelve para reprocesarlo en el departamento en el que fue detectada la falla. Si las probabilidades son respectivamente 0.1, 0.7 y 0.2 defina esta situación como una cadena de Markov y diga cuál es el porcentaje de artículos que salen dentro de las especificaciones de calidad de la totalidad que empiezan el proceso durante la jornada.

25. Dada la matriz de transición

8.02.0

4.06.0P

Calcular P

(n) limite P

(n) y diga cuál es la probabilidad de que el proceso pueda estar en el estado 1.

26. Dada la siguiente matriz de transición

100

010

cba

P

Encontrar los valores de cba ,, para que el número esperado de pasos hacia la absorción sea de 4 y la

probabilidad de ser absorbido por el estado 2 sea el triple de probabilidad de ser absorbido por el estado 3.

27. El propietario de una peluquería esta pensando en ampliarla pues le parece que su clientela tiene que

esperar demasiado tiempo para ser atendida. Observaciones indican que durante el tiempo requerido para realizar un corte de cabello pueden llegar 0, 1, 2, ó 3 clientes adicionales con probabilidad 0.3, 0.4, 0.2 y 0.1 respectivamente.

La peluquería tiene una capacidad máxima de seis clientes incluyendo el que esta recibiendo el servicio.

Sea nX el número de clientes en la peluquería al finalizar el n-simo servicio.

a) Demuestre que nX es una cadena de Markov.

b) Encuentre la matriz de probabilidades de transición. c) Determine el porcentaje de tiempo que a largo plazo se mantendrá a su máxima capacidad.

{ 273.0216.017.0136.0102.0072.0031.0V }

28. Dada la cadena de Markov representada por la matriz.


qq

ppP

1

1

con 10 p y 10 q . Calcule nP y las probabilidades limites por medio de:

00n

n

ijPLimite

Sugerencia: utilice el proceso de diagonalización o representación expectral.

29. Dada la matriz de transición

2

1

2

14

1

4

3

P

representativa de una cadena de Markov. Diga cuál es la probabilidad de que el proceso se encuentre en

el estado 1 después de 5 etapas, si la cadena al principio se encuentra en cualquiera de los estados con igual probabilidad.

30. Dada la cadena de Markov definida por la matriz.

50.025.025.0

3.03.04.0

3.05.02.0

P

Calcule el número esperado de pasos antes de alcanzar por primera vez el estado 2.

31. Un taller de reparaciones atiende camiones a medida que llegan. Solo hay espacio para estacionar dos

camiones antes del servicio. Se han acumulado los siguientes datos:

Número de camiones que llegan en una hora

Probabilidades de ocurrencia

0 0.6

1 0.3

2 0.1

La probabilidad de completar un servicio en un periodo de una hora es de 0.7 siempre que haya una unidad para ser atendida, la probabilidad de tener más de un servicio es, pues cero.

a) Formular esta situación como una cadena de Markov. b) El número esperado de unidades en el sistema (1.14 camiones). c) El número esperado de unidades en la cola (0.47 camiones).

P =

58.042.000

19.039.042.00

03.016.039.042.0

01.03.06.0

3210

3

2

1

0


32. Un estudio muestra que el número de clientes que están en el momento ocupando la estación afecta la

probabilidad de una nueva llegada. Si se supone que la probabilidad de servicio es 0.5, formular esta situación como una cadena de Markov, determinar el número esperado en el sistema y la utilización del sistema, dada la siguiente tabla:

Número de clientes en la estación Probabilidad de una nueva llegada

0 0.4

1 0.4

2 0.1

3 0.1

33. Encontrar la matriz estocástica que describe la siguiente cadena: El control de calidad en cierta empresa

se realiza de acuerdo a la política de inspeccionar artículo por artículo y rechazar el lote de producción si se encuentra una unidad defectuosa o aceptarlo si se encuentran tres unidades seguidas que cumplen las especificaciones. Se sabe que el 85% de la producción sale con las especificaciones deseadas.

34. Por el método de diagonalización de matrices, encuentre:

a) P

(n)

b) El porcentaje del tiempo que el proceso permanece en el estado 2.

si la cadena está representada por la matriz

P =

nnn

nnn

nnn

Psolución

4

121

4

11

4

11

4

11

4

121

4

11

4

11

4

11

4

121

3

1:

2

1

4

1

4

14

1

2

1

4

14

1

4

1

2

1

35. Una máquina funciona durante un determinado período de tiempo con una probabilidad de falla de 0.3. El 60% de las veces la falla puede repararse exactamente en el período, y en los demás casos se requieren exactamente dos periodos para la reparación. Se puede suponer que las fallas se presentan al final del período. El costo por tiempo perdido es de $50.00 por período.

a) Formular esta situación como una cadena de Markov, describir los estados y las suposiciones, y desarrollar una matriz de transición.

b) Es posible contratar un ayudante adicional, con un costo de $20 por período de tiempo, con el objeto de que la falla siempre sea reparada dentro del mismo período. ¿Es conveniente hacer esto?

36. En un determinado proceso de producción, cada artículo pasa por dos etapas de fabricación. Al final de cada etapa, los artículos se desechan (probabilidad de 0.2), se regresan para rehacerlos (probabilidad de 0.3) o pasan a la etapa siguiente (probabilidad de 0.5). a) Describir esta situación como una cadena de Markov y establecer la matriz de transición.

b) ¿Cuál es el número esperado de pasos hacia la absorción? (2.45 si empieza en 1E , 1.43 si empieza

en 2E ).

c) Si en un lote se comienzan 100 partes, cuál es el número esperado de partes buenas que pueden completar? (Solución: 51 partes).

1000

0100

5.02.03.00

02.05.03.0

P:solución


37. Uno de los aficionados a la cacería de patos solamente le dispara a un pato en cada ocasión

independientemente de cuantos vuelen juntos. La probabilidad de un acierto es 0.2. El máximo número de patos cazados en un día es dos. Describir esta situación como una cadena de Markov absorbente. Hallar el número esperado de disparos que debe hacer el cazador antes de lograr su límite.

38. En un proceso de producción se realiza inspección secuencial y el lote se acepta si salen dos artículos

seguidos dentro de los estándares de calidad, de lo contrario se rechaza. Si la probabilidad de que un artículo salga dentro de las normas de calidad es del 90%, se pregunta: a) La probabilidad de aceptar la producción. (Solución: 0.81) b) Número esperado de pasos antes de que el proceso sea absorbido, para cada uno de los estados

absorbentes.

39. Se efectúa una encuesta de mercadeo de tres marcas de alimentos X , Y y Z de la que se ha extraído la siguiente información relativa a las preferencias de los consumidores por las distintas marcas. Se pregunta:

Compra siguiente

Compra actual

4.03.03.0

2.05.03.0

1.02.07.0

Z

Y

X

ZYX

a) El comportamiento de estos productos en el mercado de futuros.

b) El número esperado de pasos para que un cliente que posee ahora la marca X compre por primera

vez la marca .Y

40. Una compañía distribuidora de artículos para oficina vende además de otros artículos, dos tipos de

calculadora A y B , las cuales deben importarse.

Todo pedido grande que reciba la distribuidora ha de ser pasado a la matriz en el extranjero,

demorándose dos meses en la recepción del mismo si la calculadora es de tipo A y solo un mes si la

calculadora es de tipo B . Para hacer un nuevo pedido es necesario que se haya recibido el anterior, por

lo cual, si se hace un pedido de calculadora A , habrá que esperar dos meses para hacer un nuevo

pedido, ya sea de A o de B .

Los clientes de la distribuidora no aceptan que sus pedidos se encuentren en línea de espera, optando en este caso por comprar otro tipo de calculadora a otra compañía diferente, temiéndose entonces que si se

presentan simultáneamente pedidos de A y B habrá que elegir uno y rechazar otro.

Si la probabilidad de que se presente un pedido de A es 1/6 y la de un pedido de B es de 1/4, qué

pedido se debe elegir en caso de ser simultáneos?. Considérese que un pedido de la A arroja una

utilidad de $50.000, mientras la utilidad para un pedido de B es de $30.000. 41. Mediante el calculo de P

(n) encuentre el vector de probabilidades limites en la cadena definida por la

matriz:

2/12/1

4/14/3P

42. Dada la cadena definida por la matriz:


P =

4.02.04.0

6.03.01.0

5.03.02.0

3

2

1

321

Diga cuál es el número esperado de pasos para que la cadena entre en el estado 1, sabiendo que se encuentra ahora en el estado 3.

43. En una oficina de representaciones hay tres agentes viajeros para visitar a los clientes. Las correrías

empiezan los lunes pero antes deben sostener una reunión conjunta. Solo pueden salir de viaje dos de los agentes, pues siempre debe permanecer uno en la oficina. Cuando un agente sale de correría, puede

demorarse en ella exactamente una o máximo dos semanas con probabilidad 3/1y3/2

respectivamente. Al iniciar una correría siempre salen los dos agentes disponibles. Formule esta situación como una cadena de Markov, encontrando la matriz de probabilidades de transición en una etapa.

44. La tierra de ZO es en muchos aspectos una tierra bendita, pero no en lo que respecta al tiempo. Sus

habitantes nunca gozan de dos días buenos seguidos. Si tienen un buen día, es tan probable que caiga nieve como que llueva al día siguiente. Si nieva (o llueve) hay igual probabilidad de que se mantenga el tiempo así al día siguiente. Si se produce algún cambio en días de nieve o lluvia, solo la mitad de las

veces el cambio da origen a un tiempo bueno. Hoy es un buen día en la tierra ZO . Formular la presenta

situación como una cadena de Markov. 45. En una investigación de mercados se realizó una encuesta sobre cuatro marcas de detergentes: Axión,

Ajax, Inextra, Fab. Se han encuestado 1000 consumidores, los cuales cambian de marca según la publicidad, promoción, precios o siguen fieles a la misma.

Los resultados obtenidos se observan en la siguiente tabla:

Cambio de clientes durante (1 ) mes.

Tipo de detergente

N° de clientes Cambios durante el período N° de clientes en el

siguiente período Ganancia Pérdida

Axión 220 50 45 225

Ajas 300 60 70 290

Inextra 230 25 25 230

Fab 250 40 35 255

1.000 175 175 1.000

Tablas de ganancias, pérdidas y retenciones

Axión Ajax Inextra Fab

Axión 0 20 10 15 220

Ajax 40 0 5 25 300

Inextra 0 25 0 0 230

Fab 10 15 10 0 250

225 290 230 225 1,000

Los ceros de la diagonal principal indican la capacidad que tiene cada marca para retener sus propios clientes.

Las filas de la matriz representan las pérdidas.


Las columnas representan las ganancias. a) Hallar la matriz de transición, teniendo en cuenta que la probabilidad de que una marca retenga

clientes es igual a número de clientes retenidos al fin del periodo dividido por el número de clientes al iniciar el período y la probabilidad de que una marca pierda clientes es igual al número de clientes cedidos al finalizar el período dividido por el número de clientes al iniciar el período.

b) Hallar la participación de las marcas en el mercado cuando 2,1,0 nnn .

c) Hallar la participación de las marcas en el estado estacionario, es decir en el mercado de futuros. 46. El 2 de Febrero de 1983 la Empresa A, controlaba el 30% del mercado total, B el 40% y C el 30%; de un

estudio sobre mercadeo se obtuvieron los siguientes datos:

A retiene el 90% de sus clientes y gana el 5% de los clientes de B y el 10% de los de C; B retiene el 85% de sus clientes y gana el 5% de los de A y el 7% de los de C. C retiene el 83% de sus clientes y gana el 5% de los de A y el 10% de los de B. Cuál es la participación de cada Empresa en el mercado al 2 de

Febrero de 1986 2n ; y la participación de cada Empresa en el estado de equilibrio.

47. Una máquina incorporada al proceso productivo del artículo X se descompone muy periódicamente

debido a lo delicado y excesivo del trabajo que le toca realizar. Al clasificar el estado en el que queda la

máquina al finalizar la semana t en cuatro posibilidades a saber:

Estado 1: En perfectas condiciones de funcionamiento. Estado 2: Operable, pero produce artículos con ligeras fallas que se pueden enmendar a un costo

relativamente bajo. Estado 3: Operable, pero produce muchos artículos desechables. Estado 4: Definitivamente mala, es decir, ya no se puede poner a operar.

De datos históricos se ha obtenido la siguiente información:

Si la máquina comienza la semana en el estado 1 existe una probabilidad de 1614 de que termine en el

estado 2; 161 de que termine la semana en el estado 3 y 161 de que termine en el estado 4.

Si la máquina comienza la semana en el estado 2 existe una probabilidad de 86 de que termine la

semana en ese mismo estado 2; 81 de que termine en el estado 3 y 81 de que termine en el estado 4.

Por ultimo, si la máquina comienza la semana en el estado 3 existe igual probabilidad de que termine en ese mismo estado o en el estado 4.

La empresa incurre en los siguientes costos de operación de la máquina: Estado 1 $0 Estado 2 $1000/semana Estado 3 $3000/semana

Además la empresa incurre en unos costos adicionales de $2000 por la producción que se deja de obtener y de $4000 en gastos de instalación cada vez que se decida cambiar la máquina actual por una nueva.

Bajo las anteriores consideraciones, y entre las siguientes alternativas: ¿Cuál es la mejor política de reemplazo para la empresa?

a) Remplazarla cada que la máquina entre al estado 2. b) Remplazarla cuando entre al estado 3. c) Remplazarla únicamente cuando entre al estado 4.

Solución: La b); $1.727/semana


48. Una aerolínea, con vuelo diario a las 7 a.m. entre las ciudades A y B , no desea que éste salga retrasado dos días consecutivos; de modo que si el vuelo sale retrasado un día cualquiera la aerolínea realiza esfuerzos especiales para que el vuelo salga a tiempo al día siguiente y logra este objetivo el 90% de las veces. Si el vuelo no sale con retraso, la aerolínea no hace ningún arreglo especial y al día siguiente el vuelo sale cumpliendo itinerario, de acuerdo con lo programado, el 60% de las veces. Qué porcentaje de vuelos salen con retraso? (Solución: 30.77%)

49. El programa de entretenimiento para supervisores de producción de cierta compañía tiene dos fases:

La fase 1 consta de 3 semanas de estudio teórico en el aula y la fase 2 consta también de 3 semanas de práctica bajo la dirección de supervisores veteranos. De experiencias anteriores se espera que el 60% de los que inician el estudio teórico pasen a la fase de práctica y el 40% restante abandona el programa. De los que ya se encuentran en la fase de práctica el 70% logra graduarse, 10% debe repetir esta fase y el 20% restante abandona el programa. Cuántos nuevos supervisores graduados espera tener la compañía del actual programa de entrenamiento si hay 45 aspirantes en la fase teórica y 21 ya se encuentran en la fase práctica? (Solución: aproximadamente 37 nuevos supervisores).

7777.02222.0

4667.05333.0~

2

1

GR

F

FAP

50. Una costurera trabaja exclusivamente en una fase del proceso de producción de una prenda de vestir.

Demora exactamente ½ hora para ejecutar su labor en una prenda. Cada ½ hora pasa un mensajero para recoger las prendas que ya están listas y dejarle, de paso, nuevas prendas para que la costurera les haga su labor. Las nuevas prendas por coser que el mensajero lleva en cada visita es aleatorio así: el 30% no lleva ninguna; el 50% de las veces lleva 1 y el 20% de las veces lleva 2 prendas. El mensajero tiene instrucciones de nunca dejar mas de tres prendas por coser a la costurera.

Calcular el porcentaje de tiempo que esta costurera permanece ociosa (Solución: 14.21%)

7.03.000

2.05.03.00

02.05.03.0

02.05.03.0

3

2

1

0

P

51. Una empresa dedicada a la administración de “Unidades Residenciales” cuenta con el siguiente historial:

Al clasificar las urbanizaciones administradas por esta compañía en solo tres estados “Buena Condición”, “Condición Promedia” y “Mala Condición”. Se dispone de las siguientes estadísticas: el 50% de las “Unidades Residenciales” que empiezan al año en “Buena Condición” terminan el año también en “Buena Condición”; el otro 50% se deteriora a una “Condición Promedio”; de todas las “urbanizaciones” ó “Unidades Residenciales” que empiezan el año en “Condición Promedio” el 30% permanecen en este mismo estado y el otro 70% mejoran a “Buena Condición”; y finalmente, de todas las Urbanizaciones administradas por esta empresa, y que empiezan el año en “Mala Condición” el 90% permanecen en este estado y el 10% mejoran a “Buena Condición”. Si estas tendencias y circunstancias se mantuvieran hacia el futuro, a) Determine la condición esperada, a largo plazo de la “Unidades Residenciales” administradas por

esta empresa. (Solución: El 58.33% terminan en Buena Condición, el 41.67% terminan en Condición Promedio, ninguna terminan en Mala Condición,

b) Entonces es recomendable contratar los servicios de esta empresa? 52. Una empresa especializada en la producción de jabones de tocador clasifica sus ventas en dos niveles:

“alto” y “bajo”. Las ventas dependen de varios factores, entre los principales están:

Si se hace o no publicidad

Si los competidores desarrollan y comercializan un nuevo producto.


Este segundo factor está, obviamente, fuera de control de la compañía, pero, de todas maneras, la empresa está interesada en estableces la mejor política publicitaria.

Se tienen los siguientes datos estadísticos y contables: La campaña publicitaria cuesta US $1.000.000; las utilidades, en promedio, han sido de US $4 millones si las ventas durante el trimestre han sido “altas” y de US $2 millones si son “bajas”, estas utilidades no incluyen los costos de la campaña publicitaria; los datos históricos indican que si se hace publicidad y las ventas durante un trimestre han sido “altas” al semestre siguiente también son “altas” con probabilidad ¾ y si fueron “bajas” al trimestre siguiente serán “altas” con probabilidad ½ . Estas probabilidades se han disminuido a ½ y a ¼ si no se hace publicidad.

El gerente de Mercadeo ha recomendado que se haga publicidad si las ventas durante el presente trimestre son “bajas” y que no se haga publicidad si las ventas durante el presente trimestre, han sido “altas”.

Cuál es la mejor estrategia publicitaria si estos datos se conservaran en el futuro? (Solución: No hacer publicidad ($ 2.333; 2.667.2) US millones. Seria interesante analizar la respuesta).

53. En la oficina de Admisiones y Registro de cierta universidad se ha obtenido la información necesaria para las siguientes estadísticas sobre un programa de Magíster que dura tres niveles: el 70% de los estudiantes que ingresan al primer nivel pasan con éxito al segundo nivel, el 10% lo tiene que repetir y el 20% restante se retira por diferentes motivos; de todos los estudiantes que pasan al segundo nivel, el 80% accede al tercer nivel, el 8% repite y el 12% restante sale del programa por bajo nivel académico o por otras razones; de todos los estudiantes que ingresan al tercer nivel el 90% se ha graduado, el 6% lo tiene que repetir, y el 4% restante no puede optar al titulo y los retiran por no cumplir las normas estipuladas. a) Cuántos alumnos lograran el titulo de Magíster de un grupo de 100 aspirantes que se matricularon en

el primer nivel? b) Si cada nivel dura un semestre, durante cuantos años se deberá ofrecer este “Magíster” si la región y

el país necesitan, aproximadamente 500 especialistas en esta área, sabiendo que esta universidad sólo está en capacidad de recibir, como máximo, 50 alumnos nuevos cada semestre? (Solución:

65 alumnos, aproximadamente 8 años).

958.0042.0

833.0167.0

648.0352.0

GR

N

N

NR*NQI

3

2

11

Es conveniente analizar los resultados, desde el punto de vista académico-administrativo.

54. Un almacén de artículos electrodomésticos puede colocar pedidos de refrigeradores al inicio de cada mes

y de entrega inmediata. Se tienen los siguientes datos contables: El hacer un pedido le cuesta al almacén US $100; el costo de almacenamiento mensual es de US $5 y se incurre, además, en unos costos de penalización por agotamiento de existencias de US $150 por refrigerador y por mes si se presenta la demanda y no hay existencias para satisfacerla.

De datos históricos se ha podido concluir que la demanda mensual de este producto es aleatoria y se comporta de acuerdo con la siguiente distribución de probabilidad:

Demanda mensual 0 1 2

Probabilidad de ocurrencia 0.2 0.5 0.3

La política del almacén ha sido la de no mantener más de dos refrigeradores en existencia durante cualquier mes.

Establecer la mejor política de pedidos. (Soluciones: 2* L , si el inventario final del mes es de 0 unidades, [US $207.80; US $ 150.90])


55. Considere un sistema de comunicaciones que transmite los dígitos 0 y 1. Cada dígito transmitido debe

pasar a través de varias etapas en cada una de las cuales hay una probabilidad p de que el dígito que entra no sea cambiado cuando sale.

Sea Xn el dígito que entra a la primera etapa del sistema, y para n 1 sea Xn el dígito que sale en la n-

ésima etapa del sistema de comunicación. Se pide: a) Calcular la matriz de transición b) Calcular la matriz de transición en n etapas. c) Demostrar que la probabilidad de que un dígito transmitido como 1 efectivamente haya entrado como

un 1 al sistema está dada por:

qp

qpXX n

n

n01

/1P

donde = Pr(X0 = 1) y = Pr(X0= 0) = 1 - 56. Una recepcionista puede encontrarse en uno de dos estados: Ociosa, limpiándose las uñas, o trabajando.

Se supone que sus hábitos de trabajo pueden modelarse mediante una cadena de Markov de dos estados, y se han hecho observaciones cada cinco minutos para estimar las probabilidades de transición. A continuación se dan los datos de las primeras observaciones.

1 1 0 1 1 1 0 1 0 1 1 1 0 0 1 1 0 1 0 1 1 1 1 0 0 1 0 1 1 1

1 1 0 1 0 0 1 1 1 0 1 1 0 1 0 1 0 1 0 1 1 0 1 0 1 0

a) Encuentre los estimativos máximo verosímiles para los elementos de la matriz de transición. b) ¿Puede suponerse que el proceso observado es una realización de una cadena de Markov con la

siguiente matriz de transición?

0.2 0.8 P 0.5 0.5

Universidad de Antioquia Departamento de Ingeniería Industrial...Bernardo A. Calderón C....

Documents

Transcript of Universidad de Antioquia Departamento de Ingeniería Industrial...Bernardo A. Calderón C....