Procesos estocásticos básicos en teoría de colas - ulpgc. · PDF filede...
-
Upload
truongdung -
Category
Documents
-
view
226 -
download
3
Transcript of Procesos estocásticos básicos en teoría de colas - ulpgc. · PDF filede...
3.1 Introducción. Planteamiento general.
Un proceso estocástico es en esencia un modelo
matemático de un fenómeno que evoluciona en el tiempo de forma
aleatoria.
Ejemplos:
• El número de llamadas telefónicas recibidas en una centralitahasta cierto instante t.
• La sucesión de tiempos que permanecen en el buffer de unconmutador los paquetes de una conexión en espera de sertransmitidos.
• La sucesión de tamaños (en bytes) de los paquetes que llegan aun conmutador de red.
De una manera más formal, un proceso estocástico se define
como una familia de variables aleatorias ξs s∈S, definidas sobre un
mismo espacio de probabilidad (Ω, B ,P), que representa el
comportamiento aleatorio del fenómeno que se estudia. En este
contexto ξs suele representar el valor de una variable de interés ξ
medida en el instante s, o el valor que toma esa variable sobre el s-
ésimo objeto que interviene en el fenómeno analizado.
En las aplicaciones que veremos a lo largo de este curso,
cuando T es continuo suele ser T=ö+, y cuando es discreto suele
ser T=ò.
Ejemplos:
• ξt = número de llamadas telefónicas recibidas en una centralitahasta cierto instante t.
• ξk = Tiempo que permanece en el buffer de un conmutador el k-ésimo paquete de una conexión desde que llega hasta que estransmitido.
• ξk = Tamaño (en bytes) del k-ésimo paquete de una conexión.
Asimismo el espacio de probabilidad (Ω, B ,P) representa el azar.
Los elementos ω ∈ Ω son los posibles resultados aleatorios de la
observación del fenómeno, P es la función que asigna a los ω su
probabilidad de ocurrencia P(ω), y B es la colección de conjuntos de
Ω a los que se puede asignar de modo consistente un valor de
probabilidad.
De acuerdo con esta definición, a cada ω ∈ Ω fijo, el proceso
le asocia los valores ξs(ω) que constituyen una función de S en ö
denominada trayectoria del proceso asociada a ω. De esta forma,
podemos considerar un proceso estocástico como una función de
dos variables ξ(s,ω) = ξs(ω) de S×Ω en ö en la que:
• Para cada s fijo: ξs (·): Ω − ö+
es una variable aleatoria.
• Para cada fijo: ξ• (ω): S − ö es una trayectoria del proceso
Si llamamos öS al espacio de todas las funciones de S en ö,
también podemos interpretar un proceso estocástico con conjunto
de parámetros S y valores en ö como una única aplicación:
X : Ω − öS
que a cada ω ∈ Ω le hace corresponder la función :
X (ω) = ξ• (ω): S − ö
Desde esta perspectiva puede entenderse un proceso estocástico
como el conjunto de todas las posibles formas en que puede
evolucionar la variable en estudio (trayectorias) más una
distribución de probabilidad sobre dicho conjunto, que nos indique
cuál es la probabilidad de que se produzca cada trayectoria
particular.
El problema es ¿cómo determinar la distribución de probabilidad
asociada a un proceso estocástico?. Aunque lo natural sería
considerar como distribución del proceso la distribución conjunta de
las variables aleatorias que lo componen, el hecho de que
usualmente S sea infinito impide esta aproximación. Los trabajos de
Kolmogorov en los años 30 del siglo pasado condujeron al teorema
que lleva su nombre y que garantiza que bajo ciertas condiciones
de regularidad, conocer la distribución (finito-dimensional) de
probabilidad de ( )1 2, , ...,
ns s sξ ξ ξ para todo n y para cualesquiera s1, s2,
..., sn ∈ S es equivalente a conocer la distribución de probabilidad
del proceso. Ello se traduce, en la práctica, en que el estudio de los
procesos estocásticos se realiza a través de sus distribuciones finito
dimensionales.
3.2 Procesos Puntuales
Un proceso puntual aleatorio es un proceso estocástico cuyas
realizaciones consisten en conjuntos de puntos distribuidos
aleatoriamente sobre un cierto espacio continuo. Tales puntos
suelen corresponder, en la práctica, a los instantes de tiempo en
que han ocurrido algunos sucesos de interés, o a las localizaciones
en el espacio de ciertos objetos.
Ejemplos
• El conjunto de instantes en que se producen las llegadas o
salidas de clientes en cola
• El conjunto de instantes en que se producen los
nacimientos de los individuos de una población.
• En estos dos ejemplos, el continuo sobre el que se hallan
distribuídos los puntos es el tiempo.
El análisis de los procesos puntuales se realiza habitualmente
a través de sus procesos contadores asociados.
Dado un proceso puntual definido sobre un espacio continuo
T, se define su proceso contador asociado como aquel proceso
que a cada subconjunto A T⊂ le asigna el número N(A) de
ocurrencias del proceso puntual localizadas en A. Cuando T es el
tiempo, el proceso contador suele expresarse como Nt tl q ≥0 , donde
Nt representa el número de sucesos puntuales que han ocurridos
en [0,t].
Si Nt tl q ≥0 es un proceso contador asociado a un proceso
puntual temporal, para s<t el valor de N Nt s− representa el
número de ocurrencias del proceso que han tenido lugar en el
intervalo (s,t].
Cuando y t s v uN N N N− − son variables aleatorias
independientes ∀ < ≤ <s t u v , el proceso Nt tl q ≥0 se dice de
incrementos independientes. Asimismo, si la distribución de la
variable N N s tt s− <, , depende sólo de la diferencia t-s , el
proceso se dice de incrementos estacionarios.
Uno de los procesos contadores más importantes es el
Proceso de Poisson, proceso que se usa extensamente en teoría
de colas.
3.3 El proceso de Poisson homogéneo
Un proceso contador Nt tl q ≥0 es un Proceso de Poissonhomogéneo si verifica las siguientes condiciones:
( )
( ) ( )( ) ( )
( )( )
0
0
1. 0 1
2.
1
1
0t 0
es de incrementos independientes
3.-
donde es un infinitésimo de orden superior a , esto es:
lim
t t
t t t
t t t
P N
N
P N N t o t
P N N o t
o t t
o tt
λ
≥
+∆
+∆
∆ →
− = =
−
− = = ∆ + ∆
− > = ∆∆ ∆
∆=
∆
En esta caracterización queda de manifiesto que aquellos
procesos de incrementos independientes tales que, durante un
tiempo infinitesimal es muy improbable que ocurra más de un
suceso seguirán una distribución de Poisson.
Como ejemplo en los que esta condición se da
frecuentemente, puede citarse las llegadas de clientes a una cola.
En este caso Nt representa el número de clientes llegados a la cola
en el intervalo de tiempo (0,t]
Calculemos ( ) ( ), 0n tp t P N n n= = ≥ :
Si n 1:
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( )
( ) ( )( ) ( ) ( )( ) ( ) ( )
( ) ( )( ) ( ) ( )( ) ( ) ( )
0 0
2
2
1
,
0 1 1
1 1
1
n n
n t t t t t t t tk k
t t t t t t t t
n
t t t tk
n
t t tk
n n n kk
p t t P N k N N n k P N n k P N N k
P N n P N N P N n P N N
P N n k P N N k
P N n t o t P N n t o t P N n k o t
p t t o t p t t o t p t o t
λ λ
λ λ
+∆ +∆= =
+∆ +∆
+∆=
=
− −
+ ∆ = = − = − = = − − = =
= = − = + = − − = +
+ = − − = =
= = − ∆ − ∆ + = − ∆ + ∆ + = − ∆ =
= − ∆ − ∆ + ∆ + ∆ + ∆
∑ ∑
∑
∑
2
n
=∑
Si n=0:
( ) ( ) ( ) ( )( ) ( )( )
0
0
0, 0 0 0
1t t t t t t t tp t t P N N N P N P N N
p t t o tλ+∆ +∆+ ∆ = = − = = = − =
= − ∆ − ∆
Estas ecuaciones pueden reescribirse como:
( ) ( ) ( ) ( )( )0 0 0p t t p t p t t o tλ+ ∆ − = − ∆ − ∆
( ) ( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )
( )1
2,
1
n
n n n n n kk
p t t p t p t t o t p t t o t p t o t
n
λ λ− −=
+ ∆ − = − ∆ − ∆ + ∆ + ∆ + ∆
≥
∑
Dividiendo por t y tomando límite cuando t 0, nos queda:
( ) ( )( ) ( ) ( ) ( )
0 0
1
'
' 1n n n
p t p t
p t p t p t n
λ
λ λ −
= −
= − + ≥
La primera ecuación es fácil de resolver:
( ) ( ) ( )( )
( )( )
( )( ) ( )( ) ( )( ) ( ) ( )
0 00 0 0 0
0 0
0 0 0 0
' ''
ln ln 0 ln ln 1
t t
t
p t p up t p t du du
p t p u
p t p t p t t p t e λ
λ λ λ
λ λ −
= − ⇒ = − ⇒ = − ⇒
− = − ⇒ − = − ⇒ =
∫ ∫
Para las siguientes ecuaciones procedemos recursivamente; así,
para n=1 tenemos:
( ) ( ) ( )1 1 0'p t p t p tλ λ= − +
Si resolvemos en primer lugar la ecuación homogénea resulta:
( )1 ( ) tp t c t e λ−=
y aplicando el método de variación de la constante:
( ) ( ) ( ) ( ) ( )1 1' '( ) 'tt tp t c t e c t e c t e p tλλ λλ λ−− −= − = −
de donde:
( ) ( ) ( )( ) ( )
0
1
'( ) 't t
t
c t e p t e c t c t t c
p t t c e
λ λ
λ
λ λ λ λ
λ
− −
−
= = ⇒ = ⇒ = + ⇒
⇒ = +
Imponiendo ahora la condición de que p1(0)=0 nos queda c=0 y por
tanto:
( )1tp t te λλ −=
Procediendo de modo análogo para n=2, 3, 4,… llegamos a la
fórmula general (que puede probarse por inducción):
( ) ( )!
nt
n
tp t e
nλλ −=
que corresponde precisamente a la distribución de Poisson.
3.3.1 Propiedades del proceso de Poisson
• El número de ocurrencias de un proceso de Poisson de
parámetro λλλλ en un intervalo de longitud ττττ sigue una
distribución de Poisson de parámetro λλλλττττ
En efecto, por ser el proceso de incrementos independientes, lavariable t tN Nτ+ − es independiente de 0t tN N N− = . Por tanto:
( ) ( )
( ) ( )0
!
t t t t t
n
P N N n P N N n N
P N n en
τ τ
λττ
λτ
+ +
−
− = = − = = =
= = =
• El proceso de Poisson es de incrementos estacionarios,esto es:
( ) ( ) , , ,t h t s h sP N N n P N N n t s h n+ +− = = − = ∀
(la demostración se sigue de la propiedad anterior, dado que seobtiene la misma probabilidad s,t,h,n)
• La distribución de probabilidad de los tiempos entreocurrencias de sucesos de un proceso de Poisson esexponencial:
En efecto, sea Wn=Tn-Tn-1. Entonces:
( ) ( )( )
1 1/ 1 /
1 0 1n n n n
wt w t
P W w T t P W w T t
P N N e λ
− −
−+
≤ = = − > = =
= − − = = −
que, como se observa, sigue una distribución exponencial deparámetro λ, independientemente de n y Tn.
• El recíproco también es cierto, esto es, si 1n nW≥ es
una sucesión de variables aleatorias independientes e
idénticamente distribuidas con distribución exp( ),
entonces 1n nW≥ son los tiempos entre ocurrencias de
un proceso de Poisson.
• Falta de memoria de la distribución exponencial. Si Xes una variable aleatoria con distribución exponencial,
( ) ( ), , 0P X t s X s P X t t s≥ + ≥ = ≥ ∀ ≥
Esta propiedad puede interpretarse del siguiente modo: el tiemporesidual que falta hasta la próxima ocurrencia del proceso esindependiente del tiempo transcurrido desde la últimaocurrencia del mismo y, además, tiene la misma distribuciónexponencial que el tiempo total entre dos ocurrencias. Lademostración es sencilla:
( ) ( ) ( )( )( )
( )( ) ( )
( )t st
s
P X t s X sP X t s X s
P X s
P X t s e e P X tP X s e
λλ
λ
− +−
−
≥ + ∩ ≥≥ + ≥ = =
≥
≥ += = = = ≥
≥
Esta propiedad confiere al proceso de Poisson homogéneo
gran sencillez de manejo y simplicidad matemática en los
desarrollos, convitiéndolo en el modelo adecuado para
aquellos fenómenos en los que no sea necesario tener en
cuenta explícitamente el tiempo transcurrido desde la
última ocurrencia.
3.4 El proceso de Poisson no homogéneo
Cuando las condiciones que definen el proceso de Poisson se
modifican de modo que la intensidad del mismo (el valor de ) sea
función de t, esto es:
( )
( ) ( ) ( )( ) ( )
0
0
1. 0 1
2.
1
1
es de incrementos independientes
3.-
t t
t t t
t t t
P N
N
P N N t t o t
P N N o t
λ
≥
+∆
+∆
− = =
−
− = = ∆ + ∆
− > = ∆
el proceso resultante se denomina de Poisson no homogéneo de
intensidad (t).
Siguiendo un desarrollo paralelo al realizado para el proceso
homogéneo, se obtiene que:
( ) ( ) ( )( ) ( )
!
n
tt n
tP N n p t e
n−ΛΛ
= = =
donde:
( ) ( )0
tt s dsλΛ = ∫
se denomina función paramétrica del proceso.
Suma de procesos de Poisson
La suma de k procesos de Poisson independientes
N N Nt t tk1 2a f a f a fn s n s n s, ,..., con intensidades respectivas λ λ λ1 2t t tka f a f a f, , ..., es
también un proceso de Poisson con intensidad λ λ λ1 2t t tka f a f a f+ + +... .
3.5 Procesos de Markov
En muchos sistemas basta conocer su estado actual y las
reglas por las que se rige su comportamiento para predecir su
evolución futura. La idea subyacente es que lo que le haya sucedido
al sistema hasta llegar al estado actual no aporta, en orden a
predecir su estado en el futuro, ninguna información que no esté ya
recogida en las variables que definen su estado presente (principiode independencia entre el futuro y el pasado una vez que seconoce el presente). Esta idea puede generalizarse en un contexto
de probabilidades, y constituye la base de la definición de los
procesos de Markov.
Un proceso de Markov es un proceso estocástico ξss∈S tal
que:
P(ξs+t ∈ B| ξu, u≤s) = P(ξs+t ∈ B| ξs)
En otras palabras es un proceso tal que la distribución condicional
de su valor futuro ξs+t dada toda su evolución hasta el presente ξu ,
u≤s, depende sólo del valor actual ξs y es independiente del pasado.
Si además ocurre que P(ξs+t ∈ B| ξs) es independiente de s,
entonces el proceso se dice homogéneo o estacionario.
Cuando S es discreto, el proceso de Markov se dice en
tiempo discreto, y en tiempo continuo en otro caso. El conjunto
de valores que puede tomar un proceso de Markov recibe el nombre
de espacio de estados del proceso. Cuando el espacio de estados
es discreto, el proceso suele recibir el nombre de Cadena deMarkov.
3.6 Procesos Semi-Markovianos
Un Proceso Semimarkoviano (SMP), también conocido comoProceso de Renovación Markoviano (MRP), es un procesoestocástico con espacio de estados discreto, y cuyas transicionesentre estados forman una cadena de Markov, siendo los tiemposentre sucesivas transiciones variables aleatorias.
En el caso particular de que estas variables sigan una distribucióngeométrica (cuando el proceso es en tiempo discreto) o exponencial(cuando el proceso es en tiempo continuo), con parámetrodependiente sólo del estado actual, el proceso es de Markov,debido a la falta de memoria de estas variables.
3.7 Cadenas de markov en tiempo discreto
3.7.1 Condición de Markov
Las cadenas de Markov en tiempo discreto constituyen elmodelo de proceso de Markov más simple. El tiempo T es discreto(T = ò; en general se llaman etapas a las unidades de tiempodiscretas) y también es discreto (finito o numerable) el espacio deestados, al que llamaremos E. La condición de Markov se expresaen este caso de la forma,
P j i i i P j in n n n n nξ ξ ξ ξ ξ ξ+ += = = = = = =1 0 0 1 1 1, ,...,c h c h
3.7.2 Cadenas de Markov homogéneas
Una cadena de Markov es homogénea, cuando verifica:
P j i P j i p n m Nn n m m ijξ ξ ξ ξ+ += = = = = ∀ ∈1 1c h c h = ,
lo que significa que la probabilidad de pasar del estado i al estado jen una etapa es independiente de cuál sea esta etapa.
3.7.3 Caracterización de las cadenas de Markov homogéneas
Una cadena de Markov homogénea queda determinada por:
1. El espacio de estados E (finito o numerable).2. La probabilidad de transición del estado i al j,
independiente de n, ∀ ∈ = = =+i j E P j i pn n ij, , /ξ ξ1b g .
Obviamente p i Eijj E∈∑ = ∀ ∈1, .
3. La distribución inicial de la cadena:∀ ∈ = =i j E P i pi, , ξ 0
0b g a f
Ejemplo:Consideremos un sistema de comunicación que transmite los
dígitos 1 y 0. El buffer de entrada de este sistema tiene capacidadpara un máximo de 4 dígitos, lo que significa 5 posibles estados (0,1, 2, 3 y 4), que representan el número de bits en el buffer en cadamomento. El sistema opera en tiempo discreto y, llamando k a laocupación del buffer en el slot k, se ha observado que k secomporta según una cadena de Markov homogénea con lassiguientes probabilidades de transición:
0.3 0.3 0.2 0.1 0.10.35 0.3 0.25 0.05 0.050.15 0.25 0.3 0.25 0.050.1 0.15 0.25 0.3 0.2
0.05 0.1 0.25 0.3 0.3
P
=
donde( ) 1 , , 0,1,2,3,4ij k kp P j i k N i jξ ξ+= = = ∀ ∈ ∀ ∈
Si inicialmente el buffer está vacío, la distribución inicial de lacadena es ( ) ( ) ( ) ( ) ( )( ) ( )0 0 0 0 0(0)
0 1 2 3 4, , , , 1,0,0,0,0p p p p p p= =
3.7.4 Probabilidades de transición en n etapas
Ésta es la probabilidad de que la cadena, transcurridas n etapas, seencuentre en algún estado j, habiendo partido inicialmente delestado i, esto es:
p P j iijn
n( ) /= = =ξ ξ 0b g
Para calcular esta probabilidad, si definimos las matrices deprobabilidades de transición en una y n etapas respectivamente,como:
P p P pij i j E
nij
n
i j E= =
∈ ∈c h d ia f a f
, ,
puede probarse el siguiente resultado, conocido como ecuación deChapman-Kolmogorov:
P Pn na f =
3.7.5 Probabilidades de estado tras n etapas.
Si se desea calcular la probabilidad incondicional de que lacadena se encuentre en el estado j tras n etapas, llamandop P jj
nn
( ) = =ξb g, y p p pn n na f a f a fd i= 1 2, ,... , se tiene,
p p Pn na f a f= 0
Ejemplo:En nuestro ejemplo anterior, la matriz de probabilidades detransición en 3 etapas es:
(3) 3
0.22 0.24 0.25 0.17 0.110.23 0.25 0.25 0.17 0.110.21 0.24 0.25 0.19 0.110.19 0.22 0.25 0.2 0.130.18 0.21 0.26 0.21 0.14
P P
= =
y las probabilidades de estado en la tercera etapa son:( ) ( ) ( )3 0 3 0.21875 0.2435 0.25025 0.176 0.1115p p P= =
A continuación vemos las sucesivas potencias de la matriz detransición:
P [,1] [,2] [,3] [,4] [,5][1,] 0.30 0.30 0.20 0.10 0.10[2,] 0.35 0.30 0.25 0.05 0.05[3,] 0.15 0.25 0.30 0.25 0.05[4,] 0.10 0.15 0.25 0.30 0.20[5,] 0.05 0.10 0.25 0.30 0.30
P2
[,1] [,2] [,3] [,4] [,5][1,] 0.2400 0.2550 0.2450 0.1550 0.1050[2,] 0.2550 0.2700 0.2450 0.1425 0.0875[3,] 0.2050 0.2375 0.2575 0.1925 0.1075[4,] 0.1600 0.2025 0.2575 0.2300 0.1500[5,] 0.1325 0.1825 0.2600 0.2525 0.1725
P3
[,1] [,2] [,3] [,4] [,5][1,] 0.218750 0.243500 0.250250 0.176000 0.111500[2,] 0.226375 0.248875 0.249500 0.169250 0.106000[3,] 0.207875 0.236750 0.252625 0.186750 0.116000[4,] 0.188000 0.222625 0.254875 0.204500 0.130000[5,] 0.176500 0.214625 0.256375 0.214875 0.137625
P4
[,1] [,2] [,3] [,4] [,5][1,] 0.2115625 0.2387875 0.2515750 0.1828625 0.1152125[2,] 0.2146688 0.2409375 0.2511563 0.1800312 0.1132063[3,] 0.2075937 0.2361562 0.2522375 0.1866062 0.1174063[4,] 0.1995000 0.2305812 0.2533437 0.1940000 0.1225750[5,] 0.1948938 0.2274250 0.2539938 0.1982250 0.1254625
P5
[,1] [,2] [,3] [,4] [,5][1,] 0.2088275 0.2369494 0.2520006 0.1854119 0.1168106[2,] 0.2100656 0.2377962 0.2518244 0.1842741 0.1160397[3,] 0.2072994 0.2359159 0.2522322 0.1868303 0.1177222[4,] 0.2040838 0.2337178 0.2526922 0.1897875 0.1197188[5,] 0.2022616 0.2324741 0.2529550 0.1914653 0.1208441
P6
[,1] [,2] [,3] [,4] [,5][1,] 0.2077623 0.2362261 0.2521587 0.1863971 0.1174558[2,] 0.2082514 0.2365597 0.2520879 0.1859466 0.1171543[3,] 0.2071644 0.2358194 0.2522466 0.1869495 0.1178201[4,] 0.2058949 0.2349535 0.2524304 0.1881192 0.1186020[5,] 0.2051764 0.2344636 0.2525347 0.1887814 0.1190439
P7
[,1] [,2] [,3] [,4] [,5][1,] 0.2073441 0.2359413 0.2522198 0.1867831 0.1177116[2,] 0.2075369 0.2360728 0.2521918 0.1866054 0.1175931[3,] 0.2071091 0.2357812 0.2522541 0.1869999 0.1178557[4,] 0.2066088 0.2354402 0.2523268 0.1874611 0.1181631[5,] 0.2063257 0.2352473 0.2523679 0.1877221 0.1183370
P8
[,1] [,2] [,3] [,4] [,5][1,] 0.2071796 0.2358292 0.2522438 0.1869348 0.1178126[2,] 0.2072555 0.2358810 0.2522327 0.1868648 0.1177659[3,] 0.2070870 0.2357662 0.2522573 0.1870202 0.1178694[4,] 0.2068900 0.2356319 0.2522859 0.1872019 0.1179904[5,] 0.2067785 0.2355559 0.2523021 0.1873046 0.1180588
P9
[,1] [,2] [,3] [,4] [,5][1,] 0.2071148 0.2357851 0.2522532 0.1869946 0.1178524[2,] 0.2071447 0.2358054 0.2522489 0.1869670 0.1178340[3,] 0.2070783 0.2357602 0.2522585 0.1870282 0.1178747[4,] 0.2070007 0.2357073 0.2522698 0.1870997 0.1179224[5,] 0.2069568 0.2356774 0.2522762 0.1871402 0.1179493
P10
[,1] [,2] [,3] [,4] [,5][1,] 0.2070893 0.2357677 0.2522569 0.1870181 0.1178680[2,] 0.2071010 0.2357757 0.2522552 0.1870073 0.1178608[3,] 0.2070749 0.2357579 0.2522590 0.1870313 0.1178768[4,] 0.2070444 0.2357371 0.2522635 0.1870595 0.1178956[5,] 0.2070271 0.2357253 0.2522660 0.1870755 0.1179062
P11
[,1] [,2] [,3] [,4] [,5][1,] 0.2070792 0.2357608 0.2522584 0.1870274 0.1178742[2,] 0.2070839 0.2357640 0.2522577 0.1870231 0.1178713[3,] 0.2070736 0.2357570 0.2522592 0.1870326 0.1178777[4,] 0.2070615 0.2357488 0.2522610 0.1870437 0.1178850[5,] 0.2070547 0.2357441 0.2522619 0.1870500 0.1178892
P12
[,1] [,2] [,3] [,4] [,5][1,] 0.2070753 0.2357581 0.2522590 0.1870310 0.1178766[2,] 0.2070771 0.2357594 0.2522587 0.1870293 0.1178755[3,] 0.2070730 0.2357566 0.2522593 0.1870331 0.1178780[4,] 0.2070683 0.2357534 0.2522600 0.1870375 0.1178809[5,] 0.2070656 0.2357516 0.2522604 0.1870399 0.1178825
P13
[,1] [,2] [,3] [,4] [,5][1,] 0.2070737 0.2357571 0.2522592 0.1870325 0.1178776[2,] 0.2070744 0.2357576 0.2522591 0.1870318 0.1178771[3,] 0.2070728 0.2357565 0.2522593 0.1870333 0.1178781[4,] 0.2070710 0.2357552 0.2522596 0.1870350 0.1178793[5,] 0.2070699 0.2357545 0.2522597 0.1870360 0.1178799
P14
[,1] [,2] [,3] [,4] [,5][1,] 0.2070731 0.2357567 0.2522593 0.1870330 0.1178779[2,] 0.2070734 0.2357568 0.2522592 0.1870328 0.1178778[3,] 0.2070727 0.2357564 0.2522593 0.1870333 0.1178782[4,] 0.2070720 0.2357559 0.2522594 0.1870340 0.1178786[5,] 0.2070716 0.2357556 0.2522595 0.1870344 0.1178789
P15
[,1] [,2] [,3] [,4] [,5][1,] 0.2070728 0.2357565 0.2522593 0.1870333 0.1178781[2,] 0.2070730 0.2357566 0.2522593 0.1870332 0.1178780[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070724 0.2357562 0.2522594 0.1870336 0.1178784[5,] 0.2070723 0.2357561 0.2522594 0.1870338 0.1178785
P16
[,1] [,2] [,3] [,4] [,5][1,] 0.2070728 0.2357564 0.2522593 0.1870333 0.1178782[2,] 0.2070728 0.2357565 0.2522593 0.1870333 0.1178781[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070726 0.2357563 0.2522593 0.1870335 0.1178783[5,] 0.2070725 0.2357563 0.2522594 0.1870336 0.1178783
P17
[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070726 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070726 0.2357563 0.2522593 0.1870335 0.1178782
P18
[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782
P19
[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782
P20
[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782
Como puede apreciarse, las sucesivas potencias de la matriz vanpareciéndose cada vez más entre sí; de hecho, a partir de P17, lasmatrices Pk, k 17, son prácticamente iguales (las diferencias quepudiera haber están por debajo del octavo decimal). Ello significaque las probabilidades de estado tras n etapas ya no cambianprácticamente a partir de la etapa 17. Tales probabilidades serían:
( ) ( )( ) ( ) ( ) ( )
0(17) 17
0 0 1717
0.2070727 0.2357564 0.2522593 0.1870334 0.1178782
17 : k k
p p P
k p p P p P p
= =
∀ ≥ = =
Por tanto, si el buffer está inicialmente vacío, transcurrido unnúmero de etapas mayor que 17, la probabilidad de que esté vacíoes de 0.207; la probabilidad de que esté ocupado por un solo dígitoes 0.235; y la probabilidad de que esté lleno es 0.117.
3.7.6 Probabilidades de etapa de primer paso
Otro problema de interés suele ser el cálculo de laprobabilidad de que, partiendo del estado i, la cadena llegue porprimera vez al estado j transcurridas n etapas. Esta probabilidadsuele denotarse como:
f P j j k n iijn
n kb g b g= = ≠ = − =ξ ξ ξ, , ,..., /1 1 0
con la convención de que:f ij
0 0b g =
La probabilidad de que la cadena, habiendo partido del estadoi, alcance alguna vez el estado j es entonces:
f fij ijn
n=
=
∞
∑ ( )
1
Si se definen las funciones generatrices:
P s p s F s f sij ijn n
nij ij
n n
n
( ) ( )( )= ==
∞
=
∞
∑ ∑1 1
, a f
puede probarse que:
F sP s
P sijij
jj
( )( )
( )=
+1
y por tanto:
f f Fij ijn
nij= =
=
∞
∑ a f1
1( )
El número medio de etapas que se emplea en ir de i a j es,µ ij ijF= ' ( )1 .
En nuestro ejemplo:Calculemos la probabilidad de que, partiendo del buffer vacío,alguna vez llegue a haber 3 dígitos en el mismo. Para ello debemoshallar:
P03(s) = 0.1s + 0.155s2 + 0.176s3 + 0.1828625 s4 + 0.1854119 s5+ 0.1863971s6+
0.1867831s7 + 0.1869348s8+ 0.1869946s9+ 0.1870181s10+ 0.1870274s11+
0.1870310s12+ 0.1870325s13+ 0.1870330s14+ 0.1870333s15+ 0.1870333s16+
0.1870334s17+ 0.1870334s18+ 0.1870334s19+ 0.1870334s20+…
P33(s) = 0.3s + 0.23s2 + 0.2045s3+ 0.194s4 + 0.1897875s5+ 0.1881192s6+
0.1874611s7+ 0.1872019s8 + 0.1870997s9+ 0.1870595s10+ 0.1870437s11+
0.1870375s12+ 0.1870350s13+ 0.1870340s14 + 0.1870336s15+0.1870335s16+
0.1870334s17+ 0.1870334s18+ 0.1870334s19+ 0.1870334s20+…
y resolver:
0303
33
( )( )
1 ( )P s
F sP s
=+
= 0.1s+0.125s2+ 0.1155s3 + 0.099s4 + 0.08418s5 +
0.0715215s6 + 0.06077467s7 + 0.05164761s8 + 0.043893012s9 +
0.03730309s10 + 0.031702741s11 + 0.02694311s12 + 0.02289817s13 +
0.01946037s14 + 0.01653885s15 + 0.01405577s16 + 0.01194564s17 +
0.01015221s18 + 0.00862804s19 + 0.00733270s20 + …
Así pues, la probabilidad de llegar al estado 3 (tener 3 dígitos en elbuffer) partiendo del estado 0 (buffer vacío) es:
f03 = F03(1) = 0.731635
El número medio de etapas que se tarda en tener 3 dígitospartiendo del buffer vacío es:
µ03 = F03’(1) = 2.05 etapas
3.7.7 Clasificación de estados de una cadena de Markovhomogénea.
• Estados recurrentes: Un estado i es recurrente si f ii = 1
• Estados transitorios: el estado i es transitorio si no esrecurrente, esto es, si f ii < 1
• Tiempo medio de recurrencia: es el tiempo medio que se tardaen regresar al estado j habiendo partido del mismo estado, estoes:
µ jj jjn
nnf=
=
∞
∑ ( )
1
• Estados recurrentes positivos: un estado j se dice recurrentepositivo si µ jj < ∞ , esto es, si el tiempo medio que se tarda enregresar a él es finito.
• Estados recurrentes nulos: un estado j se dice recurrentenulo esto es, si se tarda un tiempo medio infinito en regresar aél.
• Estados absorventes: un estado i se dice absorvente sipii = 1 , esto es, si una vez que la cadena llega a este estado ya
no puede pasar a otro distinto de él.
• Estados accesibles: un estado j es accesible desde otroestado i si:
∃ ≥ >n pijn0 0: ( )
• Estados comunicantes: dos estados i, j comunican entre sí sicada uno de ellos es accesible desde el otro.
• Estados periódicos: un estado recurrente i se dice periódicode periodo d si d es el máximo común divisor de los índices npara los cuáles pii
n( ) > 0 . Un estado con periodo 1 se diceaperiódico. Puede probarse que si el estado i es aperiódicoentonces existe un entero n0 tal que p n nii
n( ) > ∀ ≥0 0 .
• Conjunto cerrado de estados: un conjunto de estados C escerrado si:
∀ ∈ ∀ ∉ =i C j C pij, : 0
• Conjuntos irreducibles de estados: un conjunto de estados Ces irreducible si es cerrado y no contiene subconjuntoscerrados. Puede demostrarse que si C es cerrado, entonces esirreducible si y sólo si todos sus estados comunican entresí. Los conjuntos irreducibles de estados cumplen las dossiguientes propiedades:
a) Si C es irreducible, entonces sus estados son todostransitorios o son todos recurrentes.
b) Si C es irreducible y todos sus estados son recurrentes,entonces f i j Cij = ∀ ∈1 , . Más aún, o bien µ jj j C< ∞ ∀ ∈ , obien µ jj j C= ∞ ∀ ∈ (esto es, sus estados o son todosrecurrentes positivos o son todos recurrentes nulos).
c) Si C es irreducible y todos sus estados son recurrentes,entonces todos los estados de C tienen el mismo periodo.
Ejemplo:
La siguiente es la matriz de transición de una cadena de Markovcon 6 estados, numerados de 0 a 5:
1 1 10 0 006 2 3
1 0 1 0 0 0 01 2 1 12 0 05 5 5 51 33 0 0 0 04 41 14 0 0 0 02 2
1 1 15 0 0 04 4 2
→
− →
→
→ → →
• El estado 1 es recurrente, pues si el proceso comienza en él,permanece en él para siempre.
• Los estados 2 y 5 son transitorios, ya que pueden servisitados unas cuantas veces y no volver a ellos nunca más.
• Los estados 0, 3 y 4 son recurrentes, ya que una vez que elproceso llegue a uno de ellos permanece en ese conjuntopara siempre.
• El conjunto 0, 3, 4 es un conjunto cerrado de estados;también es irreducible.
• El conjunto 1 es también cerrado e irreducible.• El conjunto 2,5 no es cerrado.• El conjunto 0,1,2,3,4,5 es cerrado pero no irreducible.
3.7.8 Cadenas de Markov con espacio de estados finitos.
Hay una serie de resultados que no se cumplen para cadenas deMarkov con un número infinito de estados, pero que sí se verificansi este número es finito. Por ejemplo, en una cadena con infinitosestados podría ocurrir que ninguno fuese recurrente, pero en unacadena finita es evidente que debe existir algún estado de estaclase. Más aún, todo conjunto de estados cerrado y finito tiene almenos un estado recurrente.Teorema: Sea R el conjunto de estados recurrentes de una cadenade Markov con espacio de estados finito y sin conjuntos cerradosdisjuntos. Entonces:
a) f i E j Rij = ∀ ∈ ∀ ∈1 ,
b) µ ij i E j R< ∞ ∀ ∈ ∀ ∈,
c) Si los estados recurrentes son aperiódicos, entonces existeun entero ν ≥ 1 tal que p i E j Rij
( ) ,ν > ∀ ∈ ∀ ∈0
3.7.9 Distribución estacionaria de una cadena de Markov.
Sea 0n nξ≥ una cadena de Markov y sea 1,2,3,...E = su
espacio de estados. La distribución de probabilidad( )1 2 3, , ,...π π π π= donde ( )i P iπ ξ= = es una distribución
estacionaria para 0n nξ≥ si verifica:
Pπ π⋅ =
En caso de que exista esta distribución, si ( )0p π= , entonces( )np nπ= ∀
3.7.10 Distribución de equilibrio de una cadena de Markov.
Un problema de gran interés en las aplicaciones prácticas esel siguiente: transcurrido un número muy grande de etapas, ¿cuáles la probabilidad de que la cadena se encuentre en un estado jdeterminado?. Esta pregunta sólo tiene sentido cuando el procesoes ergódico. Un proceso estocástico es ergódico cuando existe ladistribución límite:
π ξj n ijnp j lím p= = =
→∞b g ( )
en cuyo caso se dice que la cadena está en equilibrio. Ladistribución ( )1 2 3, , ,...π π π π= recibe el nombre de distribución deequilibrio de la cadena. La ergodicidad significa que transcurridasmuchas etapas, la probabilidad de estar en un estado j, π j n ij
nlím p=→∞
( )
es independiente del estado de partida i.
El siguiente teorema nos indica en qué casos existe la distribuciónlímite de una cadena de Markov.
Teorema:
(a) Si 1n nξ
≥ es una cadena de Markov irreducible y recurrentepositiva, entonces existe una única solución no degeneradade las ecuaciones:
, 1P uπ π π= ⋅ =
(siendo u un vector de unos). Además el vector soluciónresultante ( )jπ π= verifica que
1j
jj
πµ
=
Si además los momentos de la distribución estacionaria sonfinitos entonces se tiene:
(b) Si el vector de probabilidades iniciales p(0) se elige de modoque p(0) = π, entonces la cadena es un proceso estacionario yergódico.
(c) Si además la cadena es aperiódica, irreducible y recurrentepositiva, entonces el proceso es ergódico y la distribuciónlímite coincide con la distribución estacionaria.
Teorema: Una cadena de Markov aperiódica e irreducible esrecurrente positiva si existe una solución no negativa del sistema deecuaciones:
( )0
1 0ij j ij
p x x i∞
=
≤ − ≠∑tal que:
00
j jj
p x∞
=
< ∞∑
3.8 Cadenas de markov en tiempo continuo con espacio deestados discreto.
En este caso la condición de Markov puede escribirse como:
P j i i u s P j it s s u u t s sξ ξ ξ ξ ξ+ += = = ≤ < = = =/ , , /0b g b gsiendo T = ∞[ , )0 :
Cuando esta probabilidad no depende de s, la cadena eshomogénea.
Las cadenas de Markov en tiempo continuo homogéneasverifican las siguientes propiedades:
(1) cada vez que alcanza el estado i la cantidad de tiempo que lacadena permanece en ese estado antes de transitar a otroestado sigue una distribución exponencial de parámetro νidependiente del estado de partida.
(2) Cuando el proceso abandona el estado i, entra en otro estadoj≠i con probabilidad pij, verificándose:
0, 1,j E
ii ijp p i E∈
= = ∀ ∈∑ .
En otras palabras, una cadena de Markov homogénea entiempo continuo es un proceso estocástico que se mueve de unestado a otro de acuerdo con una cadena de Markov en tiempodiscreto, pero que permanece en cada estado durante un tiempoexponencialmente distribuido (con parámetro dependiente delestado). Además el siguiente estado j al que se mueve el procesoes independiente del tiempo que haya permanecido en el estado i(si no fuera así se violaría la condición de Markov).
De esta forma, una cadena de Markov homogénea en tiempocontínuo queda definida por la matriz de transición deprobabilidades:
P t p tij i j E( ) ( )
,=
∈c h
donde:
( ) ( )0ij tp t P j iξ ξ= = =
De modo análogo al caso de tiempo discreto (en que P(n) = Pn), secumple (ecuación de Chapman-Kolmogorov):
P t s P t P s( ) ( ) ( )+ =
Asimismo, si p t P t i p t p t p ti ( ) , ( ) ( ), ( ),...= = =ξa fb g b g 1 2 , se tiene:
p t p P t( ) ( ) ( )= 0
Cálculo de la matriz de transición en un tiempo tObviamente, la pregunta que cabe hacerse ahora es, ¿de quémodo puede calcularse P(t)?Para ello, llamamos:
• 1
iν = tiempo medio que la cadena permanece en el estado i.
Como la distribución de este tiempo es exponencial, i tν ∆ es laprobabilidad de que la cadena abandone este estado en elpróximo intervalo de tiempo de amplitud ∆t.
• ij i ijq pν= . De acuerdo con la definición de νi, el valor qij∆tpuede interpretarse como la probabilidad de transitar al estado jdesde el estado i en el próximo intervalo de tiempo de amplitud∆t (esto es, ( )ij i ij ijp t t p q tν∆ = ∆ ⋅ = ∆ )
• ( ) ,
ij
ij ij i j Ei
q si i jr R r
si i jν ∈
≠= =− =
Si ahora calculamos las probabilidades de transición en un periodode duración t+∆t:
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) 1
( ) ( ) 1
ii ii ii ij ji i ii ij jij i j i
ij ii ij ik kj i ij ik kjk i k i
p t t p t p t p t p t t p t q t p t
p t t p t p t p t p t t p t q t p t
ν
ν≠ ≠
≠ ≠
+ ∆ = ∆ + ∆ = − ∆ + ∆ ⋅
+ ∆ = ∆ + ∆ = − ∆ + ∆ ⋅
∑ ∑
∑ ∑
de donde:
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
ii iii ii ij ji
j i
ij iji ij ik kj
k i
p t t p tp t q p t
tp t t p t
p t q p tt
ν
ν
≠
≠
+ ∆ −= − +
∆
+ ∆ −= − +
∆
∑
∑
tomando límite cuando ∆t→0 se obtiene la ecuación retrospectivade Kolmogorov:
, ( ) ( )ij ik k jk
p t r p t= ∑
Para obtener esta ecuación hemos calculado la probabilidad detransición pij(t+∆t) a partir de la evolución de la cadena primero enun lapso ∆t y a continuación en un periodo de longitud t. Sihubiésemos calculado dicha probabilidad partiendo primero de laevolución en un periodo de duración t y a continuación en otroperiodo ∆t, llegaríamos a:
( ) ( ) ( ) ( )( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) 1
( ) ( ) 1 .
ii ii ii ij ji ii i ij jij i j i
ij ij jj ik kj ij j ik kjk j k j
p t t p t p t p t p t p t t p t q t
p t t p t p t p t p t p t t p t q t
ν
ν≠ ≠
≠ ≠
+ ∆ = ∆ + ∆ = − ∆ + ⋅ ∆
+ ∆ = ∆ + ∆ = ⋅ − ∆ + ∆
∑ ∑
∑ ∑
de donde:
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
ii iii ii ij ji
j i
ij ijj ij ik kj
k j
p t t p tp t p t q
tp t t p t
p t p t qt
ν
ν
≠
≠
+ ∆ −= − +
∆
+ ∆ −= − +
∆
∑
∑
tomando límite cuando ∆t→0 se obtiene la ecuación prospectivade Kolmogorov:
, ( ) ( )ij ik k jk
p t p t r= ∑
Las ecuaciones de Kolmogorov pueden expresarse en formavectorial, respectivamente, como:
'( ) ( )'( ) ( )
P t RP tP t P t R
==
y la solución de ambas viene dada por:
P t P eRt( ) ( )= 0
donde, al serP I( )0 = , resulta:
P t eRt( ) =donde:
e R tn
Rt nn
n=
=
∞
∑ !0
Debe señalarse que en la práctica no resulta, en general,eficiente calcular P(t) de esta forma, resultando preferible enmuchas ocasiones tratar de obtener los pij(t) directamente a partirde alguna de las ecuaciones de Kolmogorov. Esto es lo que hemoshecho ya en el caso del proceso de Poisson homogéneo.
Distribución ergódica de una cadena de Markov en tiempocontinuo.
Por último, en analogía con el resultado obtenido para lascadenas en tiempo discreto, a menudo la probabilidad de que lacadena de Markov se encuentre en el estado j transcurrido untiempo muy largo converge a un valorππππj (probabilidad ergódica)independiente del estado inicial, esto es:
π j t ijlím p t=→∞
( )
El valor de ππππj puede interpretarse como la proporción detiempo que el sistema permanece en el estado j.
Si π es la distribución ergódica de la cadena de Markov en tiempocontínuo, verificará:
( )P t tπ π= ⋅ ∀y como, de acuerdo con la ecuación prospectiva de Kolmogorov, es
'( ) ( ) P t P t R= , se tiene que:
'( ) ( ) P t P t R Rπ π π⋅ = ⋅ = ⋅Si la cadena es ergódica, debe ocurrir que:
lim '( ) 0t
P t→∞
=
y por tanto la distribución ergódica debe cumplir:
0Rπ ⋅ =
junto con la condición natural de que 1
1n
ii
uπ π=
⋅ = =∑ , siendo u un
vector de unos.
Teorema: Una cadena de Markov en tiempo continuo esergódica si es irreducible y todos sus estados son recurrentespositivos.
La probabilidad ergódica π j puede interpretarse como la proporciónde tiempo que el sistema permanece en el estado j.
El sistema de ecuaciones 0Rπ ⋅ = admite una interpretación queresulta bastante intuitiva y fácil de comprender. Si escribimos sudesarrollo obtenemos:
0j j k kjk j
q jν π π≠
+ = ∀∑En este sistema de ecuaciones, la probabilidad ν πj j puedeinterpretarse como la tasa con que el proceso abandona el estado j.
Asimismo, la probabilidad k kjk j
qπ≠∑ puede interpretarse como la tasa
con que el proceso llega al estado j desde todos los estados k≠j.Claramente, cuando el proceso se encuentra en equilibrio ambascantidades deben ser iguales.