Markov PDF

Cadenas de Markov y
Teoría de Colas
Carlos F. Belaustegui Goitia
Procesos y Cadenas de Markov
• Variables binomial, geométrica y de Poisson.
• Procesos puntuales.
• Procesos de Markov.
• Cadenas de Markov. Clasificación de estados, clases de cadenas, estado
estacionario. Teorema de Perron-Frobenius.
• Cadenas de Markov en tiempo continuo. Ecuaciones de balance global.
• Aplicaciones.
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 2

Variables Binomial y Geométrica
Variable Binomial: La probabilidad de que el evento Separación entre eventos: sea X= número de pruebas
A, cuya probabilidad es P(A) = p, ocurra k veces en n hasta el primer éxito
pruebas es
P( X = 1) = p Distribución geométrica.
n  n n! P( X = 2) = (1 − p) p
X es el número de pruebas
pn (k ) =   p k (1 − p) n−k ,   = hasta el primer éxito en una
k   k  k!(n − k )! L secuencia de pruebas de
Bernoulli.
n=22, k=7 P( X = n) = (1 − p) n−1 p = q n−1 p
1 3 4 8 13 15 21
1 3 4 8 13 15 21
1 3 4 8 13 15 21 n0
1 2 4 5 11 19 20 X=n
 22  X=n
3 5 6 7 12 17 20   combinaciones
............... 7 Propiedad “sin memoria” de la distribución geométrica
4 6 8 9 16 21 22 P ( X = n, X > n0 ) P ( X = n) q n −1 p
P ( X = n / X > n0 ) = = = ∞
=
P ( X > n0 ) P ( X > n0 )
Aplicación: Proceso de Bernoulli como modelo ∑q
k = n0 +1
k −1
p
de flujo ATM
q n −1 q n −1
= ∞
= n0
= q n − n0 −1 p = P ( X = n − n0 )
1 1− q
∑q i
−
1− q 1− q
5 48 i = n0
48
53 bytes
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas
1 CC = 2.83 uSec @ 149.76 Mbps
3
Variables Binomial y de Poisson
Variable Binomial: La probabilidad de que el evento Variable de Poisson: Si p<<1, np=a, y k del orden de np
A, cuya probabilidad es P(A) = p, ocurra k veces en n
pn (k + 1) p n−k a 1− k / n a
pruebas es = ⋅ = ⋅ n→
→∞
pn (k ) 1− p k +1 1− a / n k +1 k +1
n  n n!
pn (k ) =   p k (1 − p) n−k ,   = a
k   k  k!(n − k )! pn (k + 1) = pn ( k )
k +1
p(0) = lim pn (0) = lim (1 − p) n = lim (1 − a / n) n = e −a
n →∞ n→∞ n→∞
n=22, k=7 p(1) = ae −a
a a2
1 3 4 8 13 15 21
p ( 2) = p(1) = e −a
2 2
1 3 4 8 13 15 21 L
1 2 4 5 11 19 20  22 
3 5 6 7 12 17 20   combinaciones a k −a
 7  p(k ) = e
............... k!
4 6 8 9 16 21 22

Puntos de Poisson
Puntos de Poisson: Se colocan al azar n puntos en el 6 1 5 3 2 94 8 7

intervalo real [0, T) t1 t2
∆t
t 2 − t1 ∆t T
P(1 punto en [t1 , t 2 ]) = p = =
T T
 n
pn (k puntos en [t1 , t 2 ]) =   p k (1 − p) n−k
k  Densidad de puntos
λ = n /T
p(1) = λ∆t e − λ∆t ≈ λ∆t (1 − λ∆t ) ∆ → λ∆t
t →0
n → ∞, T → ∞, λ = cte., p = ∆t / T → 0
a = np = n ∆t / T = λ ∆t (λ∆t ) k −λ∆t (λ∆t ) k (λ∆t ) k
p(k ) = e ≈ (1 − λ∆t ) ∆ 
t →0
→
k! k! k!
(λ∆t ) k −λ∆t
pn (k puntos en [t1 , t 2 ]) n → e = p(k ) P (1 punto en [t, t + ∆t ])
,T →∞
k! λ = lim
∆t →0 ∆t

Distribución Exponencial
X x0
t t+x X
t
Separación entre puntos: sea X = distancia desde Propiedad “sin memoria” de la distribución
t al primer punto a la derecha de t. exponencial
FX ( x) = P( X ≤ x) = 1 − P( X > x) =
P( X ≤ x, X ≥ x0 )
−λx FX ( x / X ≥ x0 ) = P( X ≤ x / X ≥ x0 ) = =
= 1 − P (0 puntos en [t , t + x]) = 1 − e x≥0 P( X ≥ x0 )
f X ( x) = λ e −λx u ( x) P( x 0 ≤ X ≤ x) FX ( x) − FX ( x0 )
= = = 1 − e−λ ( x − x0 )
∞
1 1 P( X ≥ x0 ) 1 − FX ( x0 )
E ( X ) = ∫ xλ e −λx dx = , var( X ) = 2
0
λ λ f X ( x / X ≥ x0 ) = λ e−λ ( x − x0 ) u ( x − x0 ) = f X ( x − x0 )
Los tiempos entre arribos son independientes y Lo que ocurre después de t0 es independiente de lo
distribuídos exponencialmente con parámetro λ que ocurrió antes de t0..

Relación entre procesos de
Bernoulli y Poisson
Tiempo discreto Tiempo continuo
Proceso de Bernoulli Proceso de Poisson
Distribución entre arribos: Distribución entre arribos:

Geométrica Exponencial

Ejemplo: Arribos Aleatorios
servidor
•El proceso de arribos es Poisson.

•Los tiempos entre arribos son
A B C D independientes y distribuidos
arribos exponencialmente con parámetro
λ.
tiempo
Ejemplo: Modelo de Tráfico Telefónico
fTh(t) Th: duración de la comunicación
X (holding time)
t t+x
fTh (t ) = µ e − µ t u (t )
f X ( x) = λ e − λx u ( x)
∞ Fdp experimental
−λx 1 1
E ( X ) = ∫ xλ e dx = , var( X ) = 2
0
λ λ
Arribos de Poisson Separación entre arribos exponencial 1/µ t

tk
1
L 2
λ: tasa de arribos (llamadas/seg) i
1/µ: duración media de la llamada (seg) T
a = λ ⋅ (1/ µ ) Tráfico (Erlang) N i 1 Ni 1 Ni
ai = λ̂i ⋅ Eˆ (Thi ) = ⋅ ∑ tki = ∑ tki Tiempo medio de ocupación
T N i k =1 T k =1 de una línea
1 L
a = ∑ ai = ∑ jtj
Promedio de líneas ocupadas
simultáneamente
i T j =0
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas Tiempo total en el que 9
Número de ocupaciones simultáneas exactamente j líneas están ocupadas
Procesos de Markov
Cadena de Markov: Proceso de Markov en tiempo
Proceso de Markov: Es un proceso estocástico cuyo discreto con un conjunto numerable de estados ai.
pasado no tiene influencia sobre el futuro si el presente Especificado en términos de:
está especificado. pi (n) = P( X n = ai ) Prob. estado
Tiempo continuo: π ij (n1, n2 ) = P( X n2 = a j / X n1 = ai ) Prob. transición
t n −1 < t n Propiedades:
P[X (t n ) ≤ xn / X (t ) ∨ t ≤ t n −1 ] = P[X (t n ) ≤ xn / X (t n −1 )]
πi2
∑π ij ( n, m ) = 1 πi1
Tiempo discreto: j
ai
t1 < t 2 < L < t n Π (n, m)1 = 1 Matriz estocástica πik
P[X (t n ) ≤ xn / X (t n −1 ),L, X (t1 )] = P[X (t n ) ≤ xn / X (t n −1 )]
p1
p j (n) = ∑ pi (k )π ij (k , n) π1j
p2
continuo
Sistemas
i
aj π2j
estado
dinámicos p T ( n ) = p T ( k ) Π ( k , n)
πij p
i
discreto
Cadenas de Procesos
Markov puntuales-
Colas
π ij (k , n) = ∑π il (k , m)π lj (m, n)
discreto continuo l
tiempo Ecuación de
Π (k , n) = Π (k , m)Π (m, n) Chapman-Kolmogorov
Propiedades de las Cadenas de Markov
Propiedades generales de los procesos de Markov Propiedades de las cadenas de Markov
P[ X (t n ) ≤ xn / X (t n −1 ),L, X (t1 )] = P[ X (t n ) ≤ xn / X (t n −1 )] ∑πj

ij (n, m) = ∑ P( X m = a j / X n = ai ) =
j
⇒ f ( xn / xn −1 , L, x1 ) = f ( xn / xn −1 ) P( X m = a j , X n = ai ) P( X n = ai )
=∑ = =1
∞ j P( X n = ai ) P( X n = ai )
E ( X n / X n −1 ,L , X 1 ) = ∫ x f (x / x n −1 ,L , x1 ) dx =
−∞
∞
∑ p (k )π
i
i ij (k , n) = ∑ P( X k = ai ) P( X n = a j / X k = ai ) =
i
= ∫ x f ( x / xn−1 ) dx =E ( X n / X n−1 )
−∞
= ∑ P( X k = ai , X n = a j ) =P( X n = a j ) = p j (n)
i
k < m < n:
f ( xn / xn +1 ,L , xn + k ) = f ( xn / xn +1 ) Un proceso de Markov también
es de Markov si el tiempo se invierte. π ij ( k , n) = P ( X n = a j / X k = ai ) = ∑ P ( X n = a j , X m = al / X k = ai ) =
l
P ( X n = a j , X m = a l , X k = ai )
k < m < n: =∑ =
Si el presente está especificado, l P ( X k = ai )
f ( xn , x m , xk )
f ( xn , xk / x m ) = = el pasado es independiente del P ( X n = a j / X m = a l , X k = ai ) P ( X m = al , X k = a i )
f ( xm ) futuro. =∑ =
l P ( X k = ai )
f ( xn / xm ) f ( xm / xk ) f ( xk )
= = f ( xn / xm ) f ( xk / xm ) = ∑ P ( X n = a j / X m = a l , X k = a i ) P ( X m = a l / X k = ai ) =
f ( xm )
l
= ∑ P ( X n = a j / X m = a l ) P ( X m = al / X k = a i ) =
l
= ∑ π il ( k , m)π lj ( m, n)
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría
l de Colas 11
Evolución de una Cadena de Markov
Cadenas homogéneas: Las probabilidades de Evolución del sistema
transición πij(m,n) sólo dependen de la diferencia p(n) = [ p1 (n) L p N ( n)]T
k=n-m.
Π (2) = Π (1)Π (1) = Π 2
L p T ( n) = p T ( k ) Π ( k , n) =
Π (n + 1) = Π (n)Π = pT (k )Π (n − k ) =
Ecuación de Chapman-Kolmogorov:
Π ( n) = Π n = pT (k )Π n − k =
π ij (k , n) = ∑ π il (k , m)π lj (m, n) = pT (0)Π n
l Estado estacionario
Π (k , n) = Π (k , m)Π (m, n) p ( n) = p Matriz de probabilidades de transición a n pasos.
El elemento i,j de Πn es la probabilidad de llegar
pT = pT Π de i a j en exactamente n pasos.
Si existe el estado estacionario, el vector de probabilidad de estados

π ij (n − k ) = ∑ π il (m − k )π lj (n − m) p de una cadena de Markov, es un autovector izquierdo de su
l
matriz de transición Π con autovalor 1.
Π ( n − k ) = Π ( m − k )Π ( n − m) ¿Existe
¿Existeununestado
estado
Si p(1) ≠ p, el proceso no es estacionario. estacionario?
Π ( p + q ) = Π ( p ) Π ( q ) = Π ( q )Π ( p ) estacionario?
Si Πn tiende a un límite para n → ∝, el proceso es asintóticamente

estacionario.
Ejemplo: Cadena de 2 estados
Aplicación: Es un modelo para voz en paquetes.
a
1-a Estado 0: inactivo (silencio). La probabilidad de que la próxima TS sea
activa es a, y la probabilidad de que permanezca en el estado
00 11 1-b inactivo es 1-a.
Estado 1: activo (habla). La probabilidad de que la próxima TS sea
b inactiva es b, y la probabilidad de que permanezca en el estado
activo es 1-b. En el estado activo, una TS contiene una celda
con probabilidad p, y se tiene un proceso de Bernoulli.
Matriz de transición Solución en estado estacionario
π π 01  1 − a a  p = pΠ
Π =  00  = 
π 10 π 11   b 1 − b  1 − a a    p0 = b
[ p0 p1 ] = [ p0 p1 ]   ⇒  a+b
n 1 b a  (1 − a − b) n  a − a   b 1 − b  a
Π ( n) = Π = +
a + b b a  a + b − b b  p0 + p1 = 1  p1 =
 a+b

Ejemplo: Proceso de cuenta binomial
Ejemplo: Proceso de cuenta binomial.
1-p 1-p 1-p 1-p 1-p
Es una secuencia de variables aleatorias de Bernoulli independientes.
Sn es el proceso de suma o cuenta que da el número de éxitos en las 00 11 22 n-1
n-1 nn
p p p p
primeras n pruebas.
En cada paso, Sn puede incrementarse en 1 con probabilidad p o quedar
igual con probabilidad 1-p.
Matriz de transición
1 Con probabilidad p
Ik = 
0 Con probabilidad 1-p
1 − p p 0 0 L
 0 1− p p 0 L
n Π= 
Sn = I1 + L + I n ⇒ P( Sn = j ) =   p j (1 − p) n− j 0≤ j≤n  0 0 1− p p L
 j  
 L L L L L

Propiedades Generales de la Matriz de Transición
Matriz no negativa Radio espectral

Π ≥ 0 ⇔ π ij ≥ 0 ∀i, j ρ (Π ) = max λ
λ∈σ (Π )
1 ∈ σ (Π ) ⇒ 1 ≤ ρ (Π )
n
Π ≥0
ρ (Π ) = 1
Matriz Estocástica ρ (∗) ≤ ∗ ⇒ ρ (Π ) ≤ Π ∞ = 1
Π1 = 1 ⇔ (1,1) es un par propio de Π El radio espectral es menor o igual El radio espectral es unitario
que cualquier norma
Π1 = 1 ⇔ Π ∞ max Πx ∞ = max ∑ π ij = 1
x ∞ =1 i
i
Norma infinito: máxima suma de valores absolutos de

cada fila = 1

Clasificación de Estados
• Accesible: j es accesible desde i si hay alguna secuencia de

transiciones de i a j con probabilidad no nula: ∃n>0/ πij(n)>0.
• Comunicantes: los estados i y j comunican si son accesibles entre
sí. Se escribe i↔j. La comunicación es una relación de equivalencia:
i↔j, j↔k ⇒ i↔k.
Recurrente
• Absorbente: Si es imposible abandonarlo: πii=1. ∞
f i = ∑ π ii (n) = 1
• Recurrente: El estado i es recurrente si la probabilidad de regresar n =1
alguna vez a él es 1.
• Periódico: Un estado es periódico con período d si sólo se puede
regresar a él después de d, 2d, ..., nd pasos.
Transitorio
• Aperiódico o Ergódico: Periódico con período d=1. Se puede ∞
regresar a él en cualquier momento. f i = ∑ π ii (n) < 1
n =1
• Transitorio: La probabilidad de regresar al estado alguna vez es
menor que 1.

Clases de Estados
• Cerrada: Si desde un estado interior no se puede

alcanzar ningún estado exterior a la clase. Un Clase reducible
estado absorbente es una clase cerrada con un Clase cerrada
único estado.
• Irreducible: Clase cerrada tal que ningún
subclase propia es cerrada. En otros términos, la
única clase cerrada es la de todos los estados. Estados absorbentes
• Dos estados pertenecen a un mismo conjunto si se
comunican.
• Dos clases distintas deben ser disjuntas, pues si
Clase irreducible
existe algún elemento común, los estados de una
clase se pueden comunicar con los de la otra, y así
resultan ser de la misma clase.

Clases de Cadenas
• Irreducible. Definiciones equivalentes:
– La que consiste en una única clase de equivalencia.
– El único conjunto cerrado es el de todos los estados.
En una cadena irreducible, todos los estados son recurrentes o son todos transitorios.
En una cadena irreducible finita, no pueden ser todos los estados transitorios; luego, son todos recurrentes.
• Reducible. Opciones:
1. Tiene uno o más estados absorbentes.
2. Tiene un subconjunto de estados S1 desde el cual no es posible alcanzar estados fuera de S1.
• Absorbente: la que tiene al menos un estado absorbente, accesible desde cualquier otro estado.
• Aperiódica: Todos sus estados son periódicos con período 1.
• Regular: Es posible ir de un estado a cualquier otro en exactamente n pasos: ∃n>0/ Π(n)= Π n > 0.
Regular ⇒ Todos los estados comunican ⇒ Irreducible
• Ergódica: Irreducible, aperiódica, recurrente positiva.

Cadenas Absorbentes
Una cadena es absorbente si es posible renombrar sus
estados para escribir la matriz de probabilidades de
transición como
Q R 
Π= 
0 I 
Π =n (
Q n Q n −1 + Q n − 2 + L + I R 
→
)
0 (I − Q )−1 R 
 n→∞  
1 1 1  0 I  0 I 
11 22 33 tt t+1
t+1 t+2
t+2 t+r
t+r
[
p ( n) = p Q ( n) p I ( n ) ]
Q R 
[ ] [
p Q (n + 1) p I ( n + 1) = p Q ( n) p I (n)  ] 
0 I 
t estados transitorios r estados absorbentes p Q ( n + 1) = p Q ( n)Q, p I ( n + 1) = p Q ( n)R + p I (n)
p Q ( n) → 0, p I ( n) → p Q (0)(I − Q ) R + p I (0)
−1
n →∞ n→∞
Q R t
0 I r
t r

Cadenas Reducibles e Irreducibles
Matrices de Permutación Matriz Reducible
P es una matriz de permutación si exactamente 1 elemento en cada A es una matriz reducible (irreducible) si (si no) existe alguna matriz de
fila y 1 elemento en cada columna es 1 y los restantes son nulos. permutación P tal que:
Identidad de N×N
B C 
A' = P T AP =  
Matriz de valores absolutos
0 1 0  1   2   0 D Matriz positiva
P = 1 0 0, P 2 = 1 Test: A ∈ℜN×N es irreducible sii: (I + A)

N −1
>0
N
0 0 1 3 3
PA permuta las filas de A Permutación de estados en una cadena de Markov
AP permuta las columnas de A Permutar filas y columnas de Π equivale a renombrar los
Π ' = PT ΠP estados de la cadena
A' = P T AP Permuta las filas y columnas de A
det P = ±1
Cadena Reducible
P T = P −1
Una cadena de Markov es reducible si es posible renombrar sus estados para
P1 , P2 ∈ MP ⇒ P1 P2 ∈ MP
llevar la matriz de probabilidades de transición Π a la forma
Q R 
Π ' = PT ΠP =  
 0 A
En caso contrario, la cadena de Markov es irreducible.

Cadenas de Markov y Grafos
Grafo de una cadena
El grafo G(ΠΠ) de Π es el gráfico orientado sobre n nodos {N1, N2,..., Nn} Clase irreducible
en el cual hay un arco orientado de Ni a Nj si y sólo si πij≠0
Cambio de nombre de los nodos

Si P es una matriz de permutación,
G (PT ΠP ) = G (Π )
Grafo fuertemente conexo

Para
Paracada
cadapar
parde
denodos
nodos(N
(Ni,i,NNj )j )existe
existeuna
unasecuencia
secuenciade
dearcos
arcos ΠΠesesirreducible
irreducible
orientados que conduce de N a
orientados que conduce de N a N .
i N j .
i j
Todos
Todoslos
losestados
estadoscomunican.
comunican.La
Lacadena
cadenaconsiste
consisteenenuna
unaúnica
únicaclase
clase
dedeequivalencia.
equivalencia.

Descomposición Espectral de una Matriz
A∈ℜ ℜn×n es diagonalizable cuando tiene un conjunto completo
de autovectores linealmente independientes.
Autovector derecho
Avi = λi v i
AT u i = µi u i ⇔ uTi A = µi uTi Autovector izquierdo
(
det(A − λI ) = det AT − λI ) A y AT tienen iguales
autovalores
Avi = λi v i ⇒ uTj Avi = λi uTj v i 
j v i = 0 si λi ≠ λ j
T
 ⇒ u
u j A = λ j u j ⇒ u j Avi = λ j u j v i  Autovectores derecho e
T T T T
izquierdo son biortogonales

T
u vi ≠ 0
V = [v1 L v n ], U = [u1 Lu n ] Conjunto completo de autovectores
i
T
u v i = δ ij l.i. ⇔ A es diagonalizable
Λ = diag (λ1 , K, λn )
j Normalización
AV = VΛ ⇔ V −1AV = Λ  T −1 T
⇔U =V ⇔U V=I
U A = ΛU ⇔ U A(U ) = Λ 
T T T T −1
n
A = VΛV = VΛU = ∑ λi v i uTi
−1 T
Descomposición espectral
i =1

Teorema de Perron-Frobenius
Teorema de Perron-Frobenius
Si A≥0 es irreducible, entonces
ρ (A )∈ σ (A ) El radio espectral es un autovalor de A
ρ (A ) > 0 El radio espectral es positivo
alg mult ρ ( A) = 1 El radio espectral es un autovalor simple A

El autovector asociado al radio espectral es positivo.
∃x > 0 : Ax = ρ (A )x
∀A :1 ≤ geo mult ρ (A ) ≤ alg mult ρ (A ) = 1 ⇒ geo mult ρ (A ) = 1
El autovector asociado al radio espectral es único.
No existen otros autovectores no negativos aparte de x: Vector de Perron
y T A = ρ (A)y T El vector izquierdo de Perron tiene la misma propiedad.
Matriz primitiva
A≥0, irreducible es primitiva si tiene un único autovalor r = ρ(A) de módulo
máximo (es decir, un único autovalor sobre el círculo espectral).
A≥0, irreducible es imprimitiva de índice h si tiene h autovalores de módulo
máximo.
Test de Frobenius: A≥0 es primitiva sii Am>0 para algún m≥1.
2
n −2 n+ 2
Test de Wielandt: A≥0 ∈ℜnxn es primitiva sii A >0

Matrices primitivas e imprimitivas
Si A≥0 es irreducible y primitiva, entonces tiene un Si A≥0 es irreducible e imprimitiva de índice h, entonces
único autovalor r = ρ(A) sobre el círculo espectral. tiene h autovalores sobre el círculo espectral.
S = {λ1 = ρ ( A), λ2 ,K , λh }
r = ρ ( A)
B = A / r ⇒ ρ (B) = 1, σ (B) = {λ1 = ρ (B) = 1, λ2 ,K , λn } alg mult λi = 1 ∀i = 1, 2, K, h
λi < λ1 = 1 ∀i = 2,K , n Teorema: Los h autovalores de A sobre el círculo

Bx i = λi x i espectral, son las raíces de orden h de ρ(A)
y Tj B = λ j y Tj   2πik  
S =  ρ ( A) exp  : k = 0,1, K , h − 1
n n   h  
B = ∑ λi x i y Ti = x1y1T + ∑ λi x i y Ti
i =1 i=2 En este caso, A/r no es convergente, pero es sumable Cesàro:
lim B = lim (A / r ) = x y
k k T
A/r es convergente
1 1 I + ( A / r ) + L + ( A / r ) k −1
k →∞ k →∞
lim = x1y1T
k →∞ k

Cadenas irreducibles y aperiódicas
Propiedades generales de la matriz de Matriz irreducible y primitiva
probabilidades de transición
Π n ≥ 0 ∀n ≥ 1
Π = 1p T + ∑ λ i v i u Ti
i >1
ρ (Π ) = 1
Π n = 1p T + ∑ λ ni v i u Ti
Radio espectral unitario
Π1 = 1 (1, 1) es un par propio de Π
i >1
λi < 1 ∀i > 1 Por ser primitiva, 1 es el único autovalor sobre el

círculo espectral
Matriz irreducible
lim Π k = 1pT Todas las filas son iguales. Todas las columnas
tienen iguales elementos
k →∞
Por el teorema de Perron-Frobenius, 1 es el vector
de Perron asociado al autovalor 1. No existe otro lim pT (k ) = lim pT (0)Π k = pT (0)1pT = pT
autovector derecho no negativo. Para el mismo k →∞ k →∞
autovalor, existe un único autovector izquierdo p no La distribución de probabilidades estacionaria es el vector izquierdo
negativo tal que de Perron.
pT Π = p Normalización La cadena es aperiódica.
pT 1 = 1

Cadenas irreducibles y periódicas
Matriz irreducible e imprimitiva Forma canónica de Frobenius para matrices
I + Π + L Π k −1
imprimitivas
lim = 1pT Si Π es imprimitiva de orden h>1, entonces existe una
k →∞ k
permutación tal que
pT (0) + pT (1) + L + pT (k − 1)
lim = pT (0)1pT = pT
k →∞ k  0 Π12 0 L 0 
 0 0 Π 23 L 0 
Interpretación 
PT ΠP =  M M O O M 
1 si el estado inicial es j 1 si el estado en tiempo n es j  
Z0 =  , Zn =   0 0 L 0 Π h −1,h 
0 si no 0 si no Π h1 0 L 0 0 
k −1
∑Z
n =0
n : número de visitas al estado j antes del tiempo k .
La cadena es periódica de período h.
k −1
∑Z
n =0
n / k : fracción de veces que el estado j es visitado antes del tiempo k .
E ( Z n ) = 1 ⋅ P( Z n = 1) + 0 ⋅ P( Z n = 0) = P( Z n = 1) = p j (n)
 k −1  k −1  k −1 
( )
E  ∑ Z n / k  = ∑ p j ( n) / k =  ∑ p T ( n ) / k  = p T j
 n=0  n =0  n =0 j
La fracción de tiempo a largo plazo que la cadena pasa en j es pj :
componente j del vector de Perron pT. La interpretación vale también
cuando la matriz es primitiva y existe un estado estacionario.

Cadenas reducibles (1)
Cadena Reducible
Una cadena de Markov es reducible si es posible renombrar sus estados
Cada Πii es irreducible o [0]1x1
para llevar la matriz de probabilidades de transición Π a la forma i-ésima clase transitoria: cuando se la abandona,
X Y  no se regresa a ella
Π ' = PT ΠP =  
 0 Z
Π11 Π12 L Π rr Π1,r +1 Π1, r + 2 L Π 1m 
 0 Π 22 L Π 2r Π 2,r +1 Π 2,r + 2 L Π 2 m 

 X11 X12 L X1k   M M L M M M L M 
R S T   0   Forma canónica para
X Y    X 22 L X 2 k   0 0 L Π rr Π r ,r +1 Π r ,r + 2 L Π rm 
Π≡ 
 ≡ 0 U V  ≡L≡  M ≡ matrices reducibles
 0 Z   M O M   0 0 L 0 Π r +1, r +1 0 L 0 
 0 0 W     
 0 0 L X kk   0 0 L 0 0 Π r + 2,r + 2 L 0 
 M M L M M M O M 
Si X o Z es reducible  
 0 0 L 0 0 0 L Π mm 
Si R, U o W es reducible, etc.
Cada Xii es irreducible o [0]1x1. Cada Πr+j,r+j es irreducible.
j-ésima clase ergódica. Cada clase
ergódica es una cadena irreducible en sí
misma

 n n −1

Cada Πii es irreducible o [0]1x1 Γ
Π =  11
n ∑Γ i
Γ12 Γ n22−1−i 
11
i-ésima clase transitoria: cuando se la abandona, no se regresa a ella  i=0

 0 Γ n22 
ρ (Π ii ) = 1 ⇒ Π ii 1 = 1, pero 
 ⇒ ρ (Π ii ) < 1 1 k −1 n −1 i 1 k −1 k i
Π ii 1 ≤ 1 porque hay bloques Π ij , j ≠ i, no nulos
ρ (Γ11 ) < 1 ⇒ lim
I + Γ11 + L + Γ k −1
11 k
= lim Γ11 =0
∑∑
k n =1 i =0
Γ11Γ12 Γ n22−1−i = ∑ ∑ Γ11
k i = 0 n =i +1
Γ12 Γ n22−1−i =
k →∞ k k →∞
I + Γ22 + Γ222 + L + Γ22k −1−i
k −1
= ∑ Γ Γ12 i
Π11 Π12 L Π rr Π1,r +1 Π1,r + 2 L Π 1m  i=0
11
k
 0 Π 22 L Π 2 r Π 2,r +1 Π 2,r + 2 L Π 2 m  1 k −1 n −1 i
 lim ∑∑ n −1− i
Γ11Γ12 Γ 22 =(I − Γ11 )Γ12 L
k →∞ k
 M M L M M M L M  n =1 i = 0
  I + Π + L + Π k −1 0 (I − Γ11 ) Γ12 L 
−1
0 0 L Π rr Π r ,r +1 Π r ,r + 2 L Π rm  Γ11 Γ12 
Π≡ ≡ lim =  Siempre
 0 0   0 Γ 22  k 0 L
k →∞
0 L 0 Π r +1,r +1 0 L 
  0 (I − Γ11 ) Γ12 L 
−1
 0 0 L 0 0 Π r + 2,r + 2 L 0  lim Π k =   Sii todas las

k →∞
0 L submatrices de Γ22
 M M L M M M O M  
son primitivas
 
 0 0 L 0 0 0 L Π mm 
pTj Π jj = pTj , j = r + 1,K , m
1pTr+1 
Cada Πr+j,r+j es irreducible. k −1
I + Γ 22
+L+ Γ  
j-ésima clase ergódica. Cada clase ergódica es una cadena irreducible en sí misma lim = 22
O M =L
Los autovalores unitarios de cada Πr+j,r+j son simples y son raíces de la unidad. k →∞ k
 1pTm 
Los autovalores unitarios de Π son el conjunto de los autovalores unitarios de las submatrices Πr+j,r+j . 
Pueden estar repetidos por aparecer en más e una submatriz Πr+j,r+j . k
lim Γ 22 = L si todas las submatrices de Γ 22 son primitivas
k →∞

Π11 Π12 L Π rr Π1,r +1 Π1,r + 2 L Π 1m 
 0 Π 22 L Π 2 r Π 2,r +1 Π 2,r + 2 L Π 2 m 

I + Π + L + Π k −1 0 (I − Γ11 ) Γ12 L 
−1
 M M L M M M L M 
  lim =  Siempre
0 0 L Π rr Π r ,r +1 Π r ,r + 2 L Π rm  Γ11 Γ12  k →∞ k 0 L 
Π≡ ≡
 0 0 L 0 Π r +1,r +1 0 L 0   0 Γ 22  0 (I − Γ11 )−1 Γ12L  Sii todas las
  k
lim Π =   submatrices de Γ22
 0 0 L 0 0 Π r + 2,r + 2 L 0  k →∞
 0 L  son primitivas
 M M L M M M O M 
 
 0 0 L 0 0 0 L Π mm 
Cada Πr+j,r+j es irreducible.

j-ésima clase ergódica. Cada clase ergódica es una cadena irreducible en sí misma.
Toda cadena reducible eventualmente queda absorbida en una clase ergódica.
Si Πr+j,r+j es primitiva, la cadena llega a un estado estacionario determinado por el
vector izquierdo de Perron de Πr+j,r+j .
Si Πr+j,r+j es imprimitiva, la cadena oscila en la clase ergódica para siempre.

Valor medio y autocorrelación en la cadena de Markov (t. discreto)
p T ( n + k ) = p T ( n) Π k R(n, n + k ) = E ( X n X n + k ) = ∑∑ xi x j P ( X n+ k = j, X n = i ) =
i j
lim p(n) = p
n→∞
= ∑∑ xi x j P( X n + k = j / X n = i) P ( X n = i )
n T
lim Π = 1p i j
n→∞
= ∑∑ xi x jπ ij (k ) pi (n) =
x = [x1 x2 L x N ]
T
i j
y (n) = [x1 p1 (n) x2 p2 (n) L x N p N (n)]

T
= y T ( n )Π k x → y T Π k x = R ( k )
n →∞
lim y (n) = y
n→∞ R (n, n) = y T (n)x = ∑ pi (n) xi2 = E ( X n2 ) = m X2 (n)
m X ( n) = E ( X n ) = ∑ xi pi (n) =pT ( n)x = pT (0)Π n x i
i R( k ) = y T Π k x → y T 1pT x = m X2
k →∞
m X = lim m X (n) = pT x = y T 1
n→∞ C ( k ) = R (k ) − m X2 = y T (Π k − 1pT )x
C (0) = y T (I − 1pT )x = y T x − y T 1pT x = E ( X 2 ) − m X2 = σ X2

Cadenas de Markov en Tiempo Continuo
πij(t1, t2) Cadenas homogéneas
Matriz de velocidad
ai t2 − t1 = τ , t3 − t2 = α de cambio de la
Π (τ + α ) = Π (τ )Π (α ) probabilidad de transición
aj
Ecuaciones de Kolmogorov
t1 t2 & (τ ) = Π
Λ = lim Π & (0 + )
Π (t + τ ) = Π (t )Π (τ )
τ →0 +
d Π (t + τ ) dΠ (τ ) & (t ) = Π (t )Λ
Π
Puntos de Poisson = Π (t )
dτ dτ
& (t + τ ) = Π (t )Π
Π & (τ ) pT (t ) = pT (0)Π (t )
Π& (t ) = Π (t ) Π
& (0) p& T (t ) = pT (0)Π
& (t ) = pT (0)Π (t )Λ = pT (t )Λ
Cadena de Markov en tiempo continuo: Los cambios de
estado ocurren en los puntos aleatorios Tn.
Solución
Π (t1 , t 2 )1 = 1 1 0 L 0
Π (t ) = e Λ t 0 1 L 0
pT (t 2 ) = pT (t 2 )Π (t1 , t 2 ) Propiedades básicas
p T (t ) = pT (0)Π (t ) = pT (0) e Λ t Π (0) = I =  
Π (t1 , t3 ) = Π (t1 , t 2 )Π (t 2 , t3 ) L L L L
 
0 0 L 1
Condición inicial
Ecuaciones de Balance Global
Solución en estado estacionario kk
p(t ) = p = cte. ⇒ p& (t ) = 0
T
λij
p Λ=0 Sistema de ecuaciones homogéneas
p ii
pT 1 = 1 Condición adicional jj
λji
Ecuaciones de balance global
∑ piλij = 0 ⇒ ∑ pi λij = − p j λ jj
i i≠ j ∑ p j λ ji = ∑ piλij ll
∑π ji = 1 ⇒ ∑ λ ji = 0 ⇒ −λ jj = ∑ λ ji i≠ j i≠ j
i i i≠ j
Flujo
Flujo de
de velocidad
velocidad de
de probabilidad
probabilidad Flujo
Flujo de
de velocidad
velocidad de
de probabilidad
probabilidad
saliente de j
saliente de j entrante a
entrante a jj

Evolución de la cadena en tiempo continuo
Λvi = λi vi
Λt
Π (t ) = e
uTi Λ = λiuTi
p(t ) = p(0)Π (t ) = p(0) e Λ t uTi v j = δij
Π (t )1 = 1 U = [u1 LuN ], V = [v1 LvN ]
Π
& (t )1 = 0
UT V = I
Λ1 = 0
Λk = ∑λki viuTi
pT Λ = 0 i
f (Λ) = ∑ f (λi )viuTi

i
λ1 = 0 > λ2 > L> λN

eΛt = ∑eλit viuTi = 1pT + ∑eλit viuTi → = 1pT
t →∞
i i>1

Valor medio y autocorrelación en la cadena de Markov (t. continuo)
R (t1 , t 2 ) = E ( X (t1 ) X (t 2 )) = ∑∑ xi x j P ( X (t 2 ) = j , X (t1 ) = i ) =

Π (t ) = exp(Λt ) i j
pT (t + τ ) = pT (t )Π (τ ) = pT (t ) exp(Λτ ) = ∑∑ xi x j P ( X (t 2 ) = j / X (t1 ) = i ) P ( X (t1 ) = i )

lim p(t ) = p i j
= ∑∑ xi x jπ ij (t1 , t 2 ) pi (t1 ) =
t →∞
lim Π (t ) = 1pT i j
t →∞
x = [x1 x2 L x N ]
T R(t , τ ) = ∑∑ xi x jπ ij (τ ) pi (t ) =
i j
y (t ) = [x1 p1 (t ) x2 p2 (t ) L xN p N (t )]
T
= y T (t )Π (τ )x → y T Π (τ )x = y T e Λτ x = R (τ )
n→∞
lim y (t ) = y
t →∞ R (t , t ) = y (t )x = ∑ pi (t ) xi2 = E ( X 2 (t )) = m X2 (t )
T
m X (t ) = E ( X (t )) = ∑ xi pi (t ) =pT (t )x = pT (0)Π (t )x i
i R(τ ) = y T Π (τ ) x → y T 1pT x = m X2
k →∞
m X = lim m X (t ) = pT x = y T 1
t →∞ 2
X (
C (τ ) = R (τ ) − m = y T Π (τ ) − 1pT x )
( )
C (0) = y T I − 1pT x = y T x − y T 1pT x = E ( X 2 ) − m X2 = σ X2

Ejemplo : Proceso de Poisson
π ij (t ) = P[ X (t ) = j / X (0) = i ] = Otra forma de obtener la matriz Λ:

(λt ) j −i −λ t π ii (τ ) = P[ X (τ ) = i / X (0) = i ] = λii = π&ii (0) = −λ
= P[ j − i puntos en [0, t ]] = e
( j − i)! = P[T1 > τ ] = 1 − P[T1 ≤ τ ] = λi ,i +1 = π&i ,i +1 (0) = λ
e−λt λt e−λ t (λt ) 2 e −λ t / 2! L L = 1 − FT1 (τ ) = e −λτ
 
0 e −λt λt e −λ t (λt )2 e −λ t / 2! L π i ,i +1 (τ ) = P[ X (τ ) = i + 1 / X (0) = i] =
Π=
 0 0 e −λt λt e −λ t L
  = P[T1 ≤ τ ] = FT1 (τ ) = 1 − e −λτ
L L L L L
Solución de p& (t ) = p(t )Λ p (0) = [1 0 0 L] Condición
− λ λ 0 L inicial
 0 −λ λ L
& (0 + ) = 
Λ =Π  p& 0 (t ) = −λp0 (t ) ⇒ p0 (t ) = e − λt
 0 0 −λ L
  p&1 (t ) = λp0 (t ) − λp1 (t ) = λ e −λt − λp1 (t ) ⇒ p1 (t ) = λt e −λt
L L L L
L
(λt ) n −λ t
p& n (t ) = λpn−1 (t ) − λpn (t ) ⇒ pn (t ) = e
n!

Ejemplo : Señal binaria aleatoria
a
-a 0 1 -b
b
x = [0 1]
T
Puntos de Poisson
T
π 01 (τ ) = P[X (τ ) = 1 / X (0) = 0] = P[1 punto en `[0,τ ]] = 1 − e − aτ  b a 
p=
π 10 (τ ) = P[X (τ ) = 0 / X (0) = 1] = P[1 punto en `[0,τ ]] = 1 − e −bτ a + b a + b 
 e − aτ 1 − e − aτ 
Π (τ ) =    a 
1 − e
−bτ
e −bτ  y = 0
− a a 
 a + b 
Λ=Π & (0) =  
 b − b a
E ( X (t )) = pT x =
 b + a e −( a+b)ta
1 − e −( a+b)t 

[ ] a+b
 a+b a+b 2
e Λt =    a  ab
a + b e − ( a +b )t 
 b
[ ]
1 − e −( a + b )t R(τ ) = y e x = 
T Λt
 + e −( a +b )τ
 a + b  (a + b )
 a + b  2
a+b
 b
p T Λ = 0  ap0 = bp1   p0 = a + b = m X2 + σ X2 e −( a +b )τ
⇔ ⇒
pT 1 = 1   p0 + p1 = 1  p1 = a
 a+b
Ejemplo: Cola M/M/1 (1)
Clientes atendidos de a uno por vez en orden de llegada
•Tiempo entre arribos distribuido exponencialmente con parámetro λ.
•Tiempo de servicio de un cliente distribuido exponencialmente con − λ λ 0 L
µ − (λ + µ ) λ L
•parámetro µ.
Λ = Π (0) = 
& 
 0 µ − (λ + µ ) L
π j , j +1 (τ ) = P( X (τ ) = j + 1/ X (0) = j ) =  
L L L L
= P(1 arribo en [0,τ ]) = (λτ ) e −λτ → λτ + o(τ ) Λ=0
pΛ
π j , j + 2 (τ ) = P( X (τ ) = j + 2 / X (0) = j ) = − λp0 + µp1 = 0 j=0
2 −λτ
= P(2 arribo en [0,τ ]) = (λτ ) e / 2!→ o(τ ) λp j −1 − ( µ + λ ) p j + µp j +1 = 0 j = 1,2,...
π j , j −1 (τ ) = P( X (τ ) = j − 1/ X (0) = j ) =
= P(1 partida en[0, τ ]) = ( µτ ) e −µτ → µτ + o(τ )
µp1 = λp0 j=0
π jj (τ ) = P( X (τ ) = j / X (0) = j ) =
λp j −1 + µp j +1 = (λ + µ ) p j j = 1,2,...
= P(0 arribo y 0 partida en [0,τ ]) + P (1 arribo y 1 partida en [0,τ ]) + L =
= e−λτ ⋅ e − µτ + λτ e −λτ ⋅ µτ e −µτ → 1 − (λ + µ )τ + o(τ )
Flujo entrante Flujo saliente

Ejemplo: Cola M/M/1 (2)
λ λ λ λ λ λ
00 11 22 jj j+1
j+1
µ µ µ µ µ µ
µp1 = λp0 j=0 λp0 − µp1 = 0 

λp j −1 + µp j +1 = (λ + µ ) p j j = 1,2,...  ⇒ cte. = 0 ⇒ λp j − µp j +1
λp j −1 − µp j = λp j − µp j +1 = cte. j ≥ 1
p j = (λ / µ ) p j −1 = ρp j −1
p j = ρ n p0 
 j La tasa de arribos debe ser menor
∞ ∞
p0  ⇒ p j = (1 − ρ ) ρ ρ = λ / µ <1⇔ λ < µ
1 = ∑ p j = p0 ∑ ρ =j que la velocidad de servicio; de
j =0 j =0 1 − ρ  otro modo, la cola crece sin límite.

Ejemplo: Proceso de Nacimiento y Muerte General
•Transiciones limitadas a estados adyacentes. Ecuaciones de balance global
•Los arribos ocurren como un proceso de Poisson de tasa
λι. Los tiempos entre arribos son vv.aa. exponenciales iid
µ1 p1 = λ0 p0 j=0
con media 1/ λι.
•El tiempo entre desapariciones está distribuido λ j −1 p j −1 + µ j +1 p j +1 = (λ j + µ j ) p j j = 1,2,..., N - 1
exponencialmente con media 1/ µι. λ N −1 p N −1 = µ N p N j=N
Solución de las ecuaciones de balance global

λ0 λ1 λ2 λj-1 λj λN-1
µ1 p1 − λ0 p0 = 0 j=0
00 11 22 jj j+1
j+1 N
N λ j −1 p j −1 + µ j +1 p j +1 − (λ j + µ j ) p j = cte. = 0 j = 1,2,..., N - 1
µ1 µ2 µ3 µj µj+1 µN
λ N −1 p N −1 − µ N p N = 0 j=N
i −1
λ ∏λ i
pi = i −1 pi −1 = i =0
i
p0
µi
∏µ
i =1
i

Ejemplo: Proceso de Poisson Modulado por Markov (MMPP)
•Modelo para voz en paquetes. Modelo para N fuentes

•Duración del intervalo de silencio: fdp
exponencial, 1/λ = 600 mseg.
•Duración del intervalo de habla: fdp exponencial, Νλ (Ν−1)λ (Ν−j)λ λ
1/µ = 400 mseg.
00 11 22 jj j+1
j+1 N
N
µ 2µ (j+1)µ Nµ
Modelo para una fuente única
Probabilidad que i fuentes

λ
entre N estén activas
silencio 00 11 habla i −1
µ λi −1 ∏λ i
i
 N  λ   λ 
pi =    1 + 
−N
 N  λ 
=   
i
 µ 
 
N −i
V paquetes/seg pi = pi −1 = i=0
p0
µi i
 i  µ   µ   i  µ + λ  µ +λ 
∏µ i
λ
i =1
E (i ) = N Número medio de
λi = ( N − i )λ , µ i = iµ µ +λ
fuentes activas
µ λµ
λ p0 = = 0.6 N
var(i ) = N
µp1 = λp0 ⇒ p1 =
µ
p0 µ +λ ∑p
i=0
i =1
(µ + λ )2
λ
p0 + p1 = 1 p1 = = 0.4
µ +λ

Ejemplo : Modelo MMPP del multiplexado estadístico de voz (1)
Aplicación: Multiplexado Estadístico de Voz  N  λ 

i
 µ 
N −i
N Probabilidad que i fuentes
•Describe el comportamiento de multiplicadores de pi =      =   p1i p0N −i
 i  µ + λ  µ +λ  i entre N estén activas
tramas (DCME). µ λ
•Próxima generación de DCME soportada por AAL2. p0 = = 0.6, p1 = = 0.4
µ +λ µ +λ
•Duración del intervalo de silencio: fdp exponencial,
E (i ) = Np1
1/λ = 600 mseg.
var(i ) = Np0 p1
•Duración del intervalo de habla: fdp exponencial,
1/µ = 400 mseg. Promedio de tráfico recortado
F ( N , C , p1 ) =
Promedio de tráfico total
N
n
Promedio de tráfico recortado =∑ r (k )  p k (1 − p ) N − k
k =0 k 
Capacidad del canal: k − C k >C
N fuentes MUX r (k ) = 
de voz Estadístico C canales de voz  0 k ≤C
equivalentes
1 N n
F ( N , C , p1 ) = ∑ (k − C )  p k (1 − p ) N − k
Np1 k = 0 k 

Ejemplo : Modelo MMPP del multiplexado estadístico de voz (2)
Freeze Out Fraction
30
MUX Capacidad del canal:
N fuentes
Estadístico C canales de voz
de voz 25
equivalentes
Capacidad del Canal (C)

20
15
0.1 %
0.5 %
Freeze Out Fraction 10 1.0 %
5.0 %
1 N
n
F ( N , C , p1 ) = ∑ (k − C )  p k (1 − p ) N − k 5
10.0 %
Np1 k =0 k 
0
0 10 20 30 40 50 60
Número de Fuentes de Voz (N)

Ejemplo : Modelo MMPP del multiplexado estadístico de datos (1)
Aplicación: Multiplexado Estadístico de Datos

Caracterización de una fuente
•Duración del intervalo OFF: fdp exponencial, 1/λ = tOFF. N fuentes MUX Capacidad del canal:
•Duración del intervalo ON: fdp exponencial, 1/µ = tON. Estadístico C canales
•Burstiness: vel. pico/vel. promedio. Velocidad del canal: rC
T
1 1 Ráfaga perdida o retrasada
rm = ∫ r (t )dt = ∑ rp tONi = rp P (ON )
T 0 T i rp rc
P(ON ) = p1 = rm / rp Probabilidad de actividad
de la fuente rm
b = rp / rm = 1 / p1 Burstiness
G = N / C
 ⇒ G = Nrp / rc = Nη > 1 Ganancia de
C = rc / rp  multiplexado estadístico
Se debe cumplir la condición de estabilidad:

Entradas
Nλarribos L Nrm Nrp pON Nrp
S= = = = <1
rc rc rc brc

pi
i N −i
 N  λ   µ  N Np1 (1 − p1 )
pi =      =   p1i p0N −i Probabilidad que i fuentes entre N
i
  µ + λ  µ + λ  i estén activas
µ λ
p0 = , p1 = i
µ +λ µ +λ Np1 C
Aproximación gaussiana a la distribución binomial
E (i) = Np1
var(i) = Np1 (1 − p1 )
PL = Q (α ) Probabilidad de pérdida
C ≈ Np1 + α Np1 (1 − p1 )
C = 1/η
Número de canales para la
prob. de pérdida PL
η
G = Nη =
4 p1
[
α 2 (1 − p1 ) + 4 / η − α 1 − p1 ]
2
0 = Np1 + α 1 − p1 Np1 − 1 / η Nr (Grc / rp )rm Grm

Throughput S= m = = = Gp1
α 1 − p1 1 normalizado rc rc rp
Np1 = − ± α 2 (1 − p1 ) + 4 / η
2 2

Ganancia de Multiplexado Estadístico Throughput Normalizado
16.00 b=2 0.90 b=2

b=4 b=4
14.00 b=6 0.80
Prob. pérdida = 10-6 b=8 b=8
12.00 0.70
b=10 b=12
Throughput
b=12 0.60
Ganancia
10.00 b=16
b=14 0.50
8.00 b=16 b=20
b=18 0.40
6.00 b=20
0.30
4.00 0.20
2.00 0.10
0.00 0.00
0 0.05 0.1 0.15 0.2 0.25 0.3 0 0.05 0.1 0.15 0.2 0.25 0.3
Relación vel. pico/vel. enlace Relación vel. pico/vel. enlace
G = Nη =
η
4 p1
[ α (1 − p ) + 4 / η − α
2
1 1 − p1 ]
2
S=
Nrm (Grc / rp )rm Grm
rc
=
rc
=
rp
= Gp1

Ganancia de Multiplexado Estadístico
30.00 Solución simultánea de las

N=30 ecuaciones
Prob. pérdida 10-2
25.00
b=32 25 G=
η
4 p1
[ α (1 − p ) + 4 / η − α
2
1 1 − p1 ]
2
20.00
Ganancia
20 G = Nη
24
15.00 15
16
10.00 10
12
5.00 6
2
0.00
0 0.2 0.4 0.6 0.8 1
Relación vel. pico/vel. enlace

Utilidad de los modelos de Markov
• El modelo de Poisson es apropiado si • La distribución exponencial no tiene

hay un gran número de usuarios memoria.
similares e independientes. – Lo que ocurre después del tiempo t es
• Si se combinan n procesos de arribos independiente de lo que ocurrió antes
de t.
iid, no necesariamente Poisson de tasa
λ/n, – El conocimiento del pasado no sirve
para predecir el futuro.
– La tasa de arribos del agregado es λ.
– El proceso agregado se aproxima a un
• Para los tiempos de servicio:
proceso de Poisson de tasa λ cuando P(s>r+t / s>t) = P(s>r)
n→∞ en condiciones bastante amplias. • El tiempo adicional necesario para
• PASTA: Poisson Arrivals See Time completar el servicio del cliente que
Averages está siendo atendido, es independiente
de cuándo comenzó el servicio.

Teoría de Colas
• Teorema de Little
• Cola M/M/1
• Cola M/M/1/K
• Cola M/M/c. Fórmula Erlang-C
• Cola M/M/c/c. Fórmula Erlang-B
• Cola M/M/N/N/N

Introducción
• Teoría de Colas: Tipos de problemas y soluciones.

• Introducción a las colas de espera.
• Fundamentos: Probabilidad, estadística, procesos
aleatorios.

Tipos de problemas y soluciones (1)
Usuario
Usuario11
Recursos
Recursoscompartidos
compartidos
Usuario
UsuarioNN
• El modelo de una cola de espera generalmente se

usa para representar un sistema de recursos
compartidos.

Tipos de problemas y soluciones (2)
Flujo entrante Cola Servidor Flujo saliente
Clientes que arriban Línea de espera Cabeza de línea Clientes atendidos
Bloqueo,
pérdida o desborde
Concepto básico:
•Los clientes llegan para ser atendidos. Si todos los servidores están ocupados, el cliente
espera en la cola y es atendido después.
•Parámetros: tasa de arribos, velocidad de atención, número de servidores, capacidad de la
cola...
•Medidas: tiempo de espera, utilización de los servidores, tamaño de la cola, probabilidad de
rechazo...

Ejemplos
Sistema Clientes Servidor
Procesador Programas o procesos CPU, disco, dispositivos

I/O, bus...
MUX estadístico Paquetes o celdas Enlace de comunicaciones
Conmutador de circuitos Llamadas Canales
Red de acceso múltiple Paquetes o tramas Medio (FO, UTP, RF)

(LAN, LAN inalámbrica)
Servicios Web Requerimientos de cliente Web server

Objetivos y métodos
Objetivos Método
• Predecir la performance del • Análisis de un modelo matemático.
sistema.
• Simulación.
• Determinar cómo
9 Dimensionar el sistema (ancho de • Medición de sistemas reales.
banda)
9 Controlar la entrada
para obtener la performance
requerida, en términos de:
9 Grado de servicio (GoS)
9 Retardo

Factores
Básicos
• Tasa de arribos.
• Tiempo de servicio.
• Número de servidores.
• Longitud máxima de la cola (tamaño del “buffer”).
Otros
• Tamaño de la población.
• Disciplina de servicio (FCFS, LCFS, prioridades, vacaciones).
• Modelo de carga de trabajo (tráfico).
• Comportamiento del cliente: Desistir, abandonar, ...

Modelos de tráfico
Voz
Video CBR Dependencia •Poisson

de corto alcance •Modelos de regresión
Datos en paquetes
Modelos •F-ARIMA (Fractional
Imágenes de tráfico AutoRegressive Integrated
Moving Average)
Dependencia
•FBM (Fractional Brownian
de largo alcance
Motion)
Video VBR ...
Dificultad del modelo

Modelo de switch o de router
Link
Port Port
Router / Switch Router / Switch
Tasa de arribos Tasa de servicio Velocidad de Transmisión

Tamaño del Buffer µ R bits/seg
λ
Paquetes/seg
B paquetes µ = R/8L
L bytes/paquete Paquetes/seg

Componentes del Retardo
λ
µ
Procesamiento: Cola: Transmisión: Propagación:

Tiempo desde que el Tiempo desde que al paquete Tiempo entre la Tiempo desde que el último
paquete es recibido hasta se le asigna un enlace de salida transmisión del bit es transmitido por la
que se le asigna un enlace hasta que comienza la primer bit y el fuente hasta que el último bit
de salida. transmisión (tiempo de espera). último bit del es recibido por el receptor.
paquete.
Dependen de la carga de tráfico

y el tamaño de los paquetes

Tipos de Colas
Notación de Kendall
A/S/M/K/N/Q
Distribución del tiempo entre arribos: Disciplina de servicio:
M: exponencial (Markov) FIFO, LIFO, prioridad,...
D: determinística (constante)
G: General
Tamaño de la población.
Distribución del tiempo de servicio: Puede ser finito o infinito.
M: exponencial (Markov)
G: General Tamaño máximo de la cola,
longitud del buffer o
Número de servidores capacidad de almacenamiento.

Teoría de Colas
• Teorema de Little
• Cola M/M/1
• Cola M/M/1/K
• Cola M/M/c. Fórmula Erlang-C
• Cola M/M/c/c. Fórmula Erlang-B
• Cola M/M/N/N/N

Teorema de Little
T A (T )
A(t): arribos ∫ N (t )dt = ∑ Tk
0 k =1
Tk
1T 1 A (T )
A(T ) 1 A(T ) A(T )
T2
D(t): partidas N (t ) T
= ∫ N (t )dt =
T0 T
∑Tk = T ⋅ A(T ) ∑ Tk = T Tk T
k =1 k =1
T1
A(T )
= λ̂T
N(t)=A(t)-D(t): número de clientes en el sistema t T
N (t ) T
= λ̂T Tk T
t
T E ( N ) = λ E (T )
Tiempo medio de
Número medio de clientes Tasa de permanencia en el
en el sistema arribos sistema

Teorema de Little: Aplicación
Flujo entrante Cola Servidor Flujo saliente
Clientes que arriban Línea de espera Cabeza de línea Clientes atendidos
T =W + S
E (T ) = E (W ) + 1/ µ
E( N ) = E( Nq ) + λ / µ = E ( N q ) = λE (W )
λ clientes/seg Tiempo medio de servicio:
= E( Nq ) + ρ E(S) = 1/µ seg/cliente E ( N ) = λE (T )
“Little” means a lot!
E (W ) = E ( N )(1 / µ ) = λE (T ) / µ = ρE (T ) Nq
clientes en la cola
E (T ) = E (W ) + 1 / µ = ρE (T ) + 1 / µ
W S
1/ µ 1 Tiempo de espera Tiempo de
E (T ) = = en la cola servicio
1− ρ µ − λ
N
clientes en el sistema
1/µ ++ E(T)
T
E(W) Tiempo en el sistema
ρρ o retardo

Tipos de Colas
Notación de Kendall
A/S/M/K/N/Q
Distribución del tiempo entre arribos: Disciplina de servicio:
M: exponencial (Markov) FIFO, LIFO, prioridad,...
G: General
Tamaño de la población.
Distribución del tiempo de servicio: Puede ser finito o infinito.
M: exponencial (Markov)
G: General Tamaño máximo de la cola,
longitud del buffer o
Número de servidores capacidad de almacenamiento.

Cola M/M/1 (1)
•Sistema de un único servidor. Solución de las ecuaciones de balance global
•Clientes atendidos de a uno por vez en orden de llegada.
ρ = λ / µ <1
•Los clientes arriban como un proceso de Poisson de tasa
λ. Los tiempos entre arribos son vv.aa. exponenciales iid p j = (1 − ρ ) ρ j = P[ N (t ) = j ]
con media 1/ λ. ρ ρ
•Tiempo de servicio de un cliente distribuido E(N ) = N = , var( N ) = σ N2 =
1− ρ (1 − ρ ) 2
exponencialmente con media 1/ µ.
•El sistema puede acomodar un número ilimitado de E( N ) 1 ρ 1/ µ E ( S ) 1
E (T ) = T = = = = =
clientes. λ λ 1− ρ 1− ρ 1− ρ µ − λ
S ρ
E (W ) = W = T − S = −S = S
1− ρ 1− ρ
λ λ λ λ λ λ
λρ ρ2
00 11 22 jj j+1 E ( N q ) = N q = λW = S=
j+1 1− ρ 1− ρ
µ µ µ µ µ µ E ( N s ) = N s = λS = λ (1/ µ ) = ρ
P(servidor ocupado) = 1 − p0
⇒ ρ = 1 − p0
P(servidor ocupado) = N s
µp1 = λp0 j=0 Ecuaciones de
λp j −1 + µp j +1 = (λ + µ ) p j j = 1,2,... balance global

Cola M/M/1 (2)
20 20
15 15
10 10
E(N) µE(T)
5 5
0 0
0 0,2 0,4 0,6 0,8 1 0 0,2 0,4 0,6 0,8 1
ρ ρ
ρ E (S ) 1/ µ
E (N ) = E (T ) = =
1− ρ 1− ρ 1− ρ

Aplicación: Multiplexado de tráfico
Capacidad de transmisión del canal: C bit/seg. 1 L
= Retardo de transmisión del canal
M flujos de tráfico de Poisson de tasa λ/M comparten el canal. µ C
Longitud de paquetes distribuida exponencialmente con media L.
FDM, TDM Estadístico

•Se crean M canales separados, cada uno de capacidad C/M. Los paquetes de cada flujo se combinan en una sola cola y se
•En FDM, el retardo de transmisión es ML/C. transmiten con un ordenamiento FCFS.
•En TDM, el retardo de transmisión es ML/C si el paquete es mucho
más largo que 1 TS. Si L = 1 TS, el retardo de transmisión es L/C,
pero debe esperar (M-1) tiempos de TS entre transmisiones.
λ/M C/M λ/M

λ/M λ
λ/M C/M C
λ/M C/M λ/M
C/M µ •Un C
µi = = •Unpaquete
paquetetarda
tardaMMveces
vecesmás
másenenlalacola
colayyenenser
serservido
servidoenenTDM
TDMooFDM,
FDM,que queenen µ=
L M multiplexado estadístico. L
multiplexado estadístico.
•Sin
1 M •Sinembargo,
embargo,lavarianza
lavarianzadeldelretardo
retardoesesmenor
menorenenTDM
TDMooFDM.FDM. 1
T = = •TDM T =
•TDM y FDM malgastan capacidad del canal cuando un flujononotiene
y FDM malgastan capacidad del canal cuando un flujo
µ /M −λ /M µ −λ tienetráfico,
tráfico,pero
pero
eliminan la necesidad de identificar a qué flujo pertenece cada paquete. µ −λ
eliminan la necesidad de identificar a qué flujo pertenece cada paquete.
Cola M/M/1/K (1)
Cola M/M/1 con capacidad finita. El sistema puede
contener hasta K clientes. Los que llegan cuando el
sistema está lleno, son devueltos. ρ=1
ρ<1 ρ>1
pj pj pj
λ λ λ λ λ 0 K 0 K 0 K
00 11 22 K-1
K-1 K
K ρ ( K + 1) ρ K +1
E(N ) = −
µ µ µ µ µ 1− ρ 1 − ρ K +1
1− ρ
PB = P( N = K ) = pK = K +1
ρK Probabilidad de bloqueo
1− ρ
λp0 = µp1 j =0 λB = λPB Tasa de rechazos
λp j −1 + µp j +1 = (λ + µ ) p j j = 1,2,L.K − 1 λ A = λ − λB = λ (1 − PB ) Tasa efectiva de arribos
λpK −1 = µpK j=K E ( N ) = λE ( S ) = ρ Carga ofrecida
p j = ρp j −1 = ρ p0 
j 1 1− ρ K
E ( N A ) = λ A E ( S ) = λ (1 − pK ) = ρ Carga satisfecha
 1− ρ µ 1 − ρ K +1
K
1 − ρ K +1  ⇒ p j = ρj j = 0,L, K
1 = ∑ p j = p0 1− ρ K +1
j =0 1 − ρ  E (T ) =
E(N )
=
E(N ) 1 1
=  −
( K + 1) ρ K  1 − ρ K +1

λA λ (1 − PB ) µ 1 − ρ 1 − ρ K +1  1 − ρ K

Cola M/M/1/K (2)
1 10
K=10 K=10
0,8 8
K=2
0,6
λA/µ
6
µE(T)
0,4 4
0,2 2
K=2
0 0
0 0,5 1 1,5 2 0 0,5 1 1,5 2

ρ ρ
K K
1− ρ 1− ρ
λA = λ K +1
= µρ 1 1 ( K + 1) ρ K  1 − ρ K +1
1− ρ 1 − ρ K +1 E (T ) =  − 
µ 1 − ρ 1 − ρ K +1  1 − ρ K
E ( N A ) = λA / µ

Ejemplo: Dimensionamiento de un buffer
Probabilidad de "overflow" Capacidad del buffer requerida
1,00E+00 200
1,00E-01 180
1,00E-02 160
1,00E-03 140
1,00E-04 120
Capacidad
P(overflow)
ρ = 0.9 0.5
1,00E-05 100
0.7
1,00E-06 0.8 80
0.8
0.9
1,00E-07 60
1,00E-08
0.7
40
1,00E-09 0.5 20
1,00E-10 0
0 20 40 60 80 100 120 140 160 180 200 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
Tamaño del buffer Carga ofrecida ρ
1− ρ
PB = P( N = K ) = pK = K +1
ρK
1− ρ
λB = λPB
λ A = λ − λB = λ (1 − PB )
Cola M/M/c (1)
El número de servidores es c. La tasa de partidas es kµ cuando λp0 = µp1 j=0
k servidores están ocupados, pues: λp j −1 + ( j + 1) µp j +1 = (λ + jµ ) p j j = 1,L, c
λp j −1 + cµp j +1 = (λ + cµ ) p j j ≥ c +1
k servidores ocupados ⇒ tiempo hasta la próxima partida T = min(T1,LTk )
P(T > t ) = P[min(T1,L, Tk ) > t ] =
= P(T1 > t )L P(Tk > t ) = aj
pj = p0 j = 0,L , c
=e −µ t
Le −µ t
=e −kµ t j!
c
j −c a
kµ k <c pj = ρ p0 j ≥ c +1
k servidores ocupados ⇒ tasa de partidas =  c!
cµ k ≥c −1
 c −1 a j a c 1 
p0 =  ∑ + 

 j =0 j! c ! 1 − ρ 
λ λ λ λ λ λ λ a=λ/µ Número medio de servidores ocupados
00 11 22 c-1
c-1 cc c+1
c+1 ρ = λ / cµ = a / c < 1 Ocupación de 1 servidor
µ 2µ 3µ (c-1)µ cµ cµ cµ

Cola M/M/c (2)
∞
pc
P(W > 0) = P( N ≥ c) = ∑ ρ j −c pc = = C (c, a )
j =c 1− ρ Probabilidad de encontrar todos los c servidores ocupados y tener que
esperar en la cola: fórmula Erlang C.
−1
1 a c  c −1 a j a c 1 
C (c, a ) = ∑ +
1 − ρ c!  j =0 j! c! 1 − ρ 
∞ ∞
ρ
E ( N q ) = ∑ ( j − c) p j = ∑ ( j − c) ρ j −c pc = C ( c, a ) Número medio de clientes en la cola.
j =c j =c 1− ρ
E( Nq ) C ( c, a ) C ( c , a )
E (W ) = = = Tiempo medio de espera en la cola.
λ cµ − λ µ (c − a)
C (c, a ) 1
E (T ) = E (W ) + E ( S ) = + Tiempo medio total en el sistema (retardo).
µ (c − a ) µ
λ Número medio de clientes en el sistema.
E ( N ) = λE (T ) = λE (W ) + = E ( N q ) + a
µ

Fórmula Erlang-C
−1
1 a c  c −1 a j a c 1  Probabilidad de encontrar todos los c servidores ocupados y tener que
C ( c, a ) = ∑ + 
1 − ρ c!  j =0 j! c! 1 − ρ  esperar en la cola: fórmula Erlang C.

Fórmula Erlang-C: Tiempo de espera
E(Nq ) C ( c , a ) C ( c, a )
E (W ) = = =
λ cµ − λ µ (c − a)

Ejemplo: Call Center
Ejemplo
Un call center recibe 600 llamadas por hora, con una duración media
de 3’. El operador trabaja durante 20’’ después de cada llamada. Se
quiere que el tiempo medio de espera sea 20’’. Obtener el número
de operadores necesario.
a = (600/3600) ×(3×60+20) = 33.33 Erlang

µE(W) = 20/(3×60) = 0.111 (Tiempo de espera normalizado)
µE(W) =C(c,a)/(c-a)
0.111 = C(c,33.33)/(c-33.33)
c = 36 operadores.

Ejemplo: Retardo en acceso DVB-RCS
Internet access (browsing) • Tráfico elástico NRT - transferencia de archivos.
Assumptions:
Users: 1000 • Proceso de arribo de archivos: Poisson con tasa λ.(archivos/seg)
Internet usage/month/user 20 h • Tamaño medio de archivo: L (bits)
Day-to month ratio 1/20
BH-to-day ratio 1/10 • Max. Bitrate de una terminal: rb (bit/seg)
Pages/session 36
• Ancho de banda (capacidad total) disponible: C (bit/seg).
Page size 50 Kbyte • Objetivo: Garantizar un tiempo medio de transferencia E(T), o bien un determinado throughput promedio L/E(T) para
Page delivery time 2 sec
Page view time 60 sec
todas las transacciones.
Mean upstream packet length 80 Byte
Mean downstream packet length 560 Byte
C (c , a ) 1 1  C (c , a ) 
Simultaneous session in BH 100 i.e. 10 % users E (T ) = E (W ) + E ( S ) = + = 1 + 
Protocol: TCP/IP with 560 bytes/OB packet and 80 bytes/IB packet. µ (c − a ) µ µ  c−a  Downstream Upstream
L Byte 560.0 80.0
Qty. Unit µ = rb / L, c = C / rb , a = λL / rb
bits 4,480.0 640.0
Peak dnstream thput in BH/user 200.0 Kbit/s
Downstream : rb Kbit/s 256.0 32.0
Peak upstream thput in BH/user 28.6 Kbit/s
Session duration 37.2 sec Pag/session *(2+60)/60 1  C (c,2.6)  C (c,2.6) µ paq/s 57.1 50.0
Mean thput/user 6.5 Kbit/s PageSize*8/(2+60) E (T ) = 1 +  < 0.3 ⇒ < 16.1 ⇒ c = 4 λ paq/s 147.5 147.5
Mean upstream thput in BH 92.2 Kbit/s Mean dnstream thput*80/560 57.1  c − 2.6  c − 2.6 a Erlang 2.6 2.9
Mean dnstream thput in BH 645.2 Kbit/s MeanThput/user*10 users
Upstream packets in BH 147.5
Upstream :
Dnstream packets in BH 147.5 (50*1024/560)*10/(4+60) 1  C (c,2.9)  C (c,2.9)
E (T ) = 1 +  < 0.3 ⇒ < 15.0 ⇒ c = 4
50.0  c − 2.9  c − 2.9
DVB-S BASIC ACCESS PROFILE BA1 BA2 BA3 BA4 BA5 BA6 BA7 BA8 Para mantener acotado el retardo, se necesitan
Forward max (Kbps) 256 256 256 512 1024 2048 4096 4096 •4×256 = 1024 Kbit/s downstream
Forward min (Kbps) 8 16 32 64 128 256 512 1024 •4×32 = 128 Kbit/s upstream.
Return max (Kbps) 16 32 64 128 256 512 1028 1028 Comparar con los valores de throughput medio:
Return min (Kbps) 2 4 8 16 32 64 128 256 •645.2 Kbit/s downstream
Unav/month (%) 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 •92.2 Kbit/s upstream
Activity MBH (%) 20 20 20 25 25 25 30 30 .

Cola M/M/c/c
La capacidad de la cola es igual al número total de servidores.
Los clientes que arriban cuando todos los servidores están λ λ λ λ λ
ocupados, son devueltos. 00 11 22 c-1 cc
c-1
a =λ/µ Carga ofrecida
µ 2µ 3µ (c-1)µ cµ
j
a
pj = p0 j = 0,L, c
j!
−1
c  c aj 
1 = ∑ p j ⇒ p0 =  ∑ 
j =0  j =0 j! 
ac a c / c! Probabilidad de que los c servidores estén ocupados =
P ( N = c ) = pc = p0 = = B(c, a) = PB probabilidad de bloqueo: Fórmula Erlang B
c! 1 + a + a 2 / 2!+ L + a c / c!
λ A = λ − λpc = λ [1 − B(c, a)] Tasa efectiva de arribos
λA
= a[1 − B (c, a )]
µ
λ A a[1 − B(c, a)] λ
= = [1 − B (c, a)] = ρ [1 − B (c, a)] Carga soportada por cada servidor = utilización
µc c µc
λ
E ( N ) = λ A E ( S ) = [1 − B (c, a)]
µ
Fórmula Erlang-B
Fórmula Erlang-B Fórmula Erlang-B
20 50
18 0.1% 45
0.5%
16 40
1.0%
14 5.0% 35
Número de circuitos
Número de circuitos
10.0%
12 30 0.1%
20.0%
0.5%
10 25
1.0%
8 20 5.0%
10.0%
6 15
20.0%
4 10
2 5
0 0
0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0 0,0 5,0 10,0 15,0 20,0 25,0 30,0 35,0 40,0 45,0 50,0
Tráfico total ofrecido (Erlang) Tráfico total ofrecido (Erlang)
a c / c! a c / c!
P ( N = c) = B (c, a) = PB = =
1 + a + a 2 / 2!+ L + a c / c! c k
∑ a / k! k =0
aB(c, a)
B (c + 1, a) =
c + 1 + aB(c, a )
Cola M/M/N/N/N
•El número de servidores es N. La tasa de partidas es kµ
cuando k servidores están ocupados.
Νλ (Ν−1)λ (Ν−j)λ λ
•La cantidad de fuentes (o “tamaño de la población”) es
N. La tasa de arribos es (N-i)λ cuando hay i fuentes 00 11 22 jj j+1
j+1 N
N
activas.
µ 2µ (j+1)µ Nµ
•Es un modelo idéntico al MMPP.
Probabilidad que i fuentes

entre N estén activas
i −1
λi −1 ∏λ i
i
 N  λ   λ 
−N
 N  λ 
i
 µ 
N −i
pi = pi −1 = i=0
p0 pi =    1 +  =     
µi i
 i  µ   µ   i  µ + λ  µ +λ 
∏µ i
λ
i =1
E (i ) = N Número medio de
λi = ( N − i )λ , µ i = iµ µ +λ
fuentes activas
N λµ
var(i ) = N
∑p
i=0
i =1
(µ + λ )2

Markov PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Markov PDF

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov y

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 2

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 4

Puntos de Poisson: Se colocan al azar n puntos en el 6 1 5 3 2 94 8 7

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 5

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 6

Tiempo discreto Tiempo continuo

Proceso de Bernoulli Proceso de Poisson

Distribución entre arribos: Distribución entre arribos:

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 7

•El proceso de arribos es Poisson.

Arribos de Poisson Separación entre arribos exponencial 1/µ t

Tiempo continuo: π ij (n1, n2 ) = P( X n2 = a j / X n1 = ai ) Prob. transición

P[ X (t n ) ≤ xn / X (t n −1 ),L, X (t1 )] = P[ X (t n ) ≤ xn / X (t n −1 )] ∑πj

Si existe el estado estacionario, el vector de probabilidad de estados

Si Πn tiende a un límite para n → ∝, el proceso es asintóticamente

Matriz de transición Solución en estado estacionario

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 13

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 14

Matriz no negativa Radio espectral

Norma infinito: máxima suma de valores absolutos de

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 15

• Accesible: j es accesible desde i si hay alguna secuencia de

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 16

• Cerrada: Si desde un estado interior no se puede

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 17

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 18

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 19

P = 1 0 0, P 2 = 1 Test: A ∈ℜN×N es irreducible sii: (I + A)

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 20

Cambio de nombre de los nodos

Grafo fuertemente conexo

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 21

izquierdo son biortogonales

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 22

ρ (A ) > 0 El radio espectral es positivo

alg mult ρ ( A) = 1 El radio espectral es un autovalor simple A

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 23

λi < λ1 = 1 ∀i = 2,K , n Teorema: Los h autovalores de A sobre el círculo

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 24

λi < 1 ∀i > 1 Por ser primitiva, 1 es el único autovalor sobre el

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 25

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 26

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 27

 0 0 L 0 0 Π r + 2,r + 2 L 0  lim Π k =   Sii todas las

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 28

Cada Πr+j,r+j es irreducible.

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 29

y (n) = [x1 p1 (n) x2 p2 (n) L x N p N (n)]

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 30

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 32

f (Λ) = ∑ f (λi )viuTi

λ1 = 0 > λ2 > L> λN

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 33

R (t1 , t 2 ) = E ( X (t1 ) X (t 2 )) = ∑∑ xi x j P ( X (t 2 ) = j , X (t1 ) = i ) =

pT (t + τ ) = pT (t )Π (τ ) = pT (t ) exp(Λτ ) = ∑∑ xi x j P ( X (t 2 ) = j / X (t1 ) = i ) P ( X (t1 ) = i )

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 34

π ij (t ) = P[ X (t ) = j / X (0) = i ] = Otra forma de obtener la matriz Λ:

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 35

Flujo entrante Flujo saliente

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 37

µp1 = λp0 j=0 λp0 − µp1 = 0 

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teoría de Colas 38