Proceso Esto Cast I Cos

Introduccin a los procesos
estocsticos.

Mahi l Herrera Mal donado.

CONTENIDO

Introduccin. . . . . . . . . . . . . . . . . . . . . . . . . III

1.- Nociones de los Procesos Estocsticos. 1

1.1. Procesos estocsticos. . . . . . . . . . . . . . . . . . 1
1.2. Procesos Bernoulli. . . . . . . . . . . . . . . . . . . 2
1.3. Procesos Poisson. . . . . . . . . . . . . . . . . . . 10
1.4. Ejercicios. . . . . . . . . . . . . . . . . . . . . . 18

2.- Cadenas de Markov. 24

2.1. Introduccin. . . . . . . . . . . . . . . . . . . . 24
2.2. Clasificacin de estados. . . . . . . . . . . . . . . . 31
2.3. Distribucin estacionaria. . . . . . . . . . . . . . . . 50
2.4. Ejercicios. . . . . . . . . . . . . . . . . . . . . . 67

3.- Procesos de Markov. 74

3.1. Procesos de Markov. . . . . . . . . . . . . . . . . . 74
3.2. Estructura de un proceso de Markov. . . . . . . . . . . 79
3.3. Teoremas lmites. . . . . . . . . . . . . . . . . . 88
3.4. Procesos de nacimiento y muerte. . . . . . . . . . . . 92
3.5. Ejercicios. . . . . . . . . . . . . . . . . . . . . 99

Bibliografa. . . . . . . . . . . . . . . . . . . . . . . . . 109

ndice. . . . . . . . . . . . . . . . . . . . . . . . . . . 111

I

Introduccin.

La palabra estocstico es sinnimo de aleatorio, los procesos estocsticos son
modelos matemticos que estudian los fenmenos aleatorios que evolucionan en el
tiempo, se puede describir estos fenmenos por medio de una coleccin de variables
aleatorias, los procesos estocsticos estudian esta coleccin, de variables desde el punto
de vista de su interdependencia y su comportamiento lmite. La aplicacin de los
procesos estocsticos abunda en la naturaleza, se presentan en; la Medicina, Biologa,
Economa, Comunicacin, por citar slo algunas reas, es una herramienta muy til
para modelar aquellos problemas en los que se involucre la aleatoriedad, a travs del
tiempo.

La inquietud por desarrollar este trabajo radica en que a pesar de que en la
actualidad se pueden encontrar libros muy completos respecto al tema,
desgraciadamente en el pas no contamos con este tipo de libros, que hablen
especficamente del tema y que sean adecuados a los estudios que se desarrollan en la
carrera, esta situacin hace que el estudio de una materia, que si de por s, por ella
misma guarda un grado de dificultad alto, al no contar con material bibliogrfico
accesible, la hace an ms difcil, problema que personalmente me toco experimentar, y
ahora, que he tenido la oportunidad de dar el curso, lo encontr tambin en mis
alumnos.

Dado el gran desarrollo que ha tenido la teora de los procesos estocsticos, es
prcticamente imposible incluir toda la teora en un solo trabajo, por lo que el objetivo
central del presente trabajo es que sea un material de apoyo, que cubra lo que se ve en
un curso de procesos estocsticos en la carrera de Actuara, procurando mantener un
nivel terico que est de acorde con el nivel matemtico de licenciaturas con perfil
matemtico y sirva de introduccin a este campo tan extenso de los procesos
estocsticos.

Los conocimientos que se requieren para poder comprender el trabajo son;
conocer los fundamentos de la teora de la probabilidad, del clculo y lgebra matricial.
Se recomienda hacer hincapi en los conceptos de probabilidad condicional.

En el primer captulo, se ven las definiciones bsicas de los procesos
estocsticos, en este captulo tambin se ve la teora fundamental relacionada con dos
tipos de procesos muy importantes, el proceso Poisson y Bernoulli, el primero tiene
espacio de tiempo continuo y el otro su espacio de tiempo es discreto, considero que
empezar con estos dos tipos de procesos ayudan a entender mejor el concepto de lo
que es un proceso estocstico, la teora que lo rodea y lo ms importante, como
III
IV
modelar problemas que involucren procesos estocsticos, ambos son procesos sencillos
de comprender y muy tiles.

Los procesos estocsticos que cumple la propiedad de Markov, son procesos
muy importante en el estudio de los procesos estocsticos, las cadenas de Markov son
de este tipo de procesos y es el tema que se analiza en el captulo 2, ah se desarrolla la
teora referente a las cadenas de Markov, se define la propiedad de Makov, se analizan
los conceptos de distribucin inicial, estado absorbente, estado transitorio y estado
recurrente, se exponen los elementos tericos para el manejo de distribuciones
estacionarias en las cadenas de Markov.

En el captulo tres se presenta la teora general de los procesos de Markov, que
son procesos que cumplen con la propiedad de Markov, la diferencia con las cadenas de
Markov es, que en los primeros se considera el espacio del tiempo discreto y en estos se
considera el espacio del tiempo continuo. Adems se expone la relacin que hay entre
las cadenas de Markov y los procesos de Markov, as como una serie de aplicaciones de
los procesos de Markov a los sistemas de colas por medio de los procesos de
nacimiento y muerte.

En cada uno de los captulos se incluyen una serie de ejemplos para comprender
mejor cada uno de los conceptos que se manejan.

Captulo 1.

1.- Nociones de los Procesos Estocsticos.

1.1. Procesos Estocsticos.

La palabra estocstico es sinnimo de aleatorio, los procesos estocsticos son
modelos matemticos que estudian los fenmenos aleatorios que evolucionan en el
tiempo, se puede describir estos fenmenos por medio de una coleccin de variables
aleatorias {X
t
} donde t es un punto en un espacio T llamado espacio parametral.
Algunos ejemplos de estos tipos de fenmenos se dan a continuacin.

Ejemplo 1.1. X
t
podra ser el nmero de alumnos formados en la fila de inscripcin de
alguna carrera, en cualquier instante t, X
t
puede tomar los valores de 0, 1, 2, ; t
puede tomar valores de [ 0, ), considerando la hora de la apertura de la ventanilla
como el instante cero.

Ejemplo 1.2. X
t
lo podemos considerar como el t-simo lanzamiento de una moneda,
aqu X
t
le podemos asignar los valores de 1 si cae cara y 0 si no, t toma sus valores en
los N, este es un proceso Bernoulli que veremos con ms detalle en el siguiente punto
de este captulo.

Ejemplo 1.3. Supongamos que X
1
,

X
2
, son variables aleatorias independientes e
idnticamente distribuidas, sea S

n
= X
1
+X
2
+ +X
n
, con espacio de estados en los
N, { S
n
, n N} es un proceso estocstico, que recibe el nombre de caminata aleatoria.

Definicin 1.1. Un proceso estocstico es una familia de variables aleatorias {X
t
, t T }
(o X( t ) , t T ), T es llamado espacio parametral y donde para cada t T , X
t
es un
punto en un espacio E, llamado espacio de estados.

De la definicin anterior si T es contable, se dice que es un proceso estocstico
de parmetros discretos, si T no es contable se dice que, el proceso tiene parmetros
continuos, el parmetro t es interpretado comnmente como tiempo, uno puede
considerar a X
t
como el estado del proceso en el tiempo t, un ejemplo de que t no
2 Nociones de los Procesos Estocsticos Captulo 1
________________________________________________________________________________
siempre representa unidades de tiempo lo es el ejemplo 1.2. As como el espacio
parametral puede ser discreto o continuo, el espacio de estados tambin lo es.

Ejemplo 1.4. Sea X( t ) = ( X
1
( t ), X
2
( t ) ) , donde X( t ) representa la temperatura
mxima y mnima de algn lugar en el intervalo de tiempo de ( 0, t ).

De este ejemplo podemos ver que el proceso X
t
puede ser el resultado de un
experimento un vector, es decir, el proceso puede ser multidimensional. Tambin
podramos tener un espacio parametral multidimensional, veamos el siguiente ejemplo.

Ejemplo 1.5. Para un proceso estocstico que es la profundidad del mar en la posicin x
en el instante , X
t
es tal que, t = ( , x ) con R y x X, donde X representa el
conjunto de las referencias geogrficas para todo el mar. Aqu t no es solamente el
tiempo, sino una combinacin de las coordenadas de tiempo y espacio, aqu el espacio
de estados es S = [ 0, ), donde la profundidad es 0 cuando quede expuesto el lecho
del ocano y no existe lmite para la altura que puedan alcanzar las olas, por supuesto,
no se formarn olas de altura infinita.

Aqu nicamente analizaremos procesos de tipo unidimensional, en los cuales
podemos tener cuatro tipos de procesos:

a) Tiempo discreto y espacio de estado discreto.
b) Tiempo discreto y espacio de estados continuo.
c) Tiempo continuo y espacio de estados discreto.
d) Tiempo continuo y espacio de estados continuo.

1.2. Procesos Bernoulli.

Definicin 1.2. El proceso estocstico {X
n
; n N } es un proceso Bernoulli si satisface

a) X
1
,

X
2
, son independientes y
b) P{X
n
= 1 } = p , P{X
n
= 0 } = 1 p = q para todo n.

Al evento X
n
= 1, lo llamaremos xito y al evento X
n
= 0, fracaso.

UNAM-Acatln-Mahil Herrera Maldonado
Captulo 1 1.2. Procesos Bernoulli 3
________________________________________________________________________________
Definicin 1.3. Sea { X
n
; n N } un proceso Bernoulli, con probabilidad de xito p, el
nmero de xitos en el n-simo ensayo se define como

N
n
=
1 2
0 si
si 1, 2,
n
n
X X X n
=
+ + + =

0

Entonces N
n
es el nmero de xitos en los primeros n ensayos, y N
n+m
N
n
es el
nmero de xitos en los ensayos n +1, n +2, , n + m. Como podemos ver { N
n
; n =
0, 1, 2, }define un proceso estocstico, con espacio de estados y tiempo discreto {0,
1, 2, }.

De la definicin de proceso Bernoulli, tenemos que las X
n
se distribuyen como
una Bernoulli con parmetro p (Bernoulli(p)) y las X
n
son independientes y la suma de
variables aleatorias independientes Bernoulli se distribuye como una binomial con
parmetro n y p (b(n, p)), entonces N
n
es una suma de variables aleatorias
independientes Bernoulli, con lo que podemos enunciar el siguiente resultado.

Teorema 1.1. Para n = 0, 1, 2,

a) P{ N
n
= k} =
n
k
| |
|
\ .
}
p
k
q
nk
, k = 0, 1, ,n
b) E[N
n
] = np
c) V[N
n
] = npq.

El uso de probabilidad condicional en la prueba del siguiente resultado ilustra una
de las principales tcnicas usadas en el estudio de los procesos estocsticos.

Teorema 1.2. Para n, k {0, 1, 2, }

P{ N
n+1
= k} = p P{ N
n
= k 1} + qP{ N
n
= k}

Demostracin.

Usando el teorema de la probabilidad total.

P{ N
n+1
= k} =
1
{ | } {
n n n
j
P N k N j P N j
+
= = =
Dado que { X
1
, ,X
n
} es independiente de X
n+1
, tenemos que N
n
es independiente
de X
n+1
y como N
n+1
= N
n
+ X
n+1
, es decir,

________________________________________________________________________________
P{ N
n+1
= k , N
n
= j }= P{ N
n
+ X
n+1
= k , N
n
= j }
= P{ X
n+1
= k j , N
n
= j }
= P{ X
n+1
= k j }P{ N
n
= j}
con lo que

P{ N
n+1
= k | N
n
= j } = P{ X
n+1
= k j } =
si 1
si
0 cualquier otro caso
p j k
q j k
=

de aqu, tenemos

P{ N
n+1
= k} = pP{ N
n
= k 1}+ qP{ N
n
= k}.

Teorema 1.3. Para algn m, n { 0, 1 2, }

P{ N
m+n
N
m
= k | N
0
, , N
m
} = P{ N
m+n
N
m
= k } =
n
k
| |
|
\ .
p
k
q
n k
, k = 0, 1, ,n

Demostracin.

Las variables aleatorias N
0
, N
1
, , N
m
estn completamente determinadas por
las variables X
1
, X
2
,

, X
m
, por definicin de N
n
e inversamente las variables
aleatorias X
1
, X
2
, , X
m
estn completamente determinadas por N
0
, , N
m
, por
ejemplo X
m
= N
m
N
m 1
. Luego entonces

P{ N
m+n
N
m
= k | N
0
, , N
m
} = P{ N
m+n
N
m
= k | X
1
, , X
m
}

tenemos que N
m+n
N
m
= X
m+1
+X
m+2
+ +X
m+n
y {X
m+1
, X
m+2
, , X
m+n
} es
independiente de {X
1
, , X
m
}, lo que significa que N
m+n
N
m
es independiente de
{X
1
, , X
m
} as llegamos al resultado.

P{ N
m+n
N
m
= k | N
0
, , N
m
} = P{ N
m+n
N
m
= k | X
1
, , X
m
}
= P{ N
m+n
N
m
= k }

ahora bien N
m+n
N
m
= X
m+1
+ X
m+2
+ +X
m+n
es la suma de n variables aleatorias
Bernoulli(p) independientes e idnticamente distribuidas, lo que significa que es una
variable aleatoria binomial con parmetro n y p, es decir,

________________________________________________________________________________
P{ N
m+n
N
m
= k } =
n
k
| |
|
\ .
k
1
n
j
0

p
k
q
n-k
, k = 0, 1, ,n

De este teorema podemos ver que la variable aleatoria para
cualquier k{1, 2, ... , j } tal que n
1 k
n n
N N

N
k
cumpla con n
0
= 0 < n
1
< n
2
< < n
j
,
es independiente de { , , }, a continuacin enunciamos este resultado.
1 k k
n n
N

0
n
N
2 k
n
N

Corolario 1.3.1 Sea n
0
= 0 < n
1
< n
2
< < n
j
son enteros, entonces las variables
aleatorias , , , son independientes.
1 0
n n
N N
2
n
N N
1
n
N
j
n
N

En el teorema 1.3 se prob que N
m+n
N
m
es independiente de N
0
, , N
m
, en
la demostracin no se hizo ninguna referencia a la distribucin de las X
n
nicamente se
considero su independencia. De esta forma podemos decir que el corolario 1.3.1 se
cumple para algn proceso estocstico {M
n
; n = 0, 1, } definido por

M
n
=
1 2
0 si
si 1, 2,
n
n
Y Y Y n
=
+ + + =

con Y
1
, Y
2
, , Y
n
, variables aleatorias independientes

Un proceso estocstico que cumple con

P{ N
m+n
N
m
= k | N
0
, , N
m
} = P{ N
m+n
N
m
= k }

o con el corolario 1.3.1, es un proceso estocstico con incrementos independientes.

Si para el proceso {M
n
; n = 0, 1, } definido anteriormente, las variables
aleatorias Y
1
, Y
2
, , Y
n
a parte de la independencia entre ellas son idnticamente
distribuidas, entonces la distribucin de los incrementos M
n+s
M
s
no depende de s, se
dice entonces, {M
n
} es estacionario con incrementos independientes.

Regresando al proceso Bernoulli, tenemos el siguiente resultado.
Teorema 1.4. Sea Z una variable aleatoria que depende de un nmero finito de
variables aleatorias N
m
, N
m+1
, ; es decir,

Z = g( N
m
, N
m+1
, , N
m+n
)

para alguna n y alguna funcin g. Entonces

________________________________________________________________________________

E[Z| N
0
, N
1
,, N
m
] = E[Z| N
m
]

Demostracin.

Dado que N
m+1
= N
m
+ X
m+1
, , N
m+n
= N
m
+ X
m+1
+ + X
m+n
, hay una
funcin h tal que

Z = g( N
m
, N
m+1
, , N
m+n
) = h( N
m
, X
m+1
,, X
m+n
)

As

E[Z| N
0
, N
1
, , N
m
] =
( ) {
1 1 1
, , , , , , | , ,
n m m m n n
k
h k i i P N k X i X i N N
+ +
= = =
i
}
0 m
m
)
n

la segunda suma es sobre toda las n-uples i = ( i
1
, , i
n
) de ceros y unos. Dado que
{X
m+1
, , X
m+n
} es independiente de {X
1
, , X
m
}, tambin {X
m+1
, , X
m+n
} es
independiente de N
0
, N
1
, , N
m
que son determinadas por {X
1
, , X
m
}. Entonces

P{ N
m
= k, X
m+1
= i
1
, , X
m+n
= i
n
| N
0
, , N
m
}
= P{ X
m+1
= i
1
, , X
m+n
= i
n
}P{ N
m
= k| N
0
, , N
m
}
= (i
1
) (i
n
) P{ N
m
= k| N
0
, , N
m
},

donde (i ) = P{ X
n
= i } = p o q si i = 1 o i = 0 respectivamente. Por otro lado

P{ N
m
= k| N
0
, , N
m
} = E[ I
{k}
( N
m
)| N
0
, , N
m
]
= I
{k}
( N
m
) =
.
1 si
m
k N =
Tenemos que
E[Z| N
0
, N
1
, , N
m
] = ( )
{ }
( )
1 1
, , , ( ) ( )
n n k
k
h k i i i i I N

i
E[ Z| N
0
, N
1
, , N
m
] = = f ( N ( )
1 1
, , , ( ) (
m n
h N i i i i

i
m
)

independiente de N
0
, , N
m1
, esto significa

E[ Z| N
0
, N
1
, , N
m
] = f ( N
m
) = E[ Z| N
m
]

________________________________________________________________________________

El teorema anterior lo satisfacen varios procesos con una estructura menos
compleja, tales procesos son llamados cadenas de Markov, del estudio de estos
procesos nos ocuparemos en el siguiente captulo.

Definicin 1.4. Sea {X
n
; n = 1, 2, } un proceso Bernoulli con probabilidad de xito
p, consideremos una realizacin del proceso X
1
, X
2
, , X
n
, esta es una secuencia de
unos y ceros, denotemos por T
1
, T
2
, , los ndices correspondientes a los sucesivos
xitos, a los T
k
se les llama los tiempos de xitos.

Ejemplo 1.6. Si
X
1
= 1, X
2
= 0, X
3
= 0, X
4
= 1, X
5
= 1,

Es una realizacin del proceso, entonces T
1
= 1, T
2
= 4, T
3
= 5, ,es decir, T
k
es el
nmero del evento en el que ocurri el k-simo xito.

Supongamos que para una realizacin del proceso el k-simo xito ha ocurrido
antes de n-simo evento, esto es T
k
n , entonces el nmero de xitos en los primeros n
eventos debera ser al menos k, esto significa que N
n
k, e inversamente si N
n
k
entonces T
k
n .

Otra relacin entre los tiempos de xitos y el nmero de xitos es; si T
k
= n
significa que en esta realizacin hay exactamente k 1 xitos en los primeros n 1
eventos y un xito ocurre exactamente en el n-simo evento, es decir, N
n-1
= k 1 y
X
n
= 1 e inversamente si N
n-1
= k 1 y X
n
= 1 entonces T
k
= n. A continuacin
enunciamos estas dos relaciones.

Lema 1.1. Sea X
1
, X
2
, , X
n
una realizacin del proceso k = 1, 2, y n k,
tenemos que

a) T
k
n si, y slo si N
n
k
b) T
k
= n si, y slo si N
n1
= k 1 y X
n
= 1.

Teorema 1.5. Para alguna k N
a) P{ T
k
n } = n = k, k +1, . ,
n
j n j
j k
n
p q
j

=
| |
|
\ .
b) P{ T
k
= n }= p
1
1
n
k
| |

\ .
|
k
q
n k
, n = k, k +1, .

________________________________________________________________________________

Demostracin.

a) Para k N y n k, por el lema 1.1 el evento { T
k
n } es igual al evento { N
n
k },
entonces
P{ T
k
n } = P{ N
n
k } = { }
n
n
j k
P N j
=
=
por el teorema 1.1

P{ N
n
= k} =
| |
n
k
|
\ .
p
k
q
n k
, k = 0, 1, ,n
es decir,
P{ T
k
n }= , , 1, .
n
j n j
j k
n
p q n k k
j

=
| |
= +
|
\ .

b) Por el lema 1.1 el evento {T
k
= n} es igual al evento { N
n 1
= k 1 , X
n
= 1}, por
definicin, el proceso N
n-1
es independiente de X
n
= 1. Entonces

P{ T
k
= n } = P{ N
n-1
= k 1, X
n
= 1}
= P { N
n 1
= k 1} P{ X
n
= 1}
=
1
1
n
k
| |
\ .
| |
.
p
k 1
q
n k
p = p
1
1
n
k
| |

\ .
k
q
n k

El teorema anterior nos da informacin muy importante sobre la estructura del
proceso { T
k
, k = 1, 2, } pero veamos otros resultados concernientes a la estructura
de este proceso.

Teorema 1 6. Sea T
0
= 0 y T
1
, T
2
, los tiempos del primer xito, segundo xito,
de un proceso Bernoulli { X
n
; n N} con probabilidad de xito p, para alguna k {0,
1, },
P{ T
k+1
= n | T
0
, , T
k
} = P{ T
k+1
= n | T
k
}.

Demostracin.

Para algn k, n y enteros 0 = a
0
< a
1
< < a
k
= a , sea
________________________________________________________________________________

f(a
0
, a
1
, , a
k
) = P{ T
k+1
= n | T
0
= a
0
, T
1
= a
1
, , T
k
= a
k
}

si n a
k
= a, entonces la probabilidad condicional es cero, si n > a
k
= a , T
k
= a y
T
k+1
=n , lo que significa que X
a+1
= 0, , X
n 1
= 0, X
n
= 1. Entonces

f(a
0
, a
1
, , a
k
) = P{ X
a+1
= 0, , X
n 1
= 0, X
n
= 1} = pq
n-1-a

hemos llegado a que

P{ T
k+1
= n | T
0
= a
0
, T
1
= a
1
, , T
k
= a
k
}= (1.1)
1
0 si {
si { },
k
k
n T
k
T n
pq T n

<
},
k
.

.

y como podemos ver, el lado derecho de la igualdad es independiente en ambos casos,
de T
0
, T
1
, , T
k1
.

El teorema anterior nos dice que dado el tiempo T
k
del k-simo xito, el tiempo
del k+1-simo xito es condicionalmente independiente de T
0
, T
1
, , T
k1
. De la
ecuacin 1.1 tenemos que

P{ T
k+1
= m + T
k
| T
0
, , T
k
} = = pq
1
k
T m T
pq
+
m1

lo que nos da el siguiente resultado.

Corolario 1 6.1. Para alguna k {0, 1, }

P{ T
k+1
T
k
= m | T
0
, , T
k
} = P{ T
k+1
T
k
= m } = pq
m1

para toda m {1, 2, }.

El resultado anterior nos dice, que el tiempo entre dos xitos es independiente
de los tiempos de los previos xitos y se distribuye como una geomtrica.
Corolario 1.6.2. T
1
, T
2
T
1
, T
3
T
2
, son variables aleatorias independientes e
idnticamente distribuidas con distribucin geomtrica.

Corolario 1 6.3. T
k+1
T
k
para k N
a) E[ T
k+1
T
k
] =
1
p

________________________________________________________________________________
b) V[ T
k+1
T
k
] =
2
q
p
.

1.3 Procesos Poisson.

Definicin 1.5. Un proceso estocstico {N
t
; t 0}, de tiempo continuo y valores
enteros, es un proceso de conteo si N
t
representa el nmero total de eventos que han
ocurrido hasta el tiempo t.

A partir de la definicin anterior podemos ver que un proceso de conteo debe
de cumplir con:

a) N
t
0
b) N
t
es un valor entero
c) si s t, entonces N
s
N
t

d) para s < t, N
t
N
s
es igual al nmero de eventos que han ocurrido en el
intervalo ( s, t ].

Un proceso de conteo se dice que tiene incrementos independientes, si el nmero de
eventos que ocurren en intervalos disjuntos son independientes. Por ejemplo esto
significa que N
t + h
N
t
con h > 0 es independiente de { N
u
; u t } para toda t.

Un proceso de conteo se dice que tiene incrementos estacionarios si el nmero de
eventos en el intervalo ( t + h, s + h ] tiene la misma distribucin que el nmero de
eventos en el intervalo ( t, s ] para todo t < s, y h > 0, o bien, se puede decir que un
proceso de conteo cuya distribucin del nmero de eventos que ocurren en un
intervalo, depende nicamente de la longitud del intervalo, se le dice que posee
incrementos estacionarios.

A continuacin vamos a definir al proceso Poisson, hay varias definiciones pero
todas son equivalentes, daremos una que nos da una buen informacin sobre la
estructura probabilstica del proceso.

Definicin 1.6. Sea {N
t
; t 0} un proceso de conteo, donde N( t, t + h ) ( o N
t + h

N
t
) es el nmero de eventos o llegadas que ocurren en el intervalo (t, t + h ] y
N
t
:=N[0, t ]. Entonces {N
t
; t 0} es un proceso Poisson con parmetro si

1) P{ N( t, t + h ) = 0} = 1 h + o( h )
Captulo 1 1.3. Procesos Poisson 11
________________________________________________________________________________

2) P{ N( t, t + h ) = 1} = h + o( h )
3) P{ N( t, t + h ) 2 } = o( h )
4) Para toda t y h >0, N( t, t + h ) es independiente de { N
u
; u t }
5) Tiene incrementos estacionarios

Aqu o( h ) es una funcin tal que

( ) o h
h
0 cuando h 0.

En la definicin anterior tambin hay que considerar que N
0
= 0.

Sea t
0
R
+
0 y Z el tiempo de espera hasta la prxima llegada despus del
tiempo t
0
,

P{x} = P {Z > x},

entonces

P{x + h } = P { Z > x + h } = P { Z > x, N( t
0
+ x , t
0
+ x + h ) = 0}

de la definicin de probabilidad condicional

= P{ N(t
0
+ x , t
0
+ x + h ) = 0 | Z > x }P{ Z > x } (1.2)

Ahora bien Z > x si, y slo si, N(t
0
, t
0
+ x ) = 0, pero N(t
0
+ x , t
0
+ x + h ) es
independiente de N(t
0
, t
0
+ x ) por la propiedad 4 de la definicin 1.6, entonces la
ecuacin 1.2 es equivalente a

P{x + h} = P{ N( t
0
+ x , t
0
+ x + h ) = 0 }P{x}
= (1 h + o( h )) P{x}

entonces

P{x + h} P{x} = ( h )P{x}+ o( h )P{x}

lo dividimos entre h y tomamos h 0, obtenemos

________________________________________________________________________________
P
{x} =
0
{ } {
lim
h
P x h P x
h
+ }
= P{x}

Esta ecuacin diferencial tiene la solucin

P{x} = P{0} e
x
.

Pero P{0} = P {Z > 0} = 1 ya que la probabilidad de dos llegadas al mismo tiempo es

P{ N( t, t + h ) 2 } = o( h )

y dado que h 0,

P{ N( t, t + h ) 2 } = 0

es decir,

P{ Z = 0 } = 0

y si obtenemos su complemento P {Z > 0} = 1 P{ Z = 0 }. Entonces

P{x} = e
x

con esto hemos demostrado el siguiente resultado.

Teorema 1.7. Z se distribuye como una exp() (exponencial con parmetro ),
independiente de t
0
.

As como para un proceso Bernoulli, tenemos los tiempos de xito, para un
proceso Poisson, tenemos el siguiente concepto totalmente equivalente, si {N
t
; t 0}
es un proceso Poisson con parmetro denotaremos por T
1
, T
2
, , los tiempos de
llegada, correspondientes a los sucesivos arribos.

Como vimos anteriormente para t
0
R
+
0 y Z el tiempo de espera hasta la
prxima llegada despus del tiempo t
0
,

P{x} = P {Z > x} = e
x
,

la probabilidad de que el tiempo de llegada del primer suceso sea mayor a x sera;

P { T
1
> x} = e
x

________________________________________________________________________________
si tomamos ahora a T
i 1
como t
0
el prximo arribo sera en el tiempo T
i
, el tiempo de
espera entre las llegadas i 1 e i , es T
i
T
i 1
es decir, Z = T
i
T
i 1 ,
luego entonces la
probabilidad de que la llegada entre i 1 e i sea mayor a x sera

P { T
i
T
i 1
> x} = e
x
,

que como podemos ver no depende de i, es decir, T
1
, T
2
T
1
, , T
i
T
i 1
son
independientes y todas se distribuyen como una exp(), as podemos enunciar el
siguiente resultado.

Teorema 1 8. Los tiempos entre llegadas se distribuyen como una exp() y son
independientes.
.
.

Al distribuirse T
i
T
i 1
como una exp(). Obtenemos tambin:

Corolario 1 8.1.
a) E[ T
i
T
i 1
] =
1

b) V[ T
i
T
i 1
] =
2
1

Teorema 1.9. El tiempo de llegada T
n
, n N tiene una distribucin gamma con
parmetros n y .

Demostracin.

Podemos expresar a T
n
como sigue

T
n
= T
1
+ T
2
T
1 +
+
T
n
T
n 1

es decir, T
n
la podemos expresar como la suma de n variables aleatorias exp() y como
los tiempo entre las llegadas son independientes, tenemos una suma de n variables
aleatorias independientes e idnticamente distribuidas como una exp(), lo que significa
que T
n
se distribuye como una gamma con parmetro n y .

Hasta el momento no hemos dicho nada sobre la distribucin de N
t
, definamos

P
m
{t} = P{ N
t
= m }.

Entonces

________________________________________________________________________________

P
0
{t } = P{ N
t
= 0 } = P {Z > t } = P{t}

y por eso

P
0
{t} = e
t

Ahora bien por los incisos 4 y 5 de la definicin 1.6
P
m
{t +h} = P
m
{t} P
0
{h} + P
m1
{t} P
1
{h} +

2
{ } { }
m
m i i
i
P t P h
=
a partir de i = 2, tenemos

P
m2
{ t } P
2
{ h } = P{ N
t
= m 2 }P{ N
h
= 2 }

por la propiedad 3 de la definicin 1.6

= P{ N
t
= m 2 }o( h ) ,

es decir, podemos hacer
2
{ } { }
m
m i i
i
P t P h
= o(h)
quedndonos

P
m
{t+h} = P
m
{t} P
0
{h} + P
m1
{t} P
1
{h} + o(h)

Usando la propiedad uno y dos de la definicin 1.6

P
m
{t+h} = P
m
{t}(1 h + o(h) ) + P
m1
{t}( h + o(h) ) + o(h)
P
m
{t+h} P
m
{t} = h P
m
{t} + h P
m1
{t} + o(h)

Entonces si dividimos todo entre h y tomamos el lmite cuando h 0

'
m
P {t} = P
m
{t} + P
m1
{t}
tambin sabemos que

P
m
{0} = P{ N
0
= m } = 0 para m = 1, 2, . ( 1.4 )

Ahora definamos

________________________________________________________________________________
Q
m
{t} = P
m
{t} e
t
. (1.5)

Entonces la ecuacin

'
m
P {t} = P
m
{t} + P
m1
{t}

usando la ecuacin 1.5 nos queda como

- e
t
Q
m
{t} + e
t
'
m
Q {t} = -e
t
Q
m
{t} + Q
m1
{t} e
t

dividiendo todo entre e
t
nos queda

- Q
m
{t} + {t} = - Q
'
m
Q
m
{t} + Q
m1
{t}

llegamos a

'
m
Q {t} = Q
m1
{t}.

Resolviendo recursivamente:

Q
0
{t} = P
0
{t} e
t
= e
t
e
t
= 1

'
1
Q {t} = Q
0
{t} = de aqu Q
1
{t} = t + c.

haciendo t = 0, en la ecuacin 1.5

Q
1
{0} = P
1
{0} e
0
= c

por la ecuacin 1.4 P
1
{0} = 0, tenemos que Q
1
{0} = 0 lo que significa que c = 0 as
que

Q
1
{t} = t

ahora
'
2
Q {t } = Q
1
{ t } = t
2

Q
2
{t} =
2 2
2
t
+ c

Por otro lado tenemos que Q
2
{0} = P
2
{0}e
0
= 0 , luego entonces c = 0 y nos queda
que

________________________________________________________________________________
Q
2
{t} =
2 2
2
t

y as podemos seguir sucesivamente hasta llegar a

Q
m
{t} =
!
m m
t
m
.

De la ecuacin 1.5

P
m
{t} =
!
m m
t
t
e
m

.

Es decir, que N
t
se distribuye como una Poisson con parmetro t ( Po( t )).

Teorema 1.10. N
t
se distribuye como una Po( t ).

Corolario 1 10.1.
a) E[ N
t
] = t
b) V[ N
t
] = t

Definicin 1.7.
t
N
t
es el tiempo de intensidad.

Del corolario 1.10.1 tenemos que el valor esperado del tiempo de intensidad es

t
N
E
t

(
(
t
= ,
se le llama intensidad.

Por otro lado tenemos por definicin que los incrementos de las llegadas son
independientes, es decir, para 0 = t
0
< t
1
< < t
i
< < t
k
= t , es
independiente de N
k k
t s t
N N
+

k k
t s t
N N
+

u
; u t
k
, para s, u 0 esto significa que es
independiente de . Ya que N
i
u
N N
t
se distribuye como una Po( t ) tenemos que
________________________________________________________________________________
k
t s t
N N
+

k
.
se distribuye Po( s ) esto significa que a cualquier tiempo empieza otro
proceso Poisson.

Corolario 1 10.2. Sea {N
t
; t 0 } un proceso Poisson con intensidad . Entonces para
alguna s, t 0,

P { N
t+s
N
t
= k | N
u
; u t } = P { N
t+s
N
t
= k }
=
( )

!
k
s
s e
k
, k = 0, 1, .

Teorema 1.11. Sea L
t
un proceso Poisson con intensidad y M
t
es un proceso Poisson
con intensidad , ambos procesos son independientes. Si definimos a N
t
= L
t
+ M
t
,
entonces N
t
es un proceso Poisson con intensidad + .

Demostracin.

Tenemos que probar que N
t
cumple con la definicin de un proceso Poisson,
probaremos nicamente la propiedad dos y la propiedad cuatro, la uno y la tres son
inmediatas a partir de probar la propiedad dos y la cinco es semejante a la cuatro.

P{ N( t, t + h ) = 1 } = P { L( t, t + h ) + M( t, t + h ) = 1 }
= P {{ L( t, t + h ) = 1 y M( t, t + h ) = 0 } { L( t, t + h ) = 0 y M( t, t + h ) = 1} }

como ambos eventos son excluyentes y adems, L
t
y M
t
, son independientes, tenemos
que

P{ N( t, t + h ) = 1 }
= P{L( t, t + h ) = 1}P{ M( t, t + h ) = 0} + P{L( t, t + h ) = 0}P{M( t, t + h ) = 1}
= ( h + o( h ) ) ( 1 h + o( h ) ) + ( 1 h+ o( h ) ) ( h + o( h ) )
= h - h
2
+ h o( h ) + o( h ) - o( h ) h + o( h )o( h ) +
h - h
2
+ h o( h ) + o( h ) - o( h ) h + o( h )o( h )

como podemos ver todo depende de o( h ) excepto h y h , es claro ver que para h
2

si tomamos a o( h ) = h
2
tenemos una funcin del tipo de o( h ) luego entonces

________________________________________________________________________________
P{ N( t, t + h ) = 1 } = ( + ) h + o( h )

con esto hemos probado que N
t
cumple la propiedad cuatro de un proceso Poisson.

Ahora hay que probar que N( t, t + h ) es independiente de { N
u
; u t }.
Como L
t
y M
t
, ambos son proceso Poisson cumplen que

L( t, t + h ) es independiente de { L
u
; u t } y
M( t, t + h ) es independiente de { M
u
; u t }

Por definicin L
t
y M
t
son independientes, lo que significa que

M( t, t + h ) es independiente de { L
u
; u t } y
L( t, t + h ) es independiente de { M
u
; u t }

y por consiguiente

L( t, t + h ) + M( t, t + h ) es independiente de { L
u
; u t } y { M
u
; u t }

y por tanto L( t, t + h ) + M( t, t + h ) es independiente de { L
u
+ M
u
; u t }, como se
quera probar.

1.4 Ejercicios.

Ejemplo1.7. Un cierto componente en un sistema, tiene un tiempo de vida cuya
distribucin puede considerarse como ( m ) = pq
m 1
, m 1 . Cuando el componente
falla es remplazado por uno idntico. Sea T
1
, T
2
, denota el tiempo de falla;

U
k
= T
k
T
k1

es el tiempo de vida del k-simo componente remplazado. Dado que los componentes
son idnticos,

P { U
k
= m} = pq
m 1
, m 1

y los componentes tienen tiempos de vida independientes, as tenemos que { T
k
} lo
podemos considerar los tiempos de xito de un proceso Bernoulli. Si sabemos que los
Captulo 1 1.4. Ejercicios 19
________________________________________________________________________________
tiempos de las tres primeras fallas ocurren en los tiempos 3, 12 y 14, Cul es el tiempo
esperado de la quinta falla?.

Por el teorema 1.6,

E [ T
5
| T
1
, T
2
, T
3
] = E [ T
5
| T
3
].

Si hacemos T
5
= T
3
+ ( T
5
T
3
), nos queda

E [ T
5
| T
3
] = E [ T
3
| T
3
] + E [T
5
T
3
| T
3
]
= E [ T
3
| T
3
] + E [T
5
T
3
]

Por el corolario 1.6.3, y haciendo T
5
T
3
= T
4
T
3
+ T
5
T
4

E [ T
5
| T
3
] = T
3
+
2
p
.

Lo que se quera calcular es:

E [ T
5
| T
1
, = 3,T
2
= 12, T
3
= 14] = 14 +
2
p
.

Ejemplo 1.8. Considrese el proceso estocstico como la trayectoria de una partcula, la
cual se mueve a lo largo de un eje con pasos de una unidad a intervalos de tiempo
tambin de una unidad. Supngase que la probabilidad de cualquier paso que se tome a
la derecha es p y el que se tome a la izquierda es q = 1 p. Suponemos tambin que
cualquier paso se da de manera independiente a cualquier otro. Este tipo de proceso es
una caminata aleatoria. Si la partcula esta en la posicin cero en el instante cero,
determnese la probabilidad de que se encuentre en la posicin k despus de n pasos.

Definimos {X
n
; n N } como las variable aleatorias independientes, donde
X
n
= 1 si la partcula da el paso a la derecha y X
n
= 1 si el paso fue a la izquierda, cada
una con probabilidad

P{ X
n
= 1} = p y P{ X
n
= 1} = q .

Sea { Z
n
} un proceso estocstico, donde Z
n
es la posicin de la partcula en el tiempo
n, este proceso estocstico tiene un espacio de estados discreto con valores en { - ,
, -1, 0, 1, 2, , }, el tiempo n {0, 1, 2, }. Para n = 0 tenemos que
inicialmente Z
0
= 0 . Despus de n pasos

________________________________________________________________________________
Z
n
= X
1
+X
2
+ +X
n

se desea determinar el valor de

P{ Z
n
= k | Z
0
= 0 }

sea la variable aleatoria

Y
i
= i = 1, 2, , n.
1 si 1
0 si
i
i
X
X
=
1
0

Es decir, la Y
i
= (X
i
+ 1 ), al ser las X
i
independientes tenemos que tambin los son
las Y
i
, es decir, { Y
n
; n N} define un proceso Bernoulli (ver la definicin 1.2 ) , si N
n

es el nmero de xitos tenemos de la definicin 1.3, que

N
n
=
1 2
0 si
si 1, 2,
n
n
Y Y Y n
=
+ + + =

en trminos de las X
i
tenemos que

N
n
= (X
1
+ 1 )+ (X
2
+ 1 )

+ + (X
n
+ 1 ) = (Z
n
+ n)

Luego entonces

P{ Z
n
= k | Z
0
= 0 } = P{ Z
n
= 2 N
n
n = k | Z
0
= N
0
= 0 }
= P { N
n
= ( k + n) | N
0
= 0 }

por el teorema 1.3

P{ Z
n
= k | Z
0
= 0 } = P { N
n
= ( k + n) }

=
( )
1
2
n
k n
| |
+
\ .
|
|
p
(k+n)
q
( n k)
, siempre que ( k + n) = {0, 1, ,n }.

Tambin podemos calcular

E [Z
n
] = E [ 2 N
n
n ]
= 2 E [ N
n
] n
= 2np n
________________________________________________________________________________
= 2np n(p+q)
= n(p q ) // p+q = 1 //

anlogamente
V[Z
n
] = V[ 2 N
n
n ] = 4npq

Ejemplo 1.9. Hay un restaurante por el cual, los vehculos solo pueden llegar a el por
medio de la carretera, supngase que la llegada de vehculos al restaurante por el lado
derecho sigue una proceso Poisson con parmetro y las llegadas por el lado izquierdo
siguen un proceso Poisson con parmetro , luego del teorema 1.11 sabemos que el
nmero de llegada al restaurante en vehculo sigue un proceso Poisson con parmetro
+.

Ejemplo 1.10. Un componente de un sistema, su tiempo de vida sigue una distribucin
exp(). Cuando ste falla es inmediatamente reemplazado por uno idntico; y cuando
ste falla es reemplazado inmediatamente por otro idntico, etc. Esto significa que los
tiempos de vida X
1
, X
2
, de los sucesivos componentes son independientes e
idnticamente distribuidos con distribucin

P { X
n
t } = 1 , t 0.
t
e

Supongamos que el costo de reemplazamiento del componente que falla es de
pesos y supongamos una tasa de inters de > 0, as que un peso gastado en un
tiempo t trado a valor presente es . Si T
t
e
1
, T
2

, , son los tiempos de las sucesivas
fallas, entonces T
1
= X
1
, T
2
= X
1
+ X
2
, ; el tiempo de la n-sima falla es T
n
, y el
valor presente del costo del reemplazamiento es . Sumando sobre todas las n,
obtenemos el valor presente del costo de todos los futuros reemplazamientos; esto es
-
n
T
e

C =

-
1
n
T
n
e
=

A nosotros nos interesa calcular el valor esperado de C, que es,

E[ C ] =
-
1
n
T
n
E e
=
(

calculemos la esperanza, por el teorema 1.8. sabemos que los tiempos entre llegadas,
son independientes e idnticamente distribuidas.

________________________________________________________________________________

-
n
T
E e
(

=
( ) ( )
2 1 1 1
-
E
n n
T T T T T
e e e

(

=
( ) ( )
2 1 1 1
-
E E E
n n
T T T T T
e e e

(
(

=
1
-
E
n
T
e
(

=
(

0
n
t t
e e dt

(
(

=
( )
0
n
t
e dt
+
(
(
(

haciendo un cambio de variable

=
0
+
n
u
e du
(
(
(

+
n
(
(

luego entonces

E [ C ] =
1
+
n
n
=
| |
|
\ .

=
0

+ +
n
n
=
| |
|
\ .

=
1
+
1
+
| |
|
|
|
\ .

=
1
+
+
| |
|
|
|
\ .

________________________________________________________________________________
=
+
+
| |
|
\ .

=

Captulo 2.

2.- Cadenas de Markov.

2.1. Introduccin.

Hay procesos estocsticos, tales que, la informacin de algn estado futuro
X
n+1
, dado que se sabe la informacin de los estados pasados X
0
, X
1
, , X
n 1
y del
estado presente X
n
, es independiente de los estados pasados y nicamente depende del
estado presente X
n
, por su forma de comportarse, estos procesos se aplican en diversas
reas, aqu analizaremos aquellos que tienen un espacio parametral de tiempo discreto T
y un espacio de estados E, finito o contable infinito.

Definicin 2.1. Un proceso estocstico {X
n
, n T }, con espacio parametral de
tiempo discreto T y un espacio de estados E finito o contable infinito es una cadena de
Markov si

P { X
n+1
= j | X
0
= i
0
, X
1
= i
1
, , X
n
= i

} = P { X
n+1
= j | X
n
= i } = p
ij
.

p
ij
es la probabilidad de transicin o de paso, del estado i en el tiempo n, al estado j en
el tiempo n +1, es decir, p
ij
es la probabilidad de transicin o de paso del estado i al
estado j en un paso.

Sin prdida de generalidad tomaremos a T y E como subconjunto de los
nmeros enteros.

Definicin 2.2. Si las p
ij
no dependen de n, se dice que la cadena de Markov es
homognea.

La definicin 2.2 nos dice que

P { X
n+1
= j | X
n
= i } = P { X
m+1
= j | X
m
= i } = p
ij
con m n.

supondremos siempre que p
ij
no dependen de n. A p
ij
=P { X
1
= j | X
0
= i } tambin
lo podemos poner como

Captulo 2 2.1. Introduccin 25
________________________________________________________________________________

P { X
1
= j | X
0
= i } = P
i
{ X
1
= j }

Las probabilidades de transicin p
ij
satisfacen

p
ij
0, i, j 0 y . 1
ij
j E
p

Podemos escribir todas las probabilidades de transicin del estado i en el tiempo
n, al estado j en el tiempo n +1, de la siguiente forma matricial

estados de X
n+1

estados de X
n
= P
00 01 02
10 11 12
20 21 22
0 1 2
0
1
2
p p p
p p p
p p p
| |
|
|
|
|
|
\ .

P es la matriz de probabilidades de transicin.

Definicin 2.3. Una matriz P se llama estocstica si cada uno de sus elementos, p
ij
0,
i, j 0 y , es decir cada uno de los elementos de la matriz es mayor o igual
que cero y en cada rengln su suma es uno.
1
ij
j E
p

Definicin 2.4. Una matriz P se llama doblemente estocstica si cada uno de sus elementos
p
ij
0 , i, j 0 , y 1
ij
j E
p
1
ij
i E
p

La definicin 2.4 nos dice que una matriz es doblemente estocstica si tanto sus
columnas como sus renglones suman uno.

Ejemplo 2.1. Supngase que la posibilidad de que el da de maana llueva slo depende
de la situacin climatolgica de hoy y no de das previos, adems supongamos que si
llueve hoy, la probabilidad de que maana llueva es y si hoy no llueve, la
probabilidad de que llueva maana es , esto quiere decir que si hoy llueve, entonces
maana no llover con probabilidad 1 y si hoy no llueve, la probabilidad de que
maana tampoco sera 1 , si consideramos que el estado 0 es que llueva y al estado 1

26 Cadenas de Markov Captulo 2
________________________________________________________________________________

0
0
1
0
que no llueva, claramente bajo los supuestos que hemos hecho ste ejemplo es una
cadena de Markov con la siguiente matriz de transicin,

P =
|

1
1

| |
\ .

Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad p
de ganar $1 o perder $1 con probabilidad 1 p , el jugador se retirar cuando se quede
sin dinero o bien cuando haya duplicado su dinero original $N.

Si consideramos X
n
como el dinero que tienen el apostador despus de la n-sima
vez que apuesta, X
n
claramente es una cadena de Markov, ya que lo que va apostar
nicamente depender del dinero que tenga actualmente y no de lo que haya jugado
antes, X
n
tienen espacio de estados E = {0, 1 , 2, , 2N}, sus probabilidades de
transicin son

p
ij
= p con j = i +1 , i = 1, 2, , 2N 1
p
ij
= 1 p con j = i 1, i = 1, 2, , 2N 1 y
p
00
= p
2N,2N
= 1

los estados 0 y 2N son estados absorbentes, este concepto lo definiremos ms adelante,
de aqu obtenemos la siguiente matriz de transicin

P =
|

1 0 0 0 0 0
1 0 0 0 0
0 1 0 0 0 0
0 0 0 0 1 0
0 0 0 0 0 0
p p
p p
p p
| |
|
|
|
|
|
|
|
\ .

Ejemplo 2.3. Sea {X
n
; n = 0, 1, } definido por

X
n
=
1 2
0 si
si 1, 2,
n
n
Y Y Y n
=
+ + + =

________________________________________________________________________________
con Y
1
, Y
2
, , Y
n
, variables aleatorias discretas, independientes e idnticamente
distribuidas, con distribucin de probabilidad { p
k
; k = 0, 1, 2, }. Dado que
X
n+1
=X
n
+ Y
n+1
, tenemos que,

P{X
n+1
= j | X
0
, X
1
, , X
n
} = P{Y
n+1
= j X
n
| X
0
, X
1
, , X
n
} =
n
j X
p

Claramente nicamente depende de X
n
. As tenemos que el proceso {X
n
, n T }
define una cadena de Markov con probabilidades de transicin

p
ij
= P{X
n+1
= j | X
n
= i} =p
ji

y matriz de transicin

P = |
0 1 2 3
0 1 2
0 1
0
0
0 0
0 0 0
p p p p
p p p
p p
p
| |
|
|
|
|
|
\ .

Teorema 2.1. Sea {X
n
; n T , n 0} una cadena de Markov, para todo m, n T , con
m, n 0 y i
0
, i
1
, , i
m
E

P{ X
n+1
= i
1
, , X
n+m
= i
m
| X
n
= i
0
} =
0 1 1 2 1 m m
i i i i i i
p p p

Demostracin.

P{ X
n+1
= i
1
, , X
n+m
= i
m
| X
n
= i
0
}
= P{ X
n+2
= i
2
, , X
n+m
= i
m
| X
n
= i
0
, X
n+1
= i
1
} P{ X
n+1
= i
1
| X
n
= i
0
}

por ser {X
n
; n T , n 0} una cadena de Markov y por definicin de probabilidad de
transicin
= P{ X
n+2
= i
2
, , X
n+m
= i
m
|X
n+1
= i
1
}
0 1
i i
p
repitiendo el primer paso
= P{ X
n+3
= i
3
, , X
n+m
= i
m
|X
n+1
= i
1
, X
n+2
= i
2
} P{ X
0 1
i i
p
n+2
= i
2
|X
n+1
= i
1
}
= P{ X
n+3
= i
3
, , X
n+m
= i
m
|X
n+2
= i
2
}
0 1
i i
p
1 2
i i
p

________________________________________________________________________________

.
} =
y as sucesivamente hasta llegar a
P{ X
n+1
= i
1
, , X
n+m
= i
m
| X
n
= i
0
} =
0 1 1 2 1 m m
i i i i i i
p p p

Sea ( i ) = P{ X
0
= i } la distribucin inicial de X
n
.

Corolario 2 1.1. Sea {X
n
; n T , n 0} una cadena de Markov, la ley de distribucin
de probabilidades del vector aleatorio ( X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
) depende de las
probabilidades de transicin p
ij
y de la distribucin inicial, es decir,

P{ X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
} = (i
0
)
0 1 1 2 1 n n
i i i i i i
p p p

Demostracin.

P{ X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
} = P{ X
1
= i
1
, , X
n
= i
n
| X
0
= i
0
} P{ X
0
= i
0
}

Del teorema 2.1 y de la definicin de distribucin inicial

P{ X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
}= (i
0
)
0 1 1 2 1 n n
i i i i i i
p p p

Los para n, i, j 0, son los elementos de la matriz .
n
ij
p
n
P

Teorema 2.2. Sea {X
n
; n T , n 0} una cadena de Markov, para m T , con m 0

P{ X
n+m
= j | X
n
= i} =
m
ij
p

para todo i, j E .

Demostracin.

Demostremos por induccin.

Para m = 1, por definicin, esto es claro.
Por hiptesis de induccin se cumple para m = l, ahora verifiquemos si se
cumple para m = l + 1.

P{ X
n+l +1
= j | X
n
= i } =
1
{ , |
n l n l n
k E
P X j X k X i
+ + +
= =

________________________________________________________________________________
=
1
{ | , } { |
n l n l n n l n
k E
P X j X k X i P X k X i
+ + + +
= = = =
} =
} =

}
} =
=
1
{ | } { |
n l n l n l n
k E
P X j X k P X k X i
+ + + +
= = =
por hiptesis de induccin

= =
l
kj ik
k E
p p
l
ik kj
k E
p p
=
1 l
ij
p
+

As que para una cadena de Markov, la probabilidad de transicin en m pasos se
define como

P{ X
n+m
= j | X
n
= i} = .
m
ij
p

Teorema 2.3. Sea {X
n
; n T , n 0} una cadena de Markov

P{ X
n
= j } =
0
{ }
n
ij
i E
P X i p
para todo j E .

Demostracin.
P{ X
n
= j }=

0
{ ,
n
i E
P X j X i
= =
=
0 0
{ } { |
n
i E
P X i P X j X i
= =

por el teorema anterior

=
0
{ }
n
ij
i E
P X i p

Teorema 2.4. ( Ecuacin de Chapman Kolmogorov ) Sea {X
n
; n T , n 0} una
cadena de Markov, para todo m, n T , con m, n 0 e i, j E

n m
ij
p
+
=
n m
ik kj
k E
p p


________________________________________________________________________________

}
}
} =
Demostracin.

= P { X
n m
ij
p
+
n+m
= j | X
0
= i }
=
0
{ , |
n m m
k E
P X j X k X i
+
= = =
=
0 0
{ | , } { |
n m m m
k E
P X j X k X i P X k X i
+
= = = = =
= P X

0
{ | } { |
n m m m
k E
j X k P X k X i
+
= = =
=

m n
ik kj
k E
p p

Ejemplo 2.4. Del ejemplo 2.1, consideremos que = 0.7 (la probabilidad de que maana
llueva dado que hoy llueve) y = 0.4 (la probabilidad de que maana llueva dado que
hoy no llueva), entonces la matriz de transicin es:

P =
|

0.7 0.3
0.4 0.6
| |
\ .

Cul es la probabilidad de que llueva en 4 das dado que hoy est lloviendo?

Tenemos que calcular , para obtenerlo calculemos la matriz de transicin ,
luego entonces
4
00
p
4
P

2
P = P P = y
0.61 0.39
0.52 0.48
| |
|
\ .

= =
4
P
2
P
2
P
0.5749 0.4251
0.5668 0.4332
| |
|
\ .

por tanto la probabilidad de que llueva dentro de 4 das dado que est lloviendo hoy es
0.5749.

Captulo 2 2.2. Clasificacin de estados. 31
________________________________________________________________________________

2.2. Clasificacin de estados.

Definicin 2.5. Si la probabilidad es no cero para alguna n 1 se dice que el estado
i lleva al estado j o tambin que j es alcanzado o accesible desde el estado i se denota por
i j.
n
ij
p

Definicin 2.6. Se dice que los estados i, j se comunican si i j y j i , se denota
por i j .

Definicin 2.7. Una cadena de Markov es irreducible si todos los estados se comunican.

La definicin anterior nos dice que una cadena de Markov es irreducible si cada
estado es alcanzado desde cualquier otro, en algn nmero de pasos.

Teorema 2.5. La comunicacin es simtrica y transitiva es decir para estados i, j y k,

1) i j j i
2) si i j y j k i k

Demostracin.

1) se cumplen inmediatamente a partir de la definicin, probemos 2).

Si i j entonces existe n
1
> 0, > 0 y
1
n
ij
p
j k entonces existe n
2
> 0 , > 0
2
n
jk
p

usando Chapman Kolmogorov

1 2
n n
ik
p
+
= >0,
1 2
n n
ir rk
r E
p p
1
n
ij
p
2
n
jk
p

lo que significa que si existe un n
3
tal que

3
n
ik
p > 0 .


________________________________________________________________________________

Definicin 2.8. Un estado j que se comunica nuevamente con l, j j , se dice que es
un estado de retorno, es decir, j es un estado de retorno si >0, para alguna n 1.
n
jj
p

Definicin 2.9. Dado un estado j una clase de comunicacin E
j
es definida como el
conjunto de todos los estados k los cuales se comunican con j; es decir

k E
j
si, y slo si k j.

Podra pasar que E
j
sea un conjunto vaco, es decir, que puede existir un estado j
que no se comunica ni con el mismo, j es un estado de no retorno.
Teorema 2.6. Si E
1
y E
2
son dos clases de comunicacin, entonces E
1
y E
2
son
disjuntos.

Demostracin.

Si para un estado que est tanto en E
1
como en E
2
, significa que E
1
= E
2
,
habremos probado que son disjuntos.
Supongamos que E
1
y E
2
tienen un estado i en comn. Sean j y k dos estados
tales que E
1
= E
j
y E
2
= E
k
, probemos que E
j
= E
k
.

Verifiquemos primero que E
j
E
k
sea h E
j
, dado que h j y j i ,
entonces h i, como i k entonces h k, se cumple que E
j
E
k
,, anlogamente
podemos probar que E
k
E
j
, lo que significa que E
1
= E
2
cuando tienen un estado en
comn.

Con la definicin de clase de comunicacin, tenemos que una cadena de Markov
es irreducible si la cadena consiste de una sola clase de comunicacin.

Podemos entonces decir que todo estado j en una cadena de Markov o bien
pertenece a una clase de comunicacin o es un estado de no retorno. Podemos
enunciar el siguiente resultado.

Teorema 2.7. El conjunto de estados E de una cadena de Markov puede escribirse
como la unin de un finito o contable infinito, de conjuntos disjuntos E
r
,

E = E
1
E
2
E
r
y E
i
E
j
= para i j,

Donde cada conjunto E
r
es una clase de comunicacin o contiene exactamente un
estado de no retorno.

________________________________________________________________________________
Cuando un proceso entra a un conjunto C de estados y ya no puede salir nunca
de l, se dice que el conjunto C de estados es cerrado, un conjunto cerrado puede
contener uno o ms estados, definamos formalmente a un conjunto cerrado.

Definicin 2.10. Un conjunto C de estados se dice que es cerrado si = 0, para alguna
n 1 y para todo i C y j C.
n
ij
p

Definicin 2.11. j es un estado absorbente si, = 1 y = 0 para toda n 1 y para
todo j k.
n
jj
p
n
jk
p

La definicin anterior nos dice que, si un conjunto cerrado C contiene solamente
un estado, entonces se le llama absorbente.

A partir de las definiciones es claro que si un proceso no contiene conjuntos
cerrados ser irreducible.

Definicin 2.12. El periodo d( i ) de retorno al estado i es definido como

d( i ) := m.c.d. {m : > 0 }.
m
ii
p

Definicin 2.13. El estado i es aperidico si d( i ) = 1 y peridico si d( i ) >1.

Definicin 2.14. El tiempo de llegada a un estado j E, se define como

T
j
= inf {n 1 | X
n
= j }.

La probabilidad de empezar en el estado i y llegar al estado j en m pasos es,
=P
m
ij
f
i
{T
j
= m }.

Definamos a
f
ij
= P
i
{ T
j
< } = =
1
{ }
i j
m
P T m
=
=
1
m
ij
m
f

como la probabilidad de que el proceso est en i y alcance alguna vez j.

f
ij
la podemos calcular teniendo en cuenta las siguientes opciones:

1) que de i pase a j en el primer paso con probabilidad p
ij
o
2) que la primera transicin sea a k {E j } y despus eventualmente pasar a j.


________________________________________________________________________________

, 2,

De esto, podemos enunciar el siguiente resultado.

Teorema 2.8. Para cada i, j E,

f
ij
= p
ij
+ .
{ }
ik kj
k E j
p f

Del teorema anterior podemos tambin deducir

m
ij
f =

{ }
1
1
2
ij
m
ik kj
k E j
p m
p f m

n
; n T , n 0} una cadena de Markov, definimos a

N
j
= { }
0
k
k
I X j
=
=

como el nmero de llegadas al estado j

De la definicin anterior P
i
{N
j
= m } es la probabilidad, de estando en el estado
i visitemos m veces el estado j.

Teorema 2.9. Sea {X
n
; n T , n 0} una cadena de Markov entonces

1) P
j
{N
j
= m } =
( )
( 1 f
1 m
jj
f

jj
) , m = 1, 2,
2) P
i
{N
j
= m }=
para i j.
( ) ( )
1
1 0
1 1
ij
m
ij jj jj
f m
f f f m

Hacemos notar que significa que f
( )
1 m
jj
f

jj
est elevado a la potencia m 1 , que es
muy diferente a como definimos .
m
jj
f

Demostracin.

Demostremos 1), el que suceda el evento N
j
= m es equivalente a que ocurra
< , < , , T < , T = , donde j
1
j
T
2
j
T
m
j
1 m
j
+
m
representa la m-sima llegada al
estado j.
________________________________________________________________________________

El tiempo entre las llegadas es independiente es decir,

{T < }, { T < },{T < }, , { T T = }
1
j
2
j
T
1
j
3
j
2
j
T
1 m
j
+ m
j

son independientes, esto se debe a que Markov implica independencia de llegadas de j a
j, sus respectivas probabilidades asociadas son:

1, f
jj
, f
jj
, , 1 f
jj

la primera es uno porque ya estamos en j, luego entonces tenemos que

P
j
{ N
j
= m } = f
jj
f
jj
( 1 f
jj
) =
( )
( 1 f
1 m
jj
f

jj
).

Ahora demostremos 2), para m = 0, significa que j nunca ser alcanzado desde i,
es decir

P
i
{N
j
= 0 }= P
i
{T
j
= } = 1 P
i
{T
j
< } = 1 f
ij
.

Para m 0, la diferencia con el inciso anterior es que ya estamos en el estado j ( con
probabilidad uno ) luego entonces slo hace falta considerar la probabilidad de pasar
de i a j por primera vez, esto suceder con probabilidad

P
i
{T
j
< } = f
ij

tenemos entonces que
P
i
{N
j
= m }= f
ij ( )
1 m
jj
f

( 1 f
jj
)

Definicin 2.16.
1) j es recurrente si P
j
{ T
j
< } = 1 , significa que si estamos en el estado j, la
probabilidad de que el proceso regrese alguna vez al estado j es uno.
2) Si no es recurrente se dice que es transitorio. Es decir P
j
{ T
j
= } > 0.
3) Si j es recurrente y E
j
( T
j
) = se dice que j es cero recurrente o recurrente nulo.
4) Si j es recurrente y E
j
( T
j
) < se dice que es recurrente positivo.

Si f
jj
= 1 entonces j es recurrente, que f
jj
= 1 significa que tendremos un nmero
infinito de llegadas a j, P{N
j
= } = 1 y que para todo m, P{ N
j
= m }= 0, tambin
podemos ver que E
j
( N
j
) = .


________________________________________________________________________________

Si f
jj
<1, tenemos que P
j
{ T
j
< } <1, lo que significa que P
j
{ T
j
= } > 0, esto
significa que existe la probabilidad de nunca regresar a j, es decir, que j es transitorio.
Tambin podemos ver que si f
jj
<1, del teorema 2.9 es claro que la distribucin de N
j

cuando empieza en j es una geomtrica con parmetro 1 f
jj
.

Teorema 2.10. Si f
jj
<1 entonces N
j
iniciando en j se distribuye como una geomtrica
con parmetro 1 f
jj
.

Definicin 2.17. Sea R, la matriz con elementos r
ij
= E
i
( N
j
) con i, j E, a la matriz
R se le llama matriz potencia.

r
ij
= E
i
( N
j
) = { }
0
i n
n
E I X j
=
| |
=
|
\ .
= { }
0
i n
n
P X j
=
=
=
n
ij
n o
p
en forma matricial nos quedara que

R = I + P + +
2
P

Teorema 2.11. 1) r
jj
=
1
1
jj
f

2) r
ij
= f
ij
r
jj
con i j.

Demostracin.

El inciso 1 sale de que la distribucin de N
j
iniciando en j es una distribucin
geomtrica, su valor esperado es

E
j
( N
j
) =
1
1
jj
f

Probemos ahora 2,

________________________________________________________________________________
r
ij
=
1
{ }
i j
m
mP N m
=
=
=
( )
1
1
(1 )
m
ij jj jj
m
mf f f
= f
ij ( )
1
1
(1 )
m
jj jj
m
m f f

= f
ij
E
j
( N
j
)
= f
ij
r
jj

Podemos decir que j es recurrente si, y slo si E
j
( N
j
) = y j es transitorio si, y
slo si E
j
( N
j
) <.

Teorema 2.12.
1) Si j es transitorio o recurrente nulo, entonces para todo i E

lim
n
ij
n
p
= 0.

2) Si j es recurrente positivo y aperidico, entonces

lim
n
jj
n
p
= ( j ) > 0
y tambin

= f lim
n
ij
n
p
ij
( j )
para todo i E.

Demostracin.

Aqu probaremos el caso cuando j es transitorio, para una demostracin de j
recurrente nulo y el inciso 2 puede encontrarse en inlar [ 1975, p. 301].

Si j es transitorio entonces r
jj
= E
j
( N
j
) < , entonces

r
ij
= f
ij
r
jj
< r
jj
<


________________________________________________________________________________

r
ij
=
<
0
n
ij
n
p
=
luego entonces r
ij
es finito solamente si = 0. lim
n
ij
n
p

Teorema 2.13. Si j es recurrente y j k entonces k j y f
kj
= P
k
{T
j
< } = 1 .

Demostracin.

j k significa que se puede pasar de j a k sin visitar a j, a la probabilidad de
este evento le asignamos > 0. Sean:

A = nunca visitar a j desde j y
B = Caminar de j a k y nunca regresar a j desde k

por ser B un caso especial de A tenemos que P{ A } P { B }, ahora bien

P{A} = 1 f
jj
y P {B} = ( 1 f
kj
)

Por ser j recurrente f
jj
= 1, entonces

0 = 1 f
jj
= P{A} P{B} = ( 1 f
kj
) 0

entonces, ( 1 f
kj
) = 0
como > 0, entonces 1 f
kj
= 0 , es decir, f
kj
= 1.

Significa tambin que k j .

Teorema 2.14. Si j es recurrente y j k entonces k es recurrente.

Demostracin.

Si j k significa que existe un s > 0 tal que > 0 , del teorema anterior
como j es recurrente y j k entonces k j, es decir, existe un m > 0 tal que >0 ,
es decir que > 0.
s
jk
p
m
kj
p
s
jk
p
m
kj
p

Usando Chapman Kolmogorov
________________________________________________________________________________

m n l
kk
p
+ +
= P
k
{ X
m+n+l
= k} =
m n l
ki ik
i E
p p
+

considerando un caso particular de
n l
ik
p
+

m n l
ki ik
i E
p p
+

m n l
ki ii ik
i E
p p p

ya que j E, tomamos el elemento j de la suma, nos queda que

m n l
ki ii ik
i E
p p p

m n l
kj jj jk
p p p

es decir, que
m n l
kk
p
+ +
(1)
m n l
kj jj jk
p p p

por otro lado
r
kk
= E
k
( N
k
) = { }
0
k n
n
P X k
=
=

0
n
kk
n
p
=

n
kk
n m l
p
= +

0
n m l
kk
n
p
+ +
=
por (1)

0
n m l
kk
n
p
+ +
= 0
m n l
kj jj jk
n
p p p
=
0
m l n
kj jk jj
n
p p p
= E
m l
kj jk
p p
j
( N
j
)

como j es recurrente E
j
( N
j
) = , luego entonces E
k
( N
k
) = , luego entonces k es
recurrente.

________________________________________________________________________________

Teorema 2.15. Si j es recurrente, entonces existe un conjunto C
j
cerrado e irreducible
que contiene a j.

Demostracin.

Sea C
j
:= { j E, j i } , como j es recurrente entonces si j i entonces por
el teorema 2.13 i j entonces C
j
:= { i E, j i }.

Con la demostracin de este teorema y el teorema 2.6. podemos enunciar el siguiente
resultado.

Teorema 2.16. Los estados recurrentes se dividen en una manera nica en conjuntos
cerrados e irreducibles.

Teorema 2.17. Si {X
n
; n T , n 0} es una cadena de Markov, con E irreducible
entonces.
1) Todos los estados son recurrentes.
2) Todos los estados son transitorios.

Demostracin.

1) Por el teorema anterior y el teorema 2.14 si j es recurrente y E es irreducible,
entonces todo elemento de E debe ser recurrente.

2) Por el teorema 2.14, sabemos que para j, k E, si j es recurrente y j k entonces k
es recurrente, negando ambas proposiciones, tenemos que, si k es transitorio entonces j
es transitorio, k j .

Teorema 2.18. Si {X
n
; n T , n 0} es una cadena de Markov, con E irreducible
entonces. Todos los estados tienen la misma periodicidad.

Demostracin.

Sea k un estado con periodicidad d( k ), como E es irreducible k j, entonces
existe s>0 y r > 0, tal que > 0 y > 0 , ahora bien,
r
jk
p
s
kj
p

s r
kk
p
+
> 0
s
kj
p
r
jk
p

________________________________________________________________________________
para el estado j, sea d( j ) su periodicidad, sea n un mltiplo de d( j ), supongamos que n
no es mltiplo de d( k ), luego entonces para

s r n
kk
p
+ +

s
kj
p
n
jj
p
r
jk
p

como n no es mltiplo de d( k ), entonces = 0, lo que significa que
=0, pero como > 0 entonces =0, es una contradiccin ya que n
es un mltiplo de d( j ), entonces, por tanto d( k ) = d( j ).
s r n
kk
p
+ +
n
jj
p
s
kj
p
n
jj
p
r
jk
p
s
kj
p
r
jk
p

Teorema 2.19. Si {X
n
; n T , n 0} es una cadena de Markov, y sea C < un
subcojunto de estados irreducible, entonces no tiene estados transitorios, ni recurrentes
nulos.

Demostracin.

Demostremos que C no puede tener estados transitorios, el caso de recurrente
nulo es totalmente anlogo.
Sea j un estado transitorio por el teorema anterior significa que todos los estados en C
son transitorios, ahora del teorema 2.12, si j es transitorio, entonces para algn i C

lim
n
ij
n
p
= 0

para cada i C tenemos que = 1, entonces
n
ij
j C
p

1= = =0 lim
n
n
ij
j C
p
lim
n
ij
n
j C
p

es una contradiccin por lo que j no puede ser transitorio.

Ejemplo 2.5. Sea P la siguiente matriz de transicin.

P =
|
|

0.8 0 0.2 0
0 0 1 0
1 0 0 0
0.3 0.4 0 0.3
| |
|
|
|
\ .


________________________________________________________________________________

Dado que p
13
>0 y p
31
>0 y p
12
= p
14
= p
32
= p
34
= 0, los estados {1, 3} son cerrados e
irreducibles, son recurrentes positivos por que son finitos, esto es por el teorema 2.19,
los estados 2 y 4 son transitorios.

2 4
3 1
0.8
0.3 0.4
1
1
0.2
0.3

Obtengamos los elementos de la matriz R, sea {X
n
} una cadena de Markov ,
con espacio de estados E y matriz de transicin P.

Si j es un estado recurrente significa que:

f
jj
= 1 r
jj
= ,

ahora bien, si i es cualquier estado, entonces

i j f
ij
> 0 r
ij
= f
ij
r
jj
=

y si
i j f
ij
= 0 r
ij
= 0.

Si j es transitorio e i es recurrente, tenemos que i j por que si i j e i es
recurrente entonces j es recurrente, caeramos en una contradiccin, as que

r
ij
= 0 porque f
ij
= 0.

Por ltimo analicemos el caso en el que i, j son transitorios, sea D el conjunto
de estados transitorios, sean Q y S las matrices que se obtienen a partir de P y R
respectivamente, al eliminar todos los renglones y columnas correspondientes a los
estados recurrentes, es decir, Q y S tienen elementos

q
ij
= p
ij
y s
ij
= r
ij
, con i, j D.

la matriz de probabilidades de transicin la podemos particionar de la siguiente manera.

________________________________________________________________________________
P =
|

| |
\ .
K 0
L Q

de manera similar tendramos, para m 0 en los enteros

m
P =
|
|
,
| |
\ .
m
m
m
K 0
L Q

aqu es la potencia m de K similar para Q pero L
m
K
m
es nicamente una matriz. Por
definicin

R = =
|
|
=
|
|

m
0 m
P
m
0
m
m
0 0
m
m m
=

= =
| |
|
|
|
\ .

K 0
L Q
| |
\ .
'
'
K 0
L S

con S = = I + Q + +
m
0 m
Q
2
Q

tenemos que,

SQ = Q + + + = QS
2
Q
3
Q
SQ = QS = S I
( I Q )S = I y S(I Q) = I

Si D es finita entonces S es la inversa de I Q . Si no es finita podemos tener muchas
soluciones.

Teorema 2.20. S es la solucin minimal de ( I Q )Y = I, Y 0.

Demostracin.

Hay que demostrar que si hay otra solucin Y de ( I Q )Y = I entonces Y S,
sea Y una solucin, Y 0

( I Q )Y = I Y = I + QY

________________________________________________________________________________

.
= I + Q( I + QY)
= I + Q + Q Y
2

y sustituyendo Y sucesivamente

Y = I + Q + Q + + Q + Q Y,
2 n n+1

tenemos que

Y I + Q + Q + + Q
2 n

S = Y.
m
0 m
Q

Si Y es una solucin y S es otra solucin, entonces , H = Y S 0, y

H = Y S = I + QY I QS
= Q (Y S )
= QH
cada columna h de H satisface

h = Qh 0

por otro lado, de S

s
ij
= f
ij
r
jj
r
jj
<

porque i, j son estados transitorios, la nica solucin de ( I Q )Y = I es S, si, y slo
si, la solucin de h = Qh es h = 0.

Corolario 2 20.1. S es la nica solucin a ( I Q )Y = I, Y 0 si, y slo si h = Qh,
0 h 1 implica que h = 0 .

Ejemplo 2.6. X es una cadena de Markov con espacio de estados E = { 1, 2 , 3, 4, 5, 6,
7, 8} y matriz de transicin

________________________________________________________________________________
P =
|
|

0.4 0.3 0.3 0 0 0 0 0
0 0.6 0.4 0 0 0 0 0
0.5 0.5 0 0 0 0 0 0
0 0 0 0 1 0 0 0
0 0 0 0.8 0.2 0 0 0
0 0 0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0 0.2
0.1 0 0.3 0 0 0.6 0 0
| |
|
|
|
|
|
|
|
|
|
\ .

o bien,
P =
0.4 0.3 0.3
0 0.6 0.4 0 0
0.5 0.5 0
0 1
0 0
0.8 0.2
0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0.2
0.1 0 0.3 0.6 0 0
| |
|
|
|
|
|
|
|
|
|
|
|
\ .
|

Como podemos ver los estados 1, 2, 3 forman un conjunto irreducible, de
estados recurrentes positivos, los estados 4 y 5 forman otra clase de conjunto
irreducible de estados recurrentes positivos y los estados 6, 7, y 8 son estados
transitorios, los cuales nicamente pueden ir a los estados 1, 2 y 3, no tienen
comunicacin con los estados 4 y 5.

Calculemos R, para j recurrente e i cualquier estado tenemos que r
ij
= , en
caso de que i j , tenemos que r
ij
= 0, nicamente nos hace falta calcular el caso en
el que tanto i como j son estados transitorios (nos hace falta calcular la submatriz
inferior del lado derecho), obtengamos Q que se obtienen a partir de P, al eliminar
todos los renglones y columnas correspondientes a los estados recurrentes

Q =
0.4 0.6 0
0 0 0.2
0.6 0 0
| |
|
|
|
\ .


________________________________________________________________________________

tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R,
al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)
es la inversa de I Q

S = (I Q )
1
=
|
|
=
1
0.6 0.6 0
0 1 0.2
0.6 0 1
| |
\ .
125 75 15
1
15 75 15
66
75 45 75
| |
|
|
|
\ .
,

as tenemos que la matriz R para esta cadena de Markov es

R =
125 75 15
66 66 66
15 75 15
66 66 66
75 45 75
66 66 66
0 0
0 0
0
| |

|

|
|

|
|

|
|

|
|

|
|

\ .
|

Ahora calculemos los valores para la matriz F. Si i, j son recurrentes y
pertenecen al mismo conjunto cerrado e irreducible entonces f
ij
= 1.

Si i es recurrente y j es transitorio entonces f
ij
= 0.

Si i, j son recurrentes, i E
1
y j E
2
, E
1
E
2
= entonces f
ij
= 0.

Si i, j son transitorios, entonces r
ij
< , del teorema 2.11.1

r
jj
=
1
1
jj
f
r
jj
( 1 f
jj
) = 1
r
jj
1 = r
jj
f
jj

f
jj
= 1
1
jj
r

y del teorema 2.11.2
________________________________________________________________________________

r
ij
= f
ij
r
jj
f
ij
=
ij
jj
r
r

Teorema 2.21. Si i es transitorio y C es un conjunto cerrado e irreducible de estados
recurrentes

f
ij
= f
ih
para todo j, h C.

Demostracin.

Para j, h C , f
jh
= f
hj
= 1 , as si la cadena llega a un estado de C, ste tambin
visita todos los otros estados, entonces f
ij
= f
ih
.

Sea C
1
, C
2
, una clase de conjuntos cerrados e irreducibles y D es un
conjunto de estados transitorios, donde P
1
, P
2
, son las matrices de transicin
correspondientes a los conjuntos C
1
, C
2
, y Q es la que est formada por los
estados transitorios y Q
1
, Q
2
, son las matrices de transicin de los estados
transitorios a los estados de la clase de conjuntos cerrados e irreducibles C
1
, C
2
,
respectivamente, la matriz P nos queda de la siguiente forma

P = .
1
2
3
1 2 3
| |
|
|
|
|
|
|
\ .
P 0 0 0
0 P 0 0
0 0 P 0
Q Q Q Q

Como estamos interesados nicamente en saber cuando el conjunto C
j
ser alcanzado,
sin prdida de generalidad podemos considerarlos como estados absorbentes es decir
cambiemos a P
1
, P
2
, por 1, 1, , as nuestra matriz de transicin P la podemos
rescribir de la siguiente forma

P
= |
1 2 3
1
1
1
| |
|
|
|
|
|
\ .
0 0 0
0 0
0 0 0
b b b Q
0


________________________________________________________________________________

donde el i-simo elemento de b
j
( b
j
es un vector columna ) es, la probabilidad de
estando en el estado transitorio i, llegue al conjunto C
j
,

b
j
( i ) = , con i D
j
ik
k C
p
o ms simple

P
=
|

| |
\ .
I 0
B Q

con B = ( b
1
, b
2
, , b
m
), los elementos de B son b
ij
= , de aqu se sigue que
j
ik
k C
p

n
P
=
| |
|
\ .
n
n
I 0
B Q

donde B
n
=(I + Q +
2
Q

+ + )B, los elementos de la matriz B
n-1
Q n
ij
b
n
, nos
indican la probabilidad de que en n pasos vayamos desde el estado i a C
j
o bien es la
probabilidad que desde el estado i el proceso entre al C
j
en un tiempo n o antes es decir
( lo podemos ver como X
0
= i queremos llegar a X
n
= C
j
)

n
ij
b = P
i
{ T
j
< n +1}

entonces la probabilidad de que alcancemos a C
j
a partir del estado transitorio i en
algn momento sera

P
i
{ T
j
< } = P lim
n
i
{ T
j
n +1 }
= lim
n
1 n
ij
b +
B lim
n
n+1
= lim
n
k 0
n
=
| |
|
\ .
k
Q B
=
|

k 0
=
| |
\ .
k
Q B
=SB

luego entonces si i es transitorio, f
ik
= (sb)
ij
, para todo k C
j
, por el teorema anterior
podemos definir
________________________________________________________________________________

g
ij
= f
ik
= (sb)
ij

como la probabilidad de alcanzar el conjunto C
j
desde el estado transitorio i.

De todo lo anterior podemos concluir que para cada estado transitorio i y una clase
recurrente C
j
, la probabilidad de alcanzar el conjunto C
j
desde el estado transitorio i, es

g
ij
= f
ik
= (sb)
ij
para todo k en C
j
.

Lema 2.1. Sea i un estado transitorio desde el cul nicamente un nmero finito de
estados transitorios puede ser alcanzado. Adems, supngase que hay nicamente una
clase C de estados recurrentes, que puede ser alcanzado desde i. Entonces f
ij
= 1 para
todo j C.

Demostracin.

Al existir nicamente un conjunto de estados recurrentes que son alcanzados a
partir del conjunto de estados transitorios D, tenemos que la matriz B se convierte en
un vector columna, por definicin , es decir, si 1 es el vector columna
formado por puros unos, por la definicin
1
ij
j E
p

P 1 = 1

tenemos que, B + Q1 = 1 , o bien B = 1 Q1 , entonces,

B
n
=(I + Q +
2
Q

+ + )B
n-1
Q
=(I + Q + Q
2

+ + Q )( 1 Q1 )
n-1
=I 1+ Q1 + 1+ + Q 1 Q1 1 Q 1
2
Q
n-1 2
Q
n
= 1 1
n
Q

As si tomamos el lmite

lim
n
B
n
= ( 1 Q 1 ) lim
n
n

dado que < , entonces = 0, entonces el lmite anterior nos queda
como B
n
Q lim
n
n
Q
lim
n
n
= 1 , obtenemos

________________________________________________________________________________

g
ij
= f
ik
= 1, para todo k C.

Ejemplo 2.7. Ahora calculemos la matriz F de la cadena del ejemplo 2.6, si i, j son
recurrentes y pertenecen a la misma clase entonces f
ij
= 1, cuando pertenecen a
diferentes clases f
ij
= 0, si i es recurrente y j es transitorio f
ij
= 0. Si i, j son transitorios
usamos los resultados de R para calcular
f
jj
= 1
1
jj
r
, f
ij
=
ij
jj
r
r

por ejemplo sea i = 6, j = 7, del ejemplo 2.6 r
67
=
75
66
y r
77
=
75
66
luego entonces
f
67
= 1.
Y usando el lema 2.1 para el caso en que i es transitorio y j es recurrente f
ij
= 1, as

F =
0.472 1 0.20
0.12 0.12 0.20
0.60 0.60 0.12
1 1 1
1 1 1 0 0
1 1 1
1 1
0 0
1 1
1 1 1
1 1 1 0
1 1 1
| |
|
|
|
|
|
|
|
|
|
|
|
\ .
|

2.3 Distribucin estacionaria.

n
; n T , n 0} una cadena de Markov, con matriz de
transicin P, es una distribucin estacionaria con respecto a P o {X
n
; n T , n 0} si, y
slo si

1) es una distribucin.
Captulo 2 2.3. Distribucin estacionaria 51
________________________________________________________________________________
2) = P, es decir, ( j ) =
para toda j E. ( )
ij
i E
i p

Teorema 2.22. Si {X
n
; n T , n 0} es una cadena de Markov irreducible, aperidica
entonces todos los estados son recurrentes positivos si, y slo si el sistema de
ecuaciones lineales
( j ) = , para toda j E ( )
ij
i E
i p

( )
j E
j
= 1

tiene una solucin . Si existe una solucin esta es positiva, ( j ) > 0 para toda j,
es nica y

( j ) = para todo i, j E. lim
n
ij
n
p

Demostracin.

Si j es recurrente positivo y aperidico por el teorema 2.12

lim
n
ij
n
p
= ( j ) >0

ya que para todo i, j E, f
ij
= 1, y

( )
j E
j
= = = 1 lim
n
ij
n
j E
p
lim
n
ij
n
j E
p

es una distribucin.

Sea =
1 n
ij
p
+ n
ik kj
k E
p p
( j ) =
1
lim
n
ij
n
p
+
= lim
n
ik kj
n
k E
p p
= lim
n
ik kj
n
k E
p p
= ( )
kj
k E
k p

________________________________________________________________________________

p
= P

Todava nos hace falta revisar su unicidad, sea otra solucin

= P
= PP
= PPP
=
n
P

( j ) = para todo j E ( )
n
ij
i E
i p
= lim ( )
n
ij
n
i E
i p
( ) lim
n
ij
n
i E
i p

( ) ( )
i E
i j
= ( j ) ( )
i E
i
= ( j )

Ahora demostremos la otra parte del teorema, es decir, hay que probar que la
existencia de una solucin al sistema de arriba implica que todos los estados son
recurrentes positivos.
Sea una distribucin estacionaria
= P = P
n

( j ) = para todo j E. ( )
n
ij
i E
i p
Supongamos que la cadena no es recurrente positiva por el teorema 2.12,

lim
n
ij
n
p
= 0
entonces
( j ) = = = 0 lim ( )
n
ij
n
i E
i p
( ) lim
n
ij
n
i E
i


________________________________________________________________________________

esto significa que = 0, esto es una contradiccin, por tanto los estados son
recurrentes positivos.
( )
j E
j

Ejemplo 2.8. Sea X una cadena de Markov, con matriz de transicin

P=
|
|

0.2 0.8 0 0 0 0 0
0.7 0.3 0 0 0 0 0
0 0 0.3 0.5 0.2 0 0
0 0 0.6 0 0.4 0 0
0 0 0 0.4 0.6 0 0
0 0.1 0.1 0.2 0.2 0.3 0.1
0.1 0.1 0.1 0 0.1 0.2 0.4
| |
|
|
|
|
|
|
|
\ .

podemos ver que los estados {0, 1} forman una clase de conjunto de recurrencia C
1
, los
estados {2,3,4} forman otra clase de conjunto de recurrencia C
2
, ambos conjuntos est
formado por estados aperidicos y los estados {5, 6} son transitorios. Calculemos la
matriz , para calcularla usamos el teorema 2.12.2 = f lim
n
n
P lim
n
ij
n
p
ij
( j ) y el resultado
del teorema 2.22.
Del primer conjunto calculemos su probabilidad cuando n , calculemos
, donde
1
lim
n
n
P
P
1
=
| |
|

0.2 0.8
0.7 0.3
\ .

para calcularla tenemos que resolver el siguiente sistema de ecuaciones

(0) = 0.2(0)+0.7(1)
(1) = 0.8(0)+0.3(1)
(0) + (1) = 1
de la primera ecuacin (0) =
0.7
0.8
(1), sustituyendo en la ltima ecuacin
0.7
0.8
(1)+(1) = 1

________________________________________________________________________________

de aqu
(1)=
7
15
y (0) =
8
15

para el otro conjunto de estados recurrentes tenemos la siguiente matriz de transicin

P
2
=
|
|

0.3 0.5 0.2
0.6 0 0.4
0 0.4 0.6
| |
|
\ .

tenemos que resolver el siguiente sistema de ecuaciones
(2) = 0.3(2) + 0.6(3)
(3) = 0.5(2) +0.4(4)
(4) = 0.2(2) + 0.4(3)+0.6(4)
y adems
(2) + (3) + (4) = 1
de la ecuacin uno y dos
(3) =
7
6
(2) y (4) =
5
2
(3)
5
4
(2)

ya que los estados son recurrentes y aperidicos, sabemos que el sistema tiene solucin
nica, hacemos (2)=1, obtenemos que (3)=
7
6
y (4)=
10
6
, sumamos las tres
cantidades (2) + (3) + (4) =
23
6
y luego las dividimos entre la suma para hacer que
se cumpla la ltima condicin, obtenemos que (2)=
6
23
, (3) =
7
23
y (4)=
10
23
, para
calcular por completo la matriz , nos hace falta calcular la matriz F, para esto
calculemos primero R,.
lim
n
n
P
Q =
|

0.3 0.1
0.2 0.4
| |
\ .

________________________________________________________________________________
tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R,
al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)
es la inversa de I Q
S = (I Q )
-1
=
| |
|
= ,
1
0.7 0.1
0.2 0.6
\ .
1.5 0.25
0.5 1.75
| |
|
\ .

as tenemos que la matriz R para esta cadena de Markov es

R =
0 0
0 0
1.5 0.25
0.5 1.75
| |

|

|
|

|
|

|

|
|

|
|
|

\ .

Ahora calculemos la matriz F,

G = SB =
|
=
|

1.5 0.25
0.5 1.75
| |
\ .
0.1 0.5
0.2 0.2
| |
|
\ .
0.2 0.8
0.4 0.6
| |
\ .
entonces,
F =
1 1
3 7
3 1
3 7
1 1
0 0
1 1
1 1 1
0 1 1 1
1 1 1
0.2 0.2 0.8 0.8 0.8
0.4 0.4 0.6 0.6 0.6
| |
|
|
|
|
|
|
|
|
|
|
|
\ .
0
ahora si, ya podemos obtener P
,

________________________________________________________________________________

lim
n
n
P =
7 8
15 15
7 8
15 15
6 7 10
23 23 23
6 7 10
23 23 23
6 7 10
23 23 23
1.4 1.6 4.8 5.6 8
15 15 23 23 23
2.8 3.2 3.6 4.2 6
15 15 23 23 23
0 0
0 0
0 0
0 0
| |
|
|
|
|
|
|
|
|
|
\ .
|
|

Veamos ahora que ocurre en caso de que los estados sean peridicos.

Teorema 2.23. Sea X una cadena de Markov, irreducible con estados peridicos y
recurrentes con periodo , entonces los estados pueden ser divididos en conjuntos
disjuntos B
1
, B
2
, ,B
tal que p
ij
=0 a no ser que i B
1
y j B
2
o i B
2
y j B
3
o
o i B
y j B
1
.

Demostracin

Sin prdida de generalidad tomemos los estados 0 y j, dado que la cadena es
irreducible 0 j y j 0, es decir, existen enteros r, s tal que

0
r
j
p >0 y = >0
0
s
j
p
00
m s
p
+
= =
0
m
j
p
0
s
j
p
0
m
j
p
como el estado 0 tiene periodo , >0 si m + s = k, si >0 entonces m =k s
se cumple que >0, si m = , +, + 2, .
00
m s
p
+
0
m
j
p
0
m
j
p
Definimos para todo j B

,como el conjunto de todos los estados que se
pueden alcanzar desde 0 slo en los pasos , +, + 2, y a B
+1
el conjunto
de todos los estados que se pueden alcanzados desde 0 en los pasos +1, + +1,
+2+1, . Entonces p
ij
= 0 excepto si, i B
y j B
+1
para = 1, 2, , .

Teorema 2.24. Sea P la matriz de transicin de una cadena de Markov irreducible con
estados peridicos, con periodo y B
1
, B
2
, , B

definidos como el teorema anterior.
________________________________________________________________________________
Entonces en la cadena de Markov con matriz de transicin P = P

, las clases B
1
, B
2
,
, B
son conjuntos cerrados e irreducibles de estados aperidicos.

Demostracin.

En pasos la cadena se mueve de B
1
a B
1
, de B
2
a B
2
, , de B
a B
, veamos esto
paso por paso, en un paso slo podemos llegar al conjunto inmediato a l, esto es, p
ij

=0 a no ser que i B
1
y j B
2
o i B
2
y j B
3
o o i B
y j B
1
, en dos paso
ocurrira lo siguiente, =0 a no ser que i B
2
ij
p
1
y j B
3
o i B
2
y j B
4
o o i B

y j B
2
, en 1 pasos, ocurrira lo siguiente, =0 a no ser que i B
1
ij
p

1
y j B
o
iB
2
y j B
1
o o i B
y j B
1
, entonces como podemos ver en pasos, =0
a no ser que i B
ij
p
1
y j B
1
o i B
2
y j B
2
o o i B
y j B
, como se asevero
al inicio, la matriz de transicin en pasos la podemos poner de la siguiente forma,

P

= P =
| |
|
|
|
|
|
\ .
1
2
P 0
P
0 P

analicemos que ocurre con los estados de esta matriz de transicin, podemos ver que
cada una de las clases de conjuntos forman un conjunto cerrado e irreducible, adems
son aperidicos, > 0 para i, j B
ij
p

, recordemos que ya no trabajamos con la matriz
P, ahora estamos trabajando sobre la matriz P.

A partir de la matriz P
j E
podemos calcular n , usando el teorema 2.22,

podemos ver tambin que = . Hay que ver que no tiene lmite cuando
n , excepto, cuando para todos los estados p
( ) j
n
P
ij
= 0 , sin embargo los lmites de
existen cuando n, pero dependen del estado inicial i. Con el siguiente
teorema terminaremos con el estudio de los estados peridicos, slo se demuestra la
primera parte del teorema, la otra parte de la demostracin se puede consultar en inlar
[ 1975, p. 163].
n +m
P

Teorema 2.25. Sea P y B
, definidos como en el teorema anterior y supngase que la

cadena es positiva. Entonces para m {0, 1, , 1} ,


________________________________________________________________________________

lim
n m
ij
n
p
+
=
( ) si B , B , (mod )
j i j m

= +

( j ), j E, son la nica solucin de

( j ) = , = , j E. ( )
ij
i E
i p
( )
j E
j

Demostracin.

Del teorema 2.24 la cadena correspondiente a =
P P, tiene clases de
conjuntos, de estados recurrentes positivos y aperidicos. Sea
1
,
2
, ,
, la
distribucin lmite correspondiente de B
1
, B
2
, B
y ( j ) =
( j ) si j B
.

Sea m { 0, 1, , 1} un valor fijo, supngase que i B
, y sea = +m(mod ).
Tenemos,

n m
ij
p
+
=
m np
ik kj
k
p p
=
B
si B
0 cualquier otro c
m n
ik kj
k
p p j
aso
dado que =0 excepto si k B

m
ik
p

, y para k B

, = 0 a no ser que j B
n
kj
p

tambin. Para k, j B
, = ( j ), independiente de k, tomando el lmite en

ambos lados hemos demostrado que
lim
n
kj
n
p

lim
n m
ij
n
p
+
=
( ) si B , B , (mod )
j i j m

= +

Con este ltimo teorema y junto con el teorema 2.22 podemos enunciar el
siguiente resultado.

Corolario 2.25.1. Sea X una cadena de Markov, y consideremos el sistema de
ecuaciones lineales
________________________________________________________________________________
( j ) = , j E ( )
ij
i E
i p
Entonces todos los estados son recurrentes no nulos o positivos, si, y slo si, existe una
solucin con
( )
j E
j
= 1
y ( j ) >0, para cada j E, y no hay otra solucin.

Hace falta completar nuestro estudio acerca de la relacin de los tipos de estados
y el lmite de P
n
cuando n . Si la cadena de Markov es finita, y sta contiene estados
transitorios, hay un momento en el que la cadena de Markov sale de los estados
transitorios, pero si no es finita puede ocurrir que nunca salga de ellos.

Sea X una cadena de Markov, con matriz de transicin P, A es el conjunto de
estados transitorios de la cadena, tal que A E, y sea Q la matriz que se obtienen a
partir de P, al eliminar todos los renglones y columnas correspondientes a los estados
recurrentes, es decir, Q tienen elementos

q
ij
= p
ij
con i, j A.

Q
2
la obtenemos de la siguiente forma,

2
ij
q =
1
1
ii ij
i A
q q

y en general Q sera,
n

n
ij
q =
1 1 2
1 2
n
n
ii i i i j
i A i A i A
q q q

= P
i
{ X
1
A, X
2
A, , X
n1
A, X
n
= j }

= P
n
ij
j A
q
i
{ X
1
A, X
2
A, , X
n1
A, X
n
A }

Si n crece, decrece porque
n
ij
j A
q

{X
1
A, X
2
A, , X
n1
A } { X
1
A, X
2
A, , X
n1
A, X
n
A }

________________________________________________________________________________

Sea

f( i ) = = P lim
n
ij
n
j A
q
lim
n
i
{ X
1
A, X
2
A, , X
n1
A, X
n
A }

la probabilidad de que la cadena de Markov nunca salga de A, dado que empez en i.

Teorema 2.26. f es la solucin mxima de

h = Qh 0 h 1,

adems f = 0 o f( i )=1. sup
i A

Demostracin.

Sea f
n
( i ) = = P
n
ij
j A
q
i
{X
1
A, X
2
A, , X
n1
A, X
n
A }

f
1
f
2
f
3

y

f = f lim
n
n

tenemos que

f
n+1
( i ) = f ( )
ik n
k A
q k
tomando el lmite

f( i ) = f( )
ik
k A
q k

luego entonces f es una solucin a h = Qh, ahora probemos que es una solucin
mxima. Sea h otra solucin, h 1

h = Qh entonces h = Q h Q 1 = f
n n
n

haciendo n , h f, por tanto f es una solucin mxima.

________________________________________________________________________________
Slo hace falta probar la ltima parte, para f = 0 es trivial, sea c = s f( i ) up
i A

f = Q f c Q 1 cf
n n
n
para toda n,

tomando lmite por ambos lados f cf entonces 1 c, por lo tanto su f( i ) = 1. p
i A

Teorema 2.27. Sea X una cadena de Markov irreducible con matriz de transicin P, y
Q es la matriz que obtenemos a partir de P al eliminar la fila y columna k, k E.
Todos los estados son recurrentes, si, y slo si, la nica solucin de h = Qh es h = 0.

Demostracin.

Sea A = E{ k }, como la cadena es irreducible de k podemos ir a A, y sea

f( i ) = P lim
n
i
{ X
1
A, X
2
A, , X
n1
A, X
n
A }

Si h = 0 es la nica solucin a h = Qh, f( i ) = 0 para todo i, esto significa que salimos
del conjunto A y regresamos a k, entonces k es recurrente y como la cadena es
irreducible todos los estados son recurrentes.
Ahora, si los estados son recurrentes significa que la probabilidad de quedarnos
en A es cero ya que tenemos que regresar a k, por lo tanto f( i ) = 0 para todo i, lo que
es lo mismo h = 0.

A continuacin veremos como clasificar los estados en base a calcular . lim
n
n
P

Ejemplo 2.9. Sea X una cadena de Markov con espacio de estados E = {0, 1, } y
matriz de transicin
P =
|

0 1 0 0 0
0 0 0
0 0 0
0 0 . . .
0 0 0 . . .
0 0 0 0 . .
q p
q p
| |
|
|
|
|
|
|
|
\ .

donde 0 < p < 1, q = 1 p. Est cadena es llamada caminata aleatoria, si est en la
posicin i en el n-simo paso, el siguiente paso es a la posicin i1 o a i+1, con

________________________________________________________________________________

probabilidad q y p respectivamente, excepto cuando est en i =0 es seguro que va a 1.
Todos los estado pueden ser alcanzados uno del otro, lo que significa que la cadena es
irreducible, si empezamos en el estado cero podemos regresar a l, en al menos 2
pasos, es decir el estado 0 es peridico con periodo = 2, lo que significa que la cadena
es peridica con periodo = 2, lo que no podemos ver es si los estados son recurrentes
positivo o bien transitorios. Para saber como son los estados vamos a emplear la teora
vista en esta seccin.

Resolvamos primero el sistema de ecuaciones que se obtienen a partir de = P, el
sistema es el siguiente:

(0) = q(1)
(1) = (0) + q(2)
(2) = p(1) + q(3)
(3) = p(2) + q(4)

y as sucesivamente, poniendo a (1) en trminos de (0) y luego a (2) en trminos de
(0) y as sucesivamente tenemos que

(1) =
1
q
(0)
(2) =
1
q
1
(0) (0)
q

| |
|
\ .
=
2
p
q
(0)
(3) =
1
q
2
(0) (0)
p p
q q

| |
|
\ .
=
2
3
p
q
(0)

en general tendramos que
( j ) =
1
q
1 j
p
q
| |
|
\ .
(0) =
1 j
j
p
q
(0) para j = 1, 2, 3,
Si p < q, entonces
p
q
< 1 y
________________________________________________________________________________
0
( )
j
j
=
1
0
1
1 (
j
j
p
q q

=
| |
| |
+
|
\ .
\ .
0) |
|
=
1 1
1
1
p
q
q

| |
| |
+
|
|
\ .
\ .
(0) =
2q
q p
(0) |
|
haciendo =1, tenemos que
0
( )
j
j
(0) =
2
q p
q
=
1
1
2
p
q
| |
|
\ .
(2.1)
Luego entonces para p < q,
( j ) =
1
1
1 s
2
1
1 s
2
j
p
j
q
p p
j
q q q
| |
=
|
\ .
| || |

| |
\ .\ .
i 0
i 1
(2.2)

por el teorema 2.22. podemos decir que para p < q los estados son recurrentes no nulos
o positivos.

Si p q la serie converge nicamente si (0) = 0, sabemos que para p q los
estados no son recurrentes positivos, entonces los estados deben ser, recurrentes nulos
o transitorios, para distinguir entre estos dos casos usaremos el teorema 2.27,
excluyendo de P la fila y la columna del estado cero, obtenemos la siguiente matriz

Q =
0 0 0 0
0 0 0
0 0 0
0 0 . . .
0 0 0 . . .
0 0 0 0 . .
p
q p
q p
| |
|
|
|
|
|
|
|
|
\ .

el sistema de ecuaciones que se obtiene de h = hQ es:

h(1) = ph(2)
h(2) = qh(1) + ph(3)
h(3) = qh(2) + ph(4)


________________________________________________________________________________

en general tenemos h( i ) = qh( i 1) + ph( i + 1), de h( i ) = qh( i ) + ph( i ), sustituimos
en la anterior ecuacin

p(h( i +1) h( i )) = q (h( i ) h( i 1)), i = 2, 3,

y de la primera ecuacin
p(h(2)h(1)) = qh(1)
sustituimos para obtener i = 2,
h(3) h(2) =
q
p
(h(2) h(1)) =
2
q
p
| |
|
\ .
h(1)
ahora lo hacemos para i = 3
h(4) h(3) =
2
q
p
| |
|
\ .
(h(2) h(1)) =
3
q
p
| |
|
\ .
h(1)
y as sucesivamente iteramos sobre i, obtenemos que
h( i +1) h( i ) =
1 i
q
p
| |
|
\ .
(h(2) h(1)) =
i
q
p
| |
|
\ .
h(1) , i = 2, 3,
luego entonces,

h( i +1) = (h( i +1) h( i ))+(h( i ) h( i 1 )) ++(h(2) h(1))+h(1)
=
1
1
i i
q q q
p p p
| |
| | | |
| + + +
| |
|
\ . \ .
\ .
+ h(1)

la solucin a h=hQ es de la siguiente forma

h( i ) =
1
1
i
q q
p p
| |
| |
+ + +
|
|
\ .
\ .
| c , i = 1, 2, 3,
donde c es una constante.
________________________________________________________________________________
Si p = q, entonces tenemos que h( i ) = ic , para toda i 1 , la nica forma de
que para toda i se cumpla, 0 h( i ) 1 es que c =0. Por tanto si p = q, la nica
solucin de h = hQ es h = 0, por el teorema 2.27 significa que los estados son
recurrentes y como vimos ya anteriormente no son recurrentes no nulos, lo que
significa los estados son recurrentes nulos cuando p = q.

Si p > q, entonces 0 <
q
p
< 1, la suma de lo que est dentro de los parntesis
sera

S =
1
1
i
q q
p p
| |
+ + +
\ .

|
=
1
1
i
q
p
q
p
| |
|
\ .

tomando a c = 1
q
p
, se cumple que 0 h( i ) 1, para toda i = 1, 2, 3, . Tenemos
que
h( i ) = 1
i
q
p
| |
|
\ .
, para toda i = 1, 2, 3,

entonces en este caso por el teorema 2.27 los estados son transitorios.

En este ejemplo ya vimos como clasificar los estados, ahora calculemos la
distribucin lmite para la cadena. Para p < q, ya vimos que los estados son recurrentes
no nulos y peridicos con periodo = 2, tenemos dos clases de conjuntos B
1
={ 0, 2,
4,} y B
2
= {1, 3, 5, }, ya resolvimos el sistema = P, la nica variante que habra
que hacer, es que segn el teorema 2.25 = 2 y no =1 como lo
habamos considerado, as de lugar de tener (2.1) tendramos
0
( )
j
j
0
( )
j
j

(0) =
q p
q
= 1
p
q

y de lugar de tener (2.2) tendramos


________________________________________________________________________________

( j ) =
1
1 s
1
1 s
j
p
j
q
p p
j
q q q
| || |

| |
\ .\ .
i 0
i 1

luego entonces la distribucin invariante para B
1
y B
2
es:
( (0), (2), (4), ) =
3
2 4
1 1, , ,
p p p
q q q
| | | |
| |
\ .\ .

y
( (1), (3), (5), ) =
2 4
3 5
1
1 , , ,
p p p
q q q q
| | | |
|
\ .\ .
|

por tanto tendramos que
lim
n
2n
P = 1
p
q
| |
\ .
|
3
2 4
2 4
3 5
3
2 4
2 4
3 5
1
1
1 0 0 0
0 0 0
1 0 0 0
0 0 0
. . . . . .
. . . . . .
. . . . . .
p p
q q
p p
q
q q
p p
q q
p p
q
q q
| |
|
|
|
|
|
|
|
|
|
|
|
|
\ .

y usando el teorema 2.25, obtenemos tambin

lim
n
2n+1
P

= 1
p
q
| |
|
\ .
2 4
3 5
3
2 4
2 4
3 5
3
2 4
1
1
0 0 0
1 0 0 0
0 0 0
1 0 0 0
. . . . . .
. . . . . .
. . . . . .
p p
q
q q
p p
q q
p p
q
q q
p p
q q
| |
|
|
|
|
|
|
|
|
|
|
|
|
\ .

2.4 Ejercicios.

Ejemplo 2.10. Un artculo se almacena en una bodega de tal manera que se pueda
satisfacer la demanda del artculo, la bodega puede almacenar hasta S artculos, si hay s
m

artculos entonces se llena la bodega hasta S, si la cantidad de artculos est entre
[s
m
+1,S] no se hace nada, la demanda de artculos en la semana n es de D
n
, y
suponemos que {D
n
} son variables aleatorias independientes e idnticamente
distribuidas e independientes de la cantidad inicial X
0
de artculos, la demanda de k
unidades en la semana sucede con una probabilidad p
k
y consideremos a X
n
como el
nivel de la bodega al principio de la semana, cada semana se realiza la inspeccin en la
bodega y en caso de que se requiera llenar la bodega, esta se llenar inmediatamente
para iniciar la semana n con la bodega llena si es necesario. Tenemos el siguiente
conjunto de estados E = {S, S-1, , s
m
+1}, es decir, los valores que puede asumir el
proceso en la semana n + 1, es;

X
n+1
=
n n n n
n n
X D X D s
S X D

m
m
s
>

Es claro que X
n+1
nicamente depende de X
n
y D
n
es independiente de los niveles de la
bodega.

La probabilidad de pasar de tener X
n
= i artculos en la semana n en la bodega
a tener X
n+1
= j artculos la calculamos de la siguiente manera:

Para i S:
Si s
m
+ 1 j i entonces tenemos que D
n
= X
n
X
n+1
= i j, por tanto p
ij

= p
i

j
y para X
n+1
= j = S tenemos que, X
n
D
n

s
m
o bien X
n
s
m
D
n
, esta
ocurra con la siguiente probabilidad

P{ i

s
m
D
n
} =
m
k
k i s
p

Para i = S :
Si s
m
+ 1 j S 1 entonces tenemos que D
n
= X
n
X
n+1
= S j, por tanto
p
ij =
p
S

j
y para X
n+1
= j = S pueden pasar dos cosas si hay demanda, tenemos que, X
n
D
n
s
m
o bien X
n
s
m
D
n
, esto ocurre con la siguiente probabilidad

P{ S

s
m
D
n
} =
m
k
k S s
p

________________________________________________________________________________

j i
S
j S

y la otra es que no tengamos demanda en toda la semana y esto ocurre con probabilidad
p
0
ambos eventos son disjuntos, entonces la probabilidad de que X
n+1
= S dado que
X
n
= S es :

p
0
+
m
k
k S s
p

Las probabilidades de transicin del estado i al estado j lo podemos poner de la
siguiente forma:

Si i S:

p
ij
=

para
para
m
i j m
k
k i s
p s
p j

Si i = S:

p
ij
=

0
para 1
para
m
S j m
k
k S s
p s
p p j S
+ =

Por construccin todos los estados se intercomunican, todos son accesibles uno
del otro, tenemos que E < , cerrado e irreducible y los estados son por tanto
recurrentes positivos, esto es por el teorema 2.19.

Ejemplo 2.11. A Mark Goldman, vicepresidente de NBS TV, se le encarg determinar
una poltica de programacin para la cadena. La NBS compite para captar televidentes
con las cadena ABS y CBC. Al principio de cada temporada cada una de las cadenas
intenta captar una mayor cantidad de televidentes, incluyendo nuevos programas y
volviendo a programar otros.

Goldman se encontraba en problemas por que la NBS haba tenido un mal
desempeo en las ltimas dos temporadas con el formato de sus programas. Tambin
haban surgido crticas porque la cadena tenda a cancelar sus programas con mucha
rapidez si el nmero de televidentes era inicialmente bajo. Como resultado de las
crticas se haba decidido no cancelar ningn programa hasta que fuera evidente que
seguira teniendo un nmero reducido de televidentes.

Dado que los televidentes normales con bastante frecuencia tenderan a cambiar
de cadena al principio de cada temporada con el objeto de ver programas nuevos o de
________________________________________________________________________________
volver a ver programas antiguos, Goldman ha decidido esperar a que se estabilice la
proporcin de televidentes que ven un programa determinado, para esto decidi
estudiar el periodo en el que cada cadena estar ofreciendo un programa nuevo para
que determine cules sern las proporciones de televidentes finales. Si se pueden
predecir estos valores estar en posibilidades de tomar una decisin con respecto a un
nuevo programa X de la NBS, sin tener que esperar hasta que las preferencias de los
televidentes se vuelvan obvias a travs de los datos de los ratings o recuentos de tasa
de audiencia.

Goldman considera que la seleccin de un televidente se ve influenciada ms
que nada por el programa ms reciente que ha observado en ese periodo y que las
proporciones finales de la realidad son valores de estados estacionarios, con base en
esto, decide utilizar un enfoque de cadena de Markov para abordar el problema.
Considera que el problema de seleccin de los televidentes se ajusta a las
consideraciones de este modelo con suficiente cercana como para permitir aplicar el
modelo al problema.

El grupo de trabajo de Goldman ha elaborado la siguiente matriz de transicin
utilizando datos recopilados en aos anteriores y referentes a la forma en que los
televidentes tienden a cambiar de una cadena a otra, semana a semana, para el tipo de
programas que se considera:

NBS CBC ABS
NBS 0.2 0.4 0.4
CBC 0.3 0.3 0.4
ABS 0.2 0.2 0.6

En esta matriz, los valores que se muestran son la fraccin de televidentes que
vern el programa de cada cadena durante esta semana, dada la cadena que vieron la
semana pasada. Tambin se supone que todos los televidentes que vieron la televisin
la semana pasada la vern esta semana.

Calculemos = P, por definicin ( j ) = , obtenemos ( )
ij
i E
i p

(1) = 0.2 (1) + 0.3 (2) + 0.2 (3)
(2) = 0.4 (1) + 0.3 (2) + 0.2 (3)
(3) = 0.4 (1) + 0.4 (2) + 0.6 (3)

y adems
(1) + (2) + (3) = 1

________________________________________________________________________________

donde (1) es la proporcin de televidentes que se mantendrn viendo la cadena NBS,
(2) es la proporcin de televidentes que se mantendrn viendo la cadena CBC y (3)
es la proporcin de televidentes que se mantendrn viendo la cadena ABS.

Al resolver el anterior sistema de ecuaciones encontramos que

(1) = 0.227
(2) = 0.273
(3) = 0.5

lo que significa que una vez que los televidentes se han decidido con respecto a los
programas que les gusta ver, 22.7 % observar lo que la NBS le ofrece.

Ejemplo 2.12. Consideremos nuevamente el ejemplo 2.1 , en el cual se consideraba que
la posibilidad de que el da de maana llueva slo depende de la situacin climatolgica
de hoy y no de das previos, adems supusimos que si llueve hoy la probabilidad de que
maana llueva es y si hoy no llueve la probabilidad de que llueva maana es , esto
quiere decir que si hoy llueve entonces maana no llover con probabilidad 1 y si
hoy no llueve la probabilidad de que maana tampoco sera 1 , consideramos que el
estado 0 es que llueva y al estado 1 que no llueva, luego entonces por la definicin 2.18
(0) y (1) estn dadas por

(0) = (0) + (1)
(1) = (1 ) (0) +(1 ) (1)
con (0) + (1) = 1

(0)(1 ) = (1)

Haciendo (0) = 1, tenemos que (1) =
1
, ambas deben sumar uno, sumamos las

dos y nos da
1
+
, luego para que nos sumen uno las dividimos entre su suma,
nos queda,
(0) =
1

+

y
________________________________________________________________________________
(1) =
1
1

+

que es la solucin a las tres ecuaciones que tenemos arriba.

Si consideramos que = 0.7 y =0.4 (como en el ejemplo 2.4), tenemos que la
probabilidad estacionaria de que llueva, es (0) =
4
7
= 0.571 .

Ejemplo 2.13. Un apostador tiene $u , en cada juego que apuesta tiene la probabilidad p
de ganar $1 o perder $1 con probabilidad 1 p , el jugador se retirar cuando se quede
sin dinero bien cuando haya alcanzado a obtener en total $N.

Si consideramos X
n
como el dinero que tienen el apostador despus de la n-sima
vez que apuesta, X
n
claramente es una cadena de Markov, ya que lo que va apostar
nicamente depender del dinero que tenga actualmente y no de lo que haya jugado
antes, X
n
tienen espacio de estados E = { 0, 1 , 2, , N } , sus probabilidades de
transicin son

p
ij
= p con j = i +1 , i = 1, 2, , N 1
p
ij
= 1 p con j = i 1, i = 1, 2, , N 1 y
p
00
= p
NN
= 1

Esta cadena de Markov la podemos separar en tres clases {0}, { 1, 2, , N 1}, y
{N}, la primera y la ltima (el estado 0 y N ) son recurrentes y la otra es una clase de
estados transitorios, esto significa que en algn momento dado el apostador o bien se
queda arruinado o bien llega a ganar $N y se retira del juego.

Sea
i
la probabilidad de empezar en i y que se alcance en algn momento el
estado N, es decir,
i
= P
i
{T
N
< } = f
iN
, es claro que una vez que entremos al
estado 0 no podremos llegar nunca a N, por tanto
0
= 0, para obtener para el resto
de los estados usaremos el teorema 2.8 que nos dice que

f
i N
= p
iN
+
{ }
ik kN
k E N
p f

si estamos en el estado i, nicamente podemos ir al estado i + 1 al estado i 1 y la
nica forma de que p
iN
0 es que i = N 1 pero por ser N absorbente tenemos que
f
NN
= 1 , luego entonces tenemos que:

i
= f
iN
=p
i,i+1
f
i+1,N
+ p
i,i 1
f
i 1,N
para i = 1, 2, , N 1

________________________________________________________________________________

o bien
i
= p
i,i+1
i+1
+ p
i,i 1
i-1

i
= p
i+1
+ q

i-1

dado que p + q = 1 podemos ponerlo como sigue

p
i
+

q
i
= p
i+1
+ q

i-1

entonces
i+1

i
=
q
p
(
i

i-1
)

dado que
0
= 0, tenemos el siguiente sistema de ecuaciones

2

1
=
q
p
(
1

0
) =
q
p

1
3

2
=
q
p
(
2

1
) =
q
p
q
p

1
=
2
q
p
| |
|
\ .
1
i+1

i
=
q
p
(
i

i-1
) =
1 i
q
p
| |
|
\ .

1

N

N 1
=
q
p
(
N 1

N 2
) =
1 N
q
p
| |
\ .
|

1

Ahora sumando las primeras i 1 ecuaciones, nos da

i

1
=
1
2 1 i
q q q
p p p
(
| | | |
( + + +
| |
(
\ . \ .

nos da que
________________________________________________________________________________

i
=
( )
( )
1
1
1
1
si 1, o bien
2
1
1
si 1, o bien
2
i
q
p q
P p
q
p
p
q
iP p
p
= =

Ahora usando el hecho de que
N
=1, obtenemos

1
=
( )
( )
1
1
si 1, o bien
2
1
1 1
si 1, o bien
2
N
q
p q
p
p
q
p
q
p
N p
= =

sustituyendo
1
en
i
nos queda como,

i
=
( )
( )
1
1
si 1, o bien
2
1
1
si 1, o bien
2
i
N
q
p q
p
p
q
p
i q
p
N p
= =

si hacemos que N tendramos que
i
tendera a

i
=
( )
1
1 si
2
1
0 si
2
i
q
p
p
p
>

As si p > , existe la probabilidad de que el apostador llegue a incrementar su fortuna
infinitamente, pero si p , est quedar quebrado.


Captulo 3.

3.- Procesos de Markov.

3.1. Procesos de Markov.

En el captulo anterior vimos procesos estocsticos, tales que, la informacin de
algn futuro estado X
n+1
, nicamente depende del estado presente X
n
, aqu
analizaremos aquellos que tienen un espacio parametral de tiempo continuo T con
TR
+
= [ 0, ) y un espacio de estados E, finito o contable infinito.

Definicin 3.1. Un proceso estocstico Y = {Y
t
, t R
+
}, con espacio parametral de
tiempo continuo T y un espacio de estados E finito o contable infinito es un proceso de
Markov si

P { Y
t+s
= j | Y
u
: u t } = P { Y
t+s
= j | Y
t
}

para t, s R
+
.

Definicin 3.2. Si la probabilidad condicional enunciada en la definicin anterior es
independiente de t, es decir,

P { Y
t+s
= j | Y
u
: u t } = P { Y
t+s
= j | Y
t
= i} = P ( )
ij
s

se dice que es un proceso de Markov con tiempo homogneo.

Nosotros consideraremos procesos de Markov con tiempo homogneo.

Para valores fijos de i, j E y t 0, a la funcin t la llamaremos funcin
de transicin.
( )
ij
P t
Captulo 3 3.1. Procesos de Markov 75
________________________________________________________________________________
Definicin 3.3. A la familia de matrices P
t
de la funcin de transicin se le
denomina funcin de transicin del proceso de Markov.
( )
ij
P t

Es claro que la funcin de transicin cumple con 0 y
=1, a continuacin tenemos las ecuaciones de Chapman-Kolmogorov
considerando el tiempo continuo.
( )
ij
P t ( )
ij
P t
( )
ik
k E
P t

Teorema 3.1. Si Y = {Y
t
, t R
+
} es un proceso de Markov con tiempo homogneo
se cumple que

}
t
}
}
}
} =
n 1
( ) ( )
ik kj
k E
P t P s
= ( )
ij
P t s +

Demostracin.

( ) ( )
ik kj
k E
P t P s
=
0
{ | } { |
t t s
k E
P Y k Y i P Y j Y k
+
= = = =
=
0 0
{ | } { | ,
t t s t
k E
P Y k Y i P Y j Y k Y i
+
= = = = =
=
0
{ , |
t s t
k E
P Y j Y k Y i
+
= = =
=
0
{ |
t s
P Y j Y i
+
= =
= ( )
ij
P t s +

De forma anloga podemos probar el siguiente resultado que corresponde al
teorema 2.1 de cadenas de Markov

Teorema 3.2. Para n N, 0 t
0
< t
1
< < t
n
en R
+
y estados i
0
, i
1
, , i
n
E, se
cumple
1 0
1 0
{ , , |
n
t t n t
P Y i Y i Y i = = = . ( ) ( ) ( )
0 1 1 2 1
1 0 2 1 1
n n
i i i i i i n n
P t t P t t P t t

Entonces la distribucin conjunta de Y , , Y es especificada por la distribucin
inicial de Y
0
t
n
t
0
y la funcin de transicin , esto es;

0 1
0 1
{ , , ,
n
t t t
P Y i Y i Y i = = = } ( ) ( ) ( ) ( )
0 0 1 1
0 1 0
n n
ii i i i i n n
i E
i P t P t t P t t

=
76 Procesos de Markov Captulo 3
________________________________________________________________________________

esto significa que la distribucin inicial y P
t
caracterizan al proceso {Y
t
, t R
+
} por
completo.

Ejemplo 3.1. Sea N = {N
t
; t 0 } un proceso Possion, entonces por el corolario 1.10.2.
P { N
t+s
N
t
= k }=
( )

!
k
s
s e
k
, k = 0, 1, .
Ahora bien, si sabemos que N
t
= i,

P{N
t+s
= j | N
u
; u t } =
| |
| |
, ;
;
t s u
u
P N j N u t
P N u t
+
=

El evento {N
t+s
= j , N
u
; u t } es igual a {N
t+s
N
t
= j i , N
u
; u t } pero por la
definicin de proceso Poisson (definicin 1.6 ) {N
t+s
N
t
= j i } es independiente de
{N
u
; u t }, con lo que
P{N
t+s
= j | N
u
; u t } = P { N
t+s
N
t
= j i } =
( )
( )

!
j i
s
s e
j i
, j i = 0, 1, .
podemos decir que

P{N
t+s
= j | N
u
; u t } = P{N
t+s
= j | N
t
= i } =
( )
( )

!
j i
s
s e
j i
, j i = 0, 1, .

lo que significa que N es un proceso de Markov.

Si hacemos k = j i, tenemos que la funcin de transicin de este proceso de Markov
es:
P
s
=
(0) (1) (2)
0 (0) (1)
0 0 (0)
0
s s s
s s
s
p p p
p p
p
| |
|
|
|
|
|
\ .

donde p
s
(k)=
( )

!
k
s
s e
k
, k = 0, 1, .

________________________________________________________________________________
Ejemplo 3.2. Sea X = {X
n
, n T }, una cadena de Markov, donde T es un espacio
parametral discreto, con espacio de estados E y matriz de transicin Q, y sea N = {N
t
;
t 0} un proceso Poisson con tasa el cual es independiente de X. Consideremos un
sistema tal que, un movimiento de un estado E a otro forman una cadena de Markov y
el tiempo que el sistema tarda en cambiar de estado sigue un proceso Poisson.
Entonces N
t
es el nmero de transiciones (o cambios que tiene la cadena) durante el
tiempo (0, t ], el sistema se encuentra en el estado Y
t
= en el tiempo t . En otras
palabras, si T
t
N
X
1
, T
2
, son los tiempos de llegada de N y T
0
= 0, entonces Y
t
= X
n

para toda t en [T
n
, T
n+1
).

Ahora supongamos que estamos interesados en predecir Y
t+s
, dado que conocemos
el proceso hasta el tiempo t, si Y
t
=i y si suponemos que ocurren N
t+s
N
t
=n
transiciones durante el intervalo de tiempo ( t, t+s ] , entonces la probabilidad de que
Y
t+s
= j, es la probabilidad de que la cadena de Markov X se mueva del estado Y
t
= i , al
estado j en exactamente n pasos esta probabilidad es q . El nmero de transiciones que
ocurren durante el tiempo ( t, t+s ] son independientes de lo que ocurri hasta t por ser
N un proceso Poisson. Dado que, sabemos que ocurri hasta t, la probabilidad de que
ocurran n transiciones durante el tiempo ( t, t+s ] es
n
ij
( )

!
n
s
s e
n
. Tenemos que si Y
t
= i,
entonces

P { Y
t+s
= j | Y
u
: u t } = P { Y
t+s
= j | Y
t
= i} = = ( )
ij
P s
( )

0
!
n
s
n
ij
n
s e
q
n

Lo que significa que {Y
t
, t R
+
} es un proceso de Markov.

Ejemplo 3.3. ( Sistema de colas M/M/1). Supongamos que la llegada de clientes a un
servicio sigue un proceso Poisson. Si un cliente llega y encuentra el servicio vaco la
atencin al cliente empieza inmediatamente, en caso contrario, si est ocupado, l
espera hasta que le toque su turno. El tiempo de atencin a un cliente es independiente
del tiempo de atencin de cualquier otro cliente e independiente de cualquier nueva
llegada al servicio. Supondremos que el tiempo de servicio sigue una distribucin
exponencial.
Sea {Y
t
; t 0} el proceso donde Y
t
representa el nmero de clientes en el
sistema en el tiempo t. Supongamos que hemos observado el proceso hasta el tiempo t,
para predecir el nmero de cliente en el servicio al tiempo t +s tenemos que encontrar
Y
t+s
, Y
t+s
es igual al nmero de clientes en el servicio al tiempo t, ms el nmero de
llegadas en el tiempo ( t, t+s ] menos el nmero de clientes atendidos durante el tiempo
( t, t+s ].
________________________________________________________________________________

El nmero de llegadas durante el tiempo ( t, t+s ] es independiente del nmero
de clientes que haba antes de t. Los clientes atendidos durante el tiempo ( t, t+s ] es
independiente de los clientes atendidos hasta antes del tiempo t. Luego entonces el
nmero de clientes atendidos durante el tiempo ( t, t+s ], depende nicamente de Y
t
y
de las llegadas que ocurren durante el tiempo( t, t+s ], con el anlisis que acabamos de
hacer podemos decir que {Y
t
; t 0} es un proceso de Markov, despus de que veamos
la seccin 3.4, esto quedar mucho ms claro.

Definamos a W
t
:= el tiempo en el que Y se queda en el estado donde esta al
tiempo t,

W
t
:= inf {s > 0 | Y
t+s
Y
t
}

Teorema 3.3. Para todo i E, t 0, existe ( i ) [ 0, ), tal que

P{ W
t
> u | Y
t
= i } = exp
( i )u

Demostracin.

Y es homogneo en el tiempo, entonces P{ W
t
> u | Y
t
= i } no depende de t, sea

f( u ) = P{ W
t
> u | Y
t
= i }

Dado que el evento {W
t
> u + v } es igual al evento {W
t
> u , W
t+u
> v } tenemos

f( u +v )= P{ W
t
> u + v | Y
t
= i }
= P{ W
t
> u , W
t+u
> v | Y
t
= i }
= P{ W
t+u
> v | Y
t
= i , W
t
> u } P{ W
t
> u | Y
t
= i }
= P{ W
t+u
> v | Y
t+u
= i } P{ W
t
> u | Y
t
= i }
= f( v )f( u )

luego, entonces, f tiene que ser de la forma

f( u ) = exp
cu
para c 0

Del teorema tambin podemos ver que

P{ W
t
u | Y
t
= i } = 1 exp
( i )u

________________________________________________________________________________
es la probabilidad de que el proceso se quede en el estado i hasta un tiempo menor o
igual a u .

Definicin 3.4.

1) Un estado i E con ( i ) = 0, se llama estado absorbente.
2) Un estado i E con 0 < ( i ) < , se llama estable.
3) Un estado i E con ( i ) = , se llama instantneo.

3.2. Estructura de un proceso de Markov.

Vamos a suponer que los estados son estables, T
0
, T
1
, , T
n
son los tiempos
de transicin del proceso de Markov Y = {Y
t
, t R
+
} y X
0
, X
1
, , X
n
son los
estados visitados en Y, en trminos de W
t
, definimos

T
0
= 0; T
n+1
= T
n
+ W , n N
n
T
y
X
n
= Y , n N
n
T

Enunciaremos el siguiente resultado sin demostracin, para ver una demostracin del
siguiente teorema se puede consultar inlar [ 1975].

Teorema 3.4. Para alguna n N, j E, y u R
+
, tenemos que

P {X
n+1
= j , T
n+1
T
n
> u | X
0
, X
1
, , X
n1
, X
n
= i , T
0
, T
1
, , T
n
}= q
ij
exp
( i )u

con q
ij
0, q
ii
= 0 y . 1
ij
j
q =

Como se puede ver un proceso de Markov esta formado por una cadena de
Markov y el tiempo en que permanece en el estado. La cadena de Markov, nos va
indicar la probabilidad de pasar de un estado i a un estado j y cada vez que entra a un
estado i , permanece en i por un periodo de tiempo exponencialmente distribuido con
tasa ( i ), es decir,

P{ W
t
u | Y
t
= i } = 1 exp
( i )u

________________________________________________________________________________

A continuacin vamos a enunciar una serie de resultados que pueden ayudar a
ver con mejor claridad esto.

Del teorema anterior tambin podemos obtener

P{X
n+1
= j , T
n+1
T
n
u | X
0
, , X
n1
, X
n
= i , T
0
, T
1
, , T
n
}= q
ij
( 1 exp
( i )u
)

es la probabilidad de, dado que conocemos lo sucedido en el proceso hasta la n-sima
transicin, la siguiente transicin ocurra en un tiempo menor a u.

Si del teorema anterior hacemos u = 0, obtenemos el siguiente resultado.

Corolario 3.4.1. La sucesin de variables aleatorias X
0
, X
1
, , X
n
es una cadena de
Markov con matriz de transicin Q, con elementos q
ij
, i, j E.

Demostracin.

Haciendo u = 0 del teorema anterior, tenemos

P{X
n+1
= j , T
n+1
T
n
> 0 | X
0
, X
1
, , X
n1
, X
n
= i , T
0
, T
1
, , T
n
}= q
ij
exp
( i )0

Si conocemos el proceso hasta , conocemos X
n
T
Y
0
, X
1
, , X
n1
, X
n
= i , T
0
, T
1
, ,
T
n
, podemos poner la probabilidad anterior como

P {X
n+1
= j | Y
t
= i : t = T
n
}= q
ij

pero por definicin X
n
= Y = i, es decir,
n
T

P {X
n+1
= j | X
n
= i }= q
ij

Corolario 3.4.2. El tiempo de cambio entre el estado i a otro estado j E, no
depende de j.

Demostracin.

P {X
n+1
= j , T
n+1
T
n
> u |X
n
= i }= P{T
n+1
T
n
> u |X
n
= i , X
n+1
= j }P{X
n+1
= j | X
n
= i }

= P{T
n+1
T
n
> u |X
n
= i , X
n+1
= j }q
ij

Captulo 3 3.2. Estructura de un proceso de Markov 81
________________________________________________________________________________
del teorema anterior

P {X
n+1
= j , T
n+1
T
n
> u | X
n
= i }= q
ij
exp
( i )u

esto nos da,

P{T
n+1
T
n
> u |X
n
= i , X
n+1
= j } = exp
( i )u

Corolario 3 4.3. Para alguna n N, u .
1
, u
2
, , u
n
R
+
y estados i
0
, i
1
, , i
n
E,
tenemos

P{T
1
T
0
> u
1
, T
2
T
1
> u
2
, , T
n+1
T
n
> u
n
|X
0
= i
0
, , X
n
= i
n
}
=ex
0 1 1
( ) ( )
p exp
n n
i u i u
Demostracin.
Demostremos, usando induccin.

Por el corolario anterior para n = 1, ya est demostrado, vamos a probar para n = k +1

P{T
1
T
0
> u
1
, , T
k+1
T
k
> u
k
, T
k+2
T
k+1
> u
k+1
|X
0
= i
0
, , X
k
= i
k
, X
k+1
= i
k+1
}

= P{T
1
T
0
> u
1
|X
0
= i
0
, , X
k+1
= i
k+1
,T
2
T
1
> u
2
, , T
k+2
T
k+1
> u
k+1
}
P{T
2
T
1
>u
2
, ,T
k+2
T
k+1
> u
k+1
|X
0
= i
0
, ,X
k+1
= i
k+1
}

= P{T
1
T
0
> u
1
|X
0
= i
0
, X
1
= i
1
}P{T
2
T
1
> u
2
, , T
k+2
T
k+1
> u
k+1
|X
0
= i
0
, , X
k+1
= i
k+1
}

por hiptesis de induccin se vale para k entre llegadas, luego entonces

P{T
1
T
0
> u
1
, ,T
k+1
T
k
> u
k
, T
k+2
T
k+1
> u
k+1
|X
0
= i
0
, , X
k
= i
k
, X
k+1
= i
k+1
}
=
0 1 1
( ) ( )
exp exp
k k
i u i u
+

Del resultado anterior podemos decir que los tiempos entre las transiciones son
condicionalmente independiente una de la otra dado los sucesivos estados visitados. Y
cada tiempo de cambio entre los estados tiene una distribucin exponencial con
parmetro que depende del estado en el que est, esto junto con el hecho de que los
estados visitados sucesivamente forman una cadena de Markov, nos hacen ver como es
la estructura de un proceso de Markov.

Supondremos siempre que q
ii
= 0 cuando ( i ) > 0 para todo i.
________________________________________________________________________________

Ejemplo 3.4. Consideremos el proceso mencionado en el ejemplo 3.3, los tiempos de
transicin ocurren cuando ocurre un cambio en el tamao de la cola, si el cambio es
originado por una llegada entonces la cola se incremente en uno y si el cambio es
debido a una salida entonces decrece en uno.

Si X
n
= 0 entonces el prximo cambio debe ser debido a la llegada de un cliente,
lo que significa que X
n+1
= 1, lo cual ocurre con probabilidad 1, T
n+1
T
n
tiene una
distribucin exponencial con parmetro a ( los tiempos de las entre llegadas de un
proceso Poisson tienen una distribucin exponencial), as

(0) = a ; q
01
= 1, q
00
= q
02
= = 0

El tiempo de servicio sigue una distribucin exponencial con parmetro b. Si
X
n
= i , sea A el tiempo desde T
n
hasta la prxima llegada y B el tiempo desde T
n
hasta
que sale el prximo cliente, A y B son variables aleatorias exponenciales con
parmetros a y b y adems son independientes entre ellas. Por tanto

T
n+1
T
n
= min( A, B ),

lo que significa que

P( T
n+1
T
n
> t | X
n
= i ) = P (A > t, B > t ) = exp
at
exp
bt

es decir ( i ) = a + b para i = 1, 2, 3,

Si X
n+1
= i +1 significa que B > A y si X
n+1
= i 1 entonces B < A , luego entonces
tenemos que

P( X
n+1
= i +1|X
n
= i ) = P( B > A)
= E(P{ B > A | A })
= E(exp
bA
)
=
0
exp exp
ax bx
a d
x
=
a
a b +

de manera totalmente anloga podemos obtener P( X
n+1
= i 1|X
n
= i ), as obtenemos
para i 1
________________________________________________________________________________

q
ij
=
si 1
si 1
0 c.o.c
a
j i
a b
b
j i
a b
= +
=
+

Definicin 3.5. La tasa de transicin de i a j, indicada por (i, j ) es definida por:

(i, j ) = q
ij
( i )

Definicin 3.6. Para i, j E , a la matriz , asociada con un proceso de Markov, con
elementos

(i, j ) = q
ij
( i )
(i, i ) =

( i )

es, la matriz de intensidad.

Observemos que la suma por rengln de la matriz de intensidad suma cero
Vamos a suponer que la funcin de transicin es continua y diferenciable
para t 0.
( )
ij
P t

Teorema 3.5. Sea Y = {Y
t
, t R
+
} un proceso de Markov con funcin de transicin
, entonces ( )
ij
P t

a)
( )
0
1
ii
h
P h
h
lim = ( i )
b)
( )
0
lim
ij
h
P h
h
= q
ij
( i )

Demostracin.

a) La probabilidad de que ocurran dos o ms transiciones en un tiempo h, para h 0 es
o(h).
La probabilidad de estar en el estado i y que ocurra la siguiente transicin al estado j
en un tiempo menor a h es

________________________________________________________________________________

P {X
n+1
= j , T
n+1
T
n
h | X
0
, , X
n1
, X
n
= i , T
0
, T
1
, , T
n
}= q
ij
( 1 exp
( i )h
)

la probabilidad de estar en el estado i en el tiempo 0 y salir de i antes de un tiempo h es

{
1 1 0
, |
j i
P X j T h X i
= =
}= ( 1 exp
ij
j i
q
( i )h
) = 1 exp
( i )h
sabemos que
exp
( i )h
= 1 h + ( ) i ( )
2
1
2!
i h ( )
3
1
3!
i h +
para una h suficientemente pequea, P
ii
( h ) es la probabilidad de permanecer en i hasta
un tiempo h , luego entonces, tenemos que
1 P
ii
( h ) = 1 {1 h + ( ) i ( )
2
1
2!
i h ( )
3
1
3!
i h + }+ o(h)
= h ( ) i ( )
2
1
2!
i h + ( )
3
1
3!
i h + o(h)

dividiendo entre h, y haciendo h 0

( )
0
1
lim
ii
h
P h
h
= ( i )

Para el inciso b) tendramos que

P
ij
( h ) = q
ij
( 1 exp
( i )h
) = q
ij
[ h ( ) i ( )
2
1
2!
i h + ( )
3
1
3!
i h ]


( )
0
lim
ij
h
P h
h
= q
ij
( i )

Teorema 3.6. (Ecuacin atrasada de Kolmogorov) Para todos los estados i, j y tiempo
t 0,

( )
ij
P t =( i ) ( ) ( ) ( )
ik kj ij
k i
q P t i P t
`
)

________________________________________________________________________________

Demostracin.

Usando la ecuacin de Chapman-Kolmogorov , podemos ver que

( )
ij
P t h + =
`
( )
ij
P t ( ) ( )
ik kj
k E
P h P t
( )
ij
P t
= +P h P ( ) ( )
ik kj
k i
P h P t
)
`
( ) ( )
ii ij
P t ( )
ij
t
= ( ) ( )
ik kj
k i
P h P t

)
`
)
[1 P
ii
( h ) ] ( )
ij
P t

( ) (
0
lim
ij ij
h
P t h P t
h
+
=
( )
( )
( )
( )
0
1
lim
ik ii
kj ij
h
k i
P h P h
P t P t
h h

(
| |
` ( |
\ . )

= ( ) ( ) ( ) ( )
ik kj ij
k i
i q P t i P t
`
)
obtenemos

( )
ij
P t =( i ) ( ) ( ) ( )
ik kj ij
k i
q P t i P t
`
)

Teorema 3.7. (Ecuacin adelantada de Kolmogorov) Para todos los estados i, j y
tiempo t 0,

( )
ij
P t = ( ) ( ) ( ) ( )
kj ik ij
k j
k q P t j P t
`

)

Demostracin.

Usando la ecuacin de Chapman-Kolmogorov, podemos ver que

( )
ij
P t h + =
`
( )
ij
P t ( ) ( )
ik kj
k E
P t P h
( )
ij
P t
________________________________________________________________________________

= +P h P ( ) ( )
ik kj
k j
P t P h

`
( ) ( )
jj ij
P t ( )
ij
t
= [1 P ( ) ( )
ik kj
k j
P t P h
jj
( h ) ] P ( )
ij
t


( ) ( )
0
lim
ij ij
h
P t h P t
h
+
= ( )
( ) ( )
( )
0
1
lim
kj jj
ik ij
h
k j
P t P h
P t P t
h h

(
| |

(
` |
( \ .
)

= ( ) ( ) ( ) ( )
kj ik ij
k j
k q P t j P t
`

)
obtenemos

( )
ij
P t =

`
( ) ( ) ( ) ( )
kj ik ij
k j
k q P t j P t

El resultado de los dos teoremas anteriores lo podemos poner en forma
matricial, de la siguiente forma

P
t
= P
t
L = LP
t

Ejemplo 3.5. Consideremos un proceso de Markov con dos estados E={0,1},
permanece en 0 con tasa exponencial y despus cambia a 1, permanece en 1 con tasa
exponencial y despus cambia a 0.
Tenemos que Q =
0 1
1 0
| |
\ .
|
y (0) = y (1) = , obtengamos P
t
a partir de las
ecuaciones de Kolmogorov , usemos la ecuacin adelantada para obtener

( )
00
P t = , ( ) ( )
0 0 00
0
( ) (0)
k k
k
k q P t P t
`
)
como slo hay dos estados

( )
00
P t = (1)q
10
P
01
(t ) (0)P
00
(t )
________________________________________________________________________________
= P
01
(t ) P
00
(t )
= [ 1 -P
00
(t ) ] P
00
(t )
= (+)P
00
(t ) +
( )
00
P t + (+)P
00
(t ) =
Multiplicando ambos lados por e
( ) + t

, tenemos
( ) + t
e [ P + (+)P ( )
00
t
00
(t ) ]= e
( ) + t

que es igual a
d
dt
[ e P
( ) + t
00
(t ) ] =
( ) + t
e

integrando de ambos lados
( ) + t
e P
00
(t ) =
+
( ) + t
e + c
dado que P
00
(0) = 1, tenemos que,
c =
+

Por lo tanto tenemos que
P
00
(t ) =
+
+

+
( ) + t
e

y
P
01
(t ) = 1 - P
00
(t )
=
+
+
+
( ) + t
e

=
( ) +
1
+
t
e
(
+

de manera semejante podemos obtener
P
11
(t ) =
+
+

+
( ) + t
e

y
P
10
(t ) =
+
+

+
( ) + t
e

________________________________________________________________________________

3.3. Teoremas lmites.

En analoga con las cadenas de Markov, con respecto a la distribucin
estacionaria que vimos en el teorema 2.21 para cierto tipo de cadenas de Markov,
tenamos que

( j ) = , para toda j E ( )
ij
i E
i p

( )
j E
j
= 1

y es la distribucin estacionaria y adems era igual a

( j ) = para todo i, j E. lim
n
ij
n
p

Tenemos un resultado similar para procesos de Markov, a continuacin se enuncia sin
demostracin.

Teorema 3.8. Sea Y un proceso de Markov, recurrente positiva e irreducible, entonces
para algn j E,
( j ) = ( ) lim
ij
t
P t

existe y es independiente del estado inicial i,

( j ) =
( )
( )
( )
( )
i E
j
j
i
i

es la solucin a

= Q

y Q es la matriz de transicin de la cadena de Markov asociada al proceso.

De este resultado podemos obtener
Captulo 3 3.3. Teoremas lmites. 89
________________________________________________________________________________

Corolario 3.8.1. Sea Y un proceso de Markov, recurrente e irreducible. Entonces el
sistema de ecuaciones lineales
L = 0

tiene una solucin nica que es estrictamente positiva. La probabilidades lmites ( j )
estn dadas por

( j ) =
( )
( )
i E
j
i
, j E.

Demostracin.

Dado que = Q , tenemos

( j ) =
, j E ( )
ij
i j
i q
de la definicin 3.6 y de L = 0

( )( ) ( ) ( )
ij
i j
i i q j j
=0

( )( )
ij
i j
i i q
= ( j )( j ) , j E

podemos ver que para que ambas igualdades se cumplan,

( j ) = ( j )( j ), j E,

por las propiedades de tenemos que es positiva, despejando de la igualdad anterior
y del teorema anterior, tenemos que

( j ) =
( )
( )
i E
j
i

Del corolario anterior podemos ver que se cumple que

P
t
=
________________________________________________________________________________

para todo t 0, tenemos que ( j ) = ( j ) , por tanto para probar la igualdad
anterior es equivalente a
( )
i E
i

P
t
= ( 3.1 )
P
t
= ( ) ( )
kj
k E
k P t

del teorema 3.8 tenemos
( j ) = ( ) lim
ij
s
P s

= ( )
( )
( ) lim
ik kj
s
k E
P s P t

=lim
( ) ( )
ik kj
s
k E
P s P t

usando la ecuacin de Chapman-Kolmogorov

= lim
s
( )
ij
P t s +
=

es decir, P
t
= , lo que significa que tambin se cumple P
t
= .

De las ecuaciones de Kolmogorov = P
t
L = LP P
t
t
podemos ve que cuando
t la derivada se hace cero es decir tenemos que

P
L = LP
= 0

a partir de aqu podemos tambin probar el corolario 3.8.1.

Definicin 3.7. Un vector que satisfaga P
t
= es llamada medida invariante.

Si Y
0
tiene distribucin , entonces de la ecuacin (3.1) tenemos que

P{Y
t
= j } = ( j ) , j E

Captulo 3 3.3. Teoremas lmites. 91
________________________________________________________________________________
para todo t. De ah que a veces se use el trmino de distribucin invariante para hablar
de .

Ejemplo 3.6. Sea Y un proceso de Markov con

L =
|
|

5 2 3
2 3 1
2 4 6
| |
\ .

las ecuaciones de L = 0 , son

5(1)+2(2)+3(3) = 0
2(1) 3(2)+4(3) = 0
3(1)+(2) 6(3) = 0

Una de las ecuaciones es combinacin lineal de las otras dos, quitamos del
sistema la tercera ecuacin,
5(1)+2(2)+3(3) = 0
2(1) 3(2)+4(3) = 0

el sistema va a depender de alguno da las ( i ), haciendo (1) = 42, tenemos

2(2)+3(3) = 210
3(2)+4(3) = 84

al resolver el sistema obtenemos (2) = 72 y (3) = 33. Entonces una solucin de
L=0 y P
t
= es = (42, 72, 33), y alguna otra solucin es una constante mltiplo
de est, dividiendo a entre , obtenemos
3
1
( )
i
i
=
=
14 24 11
, ,
49 49 49
| |
|
\ .

________________________________________________________________________________

3.4. Procesos de nacimiento y muerte.

Los procesos de nacimiento y de muerte son una clase muy importante de
procesos de Markov. En estos procesos Y
t
, describe el tamao de una poblacin al
tiempo t, con E ={ 0, 1, 2, . }. Un nacimiento incrementa en uno el tamao de la
poblacin y una muerte la hace decrecer en uno. Es decir un proceso de nacimiento y
muerte es un proceso de Markov con cambios slo a travs de transiciones desde un
estado a sus vecinos inmediatos.

Definicin 3.8. Un proceso de Markov {Y
t
, t R
+
}, con espacio de estados E ={ 0,
1, 2, . } y probabilidades de transicin homogneas se denomina proceso de nacimiento y
de muerte si sus intensidades de transicin satisfacen las condiciones siguientes: si i y j
son estados tales que |i j| 2, entonces:

(i, j ) = 0

y
i
= ( i, i + 1 ) para i 0
i
= ( i, i 1 ) para i 1 (3.2)
i
+
i
= ( i ) para i 0

con
0
= 0.

De la definicin
i
es la intensidad de nacimiento del proceso y
i
es la intensidad de
muerte.

Podemos poner las igualdades de 3.2 ms explcitamente de la siguiente forma
usando la definicin 3.6 y el teorema 3.5

( )
1
0
lim
ii
h
P h
h
+
=
i

( )
1
0
lim
ii
h
P h
h
=
i

( )
0
1
ii
h
P h
h
lim =
i
+
i

Captulo 3 3.4. Procesos de nacimiento y muerte. 93
________________________________________________________________________________
Luego entonces podemos decir que un proceso de nacimiento y de muerte es un
proceso de Markov {Y
t
, t R
+
}, donde Y
t
es el tamao de la poblacin al tiempo t. En
un intervalo de tiempo (t, t +h) pequeo, Y
t
se incrementa en uno con probabilidad
i
h + o(h) y decrece en uno con probabilidad
i
h + o(h), o no cambia con probabilidad
1 (
i
+
i
)+ o(h), esto lo podemos poner de la siguiente forma, para h 0

P{Y
t+h
= j | Y
t
= i } =
( ) 1
1 ( ) ( )
( ) 1
( ) cualquier otro caso
i
i i
i
h o h j i
h o h j i
h o h j i
o h
+ = +
+ + =
+ =

A partir de la definicin de un proceso de nacimiento y de muerte podemos ver
que la matriz de intensidad asociada con un proceso de nacimiento y de muerte es

=
0 0
1 1 1 1
2 2 2 2
0 0
0
0

| |
|

|
|
|
|
\ .

Usando el teorema 3.5, obtenemos la matriz de transicin asociada al proceso de
nacimiento y de muerte

Q =
1 1
1 1 1 1
2 2
2 2 2 2
0 1 0 0
0 0
0 0

| |
|
|
+ + |
|
+ + |
|
|
\ .

|

hacemos
p
i
=
i
i i
+

q
i
=
i
i i
+

Ejemplo 3.7. Un modelo para el cual

i
= i + , i 0
________________________________________________________________________________

i
= i , i 1

es llamado un proceso de crecimiento lineal con inmigracin. Cada individuo se asume que nace
a una tasa , adems hay una tasa exponencial de crecimiento de la poblacin ,
debido a una situacin externa, por eso la tasa total de nacimientos cuando hay i
personas es i + . Las muertes ocurren con una tasa exponencial para cada
miembro de la poblacin y entonces
i
= i .

Un proceso de nacimiento y de muerte se dice que es, un proceso de nacimiento puro
si,
i
= 0, para todo i. Un ejemplo de un proceso de nacimiento puro es el proceso
Poisson.

Teorema 3.9. La cadena de Markov {X
t
}, asociada al proceso de nacimiento y de
muerte, es recurrente si, y slo si,
1
1 1
n
n n

=
1
1 1
n
n n
q q
p p
= .

Demostracin.

Aplicamos el teorema 2.25 quitamos la fila y la columna asociados al estado 0 de la
matriz Q.

Q =
|
|

1
2 2
3 3
0 0 0
0 0
0 0
p
q p
q p
| |
|
|
|
\ .

resolvamos el siguiente sistema h = Qh, si h = 0 son recurrentes los estados pero si
h0 sern transitorios, resolvamos el sistema, para cada i 0.

h
i
=
0
ij j
j
q h

h
1
= p
1
h
2
h
2
= q
2
h
1
+ p
2
h
3
h
3
= q
3
h
2
+ p
3
h
4

h
n
= q
n
h
n 1
+ p
n
h
n+1
________________________________________________________________________________
como h
n
= (q
n
+ p
n
)h
n
aplicando lo anterior a la primera ecuacin
(q
1
+ p
1
)h
1
= p
1
h
2
q
1
h
1
= p
1
(h
2

h
1
)

1
1
q
p
h
1
= h
2

h
1

en general
(q
n
+ p
n
)h
n
= q
n
h
n 1
+ p
n
h
n+1
q
n
(h
n
h
n 1
)= p
n
(h
n +1
h
n
)

n
n
q
p
(h
n
h
n 1
) = h
n +1
h
n

tenemos una frmula de recurrencia, as que
h
n +1
h
n
=
n
n
q
p
(h
n
h
n 1
)
=
n
n
q
p
1
1
n
n
q
p

(h
n1
h
n 2
)
=
1 2
1 2
n n
n n
q q q
p p p
(h
2
h
1
)
=
1 2 1
1 2
n n
n n
q q q q
p p p p
1
h
1

Entonces hay una solucin acotada, no cero si, y slo si, su h p
n
lim
n
n
< , como se puede
observar h
n
es una sucesin creciente, por lo que su h p
n
n
= h
n ,
luego

lim
n
h
n
= h
1
+ ( )
1
1
n n
n
h h
+
=

= h
1
+
1 2 1
1
1 1 2 1
n n
n n n
q q q q
h
p p p p

= h
1

1 2 1
1 1 2 1
1
n n
n n n
q q q q
p p p p
=
| |
+
|
\ .

________________________________________________________________________________

como h sup
n
n
< esto se cumple slo si
1 2 1
1 2
n n
n n
q q q q
p p p p
1
< , lo que significa que esto
sucede si, y slo si, los estados son transitorios, lo que significa que los estados son
recurrentes si, y slo si,
1
1 1
n
n n
q q
p p
= , por ltimo de

p
i
=
i
i i
+
y q
i
=
i
i i
+

tenemos que
i i
i i
q
p

=

por lo tanto
1
1 1
n
n n

=
1
1 1
n
n n
q q
p p
=

Teorema 3.10. Para un proceso de nacimiento y de muerte hay una solucin o
proporcional a ella para,
L = 0
y (n) =
0
1
n
n

1
(0) n = 1, 2,

Demostracin.

Haciendo el producto de L, tenemos el siguiente sistema de ecuaciones

(0)
0
= (1)
1

(
n
+
n
)(n) =
n1
(n1) +
n+1
(n+1) para n = 1, 2,
luego
(1) =
0
1
(0)
________________________________________________________________________________
n+1
(n+1)
n
(n) =
n
(n)
n1
(n1)
como se puede ver tenemos un sistema recursivo, cuya solucin depende de (0), dado
(0) el sistema tiene una y solamente una solucin.

Probemos por induccin que ( n ) =
0
1
n
n

1
(0) n = 1, 2, ,
Para n = 1, (1) =
0
1
(0), se cumple, ahora verifiquemos si se cumple para n = k +1
k+1
(k+1)
k
(k) =
k
(k)
k1
(k1)
por hiptesis de induccin
k+1
(k+1)
k
0
1
k
k

1
(0) =
k
0
1
k
k

1
(0)
k1
0 2
1 1
k
k

(0)
se eliminan entre si los dos trminos con signo negativo
k+1
(k+1) =
k
0
1
k
k

1
(0)
luego entonces
(k+1) =
0 1
1 1
k
k k

k
.
(0)
es la nica ya que para cualquier (0) seguir siendo proporcional.

Corolario 3 10.1. Sea {Y
t
, t R
+
} un proceso de nacimiento y de muerte, si la cadena
de Markov {X
n
}
n1
asociada al proceso es recurrente, la medida estacionaria de {X
n
}
n1

es
(n) =
1
1
n
n
p p
q q
1
(0) , n = 1, 2,
Demostracin.

Del corolario 3.8.1
(n) = (n)(n), n E,
y del teorema anterior
________________________________________________________________________________

(n) =
0 1
1
n
n

(0)
luego entonces
(n) = (n)
0 1
1
n
n

(0)
y como (n) =
n
+
n
= (
n
+
n
)
0 1
1
n
n

(0)
= (
n
+
n
)
0 1
1
n
n

(0)
(0)

= (
n
+
n
)
0 1
1
n
n

0
(0)

como p
i
=
i
i i
+
y q
i
=
i
i i
+

= (
n
+
n
)
1 1
1 1
n
n
p p
q q

(0)
n

=
1 1
1 1
n
n
p p
q q

1
n
n n
+
(0)
por lo tanto (n) =
1
1
n
n
p p
q q
1
(0) , n = 1, 2,

Sea S = 1 +
0 1
1 1
n
n n

Corolario 3.10.2. Sea {Y
t
, t R
+
} un proceso de nacimiento y de muerte, {Y
t
, t
R
+
} tiene una distribucin estacionaria si, y slo si, S < , y en este caso
(0) =
1
S

________________________________________________________________________________
(n) =
0 1
1
1
S
n
n

Demostracin.

Para poder obtener una distribucin estacionaria del corolario 3.8.1,
<, ( )
n E
n
0
( )
n
n
=(0) +
1
( )
n
n
= (0) +
0 1
1 1
(0)
n
n n

= (0)S

entonces {Y
t
, t R
+
} tiene una distribucin estacionaria si, y slo si, S < .
Del corolario 3.8.1 ( j ) =
( )
( )
i E
j
i
, j E y del teorema 3.10 (n) =

0
1
n
n

1
(0)
n E, tenemos que
(0) =
1
S

(n) =
0 1
1
1
S
n
n

3.5. Ejercicios.

Ejemplo 3.8. ( M/M/1/ ) Del ejemplo 3.3 y 3.4, la llegada de los clientes se comporta
como un proceso Poisson con parmetro a y el tiempo de los servicios sigue una
distribucin exponencial con parmetro b, consideramos que slo hay un servicio y no
hay ninguna restriccin con respecto al nmero de clientes permitidos en la espera del
servicio (en la cola). El proceso Y = {Y
t
, t R
+
} nos indica el nmero de clientes en la
cola al tiempo t, como podemos ver es el proceso Y es un proceso de nacimiento y de
muerte con

________________________________________________________________________________

0
=
1
= = a y
1
=
2
= = b
y

Q =
0 1 0 0 0
0 0 0
0 0 0
0 0 . . . 0
0 0 0 . . .
0 0 0 0 . .
b a
a b a b
b a
a b a b
| |
|
|
+ + |
|
+ +
|
|
|
|
|
\ .
|

haciendo r =
a
b
, teneos que S (del corolario 3.10.2) es:

S =
=
0
n
n
r
=
si
1
si
1
a b
a b
r

<

Entonces si r < 1, tiene el proceso una distribucin lmite, usando el resultado del
corolario 3.10.2

( j ) = ( 1r )r
j
, j = 0, 1, 2,

Si r 1, entonces P[ Y
t
= j ] 0 cuando t . La razn r es llamada la intensidad de
trfico del sistema.

Ejemplo 3.9. ( M/M/1/m ) Vamos a considerar el sistema de colas del ejemplo anterior
pero con una variante, que tiene una capacidad finita de nicamente m clientes
(incluyendo el que esta siendo atendido), lo que quiere decir esto es que si en el sistema
hay m clientes, entonces al llegar el prximo cliente no se quedar a esperar, el cliente se
va y no regresa. Los elementos de la matriz de intensidad son:

0
=
1
= =
m1
= a,
m
= 0 y
1
= =
m
= b

la intensidad de trfico es r =
a
b
,

Captulo 3 3.5. Ejercicios. 101
________________________________________________________________________________
S = =
0
m
n
n
r
=
1
1
1
m
r
r
+
si r < 1

Entonces si r < 1, tiene el proceso una distribucin lmite, usando el resultado del
corolario 3.10.2.

( j ) =
1
1
1
1
m
r
r
+
r
j

=
1
1
1
m
r
r
+
r
j
, j = 0, 1, 2,

si r = 1

( j ) =
1
1 m +
, j = 0, 1, 2,

Ejemplo 3.10. ( M/M/m/ ) Consideremos un proceso igual al del ejemplo 3.8, pero
ahora consideremos que de lugar de un servidor se tienen m, es decir, las llegadas al
servicio son un proceso Poisson con parmetro a y los tiempos de los servicios se
distribuyen como una exponencial con parmetro b, hay m servidores, el tiempo que
tarda cada uno en atender a un cliente son independientes uno de los otros.

Si hay i < m clientes en el sistema entonces i servidores estn trabajando
independientemente uno del otro, entonces

( i ) = a + ib

si i m entonces m servidores estn ocupados y

( i ) = a + mb
y
0
=
1
= = a y
1
=b,
2
=2b , ,
m
= mb ,
m+1
= mb,

o bien, para la intensidad de salida

i
=
si
si
ib i m
mb i m
<

________________________________________________________________________________

la intensidad de trfico r =
i
i
seria

r =
si
si
a
i m
ib
a
i m
mb
<

usando el teorema 3.9, el proceso es recurrente, si, y slo si

1
1 1
n
n n

= =
1
n
n
r
r 1

Por otro lado

S = 1 +
0
1 1
n
n n

= 1 +
1
0 1
1 1
m
n
n n

+
0 1
1
n
n m n

= 1 +
1
0 1
1 1
m
n
n n

+
0 1
1 1
m m n
n m m m n

= +

1

= 1 +
1
1
!
n m
n
n
a
n b
+
!
m
m
a
m b
1
1
m n
n m m n

= +

= 1 +
1
1
!
n m
n
n
a
n b
+
!
m
m
a
m b
1
n
n
r

S < r < 1, r en este caso es r =
a
mb

S = 1 +
1
1
!
n m
n
n
a
n b
+
!
m
m
a
m b
1
1 r

El proceso tiene una distribucin estacionaria si r < 1, y del corolario 3.10.2, ( n ) es

(n) =
0 1
1
1
S
n
n

________________________________________________________________________________

( n )=
( )
1
0
S !
1
S !
n
n
m n m
m n m
a
n m
n b
a a
m n
m b
mb
<

( n )=
1
0
S !
1
S !
n
n
n
n m n
a
n m
n b
a
m n
m m b
<

Ejemplo 3.11. En una central telefnica, con m lneas, las llamadas llegan a la central
telefnica como un proceso Poisson con parmetro a, el tiempo que dura cada llamada
tiene una distribucin exponencial con media
1
b
, las llamadas que llegan cuando las m
lneas estn ocupadas se pierden, consideramos el proceso Y = {Y
t
, t R
+
}, donde Y
t

representa el nmero de lneas que estn ocupadas al tiempo t, el espacio de estados de
este procesos es E = { 0 , 1, , m}, bajo las hiptesis que se han hecho, es claro que el
proceso Y, es un proceso de nacimiento y de muerte, con

0
=
1
= =
m 1
= a ,
m
=0 y
1
=b,
2
=2b , ,
m
= mb

S = 1 +
0 1
1 1
k
n
n n

=
=
0
!
n k
n
n
a
n b
=

Luego entonces su distribucin estacionaria es;

( n ) =
1
S !
n
n
a
n b

la igualdad anterior se denomina frmula de prdida de Erlang.

As conociendo podemos saber cual es la probabilidad estacionara de que el sistema
se encuentre lleno

( m ) =
2
2
!
2! !
1
m
m
m
m
a
m b
a a a
b
b m
+ + + +
b

________________________________________________________________________________

Ejemplo 3.12. Una fbrica consta de m mquinas y una sola persona para repararlas, el
tiempo que tarda una mquina antes de descomponerse sigue una distribucin
exponencial con media
1
a
, cada mquina funciona sin fallas independientemente una
de la otra, cuando esta falla se manda a reparar el tiempo de reparacin se comporta
como una distribucin exponencial con media
1
b
. El proceso Y = {Y
t
, t R
+
},
donde Y
t
representa el nmero de mquinas que se encuentran descompuestas al
tiempo t, el espacio de estados de este procesos es E = { 0 , 1, , m}, si Y
t
= i,
significa entonces que hay m i mquinas funcionando, el tiempo de la prxima falla
ser una exponencial con parmetro (m i )a. Es claro que el proceso Y, es un proceso
de nacimiento y de muerte, con

0
= ma,
1
= (m1)a , ,
m 1
= a ,
m
=0 y
1
=
2
= =
m
= b

El proceso Y es finito y por tanto recurrente,

S = 1 +
0 1
1 1
m
n
n n

=

= 1+
ma
b
+
2
2
( 1) m m a
b
++
( ) ( 1) (2)(1)
m
m
m m a
b

= 1 +
( )
1
!
!
n
m
n
m a
m n b
=
| |
|
\ .

Entonces Y tiene la siguiente distribucin lmite

( j ) =
1
S
\ .
| |
|

( )
!
!
j
m a
m j b
| |
| |

\ .
\ .
|
|
j = 0 , 1, , m

De aqu podemos calcular el nmero promedio de mquinas que estarn
descompuestas

0
( )
m
j
j j
=
=
( )
0
1 !
S !
j
m
j
m a
j
m j b
=
| |
| | | |
|
| |
|
\ . \ .
\ .

=
1
S
| |
|
\ . ( )
0
!
!
j
m
j
m a
j
m j b
=
| |
| |
|
|
|
\ .
\ .

________________________________________________________________________________
Ejemplo 3.13. Sea Y = {Y
t
, t R
+
}, un proceso de nacimiento y de muerte tal que,

i
= ia , i 0
y
i
= 0 para toda i.

como se puede observar es un proceso de nacimiento puro, aqu cada uno de los
miembros de la poblacin acta independientemente y los nacimientos ocurren con una
tasa exponencial a. Este proceso de nacimiento puro se le denomina proceso de Yule.

Supongamos que el proceso de Yule empieza con un individuo al tiempo cero es decir
Y
0
= 1 y sea T
i
, i 1 el tiempo entre el (i1)-simo nacimiento y el i-simo nacimiento,
por como hemos planteado nuestro proceso, tenemos que, los T
i
son independientes
con distribucin exponencial con parmetro ia. Luego entonces

P{T
1
t } = 1 exp
at

P{T
1
+ T
2
t } =
1 2 1
0
{ | } exp
t
ax
P T T t T x a dx
+ =
=
( )
2 ( )
0
1 exp exp
t
a t x ax
a d

x
)
x
= a
( )
2
0
exp exp exp
t
ax at ax
dx

=
( )
2
1 exp
at
P{T
1
+ T
2
+T
3
t } =
1 2 3 1 2
0
{ | }2 exp (1 exp
t
ax ax
P T T T t T T x a dx

+ + + =
=
( )
3 ( )
0
1 exp 2 exp (1 exp )
t
a t x ax ax
a d

=
( )

3
1 exp
at

y en general se puede demostrar por induccin

________________________________________________________________________________

P{T
1
+ T
2
+T
3
+ + T
j
t } =
( )
1 exp
j
at

El evento {T
1
+ T
2
+T
3
+ + T
j
t } es igual que el evento {Y
t
j +1| Y
0
= 1}, es
decir, P{T
1
+ T
2
+T
3
+ + T
j
t } = P{Y
t
j +1| Y
0
= 1}, de aqu obtenemos

P
1j
( t ) =
( )

( )

1
1 exp
j
at

1 exp
j
at
= exp
at

( )

1
1 exp
j
at

As hemos encontrado que, cuando la poblacin comienza con un individuo, el
tamao de la poblacin al tiempo t tiene una distribucin geomtrica con media exp
at
.
Entonces si la poblacin comienza con i individuos el tamao de la poblacin a tiempo
t es la suma de i variables aleatorias independientes e idnticamente distribuidas
geomtricamente, lo que nos da una binomial negativa,

P
ij
( t ) =
1
1
j
i

| |
\ .
|
)
exp
ati
(
1 exp
j i
at

j i 1

Si usamos las ecuaciones adelantadas de Kolmogorov (teorema 3.7)

( )
ij
P t = ( ) ( ) ( ) ( )
kj ik ij
k j
k q P t j P t
`

)

para el proceso de Yule obtendramos que

( )
ii
P t = ia P
ii
( t )

( )
ij
P t = ( j 1 )a P
ij1
( t ) ja P
ij
( t )

para la primera ecuacin, multiplicando ambos lados por ex , tenemos p
iat

exp
iat
[ + ia P ( )
ii
P t
ii
( t ) ]= 0

que es igual a

d
dt
[ ex P p
iat
ii
( t ) ] = 0

________________________________________________________________________________
exp
iat
P
ii
( t ) = c

como P
ii
( 0 ) = 0 entonces c = 1,

P
ii
( t ) = exp
iat

Para la siguiente ecuacin, multiplicando ambos lados por , tenemos exp
jat

exp
jat
[ + ja P ( )
ij
P t
ij
( t ) ]= ex ( j 1 )a P p
jat
ij1
( t )

que es igual a

d
dt
[ ex P p
jat
ii
( t ) ] = ( j 1 )a P exp
jat
ij1
( t )


P exp
jat
ii
( t ) = ( )
1
0
exp 1 ( )
t
jas
ij
j aP s
ds
s

P
ii
( t ) = ( j 1 )a exp
jat
1
0
exp ( )
t
jas
ij
P s d

Podemos obtener P
ii
( t ) recursivamente, y podemos verificar que este resultado
coincidir con

P
ij
( t ) =
| |
1
1
j
i

\ .
|
)
exp
ati
(
1 exp
j i
at

j i 1

obtenido anteriormente.

Bibliografa.

[1987] S. Asmussen, Applied Probability and Queues, John Wiley and
Sons,Chichester.
[1981] B. R. Bhat, Modern Probability Theory An Intoductory Textbook, John Wiley
and Sons, New York.
[1998] P. Brmaud, Markov Chains Gibbs Fields, Monte Carlo Simulation and Queues,
Springer, New York.
[2000] Z. Brzezniak y T. Zastawniak, Basic Stochastic Processes, Springer-Verlang,
New York.
[1988] Y.S.Chow y H. Teicher, Probability Theory, Independence, Interchangeability,
Martingales, Springer Verlag, New York.
[1974] K.L Chung, A Course in Probability Theory, Academic Press, New York.
[1983] K.L. Chung, Teora Elemental de la Probabilidad y Procesos Estocsticos, Revert,
Espaa.
[1975] E. inlar, Introduction to Stochastic Processes, Prentice-Hall, New Jersey.
[1976] R.Coleman, Procesos Estocsticos, Limusa,Mxico.
[2001] J.I. Domnguez, Diseo y Anlisis de Modelos de Probabilidad, Iberoamrica,
Mxico.
[1980] W. Feller, Introduccin a la Teora de Probabilidades y sus Aplicaciones Vol. I, Vol.
II, Limusa, Mxico.
[1976] D.L.Isaacson y R.W. Madsen, Markov Chains Theory and Applications, John
Wiley & Sons, New York.
[1972] P.G.Hoel, S.C. Port, C.J. Stone, Introduction to Stochastic Processes, Houghton
109
110
Mifflin, Boston.
[1975] S. Karlin y M. Taylor, A First Course in Stochastic Processes, Academic Press,
New York
[1994] J. Medhi, Stochastic Processes, John Wiley and Sons, New York.
[1974] A.M.Mood, F.A. Graybill y D.C. Boes, Introduction to the Theory of Statistics,
Mc.Graw-Hill, New York.
[1972] U. Narayan Bhat, Elements of Applied Stochastic Processes, John Wiley and
Sons, New York.
[1999] E. Parzen, Stochastic Process, S.I.A.M. Philadelphia.
[1987] E. Parzen, Teora Moderna de Probabilidades y sus Aplicaciones, Limusa,
Mxico.
[1992] S. Ross, Applied Probability Models with Optimization Applications, Dover, New
York.
[1980] S. Ross, Introduction to Probability Models, Academic Press, New York
[1996] S. Ross, Stochastic Processes, Wiley, New York.
[1973] Y. Rozanov, Procesos Aleatorio, Mir, Mxico

Indice
C
cadena de Markov 24
homgenea 24
irreducible 31, 33
nmero de llegadas 34
tiempo de llegada 33
tiempo entre llegadas 35
caminata aleatoria 1, 19
clase de comunicacin 32
colas (M/M/1) 77, 99, 100
colas (M/M/m) 101
D
distribucin estacionaria 51
distribucin inicial 28
E
ecuacin adelantada de Kolmogorov 85
ecuacin atrasada de Kolmogorov 84
ecuacin de Chapman-Kolmogorov 29, 75
estado 1
estado absorbente 26, 33, 79
accesible 31
alcanzado 31
aperidico 33
cero recurrente 35
de retorno 32
estable 79
instantneo 79
no retorno 32
peridico 33
recurrente 35, 37
o
recurrente nulo 35
recurrente positivo 35
transitorio 35, 37
que se comunican 31
conjunto cerrado 33
F
frmula de prdida de Erlang 103
funcin de transicin 74
I
intensidad de muerte 92
de nacimiento 92
de trfico 100
M
matriz de intensidad 83
matriz doblemente estocstica 25
matriz estocstica 25
matriz potencia 36
medida invariante 90
P
periodo de retorno 33
probabilidad de transicin en m pasos 29
de transicin o de paso 24
probabilidad total 3
proceso Bernoulli 2
nmero de xitos 3, 7
tiempo de xito 7
proceso de conteo 10
proceso de crecimiento lineal con inmigracin 94
proceso de Markov 74
homogneo 74
proceso de nacimiento pur 94
proceso de nacimiento y de muerte 92
proceso de Yule 105
proceso estocstico 1
con espacio parametral continuo 1
con espacio parametral discreto 1
con incrementos estacionarios 10
con incrementos independientes 5, 10
con espacio de estados continuo 2
con espacio de estados discreto 2
estacionario con incrementos independientes 5
proceso Poisson 10
intensidad 16
tiempo de espera 11
tiempo de intensidad 16
tiempo de llegada 12
tiempos entre llegadas 13
T
tasa de transicin 83

Proceso Esto Cast I Cos

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Proceso Esto Cast I Cos

Cargado por

Copyright:

Formatos disponibles

Introduccin a los procesos

por el teorema 1.1

Captulo 2 2.1. Introduccin 29

por hiptesis de induccin

en forma matricial nos quedara que

UNAM-Acatln-Mahil Herrera Maldonado

Supongamos que la cadena no es recurrente positiva por el teorema 2.12,

Captulo 2 2.3. Distribucin estacionaria 53

son conjuntos cerrados e irreducibles de estados aperidicos.

podemos calcular n , usando el teorema 2.22,

, definidos como en el teorema anterior y supngase que la

dado que =0 excepto si k B

, = ( j ), independiente de k, tomando el lmite en

, ambas deben sumar uno, sumamos las

Captulo 3 3.2. Estructura de un proceso de Markov 85

como slo hay dos estados

(0), se cumple, ahora verifiquemos si se cumple para n = k +1

, j E y del teorema 3.10 (n) =

También podría gustarte