Markov PPT 2012 I PDF

1
Cadenas de Markov Discretas

Cadenas de Markov

Cuando, conociendo el pasado y el
presente, el comportamiento
probabilstico del futuro inmediato slo
depende del estado presente
Propiedad Markoviana
Sea {X
n
: n > 0} un proceso estocstico discreto (es
decir, cada X
n
es una variable aleatoria discreta).
Diremos que tiene la propiedad de markoviana si se
cumple:

P{X
n+1
= j / X
0
= i
0
, X
1
= i
1
. . . X
n
= i
n
} =

P{X
n+1
= j / X
n
= i
n
} = p
i,j
(n)

Probabilidades de Transicin
p
i,j
(n) = la probabilidad de que el proceso,
estando en el estado i en el tiempo n,
pase al estado j en el instante
siguiente

Cuando p
i,j
(n) = p
i,j
(esto es, no depende de n) se
dice que las probabilidades de transicin son
estacionarias. Lo supondremos de ahora en
adelante.
Matriz de Transicin
Las probabilidades de transicin definen la
matriz P = [p
ij
] que satisface

1) p
ij
> 0 para todo i, j

2) para todo i

1 p
j
ij
=
Matriz de Transicin: ejemplo
.

Tiempo
n+1
Estado 0 Estado 1 Estado 2 Estado 3
Estado 0
0,20 0,65 0,15 0
Tiempo
n
Etado 1
0 0,60 0 0,40
Estado 2
0,15 0,15 0,30 0,40
Estado 3
0 0 0 1
2
Clasificacin de Procesos Markovianos
Los procesos Markovianos se clasifican de acuerdo
al tipo de espacio y tipo de parmetro.
Si el espacio de estados es discreto el proceso
recibe el nombre de Cadena de Markov, en el otro
caso, de espacio continuo, se conoce como Proceso
de Markov.
Segn el parmetro temporal, en ambos casos se
dividen en procesos o cadenas de Tiempo Continuo
o Tiempo Discreto.

7
Introduccin a las Cadenas de Markov
Clasificacin de Procesos Markovianos
8
Cadena de Markov
de tiempo discreto
Espacio
Discreto
Tiempo
Continuo
Espacio
Continuo
Tiempo
Discreto
Cadena de Markov
de tiempo continuo
Proceso de Markov
de tiempo discreto
Proceso de Markov
de tiempo continuo
En este documento se
describir en
profundidad este tipo
de cadenas.
Introduccin a las Cadenas de Markov
Conceptos bsicos
Como las cadenas de Markov poseen espacio de
estados discreto, estos se pueden nombrar:
{E
0
, E
1
, E
2
, ...}

Sin embargo, para simplificar la notacin, se
asocian a los nmeros naturales:
Para el caso general el entero i representa al
estado E
i
.

9
Cadenas de Markov discretas
Conceptos bsicos
Para denotar el estado en que se encuentra la cadena
en un tiempo n se utilizar la siguiente notacin:

X
n
=i , estar en el estado i en el tiempo n.

La probabilidad de transicin para ir desde el estado i
al estado j en un paso es:
P
ij
= P[X
n+1
=j | X
n
=i]

10
Conceptos bsicos
En general P
ij
(n) depende de n.
Cuando P
ij
(n) no depende de n, la probabilidad de
transicin desde el estado i al j no varia en el tiempo.
11
Conceptos bsicos
Es posible representar una cadena de Markov por un grafo.
Cada nodo representa a un elemento del espacio muestral.
Cada arco dirigido representa a la probabilidad de transicin
P
ij
( desde i a j) asociada al par de estados que conecta (i , j)

12
Representacin grfica:
0
1
2
P
00

P
01

P
10

P
02

P
20

P
22

P
11

P
21

P
12

3
Conceptos bsicos
Las probabilidades de transicin P
ij
se pueden
representar en una matriz cuadrada llamada
Matriz de Probabilidad de Transicin de la
cadena.
13
Matriz de Probabilidad de Transicin:
|
|
|
|
|
|
.
|
\
|
=
KK K
K
P P
P P
P P P
0
11 10
0 01 00
P


Desde el
estado i
Hasta el
estado j
P
ij

14
O equivalentemente, el diagrama de estados puede
representarse en forma matricial de la siguiente
manera:
Representacin Matricial
1 2 3 4 5
1
2
3
4
5
P =
Conceptos bsicos
Las propiedades de la matriz de transicin de
probabilidad son:

1.

Como cada elemento de la matriz representa una
probabilidad, sta debe tener un valor entre 0 y 1.
15
.... , 2 , 1 , 0 , ; 0 1 = > > j i P
ij
Conceptos bsicos
Las propiedades de la matriz de transicin de
probabilidad son:

2.

Esto significa que para cada estado la suma de
todas las probabilidades de transicin sean 1.
Adems, dentro de cada fila los valores son no
negativos, estos valores estn entre 0 y 1. La suma
de los valores de la fila es 1, luego, se dice que la
matriz es de tipo estocstica.
16
=
= =
0
.... , 2 , 1 , 0 ; 1
j
ij
i para P
Ejemplo:
Como se representa una Cadena
de Markov?
Existen dos formas de representar una cadena de
Markov; en forma GRFICA y en forma MATRICIAL
17
(
(
(
=
2 / 1 4 / 1 4 / 1
4 / 3 0 4 / 1
4 / 1 4 / 3 0
P 0
1
2
1/4
3/4
1/4
1/4
1/4
3/4
1/2
18
El diagrama de estados puede representarse en forma de
tabla de la siguiente manera:
En la posicin (i,j) de la matriz se coloca la probabilidad de
transitar desde el estado i al estado j
2
1
0.97

4
i
j
1. Representacin Grfica
1 2 3 4 5
1
0.97 0.03
2
3
4
5
P =
4
19
El diagrama transicin de estados :

Matriz de Probabilidad de transicin entre estados:
2 1
0.97
3
0.95
4 5
0.05
0.93
0
.0
7
1
1. Representacin Grfica
1 2 3 4 5
1 0 0.97 0 0.03 0
2 0 0 0.95 0.05 0
3 0 0 0 0.07 0.93
4 0 0 0 1 0
5 0 0 0 0 1
P =
Dada , que corresponde a la probabilidad de
transicin del estado i al estado j en 1 paso, se
puede generalizar a que representa la
probabilidad de ir del estado i al estado j en n
transiciones como:

20
ij
P
n
ij
P
0
{ | }; 0 = = = >
n
ij n
P P X j X i n
Adems i,j pertenecen al espacio de estados
Si las probabilidades de transicin son
estacionarias, podemos generalizar la expresin
anterior a:

Esto representa la probabilidad de pasar desde el
estado i al estado j en n pasos, partiendo desde el
estado i, sin importar como se lleg a este estado
(en general, en m pasos).
21
{ | }; 0
n
ij n m m
P P X j X i n
+
= = = >
Adems i,j pertenecen al espacio de estados
Ejemplo 1: caminata aleatoria con
barreras absorbentes
En el tiempo 0 tengo $ 2 y en los tiempos 1,2,3,...
participo en un juego en el que apuesto $1. Gano el
juego (y gano $1) con probabilidad p y lo pierdo
(perdiendo lo apostado) con probabilidad 1-p. Mi
meta es aumentar mi capital hasta $4 y tan pronto lo
logre me salgo del juego. Tambin salgo cuando me
arruine (capital $0).

Ejemplo 1 (cont)
- X
n
: mi capital inmediatamente despus del juego n
- Estados del proceso = {0,1,2,3,4}
- Matriz de transicin:

|
|
|
|
|
|
.
|
\
|
=
1
p
0
0
0
0
0
p
0
0
0
p 1
0
p
0
0
0
p 1
0
0
0
0
0
p 1
1
P
Ejemplo 2: un modelo para el
desplazamiento poblacional
Para efectos de una investigacin, en un determinado
pas, una familia puede clasificarse como habitante de
zona urbana, rural o suburbana. Se ha estimado que
durante un ao cualquiera, el 15% de todas las familias
urbanas se cambian a zona suburbana y el 5% a zona
rural. El 6% de las familias suburbanas pasan a zona
urbana y el 4% a zona rural. El 4% de las familias
rurales pasan a zona urbana y el 6% a zona suburbana.
5
Cadenas de Markov: ejemplo 2
Tendremos la siguiente matriz de transicin

Urb. Surb. Rur.

|
|
|
.
|
\
|
=
90 0 06 0 04 0
04 0 90 0 06 0
05 0 15 0 80 0
, , ,
, , ,
, , ,
P
Cadenas de Markov

Urb Surb
.
Rural
0,15 0,04
0,05
0,04
0,06
0,06
0,8
0,90
0,90
Probabilidades de transicin en n
etapas
Pregunta: si en el tiempo t el proceso de Markov se
encuentra en el estado i, cul es la probabilidad de
que n pasos despus se encuentre en el estado j ?
Resp:
P{X
n+t
= j /X
t
= i }= P{X
n
= j /X
0
= i } (estacionaria)
= p
(n)
i,j
(notacin)
= elemento (i,j) de la matriz P
n
Consecuencia de los resultados
anteriores
Pregunta: cul es la probabilidad de que el sistema
se encuentre en el estado j en el tiempo n?
Resp.
Sea a = (a
0
, a
1
,...,a
m
) la distribucin inicial de la
Cadena de Markov (con m estados) , entonces:
P{X
n
= j}= elemento j del vector a P
n
Aplicacin de resultados anteriores
Consideremos el ejemplo 2, y supongamos que al inicio de la
investigacin, el 35% de la poblacin viva en reas urbanas, el
45% en rea suburbana, y el resto en rea rural.
a) Si inicialmente una familia vive en un rea rural, cul es la
probabilidad de que tres aos despus esta familia viva en un
rea urbana?
b) Cual es la probabilidad de que tres aos despus de iniciada
la investigacin una familia viva en el rea urbana?
Aplicacin de resultados anteriores

a) 0,0967
b) 0,2691
) , , , ( a
, , ,
, , ,
, , ,
P
t
20 0 45 0 35 0
7411 0 1622 0 0967 0
1055 0 7593 0 1352 0
1248 0 3353 0 5399 0
3
=
|
|
|
.
|
\
|
=
6
Ecuaciones de Chapman-Kolmogorov
La forma obtener la probabilidad de ir del estado i al estado f
en n pasos, es la expresada en esta ecuacin:

Pero lo que se est buscando es una forma ms general de
expresar esta probabilidad.
e
> =

f k i
k n P P P
kf
k
n
ik
n
if
, ,
0 ,
1
31
i
32
f
E
1

E
2

E
3

E
l

Se desea generalizar el resultado anterior, o sea, obtener la
probabilidad de estar en el estado f en el tiempo b dado que
se estuvo en el estado i en el tiempo a.

Lo anterior queda representado por la siguiente expresin:
| | i X f X P P
a b
b a
if
= = = |
) , (
33
Si en el tiempo a se estuvo en el estado i y en el tiempo b se
est en el f, entonces en un tiempo intermedio q se pas por
algn estado k.

As es posible rescribir la expresin anterior como:
( )
| |
= = . = =
k
a q b
b a
if
i X k X f X P P |
,
34
i
35
f
E
1

E
2

E
3

E
l

a q b
( )
| |
= = . = =
k
a q b
b a
if
i X k X f X P P |
,
La expresin anterior es independiente del tipo de proceso
estocstico que se presente, por el hecho de contar
absolutamente todos los casos.

Usando las propiedades de las probabilidades condicionales puede
escribirse de la siguiente manera:
( )
| | | | k X i X f X P i X k X P P
q a b
k
a q
b a
if
= . = = = = =
| |
,
36
7
Esta expresin puede simplificarse, pero debe ser acotada a
las cadenas de Markov.

Aplicando la propiedad de que el estado actual depende
exclusivamente del estado anterior, se llega a la siguiente
expresin:
| | | |
( ) ( )
=
= = = = =
k
b q
kf
q a
ik
b a
if
k
q b a q
b a
if
P P P
k X f X P i X k X P P
, , ) , (
) , (
| |
37
Sean i, k, f

e , estados genricos de la cadena de
Markov, se define la ecuacin de Chapman-
Kolmogorov :

P
ik
m
P
kf
n
representa la probabilidad de ir desde el
estado i al estado f en m+n transiciones a travs de
una ruta en la que, en el tiempo q, la Cadena de
Markov se encuentra en el estado k.
( )
e
> =
f k i
n m k P P P
n
kf
k
m
ik
n m
if
, ,
0 , ,
,
38
i
39
f
E
1

E
2

E
3

E
l

a q b
m n
Tenemos por lo tanto un procedimiento que nos
permite calcular la probabilidad de ir de i a f en n+m
pasos, considerando todos los posibles estados
intermedios
Es conveniente en este punto introducir notacin
matricial:
Se tiene la matriz P= {pij} con M estados (matriz
de MxM), donde pij es la probabilidad de ir de un
estado i a un estado j en un paso, independiente de
las anteriores transiciones.
40

=
+
k
m
kf ik
m
f i
P P P
1 1
41
Considerando que en el primer paso se efectu la
transicin desde el estado k al estado f, tenemos
la siguiente forma para la ecuacin de Chapman-
Kolmogorov:

Para el caso especial de m=1, es decir se llega al
estado f en dos pasos se tiene la siguiente forma:

=
k
kf ik f i
P P P
2
Mf iM f i f i f i
M
e
f e ie f i
p p p p p p P
P P P
+ + + =
=
=
....
2 2 1 1
2
1
1 1 2
2
2 2
(
(
(
(
=
MM M
M
ij
p p
p
p p
p P
... ...
. .. .
. .
... ...
) (
1
22
1 11
42
Descomponiendo:
Matriz de
transiciones de un
paso del sistema
8
Se observa que la probabilidad de ir de i a f en 2 pasos es:

Por lo que se puede extender este resultado para obtener de una
vez las probabilidades de ir de un estado i cualquiera a un estado j
cualquiera, en dos pasos utilizando la operacin multiplicacin
entre dos matrices
| |
(
(
(
(
(
=
Mf
f
iM i f i
p
p
p p p
..
..
.. ..
1
1
) 2 (
43
2
1
22
1 11
1
22
1 11
) 2 (
.. ..
. .. .
. .
.. ..
.. ..
. .. .
. .
.. ..
P
p p
p
p p
p p
p
p p
P
MM M
M p
MM M
M p
=
(
(
(
(
(
(
(
(
=
2 ) 2 (
) 2 ( ) 2 (
} {
P P
p P if
=
=
44
Que es la matriz de transiciones de 2 pasos:
Utilizando este resultado se puede extender el
anlisis al caso en que n+m=3, es decir calcular la
probabilidad de ir de i a j en 3 pasos
=
=
M
e
m
f e
n
ie f i
P P P
1
3
2
2 2
=
=
M
e
f e ie f i
P P P
1
2 1 3
2
2 2
45
Para el caso de n+m = 3 y siguiendo con el caso en que el
estado intermedio e
2
se alcanza en un paso, para ir de un
estado i cualquiera a j tenemos que la ecuacin de Ch-K nos
queda:
Descomponiendo en casos podemos escribir la siguiente
ecuacin:
Utilizando el resultado obtenido anteriormente podemos escribir la
ecuacin:
| |
=
(
(
(
(
(
=
M
e
Mf
f
M e e ie f i
p
p
p p p P
1
1
1
3
2
2 2 2
..
..
.. ..
| | | |
(
(
(
(
(
+ +
(
(
(
(
(
=
Mf
f
MM M iM
Mf
f
M i f i
p
p
p p p
p
p
p p p P
..
..
.. .. ...
..
..
.. ..
1
1
1
1 11 1
3
46
Desarrollando la expresin resulta:
Se puede ver que es equivalente a:
(
(
(
(
(
(
=
MM M
iM i
M
p p
p p
p p
P
.. .. ..
.. ..
.. .. ..
.. ..
.. .. ..
1
1
1 11
(
(
(
(
(
(
=
MM M M
M f
p p p
p p p
P
) 2 (
1
) 2 (
1
) 2 (
1
) 2 (
1
) 2 (
11
) 2 (
) 2 (
.. ..
.. .. ..
.. .. .. .. ..
.. .. ..
.. ..
47
p
(3)
if = *
Por lo tanto podemos obtener la matriz de transicin de 3 pasos, es decir:
} {
) 3 ( ) 3 (
if p P =
3 ) 3 (
P P =
48

Que entrega las
probabilidades p
(3)
if
de ir
de i a f en tres pasos
2 ) 2 ( ) 3 (
P P P P P = =
9
Generalizando este resultado para n pasos, vemos que
resolver la ecuacin de Chapman-Kolmogorov es
equivalente a encontrar la matriz de transiciones de n
pasos P
(n)
:
n n
P P =
) (
49
Notacin
Se define la probabilidad de estar en el estado e
en el n-simo paso, y se anota:
50
( )
[ ],
n
e n
P X e e t = = e
Se define el vector al que se asocia la probabilidad
de estar en cualquiera de los estados existentes
en la cadena en el n-simo, y se anota:
t t ( H =

( ) ( ) ( )
1
......
n n n
E
Notacin
Se define la probabilidad inicial del sistema, como
la probabilidad de estar en el estado e en el
comienzo del anlisis, y se anota:
51
(0) (0) (0)
1
......
E
t t ( H =

Anlisis Transiente
Ahora se puede generalizar la expresin a:
52
Ejemplo:
Este vector indica la probabilidad de estar en
cualquiera de los estados de la cadena despus
de n pasos, con la condicin inicial ( que
define el estado en el cual se inicia el proceso).
( ) ( 1) n n
P
H = H
( ) (0) ( ) n n
P H = H
(0)
H
Anlisis Transiente
Sea, la probabilidad de estar en el estado e
en un tiempo n.
Sea, , el vector que indica
la probabilidad de estar en cualquier estado
despus de n pasos.
Sea, P la matriz de transicin de estados: donde P
ij

es la probabilidad de ir desde el estado i al estado
j, en un paso.

53
t
( ) n
e
t t ( H =

( ) ( ) ( )
1
......
n n n
E
Anlisis Transiente
La ecuacin de Chapman-Kolmogorov en el ltimo
paso, en forma matricial, es:
54
( ) ( 1) n n
P
H = H
( ) (0) ( ) n n
P H = H
(3)

(4)
Obs: La ecuacin (3) presenta un mejor desempeo al realizar
clculos cuando el nmero de pasos es muy grande.
10
Anlisis Estacionario
Una cadena de Markov con probabilidad estacionaria
cumple:

es decir, la probabilidad de estar en el estado e es
independiente del tiempo (n), y es constante.

55
Definicin:
t t
= e
( )
lim ;
n
e e
n
e
Se define el vector de probabilidad estacionaria
como:

Se dice que la cadena de Markov tiene probabilidad
de transicin estacionaria si se cumple la ecuacin
matricial:
56
Definicin:
; 0,1,2....,
j i ij
i
P P para j E t t [ = [ = =
[ = [
( )
lim
n
n
Ejemplo (desplazamiento poblacional:
ejemplo 2)
Dado que la matriz del ejemplo 3 es ergdica,
podemos hacer:
1
90 0 06 0 04 0
04 0 90 0 06 0
05 0 15 0 80 0
3 2 1
3 2 1 3 2 1
= t + t + t
|
|
|
.
|
\
|
t t t = t t t
, , ,
, , ,
, , ,
) , , ( ) , , (
continuacin
Una opcin es:

3 2 1
3 2 1 2
3 2 1 1
1
06 0 90 0 15 0
04 0 06 0 80 0
t + t + t =
t + t + t = t
t + t + t = t
, , ,
, , ,
continuacin
Cuya solucin es
(t
1
, t
2
, t
3
) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se mantiene el
comportamiento descrito por el modelo (lo cual es
muy poco probable) despus de muchos
aos,aproximadamente, el 21% de la poblacin
ocupar las zonas urbanas, el 49% las suburbanas y
el 30% la rural.
Tiempo de primera pasada
Estamos interesados en tener informacin respecto al
nmero de pasos (transiciones) que hace el proceso
al ir de un estado i a un estado j por primera vez. Se
define

T
i,j
= tiempo de primera pasada al ir del estado i al
estado j
11
Definimos el tiempo esperado de recurrencia
E(T
i,j
) =
ij

Se puede demostrar que se cumple:

=
+ =
t
=
j n
nj in ij
j
jj
p 1
1
Ejemplo
En el ejemplo anterior

1/t
1
= 1/0,2077 = 4,8146 =
11

Es decir, el nmero promedio de aos para que,
partiendo de vivir en una zona urbana, una familia
regrese a vivir en una zona urbana por primera vez es
4,8 aos.
continuacin
Cul es el nmero promedio de aos para que, partiendo de
vivir en zona urbana, una familia llegue a vivir en zona
suburbana, por primera vez?. Hacemos primero

32 33 22 32 12 31 32
32 23 22 22 12 21 22
32 13 22 12 12 11 12
1
1
1
+ + + =
+ + + =
+ + + =
p p p
p p p
p p p
continuacin
Luego, ignoramos todas las filas y columnas que tengan
22
y
queda el sistema
33 13 33 8
10 0 04 0 1
05 0 20 0 1
1
1
32 12
32 12
32 12
32 33 12 31 32
32 13 12 11 12
, y , es resultado cuyo
, ,
, ,
agrupa y sustituye se
p p
p p
= =
=
+ =
+ + =
+ + =
continuacin
Entonces, en promedio transcurren 8,33 aos
para que una familia que inicialmente vive en
una zona urbana llegue a vivir en zona
suburbana, por primera vez.

Se dispone de 4 mdulos de atencin que
se van activando secuencialmente a
medida que la cantidad de usuarios que
deben ser atendidos aumenta.
Cada mdulo tiene un mximo de
usuarios a los que puede entregar
servicio.
Cuando un mdulo est completamente
utilizado, entra en servicio el siguiente
mdulo.
Si un mdulo deja de ser utilizado, el
mdulo se desactiva temporalmente,
quedando en servicio los mdulos
anteriores.

66
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
12
Interesa conocer:
Cul es la probabilidad de
que cada mdulo est en
uso?.
Es decir, se desea conocer,
con que probabilidad se utiliza
cada mdulo, en cualquier
instante de tiempo.
67
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
La definicin de estados para
el ejemplo ser:

Estado 1: El mdulo 1 est
siendo utilizado.
siendo utilizado.
siendo utilizado.
siendo utilizado.
68
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
Las probabilidades de transicin, asociada a cada
mdulo son:
69
Ejemplo:
Desde el 1 al 1: 0.3
Desde el 1 al 3: 0
Desde el 1 al 4:0
Desde el 2 al 4: 0
Desde el 3 al 1: 0
Desee el 3 al 4: 0.6
Desde el 4 al 1: 0
Desde el 4 al 2: 0
Desee el 4 al 4: 0.5
El diagrama de estados que representa la situacin
antes descrita es el siguiente:
70
Ejemplo:
1 2 3 4
0.3 0.7
0.2
0.4
0.1
0.6 0.5
0.3 0.5
0.4
La matriz de transicin asociada al ejemplo es:
71
Ejemplo:
El vector de probabilidad de transicin estacionaria
es:
(
(
(
(
=
5 . 0 5 . 0 0 0
6 . 0 1 . 0 3 . 0 0
0 4 . 0 2 . 0 4 . 0
0 0 7 . 0 3 . 0
P
| |
4 3 2 1
t t t t =
[
Considerando las ecuaciones matricial:
72
Ejemplo:
= [ [ P
1 1 2 3 4
2 1 2 3 4
3 1 2 3 4
4 1 2 3 4
0.3 0.7 0 0
0.4 0.2 0.4 0
0 0.3 0.1 0.6
0 0 0.5 0.5
= + + +
= + + +
= + + +
= + + +
[ [ [ [ [
[ [ [ [ [
[ [ [ [ [
[ [ [ [ [
(1)
1 2 3 3 4
1= + + +
[ [ [ [ [
(2)
Condicin de probabilidades totales
En estado estacionario la
probabilidad de estar en
estado i en el paso n, es igual
a la probabilidad de estar en
estado i en el paso n+1
13
Resolviendo el sistema de ecuaciones anteriores, se
obtiene:
73
Ejemplo:
1
2
3
4
0.027
0.189
0.351
0.433
=
=
=
=
[
[
[
[
Finalmente respondiendo a la pregunta original,
Cul es la probabilidad de que cada mdulo est
en uso?.
La probabilidad de que el mdulo 1 est en uso es 0.027




74
Ejemplo:
Se desea estudiar el nmero de alumnos que estn
estudiando en la enseanza media de un colegio en
particular.
Se considerar que un alumno en un ao en particular puede
pasar de curso, repetir el curso cuantas veces sea
necesario o retirarse del establecimiento sin posibilidades
de regresar.
75
Ejemplo 3:
Alumno de Enseanza Media
Si consideramos los siguientes porcentajes, para pasar de
curso, repetir o retirarse en cada ao:
76
Repetir 1 ao: 2%
Pasar a 2 ao: 97%
Retirarse al final del 1 ao: 1%
Repetir 2 ao: 3%
Pasar a 3 ao: 95%
Repetir 3 ao: 4%
Pasar a 4 ao: 92%
Repetir 4 ao: 1%
Egresar: 96%
Ejemplo 3:
Definicin de estados:
Estado 1: Estar en primer ao.
Estado 2: Estar en segundo ao.
Estado 3: Estar en tercer ao.
Estado 4: Estar en cuarto ao.
Estado 5: Egresar del establecimiento.
Estado 6: Retirarse del establecimiento.
77
Ejemplo 3:
La representacin grfica de los estados definidos es:
78
1 2 3
6 5
4
Ejemplo 3:
14
Asociando las probabilidades, se grafica de la siguiente
forma:
79
1 2
6
Repetir 1 ao: 2%
Pasar a 2 ao: 97%
Retirarse al final del 1 ao:
1%
0.02
0.01
0.97
Nota: La suma de las probabilidades asociadas a
las flechas salientes del estado 1 suman 1.
Ejemplo 3:
El diagrama de estados completo es:
80
1 2
6
3
5
4
0.02
0.02
0.02
0.03
0.03
0.01
0.01 0.04
0.97 0.95 0.94
0.96
1 1
Ejemplo 3:
A partir del diagrama de estados, se obtiene la
siguiente matriz de transicin asociada al sistema.
81
Ejemplo:
1 2
6
3
5
4
0.02
0.02
0.02
0.03
0.03
0.01
0.01 0.04
0.97 0.95 0.94
0.96
1 1
0.02 0.97 0 0 0 0.01
0 0.03 0.95 0 0 0.02
0 0 0.04 0.94 0 0.02
0 0 0 0.01 0.96 0.03
0 0 0 0 1 0
0 0 0 0 0 1
P
(
(
(
(
= (
(
(
(
(

Resumen sobre las Representaciones

82
Luego obtenemos el mismo resultado expresado
caso por caso:
(5) (4) (4)
15 14 45 15 55
P P P P P = +
Ejemplo:
Anlisis Transiente
83
Ejemplo:
1
2
3
4
5
6
7 C1
C2
C3
C4
C5
C6
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Probabilidad
Pasos
Espacio de Estados

Dos Posibles estados:
0 Llueve
1 No llueve
Supuesto:
El tiempo de maana slo depende del de Hoy.
Llueve Hoy Prob. que llueva maana
No llueve Hoy Prob. que llueva maana

84
Prediccin del Tiempo
Cadenas de Markov: Otros Ejemplos
| =
o =
15

La matriz de transicin P queda:

Grficamente:

85
P =

(
o o
| |
1
1
0 1
0
1
0
1
o
|
1o
1 |

Sea la probabilidad que llueva hoy de 0.2
86
Cual es la Probabilidad incondicional de que
maana llueva?
P =

(
07 03
04 06
. .
. .

Aplicando el Teorema de Probabilidades Totales:
Sea : Probabilidad incondicional de que
llover maana.

= P(maana llover /hoy llueve) +
P(maana llover /hoy no llueve)

87
= + 02 08
00 10
. . P P
= + = 0 2 0 7 08 0 4 0 46 . . . . .
88
| | | |
0 1 0 1
1
1
[ [ [ [ =

(
o o
| |
0 0 1
= + [ [ [ o |
1 0 1
1 1 = + [ [ [ ( ) ( ) o |
1
0 1
= +[ [
En el caso General:
Si a = 0.7 y b = 0.4, entonces la probabilidad lmite
que llover ser:

es decir:
89
0
4 7 = [ /
1
3 7 = [ /
| | | | = = [ [ [
0 1
4 7 3 7 / /
Clasificacin de estados en Cadenas de
Markov
Estado Alcanzable:
El estado j es alcanzable desde el estado i si
existe n > 0 tal que p
(n)
i,j
> 0 ; es decir es
posible que el proceso llegue al estado j
desde el estado i. Se denota i j.
16
Markov
Estados que se comunican:
Los estados i, j se comunican si ij.

Atencin: la relacin es una relacin de
equivalencia (reflexiva, simtrica y transitiva). Me
permite dividir el conjunto de estados en clases de
equivalencia
Markov: ejemplo
Ejemplo 4: consideremos una cadena de Markov con
matriz de transicin
a b c d
|
|
|
|
|
.
|
\
|
=
1 0 0 0
0 1 , 0 5 , 0 4 , 0
1 , 0 9 , 0 0 0
0 0 8 , 0 2 , 0
P
Markov: ejemplo
Los estados {a,b,c} se comunican y forman una
clase de equivalencia. El estado {d} es otra
clase de equivalencia.

Atencin: cuando una cadena de Markov tiene
slo una clase de equivalencia, se dice que es
irreducible
Markov

f
(n)
jk
= probabilidad de que, partiendo
del estado j , la cadena llegue al
estado k por primera vez en el
tiempo n
Markov
Probabilidad de llegar a k (en un tiempo
finito), partiendo de j

=
=
1 n
jk
) n (
jk
f f
Markov
Estado Recurrente.
Se dice que el estado i es recurrente si f
ii
= 1.

Esto significa lo siguiente: siempre que parta
del estado i, podr regresar a el (en un tiempo
finito)
17
Markov
Estado Transitorio (no recurrente)
Se dice que el estado i es transitorio si f
ii
< 1.
(Esto significa lo siguiente: hay manera de abandonar el estado
i, de tal modo que nunca regrese a el)

Estado Absorbente:
Se dice que el estado i es absorbente si p
ii
= 1.

En el ejemplo 4, a,b y c son transitorios, d es recurrente y
tambin absorbente
Markov: ejemplo
Estado Peridico
Un estado recurrente i es peridico, con
periodo k > 1, si k es el menor nmero tal que
todas las trayectoria que parte de i y regresan
a i, tienen longitud mltiplo de k.
Si no es periodico se le dice aperidico
Markov
Cadena Ergdica
Si todos los estados de una Cadena de
Markov son recurrentes, aperidicos y se
comunican entre si, se dice que la cadena
es Ergdica.
Propiedades a largo plazo de una
Cadena de Markov
Pregunta interesante
Existe una probabilidad lmite de que el
sistema se encuentre en el estado j, despus
de muchas transiciones, y que esta
probabilidad sea independiente del estado
inicial.?
Definimos el tiempo esperado de recurrencia
E(T
i,j
) =
ij

Se puede demostrar que se cumple:

=
+ =
t
=
j n
nj in ij
j
jj
p 1
1
basado en el problema de las colas
Suponga que cada cliente hace una compra de cola
durante cualquier semana (52 semanas por ao).
Suponga que hay 100 millones de clientes de cola.
La produccin de una unidad de cola es de $1 y se
vende a $2. Una empresa de publicidad garantiza,
por 500 millones de dlares al ao, un decremento
del 10% al 5% de la fraccin de consumidores de
cola 1, que se cambian a cola 2 despus de una
compra.Debe contratar a la empresa de publicidad
la compaa que fabrica cola 1?
18
Ejemplos
Ejemplo: Hallar, si existe, la distribucin
estacionaria para esta CM con S={1, 2, 3}:
|
|
|
.
|
\
|
=
6 , 0 4 , 0 0
4 , 0 0 6 , 0
2 , 0 5 , 0 3 , 0
Q
Ejemplos
1
3 2
1 Dibujamos el DTE y as comprobamos
ms fcilmente que la CM es finita y
ergdica:
Ejemplos
2 y 3 Planteamos las ecuaciones:
|
|
|
.
|
\
|
|
|
|
.
|
\
|
=
|
|
|
.
|
\
|
3
2
1
3
2
1
6 , 0 4 , 0 2 , 0
4 , 0 0 5 , 0
0 6 , 0 3 , 0
p
p
p
p
p
p
1
3 2 1
= + + p p p
4 Resolvemos. Para ello fijamos p
1
=1 y
hallamos una solucin para las ecuaciones
de equilibrio:
Ejemplos
6 , 0
7 , 0
6 , 0 3 , 0 1
2 2
= + = p p
6 , 0
1
4 , 0 6 , 0
3 , 0 7 , 0
4 , 0 5 , 0
6 , 0
7 , 0
3 3
=
= + = p p
( )
T
T
k k k , 7 ' 0 , 6 ' 0
6 ' 0
1
,
6 ' 0
7 ' 0
, = |
.
|
\
|
Por tanto la solucin verdadera ser de la
forma:
Normalizamos y obtenemos la solucin
verdadera:
3 ' 2
1
1 7 ' 0 6 ' 0 = = + +
( )
T
T
|
.
|
\
|
=
23
10
,
23
7
,
23
6
, 7 ' 0 , 6 ' 0
Clasificacin de los est. y distribucin lmite.

Ejemplo:
Una compaa esta considerando emplear cadenas de
markov para analizar los cambios en las preferencias de
los usuarios por tres marcas distintas de un
determinado producto. El estudio ha arrojado la
siguiente estimacin de la matriz de probabilidades de
cambiarse de una marca a otra cada mes:
1 2 3
1 0.8 0.1 0.1
2 0.03 0.95 0.02
3 0.2 0.05 0.75

En la actualidad los porcentajes de mercado son 45%,
25% y 30%, respectivamente.
Cuales sern los porcentajes de mercado de cada
marca en dos meses ms?
x
n
e{1,2,3}: marca que adquiere un cliente cualquiera
en el mes n=0,1,2,3,...
(
(
(
=
(
(
(
= =
= =
= =
=
75 . 0 05 . 0 2 . 0
02 . 0 95 . 0 03 . 0
1 . 0 1 . 0 8 . 0
P
30 . 0 ) 3 X ( IP
25 . 0 ) 2 X ( IP
45 . 0 ) 1 X ( IP
f
0
0
0
0
19

Al trmino del mes siguiente:

Y dos meses despus:
(
(
(
= =
= =
= =
= =
2750 . 0 ) 3 X ( IP
2975 . 0 ) 2 X ( IP
4275 . 0 ) 1 X ( IP
f P f
1
1
1
0 T 1
(
(
(
= =
= =
= =
= =
2550 . 0 ) 3 X ( IP
3391 . 0 ) 2 X ( IP
4059 . 0 ) 1 X ( IP
f P f
2
2
2
1 T 2

De aqu las cuotas de mercado en dos meses a
cambiado de un 45% a un 40.59%; de un 25% a un
33.91% y de un 30% a un 25.50%, para las marcas 1,2 y
3 respectivamente.

Cul es la cuota de mercado en el largo plazo para cada
una de las marcas?
La cadena resultante es irreducible con estados
recurrentes positivos y aperidicos . Denotando por
t=(t
1
, t
2
, t
3
)
T
, las probabilidades estacionarias de largo
plazo, las cuales satisfacen:

t=P
T
t

E t
i
= 1 ; i = 1,2,3.

t
1
=0.8

t
1
+ 0.03 t
2
+0.20 t
3
t
2
=0.10

t
1
+ 0.95 t
2
+0.05 t
3
t
3
=0.10 t
1
+ 0.02 t
2
+0.75 t
3
t
1
+ t
2
+ t
3
=1

Cuya solucin resulta:
t
1
= 0.2373 t
2
= 0.6184 t
3
= 0.1443

De aqu que la cuotas de mercado en el largo plazo
resultan ser 23.73%, 61.84% y 14.43% para las marcas
1,2 y 3 respectivamente.

Notar que las actuales cuotas difieren significativamente
de las cuotas obtenidas en el largo plazo lo cual puede
implicar que de alguna manera deban ser corregidas las
probabilidades de transicin.
Concepto de cadena absorbente
Sea X una CM cuyos estados son todos transitorios o
absorbentes. En tal caso diremos que X es absorbente.
Si X es finita y absorbente, reordenamos S poniendo
primero los estados transitorios y obtenemos:
|
|
.
|
\
|
=
I
R Q
Q
0
'
Resultados sobre cadenas absorbentes
Proposicin: El nmero medio de etapas que
se estar en el estado transitorio jeS antes de
la absorcin, suponiendo que empezamos en
el estado transitorio ieS, viene dado por el
elemento (i,j) de (IQ)
1

Nota: La etapa inicial tambin se cuenta, es
decir, en la diagonal de (IQ)
1
todos los
elementos son siempre mayores o iguales que
1

20
Resultados sobre cadenas absorbentes
Proposicin: La probabilidad de ser absorbido
por un estado absorbente jeS, suponiendo
que empezamos en el estado transitorio ieS,
viene dada por el elemento (i,j) de la matriz
(IQ)
1
R, que se denomina matriz
fundamental de la CM

Ejemplo de CM absorbente
En un juego participan dos jugadores, A y B. En cada
turno, se lanza una moneda al aire. Si sale cara, A le da
1 a B. Si sale cruz, B le da 1 a A. Al principio, A tiene
3 y B tiene 2 . El juego contina hasta que alguno de
los dos se arruine o alcance a tener 5. Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar el juego.
Tendremos una CM con un estado por cada
posible estado de cuentas de A: S={1, 2, 3, 4, 5,
0}. Descomponemos Q:
|
|
|
|
|
.
|
\
|
=
0 5 , 0 0 0
5 , 0 0 5 , 0 0
0 5 , 0 0 5 , 0
0 0 5 , 0 0
4
3
2
1
' Q
|
|
|
|
|
.
|
\
|
=
0 5 , 0
0 0
0 0
5 , 0 0
4
3
2
1
R
|
|
|
|
|
|
|
|
.
|
\
|
=
1 0 0 0 0 0
0 1 0 0 0 0
0 5 , 0 0 5 , 0 0 0
0 0 5 , 0 0 5 , 0 0
0 0 0 5 , 0 0 5 , 0
5 , 0 0 0 0 5 , 0 0
0
5
4
3
2
1
Q
1 2 3 4
5 0
1 2 3 4 5 0
Realizamos los clculos necesarios:
( )
|
|
|
|
|
.
|
\
|
=
|
|
|
|
|
.
|
\
|
6 , 1 2 , 1 8 , 0 4 , 0
2 , 1 4 , 2 6 , 1 8 , 0
8 , 0 6 , 1 4 , 2 2 , 1
4 , 0 8 , 0 2 , 1 6 , 1
4
3
2
1
1 5 , 0 0 0
5 , 0 1 5 , 0 0
0 5 , 0 1 5 , 0
0 0 5 , 0 1
4
3
2
1
'
1
1
Q I
( )
|
|
|
|
|
.
|
\
|
=

2 , 0 8 , 0
4 , 0 6 , 0
6 , 0 4 , 0
8 , 0 2 , 0
4
3
2
1
'
1
R Q I
1 2 3 4 1 2 3 4
5 0
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el
2 estado absorbente. Como empezamos en el 3
er
estado
transitorio (A empieza con 3 ), debemos consultar la 3
fila, 2 columna de (IQ)
1
R, que nos da una probabilidad
de 0,4 de que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su
probabilidad ser 10,4=0,6. Tambin podramos haber
consultado la 3 fila, 1 columna de (IQ)
1
R.

Nmero medio de tiradas que tarda en acabar el
juego
Sumamos los nmeros medios de etapas que se estar en
cualquier estado transitorio antes de la absorcin,
suponiendo que empezamos en el 3
er
estado transitorio.
Dichos nmeros medios son los que forman la 3 fila de la
matriz (IQ)
1
. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
Nota: si observamos la 1 columna de (IQ)
1
R,
vemos que los valores van creciendo. Esto se debe a
que, cuanto ms dinero tenga al principio A, ms
probabilidad tiene de ganar el juego.
21
Ejemplo Cuentas por cobrar
El estado de cuentas por cobrar en una empresa se
modela con frecuencia como CM. Una cuenta se
considera incobrable si han transcurrido mas de 3
meses de su fecha de vencimiento. Entonces al
principio de cada mes una cuenta se puede clasificar
en cualquiera de los siguientes estados:
ctas nuevas, ctas. atrasadas un mes, ctas. atrasadas 2
meses, ctas. atrasadas 3 meses, ctas. saldadas, ctas
incobrables. Suponga que los ltimos datos indican
que la siguiente cadena de markov describe como
cambia una cuenta de un mes al siguiente:
(el orden esta de acuerdo al listado)

Tendremos una CM con un estado por cada posible
estado de cuentas de A: S={cn, a1m, a2m, a3m, pag,
incob}. Descomponemos Q:
|
|
|
|
|
.
|
\
|
=
0 0 0 0
4 , 0 0 0 0
0 5 , 0 0 0
0 0 6 , 0 0
' Q
|
|
|
|
|
.
|
\
|
=
3 , 0 7 , 0
0 6 , 0
0 5 , 0
0 4 , 0
R
|
|
|
|
|
|
|
|
.
|
\
|
=
1 0 0 0 0 0
0 1 0 0 0 0
3 , 0 7 , 0 0 0 0 0
0 6 , 0 4 , 0 0 0 0
0 5 , 0 0 5 , 0 0 0
0 4 , 0 0 0 6 , 0 0
3
2
1
incob
pag
m a
m a
m a
cn
Q
cn a1m a2m a3m pag incob
( )
|
|
|
|
|
.
|
\
|
=
|
|
|
|
|
.
|
\
|
1 0 0 0
40 , 0 1 0 0
20 , 0 5 , 0 1 0
12 , 0 30 , 0 6 . 0 1
3
2
1
1 0 0 0
4 , 0 1 0 0
0 5 , 0 1 0
0 0 6 , 0 1
3
2
1
'
1
1
m a
m a
m a
cn
m a
m a
m a
cn
Q I
a3m a2m a1m cn a3m a2m a1m cn
( )
|
|
|
|
|
.
|
\
|
=

300 , 0 700 , 0
120 , 0 880 , 0
060 , 0 940 , 0
036 , 0 964 , 0
3
2
1
'
1
m a
m a
m a
cn
R Q I
incob pag
Cual es la probabilidad que una cuenta nueva
sea cobrada alguna vez.
Cual es la probabilidad que una cuenta
atrasada un mes se vuelva finalmente
incobrable.
Si las ventas de la empresa son 100 000 $ en
promedio mensual Cunto dinero ser
incobrable cada ao?.
Ejemplo Planificacin de personal
La empresa de abogados emplea 3 categoras de
abogados: principiantes con experiencia y socios.
Durante un ao determinado hay una probabilidad del
15% que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad del 5% que
deje la empresa. Tambin hay una probabilidad del 20%
que un abogado con experiencia sea ascendido a socio y
una probabilidad del 10% que deje la empresa. Tambin
hay una probabilidad del 5% que un socio deje la
empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la
empresa podra contestar. Por ejemplo, cual es
probabilidad que un abogado principiante
recin contratado se vaya antes de ser socio? En
promedio Cunto tiempo permanece un
abogado principiante recin contratado en la
empresa?
El modelamiento como cadena absorbente de
markov a continuacin:
(el orden esta de acuerdo al listado)

22
Tendremos una CM con un estado por cada posible estado de
cuentas de A: S={princ, exp, asoc, sale_socio, sale_sinsoc}.
Descomponemos Q:

|
|
|
|
|
|
.
|
\
|
=
1 0 0 0 0
0 1 0 0 0
05 , 0 0 95 , 0 0 0
0 10 , 0 20 , 0 70 , 0 0
0 05 , 0 0 15 , 0 80 , 0
/
/
exp

c/s s/s
sale sale asoc exp princ
s sc
s ss
asoc
prin
Q
|
|
|
.
|
\
|
=
95 , 0 0 0
20 , 0 70 , 0 0
0 15 , 0 80 , 0
' Q
|
|
|
.
|
\
|
=
05 , 0 0
0 10 , 0
0 05 , 0
R
( )
|
|
|
.
|
\
|
=
|
|
|
.
|
\
|
20 0 0
3 / 40 3 / 10 0
10 5 , 2 5
exp
05 , 0 0 0
20 , 0 30 , 0 0
0 15 , 0 20 , 0
exp '
1
1
asoc
prin
asoc
prin
Q I
asoc exp prin asoci exper princ
( )
(
(
(
=

1 0
3 / 2 3 / 1
50 , 0 50 , 0
exp '
1
asoc
prin
R Q I
c/soc s/soc
sale sale
Cual es la duracin promedio de un abogado
joven recin contratado en la empresa
Cual es la probabilidad que un abogado joven
llegue a ser socio.
Cual es la duracin promedio que pasa un
socio en el bufete.

Markov PPT 2012 I PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Markov PPT 2012 I PDF

Cargado por

Copyright:

Formatos disponibles

1

Cadenas de Markov Discretas

Cadenas de Markov discretas

También podría gustarte