Cadenas De Markov En Tiempo

Cadenas De Markov En Tiempo

Discreto
Discreto

Proceso estocstico: Coleccin indexada de variables aleatorias

Una cadena de Markov es un proceso estocstico que cumple con

la propiedad Markoviana, es decir:

Las probabilidades condicionales:

se llaman Probabilidades de Transicin Estacionarias.

Introduccin
Introduccin
Introduccin
Introduccin
{
X
t
, t 0
}
P
{
X
t 1
=i
t 1
/ X
t
=i
t
, X
t1
=i
t1
,... , X
1
=i
1
, X
0
=i
0}
=P
{
X
t1
=i
t1
/ X
t
=i
t }
P
{
X
t 1
=i
t 1
/ X
t
=i
t
}
Se trabajar con cadenas de Markov que cumplen con las siguientes
caractersticas:
- Nmero finito de estados
- Probabilidades de Transicin Estacionarias, es decir:
Las probabilidades de transicin (de un paso) no cambian con el
tiempo. Adems:
y se conocen como probabilidades de transicin de n pasos.
Introduccin
Introduccin
Introduccin
Introduccin
P
{
X
t 1
=j / X
t
=i
}
=P
{
X
1
= j / X
0
=i
}
P
{
X
t n
= j / X
t
=i
}
=P
{
X
n
= j / X
0
=i
}
Para simplificar la notacin:
Probabilidades de transicin
Probabilidades de transicin
Probabilidades de transicin
Probabilidades de transicin
P
{
X
t 1
=j / X
t
=i
}
=p
ij
P
{
X
t n
= j / X
t
=i
}
=p
ij
n
Las probabilidades de transicin de n pasos, deben cumplir con las
siguientes propiedades:
Probabilidades de Transicin
Probabilidades de Transicin
Probabilidades de Transicin
Probabilidades de Transicin
(1) p
ij
n
0
(2)

j =1
M
p
ij
n
=1, i , n=1,2, ...
Es una forma para resumir las probabilidades de transicin:
Matriz de Transicin de n Pasos
Matriz de Transicin de n Pasos
Matriz de Transicin de n Pasos
Matriz de Transicin de n Pasos
P
n
=
p
11
n
p
12
n
... p
1M
n
p
21
n
p
22
n
... p
2M
n
. . ... .
. . ... .
. . ... .
p
M1
n
p
M2
n
... p
MM
n
Sea un proceso estocstico , donde:
Identificar los estados, escribir la matriz de probabilidades de
transicin de un paso y dibujar el diagrama de transicin de estados.
Ejemplo
Ejemplo
Ejemplo
Ejemplo
{
X
t
, t 0
}
X
t
=
{
1, si el da est despejado
2, si el da est lluvioso
P
{
X
t 1
=1/ X
t
=1
}
=0,8=p
11
P
{
X
t 1
=1/ X
t
=2
}
=0,6=p
21
Sea una lnea telefnica de estados ocupado=1 y desocupado=0. Si
en el instante t est ocupada, en el instante t+1 estar ocupada con
probabilidad 0,7 y desocupada con probabilidad 0,3. Si en el instante
t est desocupada, en el t+1 estar ocupada con probabilidad 0,1 y
desocupada con probabilidad 0,9.
Escribir la matriz de probabilidades de transicin y el diagrama de
transicin de estados.
Ejemplo
Ejemplo
Ejemplo
Ejemplo
Un jugador tiene 1 US$. Cada jugada gana 1US$ con probabilidad p
y pierde un dlar con probabilidad 1-p. El juego termina cuando el
jugador acumula 3US$ o cuando quiebra. Formular este sistema a
travs de una cadena de Markov.
Ejemplo
Ejemplo
Ejemplo
Ejemplo
Un jugador tiene 1 US$. Cada jugada gana 1US$ con probabilidad p
y pierde un dlar con probabilidad 1-p. El juego termina cuando el
jugador acumula 3US$ o cuando quiebra. Formular este sistema a
travs de una cadena de Markov.
Ejemplo
Ejemplo
Ejemplo
Ejemplo
P=

1 0 0 0
1p 0 p 0
0 1p 0 p
0 0 0 1

Proporcionan un mtodo para calcular las probabilidades de

transicin de n pasos.
Ecuaciones de Chapman -
Ecuaciones de Chapman -
Kolmogorov
Kolmogorov
Ecuaciones de Chapman -
Ecuaciones de Chapman -
Kolmogorov
Kolmogorov
p
ij
n
=

k=1
M
p
ik
n
p
kj
nm
, para toda i =1,... , M
j =1,... , M
y cualquier m=1,2 ,... , n1
y cualquier n=m1, m2,...
Volviendo al ejemplo del tiempo (meterolgico):
Estados:
1: da despejado
2: da lluvioso
Obtener:
Ejemplo
Ejemplo
Ejemplo
Ejemplo
P=

0.8 0.2
0.6 0.4

p
21
2
, p
12
3
- Un estado j es accesible desde un estado i si .
- Si un estado j es accesible desde i y adems i es accesible desde j,
entonces se dice que ambos estados se comunican. De aqu, se
puede agregar:
- Cualquier estado se comunica consigo mismo.
- Si el estado i se comunica con el estado j y j se comunica con el
estado k, entonces el estado i se comunica con el estado k.
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
p
ij
n
0, n0
p
ii
0
=1
Clases en una Cadena de Markov

Es posible particionar el conjunto de estados en clases.

Dos estados que se comunican, pertenecen a la misma clase.

Una clase puede incluir un slo estado.

Una Cadena de Markov tiene una sola clase, la Cadena de Markov

es irreducible.
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Ejemplo: Determinar las clases de la siguiente CM.

Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados

=
3
1
3
1
3
1
4
1
2
1
4
1
3
2
3
1
4
3
4
1
2
1
2
1
0 0
0 0
0 0 0
0 0 0
0 0 0
P
Estados Transitorios
Un estado i es transitorio si y slo si existe un estado j que es
accesible desde i, pero i no es accesible desde j
Estado Recurrente
Un estado es recurrente, cuando no es transitorio.
Estado Absorbente
Es un caso especial de estado recurrente, y es aquel con .
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
p
ii
=1
Ejemplo:
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
0 1
2
3
1
1
1-p
p
1-p
p
Ejemplo:
Verificar que todos los estados de la siguiente Cadena de Markov
son recurrentes
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
P=

0.9 0 0.1 0
0.6 0 0.4 0
0 0.5 0 0.5
0 0.3 0 0.7

Observacin
La recurrencia es una propiedad de clase.
Todos los estados de una cadena de Markov irreducible son
recurrentes.
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Periodicidad
Es tambin una propiedad de clase.
Un estado i es peridico con periodo k>1, si k es el nmero ms
pequeo de forma que todas las rutas que van desde i y vuelven a i
tienen longitud que es mtiplo de k.
En otro caso, el estado tiene periodo igual a 1 y se llama aperidico.
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Ejemplo:
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
0 1
2
3
1
1
1-p
p
1-p
p
Estados ergdicos
En una Cadena de Markov de estado finito, los estados recurrentes
aperidicos se llaman estados ergdicos.
Si en una Cadena de Markov todos sus estados son ergdicos,
entonces se dice que la cadena de markov es ergdica.
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados
Clasificacin de Estados