CADENAS DE MARKOV

Algebra de Matrices II

Oscar Castro Osorio

Julin Felipe Mora
Diana Paola Rojas

Profesor: Jonatn Mora

Universidad Santo Tomas de Aquino

Bogot, Colombia
20 Mayo de 2015
Marco Terico

Cadenas de Markov
Una matriz de probabilidad es aquella matriz real cuyas columnas son vectores
de probabilidad, es decir, estn formadas por elementos no negativos y de
suma 1. Dichas matrices son las de transicin de un sistema que consta de n
estados, y tal que el elemento pij de una matriz represente la probabilidad de
pasar del estado j al estado i en una unidad de tiempo. Constituyen otro
ejemplo de sistema dinmico discreto, llamado cadena de Markov:
Una cadena de Markov es un proceso estocstico en el que si el estado actual

Xn

y los estados previos

X n X n1

que la probabilidad del estado futuro

X n +1

son conocidos, donde se cumple

dado que se conocen los estados

del pasado y el presente, ser igual a la probabilidad de estado futuro dado el

estado presente, es decir que la probabilidad del estado futuro solo depender
del estado inmediatamente anterior. Matemticamente es:
Sea

X1

: variable aleatoria que define el estado inicial del proceso

Xn

: variable aleatoria que define el estado del proceso en el instante de

tiempo n.

P ( X n+1 =S n+1| X 1=S 1 , X 2 =S 2 , .. X n=S n =P ( X n +1=S n+1| X n=S n

Propiedad Markoviana

Propiedad de Markov: conocido el estado del proceso en un momento dado,

su comportamiento futuro no depende del pasado, dicho de otro modo, dado el
presente, el futuro es independiente del pasado.
donde,
S es el espacio de estados, y representa el conjunto de todos los posibles
valores que puede tomar un proceso estocstico. Este espacio puede ser
continuo o discreto.

S= { X t|t T }

Siendo
T un espacio paramtrico y representa el conjunto de valores que puede tomar
el tiempo, pueden ser minutos, segundos, das etc. Puede ser espacio
paramtrico continuo y discreto.
.

T ={ t|t T }

Las cadenas de Markov estn caracterizadas por las probabilidades de

transicin en una etapa:

P ( X t +1= j| X t=i , i, j S , t T
Es decir, la probabilidad de que el estado j en el tiempo t+1, dado el estado i
en el tiempo t, donde i,j pertenece al espacio de estados y t al espacio
paramtrico.
Las cadenas de Markov homogneas en el tiempo son aquellas en las que:

i , j S t T , P ( X t +1= j| X t =i=q ij
Siendo

qij

: probabilidad de transicin en una etapa desde el estado i hasta el

estado j.
Es decir:
Para todo i,j que pertenece al espacio de estados y para todo t que pertenece
al espacio paramtrico, se cumplir que la probabilidad que el estado j en el
tiempo t+1, dado el estado i en el tiempo i sea

qij , se llama probabilidad de

transicin en una etapa desde el estado i hasta el estado j.

Los valores de

qij , se agruparan en la matriz de transicin:

n+1

q
(i , j)i , j S
q 00 q01 q02
Q=n =
q 20 q22

Donde n es el tiempo Y n+1: es el tiempo siguiente al n

Se interpreta como:

q12

: probabilidad del estado n hasta n+1, es decir probabilidad del estado 1

al estado 2 en un solo paso.

Propiedades de la matriz de transicin:

Por ser los

qi , j

probabilidades,

i , j S , qij [0,1]

Por ser 1 la probabilidad del suceso seguro, cada fila debe sumar 1, es decir

i , j S , qij =1
j S

Al cumplir estas dos propiedades, la matriz es estocstica.

Es decir que cada valor de la matriz debe estar etre 0 y 1 y la suma de las
probabilidades de las filas debe ser igual a 1.
Diagrama de transicin de estados:
ii

qij

Es un grfico que muestra los estados de la cadena de Markov, i, j son las

probabilidades entre 0 y 1 sin ser 0.

Ejemplo 1
Sea una lnea telefnica de estados:
Ocupado=1
Desocupado=0
Si en el instante t est ocupada, en el instante t+1, estar ocupada con
probabilidad 0,7 y desocupada con probabilidad 0,3. Si en el instante t est
desocupada, en el t+1 estar desocupada con probabilidad de 0,1 y
desocupada con probabilidad 0,9.
Espacio de estados

S={O, 1 }
Espacio paramtrico

T ={O , 1, }
n+1

Q=n 0 0,9 0,1

1 0,3 0,7

Ejemplo 2
En un pueblo el clima puede cambiar de un da para otro, considere solo dos
estados del tiempo, o el clima est seco o el clima est hmedo, la
probabilidad de tener un clima seco al da siguiente es de 0,8 si el da actual es
seco, pero si el clima es hmedo la probabilidad de tener un clima seco es de
0,6. Suponga que dichas probabilidades no cambian a travs del tiempo.
Sea X: estado del clima
Seco=0
Hmedo= 1
La matriz de transicin es:

n+1

Q=n 0 0,8 0,2

1 0,6 0,4

CONCLUSIONES

Las cadenas de Markov permiten analizar sistemas que cambian a travs

del tiempo bajo ciertas funciones de probabilidad.

Permiten el anlisis sobre el estudio de los comportamientos de ciertos

sistemas en periodos de tiempo, largo o cortos, cuando el nmero de
transiciones tiende a infinito.

Es una herramienta til porque permite conocer las probabilidades de un

experimento, y a partir de esto conocer a corto y largo plazo los
resultados en tiempos futuros y tomar decisiones a partir de la matriz de
transicin que involucra todas estas probabilidades, en suma, puede
servir para optimizar procesos en distintas organizaciones.