Documentos de Académico
Documentos de Profesional
Documentos de Cultura
CADENAS DE MARKOV
Introduccin
Un proceso o sucesin de eventos que se desarrolla en el tiempo en el cual el resultado
en cualquier etapa contiene algn elemento que depende del azar se denomina proceso
aleatorio o proceso estocstico. Por ejemplo, la sucesin podra ser las condiciones del
tiempo en Paran en una serie de das consecutivos: el tiempo cambia da a da de una
manera que en apariencia es algo aleatoria. O bien, la sucesin podra consistir en los
precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado
de aleatoriedad.
Un ejemplo simple de un proceso estocstico es una sucesin de ensayos de Bernoulli,
por ejemplo, una sucesin de lanzamientos de una moneda. En este caso, el resultado en
cualquier etapa es independiente de todos los resultados previos (esta condicin de
independencia es parte de la definicin de los ensayos de Bernoulli). Sin embargo, en la
mayora de los procesos estocsticos, cada resultado depende de lo que sucedi en
etapas anteriores del proceso. Por ejemplo, el tiempo en un da determinado no es
aleatorio por completo sino que es afectado en cierto grado por el tiempo de das
previos. El precio de una accin al cierre de cualquier da depende en cierta medida del
comportamiento de la bolsa en das previos.
El caso ms simple de un proceso estocstico en que los resultados dependen de otros,
ocurre cuando el resultado en cada etapa slo depende del resultado de la etapa anterior
y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de
Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente)
Estas cadenas reciben su nombre del matemtico ruso Andrei Andreevitch Markov
(1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el
ltimo evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente
las distingue de una serie de eventos independientes como el hecho de tirar una moneda.
Este tipo de proceso presenta una forma de dependencia simple, pero muy til en
muchos modelos, entre las variables aleatorias que forman un proceso estocstico. Se
utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para
planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.
Definicin
Una cadena de Markov es una sucesin de ensayos similares u observaciones en la cual
cada ensayo tiene el mismo nmero finito de resultados posibles y en donde la
probabilidad de cada resultado para un ensayo dado depende slo del resultado del
ensayo inmediatamente precedente y no de cualquier resultado previo.
Propiedad de Markov: Dada una secuencia de variables aleatorias X 1 , X 2 , X 3 , ...... ,
tales que el valor de X n es el estado del proceso en el tiempo n. Si la distribucin de
probabilidad condicional de X n +1 en estados pasados es una funcin de X n por s sola,
entonces:
P(X n + 1 = x n + 1 /X n = xn , X n 1 = xn 1 ,....X 2 = x2 , X 1 = x1 ) =
P(X n + 1 = x n + 1 /X n = xn )
Donde xi es el estado del proceso en el instante i.
1/4
2/3
3/4
A
B
1/3
Observaciones:
1) La suma pi1 + pi 2 + ..... + pin = 1 . Esta suma representa la probabilidad de que el
sistema pase a uno de los estados 1, 2, ., n dado que empieza en el estado i. Ya que
el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe ser
igual a 1. Esto significa que los elementos en cualquier rengln de la matriz de
transicin deben sumar 1.
2) Cada elemento pij 0
Ejemplo: una cadena de Markov como modelo para el ADN.
Es improbable que una secuencia aleatoria de A,C,G y T sea un buen modelo para el
patrn de nucletidos en una secuencia gnica.
Una cadena de Markov con {A, T, G y C} podra ser una mejor aproximacin a la
realidad: las probabilidades para el nucletido en la posicin j+1 dependen del
nucletido en la posicin j. (Sin embargo, en la realidad las dependencias son ms
complejas)
Si el espacio de estados es S = {A, C, G, T}.
La matriz de transicin P es de 4 x 4:
Aqu
Ejercicios
C
0,5 0,3 0,2
0,3 0,4 0,3
D
B
0,8 0,2
Si el valor de la accin baj hoy, calcule la probabilidad de que se incremente 3
das despus a partir de ahora.
En el ejemplo que acabamos de ver, calculamos la probabilidad de que la accin vaya al
alza al tercer da. Suponga que deseamos calcular la probabilidad de que la accin vaya
al alza o la baja al dcimo da. En este caso, el uso de un diagrama sera muy
complicado. En una situacin como esa, el lgebra de matrices evita dibujar un
diagrama muy grande.
Consideremos un sistema de n estados posibles, de modo que cada ensayo tiene n
resultado posibles. En cualquier etapa en el futuro no podemos decir en qu estado se
encontrar el sistema pero podramos estar en posicin de dar las probabilidades de que
se encuentre en cada uno de los estados 1, 2, .,n.
En general, si p1 , p2 , ....., pn son las probabilidades de que el sistema se encuentre en
los estados 1, 2, .., n, respectivamente, entonces la matriz fila 1xn
( p1 p2 .... pn ) se conoce como matriz de estado inicial o vector de estado inicial
del sistema. Obviamente que la suma de esa fila es 1. Denotaremos a la matriz de estado
inicial con Ao y a la matriz de estado despus de k ensayos o etapas por Ak
0,73 0,27
Ejemplo: La variacin del tiempo de un da a otro se supone que forma una cadena de
Markov con la matriz de transicin siguiente:
S
S
N
LL
LL
Teorema 2: Una matriz de transicin P se dice que es regular si para algn entero
positivo k, la matriz P k no tiene elementos iguales a cero. Si P es una matriz de
transicin regular, entonces sin importar la matriz de estado inicial, las matrices de
estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.P = B. La
matriz B se denomina matriz estacionaria del sistema
Ejemplo: Si la matriz de transicin regular es:
0,8 0,2
y B = ( p1 p2 ) es la matriz estacionaria que se requiere.
P =
0,6 0,4
Por definicin, la suma de las probabilidades p1 + p2 = 1 y adems B.P = B, o sea:
0,8 0,2
= ( p1 p2 )
( p1 p2 )
0
,
6
0
,
4
1. Suponga que la matriz de transicin de cierta cadena de Markov est dada por:
2 / 3 1/ 3
P =
1/ 4 3 / 4
Donde la primera fila y columna indica el estado 1 y la segunda fila y columna el
estado 2.
a) qu representa el elemento de la matriz?
b) Suponiendo que el sistema se encuentra en un principio en el estado 1, con un
diagrama de rbol encuentre la matriz de estado despus de dos ensayos.
c) Ahora mediante el teorema 1 encuentre la respuesta a la pregunta anterior
d) Cul es la matriz estacionaria del sistema?
2. La matriz de transicin de cierto proceso de Markov es:
0,3 0,5 0,2
1 / 2 1 / 3 1 / 6
0
Y 1 / 4 3 / 4
Z 1 / 5 2 / 5 2 / 5
a) Cul es la probabilidad de que el partido Z gane la prxima eleccin si el
partido X est ahora en el poder?
b) Cul es la probabilidad de que el partido X est en el poder despus de dos
elecciones si se supone que el partido Y se encuentra en el poder ahora?
c) Si el partido Z se encuentra en el poder, cul es la probabilidad de que estar
ah despus de dos elecciones?
X
4. La probabilidad de que una persona de baja estatura tenga un hijo tambin de baja
estatura es de 0,75, mientras que la probabilidad de que un padre alto tenga un hijo
algo es de 0,60 (se ignora la posibilidad de concebir un hijo de mediana estatura)
a) cul es la probabilidad de que un hombre alto tenga un nieto de baja estatura?
b) cul es la probabilidad de que un hombre de baja estatura tenga un nieto alto?
c) Encuentre la matriz estacionaria del proceso y d su interpretacin
0
P 0,2 0,8
M 0,1 0,1 0,8
Encuentre los porcentajes de los tres tipos de granjas: a) el ao prximo, b) dentro
de 2 aos, c) a largo plazo.
A
6. En cierto pas 90% de la energa es generada por petrleo, gas o carbn y 10%
provena de la energa atmica. Cinco aos despus los porcentajes eran 80% y 20%
respectivamente, mientras que 5 aos ms tarde fueron 75% y 25%. Suponiendo que
el proceso es de Markov con
(0,8 0,2) = (0,9 0,1).P
(0,75 0,25) = (0,8 0,2).P
Calcule la matriz de transicin P de 2 x 2. Encuentre la matriz estacionaria e
interprtela.
7. Suponga que la ocupacin de cada persona puede clasificarse como de profesional,
calificado o no calificado. Suponga, adems, que siempre es cierto que de los hijos
de profesionales 70% son profesionales, 20% calificados y 10% no calificados, de
los hijos de personas calificadas, 60% son calificados, 20% son profesionales y 20%
son no calificados y de los hijos de personas no calificadas, 20% son profesionales,
30% son calificados y 50% no calificados. Suponga que el nmero total de personas
con un ocupacin es el mismo en cada generacin y que en la generacin actual,
35% son profesionales, 35% calificados y 30% no calificados. Encuentre la matriz
de transicin. Halle la distribucin de trabajos despus de una generacin y despus
de dos generaciones.