Cadenas de Markov

Ing. Ditmar David Castro Angulo

Temario
1 Introducción

2 Definición de cadenas de markov

3) Proceso de markov

4) Matriz de transición

5) Probabilidades de transición

6) Clasificación

7) Probabilidades de estado estable

Definición de una cadena de markov
 Ejemplo
La condición de una máquina en el momento del mantenimiento preventivo mensual es mala, regular o
buena. Para el mes t, el proceso estocástico en esta situación se representa como sigue:

La variable aleatoria Xt es finita porque representa tres estados: malo (0), regular (1) y bueno (2).
Proceso de Markov I
Un proceso estocástico es un proceso de Markov si un estado futuro depende sólo del estado
inmediatamente anterior. Esto significa que dados los tiempos cronológicos t0, t1,..., tn, la familia de
variables aleatorias {Xtn} = {x1, x2, Á , xn}

es un proceso de Markov si
 Proceso de Markov II
En un proceso Markoviano con n estados exhaustivos y mutuamente excluyentes, las probabilidades en
un punto específico del tiempo t = 0,1,2,... se definen como

Esto se conoce como probabilidad de transición en un paso al ir del estado i en el instante t -1 al

estado j en el instante t. Por definición, tenemos
Matriz de transición
La notación utilizada en la matriz es una forma conveniente de resumir las probabilidades de transición
en un paso

La matriz P define una cadena de Markov. Tiene la

propiedad de que todas sus probabilidades de transición
pij son estacionarias e independientes a lo largo del
tiempo. Aunque una cadena de Markov puede incluir un
número infinito de estados, la presentación en este curso
se limita a sólo cadenas finitas.
El Problema del Jardinero
Cada año, durante la temporada de siembra de marzo a septiembre, un jardinero realiza una prueba
química para verificar la condición de la tierra. Según el resultado de la prueba, la productividad en la
nueva temporada puede ser uno de tres estados: (1) buena, (2) regular y (3) mala. A lo largo de los años, el
jardinero ha observado que la condición de la tierra del año anterior afecta la productividad del año
actual y que la situación se describe mediante la siguiente cadena de Markov:
PROBABILIDADES DE TRANSICIÓN ABSOLUTAS
Y DE n PASOS I
PROBABILIDADES DE TRANSICIÓN ABSOLUTAS
Y DE n PASOS II
Ejemplo
Para el problema del jardinero.

Para la condición la tierra es buena.

a = (1, 0, 0), para 1, 2, 8 y 16

temporadas
Ejemplo 1
El departamento de estudios de mercado de una fábrica estima que el 20% de la gente que compra un
producto un mes, no lo comprara el mes siguiente.

Además, el 30% de quienes no lo compren un mes lo adquirirán al mes siguiente. En una población de
1000 individuos, 100 compraron el producto el primer mes. ¿Cuántos lo comprarán el próximo mes? ¿Y
dentro de dos meses?
Ejemplo 2
En una población de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete diario y
2500 fuman más de un paquete diario. En un mes hay un 5% de probabilidad de que un no fumador
comience a fumar un paquete diario, o menos, y un 2% de que un no fumador pase a fumar más de un
paquete diario. Para los que fuman un paquete, o menos, hay un 10% de probabilidad de que dejen el
tabaco, y un 10% de que pasen a fumar más de un paquete diario. Entre los que fuman más de un paquete,
hay un 5% de probabilidad de que dejen el tabaco y un 10% de que pasen a fumar un paquete, o menos.
¿Cuántos individuos habrá de cada clase el próximo mes?
CLASIFICACIÓN DE LOS ESTADOS EN UNA
CADENA DE MARKOV
Ejemplo
Ejemplo del problema del jardinero
Considere la cadena de Markov del jardinero sin fertilizante:
PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS DE
RETORNO MEDIOS DE CADENAS ERGÓDICAS
En una cadena ergódica, las probabilidades de estado estable se definen como
Se puede representar como
Determine

Determine las probabilidades de estado estable del problema del jardinero, de la

sig. matriz de transición.
Ejemplo 1
Una urna contiene dos bolas sin pintar. Se selecciona una bola al azar y se lanza una moneda. Si la bola
elegida no está pintada y la moneda produce cara, pintamos la bola de rojo; si la moneda produce cruz, la
pintamos de negro. Si la bola ya está pintada, entonces cambiamos el color de la bola de rojo a negro o de
negro a rojo, independientemente de si la moneda produce cara o cruz.

a) Modele el problema como una cadena de Markov y encuentre la matriz de probabilidades de

transición.
b) Cuales son las probabilidades de estado estable
Ejemplo 2
En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un cliente de uno a otro. El 1 de
septiembre, ¼ de los clientes va al S1, 1/3 al S2 y 5/12 al S3 de un total de 10.000 personas. Cada mes el
S1 retiene el 90% de sus clientes y pierde el 10% que se va al S2. Se averiguó que el S2 solo retiene el 5% y
pierde el 85% que va a S1 y el resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que va al S1 y el
10% va al S2.

a. Establecer la matriz de transición b. ¿Cuál es la proporción de clientes para los supermercados el 1 de

noviembre? c. Hallar el vector de probabilidad estable.
Ejemplo 3
En un día soleado, MiniGolf puede tener ingresos de $2000. Si el día está nublado, los ingresos se reducen
20%. Un día lluvioso reducirá los ingresos en 80%. Si hoy está soleado hay 80% de probabilidades de que
mañana esté soleado sin amenaza de lluvia. Si está nublado, hay 20% de probabilidades de que mañana
llueva, y 30% de probabilidades de que esté soleado. Seguirá lloviendo hasta el día siguiente con una
probabilidad de .8, pero con 10% de probabilidades de que esté soleado.
(a) Determine los ingresos diarios esperados para MiniGolf.
(b) Determine el promedio de días que no estarán soleados. “Y la matriz de probabilidades estables”