MODELOS DE CADENA DE MARKOV

1. Definición

Una cadena o modelo de Markov es una herramienta para analizar procesos en que la sucesión de variables aleatorias
evolucionan en función de otra variable. Dichas variables o conjunto de variables que tienen efectos aleatorios,
reciben el nombre de proceso estocástico. La inserción de este método a las matemáticas se le atribuye a Andrei
Andreyevich Markov.
Una cadena de Markov es una secuencia X1, X2, X3,… de variables aleatorias. El valor de Xn es el estado del
proceso en el tiempo n. De esta manera se obtiene la propiedad markoviana.

2. ¿Quién fue Andrei Markov Andreyevich?

Andrei Markov Andreyevich nació el 2 de junio de 1856 en Riazán, Rusia. Markov fue uno de los más famosos
discípulos de Chebyshev y sus ideas se basaban en representar la probabilidad como una ciencia matemática exacta y
práctica. La introducción de la cadena de Markov como un modelo para el estudio de variables aleatorias fue uno de
los aportes más representativos a las matemáticas.
Markov también escribió un libro de texto de estadística y probabilidad. Su obra influyó en muchos otros famosos
matemáticos y estadísticos, incluyendo SN Bernstein, Romanovsky VI, y Jerzy Neyman.
Después de contribuir en gran medida a la teoría de números, análisis, cálculo de diferencias finitas, teoría de la
probabilidad (con las cadenas de Markov) y las estadísticas, murió en Petrogrado (San Petersburgo antes, ahora
Leningrado), el 20 de julio de 1922.

3. Matriz de transición

Para una cadena de Markov de n estados es una matriz de n X n con todos los registros no negativos y con la
propiedad adicional de que la suma de los registros de cada columna (o fila) es 1.

Propiedades:
 La suma de las probabilidades de los estados debe ser igual a 1.
 La matriz de transición debe ser cuadrada, es decir, debe tener el mismo número de filas y columnas.
 Las probabilidades de transición deben estar entre 0 y 1.
4. Ejemplo 01

Un agente comercial realiza su trabajo en tres ciudades: Bucaramanga, Cali y Pereira. Para evitar desplazamientos
innecesarios está todo el día en la misma ciudad y al día siguiente se desplaza a otra ciudad, si no tiene suficiente
trabajo. Después de estar trabajando un día en Pereira, la probabilidad de tener que seguir trabajando allí al día
siguiente es 0.4, la de tener que viajar a Cali es 0.4 y la de tener que ir a Bucaramanga es 0.2. Si el viajante duerme
un día en Cali, con probabilidad de un 20%, tendrá que seguir trabajando en la misma ciudad al día siguiente; en el
60% de los casos viajará a Pereira, mientras que irá a Bucaramanga con probabilidad de 0.2. Por último, si el agente
comercial trabaja todo un día en Bucaramanga, permanecerá en esa misma ciudad al día siguiente con una
probabilidad de 0.1, irá a Cali con una probabilidad de 0.3 y a Pereira con una probabilidad de 0.6. Si hoy el viajante
está en Pereira, ¿cuál es la probabilidad de que también tenga que trabajar en el mismo lugar al cabo de cuatro días?

X1= Bucaramanga X2 = Cali X3 = Pereira

MATRIZ DE TRANSICION

X1 X2 X3
X1 0.10 0.30 0.60
X2 0.20 0.20 0.60
X3 0.20 0.40 0.40

AL CABO DE CUATRO DIAS = P*P*P*P

0.10 0.30 0.60 0.10 0.30 0.60

P*P = 0.20 0.20 0.60 0.20 0.20 0.60
0.20 0.40 0.40 0.20 0.40 0.40

F1*C1 = 0.10*0.10 + 0.30*0.20 + 0.60*0.20 = 0.19

F1*C2 = 0.10*0.30 + 0.30*0.20 + 0.60*0.40 = 0.33
F1*C3 = 0.10*0.60 + 0.30*0.60 + 0.60*0.40 = 0.48

F2*C1 = 0.20*0.10 + 0.20*0.20 + 0.60*0.20 = 0.18

F2*C2 = 0.20*0.30 + 0.20*0.20 + 0.60*0.40 = 0.34
F2*C3 = 0.20*0.60 + 0.20*0.60 + 0.60*0.40 = 0.48

F3*C1 = 0.20*0.10 + 0.40*0.20+ 0.40*0.20 = 0.18

F3*C2 = 0.20*0.30 + 0.40*0.20 + 0.40*0.40 = 0.30
F3*C3 = 0.20*0.60 + 0.40*0.60 + 0.40*0.40 = 0.52
 0.19 0.33 0.48
PP = 0.18 0.34 0.48
0.18 0.30 0.52

0.19 0.33 0.48 0.19 0.33 0.48

(PP)(PP) = 0.18 0.34 0.48 0.18 0.34 0.48
0.18 0.30 0.52 0.18 0.30 0.52

0.18 0.32 0.50

PPPP = 0.18 0.32 0.50
0.18 0.32 0.50

PRACTICA DIRIGIDA

Pregunta Nº 01
En un pueblo, al 90% de los días soleados le siguen días soleados, y al 80% de los días nublados
le siguen días nublados. Con esta información modelar el clima del pueblo como una cadena de
Markov.

Pregunta Nº 02
Una computadora se inspecciona cada hora. Se encuentra que está trabajando o descompuesta. Si
está trabajando la probabilidad de que siga trabajando la siguiente hora es 0.9. Si está
descompuesta, se toman las medidas para repararla lo que puede llevar más de una hora. Siempre
que la computadora esté descompuesta, independientemente de cuánto tiempo haya pasado, la
probabilidad de que siga descompuesta la siguiente hora es 0.35
A. Modele el sistema como una cadena de Markov.
B. Hoy está trabajando, ¿Cuál es la probabilidad de que en 2 hrs siga trabajando?

Pregunta Nº 03
Cada familia norteamericana se puede clasificar como habitante de una zona urbana, rural ó
suburbana, durante un año determinado el 15% de las familias urbanas se cambian a la zona
suburbana y el 5 % a la zona rural. El 6% de las familias suburbanas pasan a la zona urbana y el
4% a la rural, el 4% de las familias rurales pasan a la zona urbana y el 6% a la suburbana.

  
A. Construya la matriz de transición

B. Si una familia vive actualmente en la zona urbana ¿Cuál es la probabilidad que después de
dos años viva en la zona urbana?

Pp
 C. Suponga que en la actualidad  el 40% de las familias viven en la zona urbana, el 35% en la
zona suburbana y el 25% en la zona rural. Después de dos años ¿Qué porcentaje de familias
vivira en la zona urbana?

Pregunta Nº 04
Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Cuando una
persona ha comprado Coca Cola hay una probabilidad de 90% de que siga comprándola la vez
siguiente. Si una persona compró Pepsi, hay 80% de que repita la vez siguiente. Se pide:
a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de que compre
Coca Cola pasadas tres compras a partir de hoy?
b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidad de que
compre Coca Cola pasadas dos compras a partir de ahora?
c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A dos
compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola.

Pregunta Nº 05
Supongamos que en una Lima Metropolitana hay 3 supermercados (Metro, Wong y Plaza Vea)
existe la movilidad de un cliente de uno a otro. Cada mes Metro retiene el 90% de sus clientes y
pierde el 10% que se va a Wong. Se averiguó que el supermercado Wong solo retiene el 5% y
pierde el 85% que va a Metro y el resto se va a Plaza Vea, el supermercado Plaza Vea retiene solo
el 40%, pierde el 50% que va a Metro y el 10% va a Wong.
a) Establecer la matriz de transición
b) Si un cliente actualmente compra en Wong ¿Cuál es la probabilidad de que al cabo de 2
meses se vaya a Metro?
c) ¿Cuál es la proporción de clientes para los supermercados el 1 de noviembre, si el 1 de
septiembre ¼ de los clientes va a Metro, 1/3 a Wong y 5/12 a Plaza Vea.

Pregunta Nº 06
Suponga que la ocupación de cada persona puede clasificarse como de profesional, calificado o no calificado. Suponga, además, que
siempre es cierto que de los hijos de profesionales 70% son profesionales, 20% calificados y 10% no calificados, de los hijos de personas
calificadas, 60% son calificados, 20% son profesionales y 20% son no calificados y de los hijos de personas no calificadas, 20% son
profesionales, 30% son calificados y 50% no calificados. Encuentre la matriz de transición.
a) Halle la distribución de trabajos después de dos generaciones.
c) Suponga que en la actualidad el 40% de personas son profesionales, el 30% son personas no calificadas y el restante
personas calificadas. Después de 3 generaciones qué porcentaje de personas son profesionales?

Pregunta Nº 07
No contentos con dichos resultados, se relanza otra campaña publicitaria en las 3 compañías, realizando una segunda encuesta al final
de la misma, ¿De acuerdo a los últimos resultados, qué compañía lidera el mercado?

Pregunta Nº 08
En una población de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete diario y 2500
fuman más de un paquete diario. En un mes hay un 5% de probabilidad de que un no fumador comience a fumar
un paquete diario, o menos, y un 2% de que un no fumador pase a fumar más de un paquete diario. Para los que
fuman un paquete, o menos, hay un 10% de probabilidad de que dejen el tabaco, y un 10% de que pasen a fumar
más de un paquete diario. Entre los que fuman más de un paquete, hay un 5% de probabilidad de que dejen el
tabaco y un 10% de que pasen a fumar un paquete, o menos. ¿Cuántos individuos habrá de cada clase dentro de
tres meses mes?

Pregunta Nº 09
El departamento de estudios de mercado de una fábrica estima que el 20% de la gente que compra un producto
un mes, no lo comprará el mes siguiente. Además, el 30% de quienes no lo compren un mes lo adquirirá al mes
siguiente. En una población de 1000 individuos, 100 compraron el producto el primer mes. ¿Cuántos lo comprarán
al mes próximo? ¿Y dentro de dos meses?

Pregunta Nº 10
Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos innecesarios está
todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día siguiente, si no tiene suficiente
trabajo. Después de estar trabajando un día en C, la probabilidad de tener que seguir trabajando en ella al día
siguiente es 0.4, la de tener que viajar a B es 0.4 y la de tener que ir a A es 0.2. Si el viajante duerme un día en B,
con probabilidad de un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los
casos viajará a C, mientras que irá a A con probabilidad 0.2. Por último si el agente comercial trabaja todo un día
en A, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0.1, irá a B con una probabilidad
de 0.3 y a C con una probabilidad de 0.6.
a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo de cuatro
días?
b) ¿Cuáles son los porcentajes de días en los que el agente comercial está en cada una de las tres ciudades?