UNIDAD 2 ANÁLISIS DE MARKOV

2.1 Conceptos básicos

 Consideremos un cajero que atiende a las personas que llegan a una sucursal
bancaria

 Pensemos que en la fila nunca hay más de tres personas (incluyendo la que se
atiende)

 Supongamos que los clientes no llegan en grupos

 Entonces el número de personas en la fila (incluyendo la que se atiende) puede

tomar los valores 0, 1, 2, 3

 Pensemos que el cajero tarda al menos un minuto en atender a un cliente y que

en un minuto dado no puede llegar más de un cliente al banco

 Si observamos el número de personas en la fila cada minuto, esta cantidad

puede:

 Aumentar en 1, si llega otro cliente antes de que atiendan al que está en

servicio

1
  Disminuir en 1, si se termina de atender al cliente y nadie más llega

 Esto se repite a lo largo del día

 Si podemos considerar que la cantidad de clientes en el próximo minuto depende

solamente de la cantidad de clientes en el minuto actual, entonces podríamos
determinar la probabilidad de tener una cierta cantidad de clientes en la fila en el
próximo minuto
 Para ello requeriríamos solamente probabilidades condicionales del tipo:
 P(en el siguiente minuto haya i clientes | en este minuto hay j clientes)
 A fin de poder calcular tales probabilidades, debemos contar con:
 Información acerca de la “velocidad” con que atiende el cajero a los
clientes
 Información sobre la cantidad de clientes que llega al banco por unidad
de tiempo
 Una forma adecuada de organizar dicha información es mediante una tabla o
matriz
 En los renglones colocamos el número actual de clientes
 En las columnas, el número de clientes en el siguiente minuto
 Llamemos Xn al número de clientes en el minuto n

Clientes en el minuto n+1

0 1 2 3
0 0.5 0.5 0 0
Clientes en
el minuto n

1 0.25 0.5 0.25 0

2 0 0.7 0.2 0.1
3 0 0 0.4 0.6

 Notemos que el primer renglón de la matriz anterior indica las probabilidades de

pasar a 0, 1, 2 o 3 clientes en la fila dado que ahora hay cero clientes

2
  Como estos valores representan todos los posibles resultados, deben
sumar 1
 Lo mismo ocurre con los otros renglones
 A una matriz que cumple con esta condición se le llama matriz estocástica
(probabilística)

Definiciones sobre Cadenas de Markov de Tiempo Discreto

 Proceso estocástico
 Es una función aleatoria que varía en el tiempo
 Sus valores no pueden ser predichos con exactitud, sino con cierta
probabilidad

2.2. Procesos de Markov

 Proceso o Cadena de Markov

 Es un tipo importante de proceso estocástico que cumple con la
Propiedad Markoviana
 Dicha propiedad implica que el comportamiento futuro del proceso, dada
la trayectoria que ha seguido en el pasado y hasta el momento actual,
depende únicamente de su situación presente
 Esto implica que un proceso de Markov “no tiene memoria”
 En el ejemplo, el proceso o cadena de Markov, Xn, es el número de
clientes en la fila en el minuto n

 Si se observa el valor de la cadena de Markov en una cantidad contable de

momentos: 0, 1, ..., n, ... entonces se dice que es discreta

2.2.1 Estados, ensayos y probabilidades de transición

 Estados de una cadena de Markov

 Son los valores que puede asumir el proceso
 En el ejemplo visto, los estados son 0, 1, 2 y 3
 Probabilidades de transición
 Son las probabilidades de que la cadena pase al estado j dado que está en
el estado i
 Se representan por pij
 Por ejemplo, si i = 1 y j = 2, entonces

3
  Si las probabilidades de transición son constantes con respecto al tiempo,
entonces se dice que la cadena de Markov es homogénea o estacionaria
 Matriz de transición o matriz estocástica
 Es la matriz que resume las probabilidades de transición
 Si la matriz da las probabilidades de pasar:
 Del estado i en el tiempo n al estado j en el tiempo n+1, entonces se le
llama “de un paso”
 Del estado i en el tiempo n al estado j en el tiempo n+2, se le llama “de
dos pasos”, etc
 Si P es la matriz de un paso de una cadena de Markov, entonces P2 es la matriz
de dos pasos; P3 la de tres pasos, etc
 La distribución inicial de una cadena de Markov son las probabilidades de que
inicie en cada estado
 En nuestro ejemplo, siempre se empieza sin clientes, así que siempre tenemos
X0 = 0, lo cual es equivalente a decir que P(X0 = 0) = 1
 En general podríamos tener una probabilidad de empezar con 0 clientes, una
probabilidad de empezar con 1 cliente, etc

2.2.2 Representaciones de árbol

Una forma de describir una cadena de Markov es con un diagrama de estados,

como el que se muestra en la figura. En ésta se ilustra un sistema de Markov
con cuatro estados posibles: M 1, M2 , M3 y M4 . La probabilidad condicional o de
transición de moverse de un estado a otro se indica en el diagrama

4
El diagrama del ejemplo del banco quedaría de la siguiente forma:

5
2.2.3 Probabilidades de transición del estado i al estado j

Ejemplo 1
Dada la matriz de transición del cajero bancario, calcule
 Solución
 Hay que observar que

Pero por la definición de probabilidad condicional

Ejemplo 2
Dada la matriz de transición del cajero bancario, calcule
Solución
Hay que observar que

 Por la definición de probabilidad condicional

Luego

Ejemplo 2a
Dada la matriz de transición del cajero del banco, calcule

Solución

2.2.4 Matriz de transición

6
Ejemplo 3
 Considere el problema de enviar un mensaje binario a través de un canal de
señal que consta de tres etapas
 La transmisión en cada etapa está sujeta a una probabilidad de error fija de 0.01
 Suponga que se envía X0 = 0 y que Xn es la señal que se recibe en la n-ésima
etapa. Asuma que Xn es una cadena de Markov
 Obtenga:
 La matriz de transición de Xn
 La probabilidad de que el mensaje llegue sin errores hasta la segunda
etapa: P(X0 = 0, X1 = 0, X2 = 0)
 Sugerencia: Sea P la matriz de transición de Xn. Calcule P2
Señal recibida en la etapa n+1
P 0 1
0 0.99 0.01
Señal
recibida en
la etapa n 1 0.01 0.99

Señal recibida en la etapa n+2

P2 0 1
0 0.9802 0.0198
Señal
recibida en
la etapa n 1 0.0198 0.9802

Probabilidad de que el mensaje llegue sin error a la segunda etapa

2.2.5 Transición en más de un periodo.

Clasificación de estados en una cadena de Markov

 Se dice que el estado i es accesible desde el estado j si la probabilidad de
transición en n pasos de j a i es positiva, p(n)ij > 0, para algún número natural n
 Si el estado i es accesible desde el estado j y viceversa se dice que los estados
están comunicados
 Estado transitorio
 Es aquél tal que después de que el proceso ha entrado ahí, nunca
regresará
 El estado i es transitorio si y sólo si existe un estado j que es accesible
desde i, pero donde el estado i no es accesible desde j

7
  Al no haber acceso al estado i desde j, existe una probabilidad positiva
(incluso igual a 1) de que el proceso se mueva al estado j y nunca regrese
al estado i
 Estado recurrente
 Es un estado tal que una vez que el proceso ha estado en él, existe la
seguridad de que volverá
 Un estado es recurrente si y sólo si no es transitorio
 Estado absorbente
 Es un estado tal que después de haber entrado allí, el sistema ya nunca
saldrá
 Para que un estado i sea absorbente se requiere que pii = 1

2.2.6 Estado estacionario.

Es aquel que ya no cambia con el tiempo se obtiene de después de multiplicar
muchas veces la matriz de transición.

2.2.7 Estados transitorios.

Estado transitorio
 En la siguiente matriz de transición, el estado 2 es transitorio, ya que de él es
posible pasar directamente al estado 0, pero no de regreso
 Por tanto existe la posibilidad de que el sistema pase del estado 2 al 0 y no
regrese nuevamente

Estado transitorio

El estado 2 es transitorio. Notamos que tiene una conexión directa al estado 0,

pero no de regreso

Estado recurrente
 En la siguiente matriz de transición, todos los estados, excepto el 2, son
recurrentes
Esto es porque desde los estados 0,1 y 3 se puede acceder a cualquiera otro estado, y a
su vez, los estados 0,1 y 3 son accesibles desde cualquier otro estado

8
Los estados 0 y 2 son absorbentes. Notamos que una vez que el sistema llega a alguno
de ellos, no vuelve a salir

Estado absorbente
 En la siguiente matriz de transición, el estado 0 y el estado 2 son absorbentes, ya
que una vez entrando en alguno de ellos, el sistema no vuelve a salir
 Esto ocurre porque la probabilidad de pasar al estado 0 dado que se encuentra en
el estado 0 es igual a 1
 Análogamente ocurre para el estado 2

Estado n+1
0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
Estado n

2 0 0 1 0
3 0.2 0.1 0.4 0.3

9
Los estados 0 y 2 son absorbentes. Notamos que una vez que el sistema llega a alguno
de ellos, no vuelve a salir.

Ejemplo Considera los siguientes estados que se muestra en un sistema de

cobranzas de tarjeta de crédito y uno de venta de lotes en abonos.

Los siguientes datos muestran los valores de transición para un sistema típico
de cuentas por cobrar de tarjeta de crédito.

Calcule las probabilidades de transición.

Incobrabl
Pagada e Hasta 30 dias 31 a 60 días 61 a 90 días Total
Pagada 1 0 0 0 0
Incobrable 0 1 0 0 0
Hasta 30 dias 50000 0 40000 30000 20000 140000
31 a 60 días 40000 0 0 10000 5000 55000
61 a 90 días 30000 40000 0 0 10000 80000

Los siguientes datos muestran los valores de transición para un sistema típico
de venta de lotes en abonos.

Pagada Incobrable Hasta 30 dias 31 a 60 días 61 a 90 días Total

Pagada 1 0 0 0 0
Incobrable 0 1 0 0 0
Hasta 30 dias 50000 0 40000 30000 20000 140000
31 a 60 días 40000 0 0 10000 5000 55000
61 a 90 días 30000 40000 0 0 10000 80000

Procesos Poisson

 Es uno de los tipos más importantes de procesos estocásticos

 Ejemplos de sus aplicaciones son
 Llegada de consumidores a una estación de servicio

10
  Solicitudes de archivos a un servidor de red
 Ocurrencia de accidentes en un crucero en particular
 Defectos en un producto manufacturado
 Comenzamos definiendo “un contador” que cuenta el número de ocurrencias de
un fenómeno a partir de un punto de referencia y definimos
 X(t) = Número de ocurrencias en el intervalo (0,t]
 El contador X(t) se incrementa en una unidad cada vez que hay una ocurrencia
 En un proceso Poisson, el número de ocurrencias hasta el tiempo t sigue una
distribución Poisson con media lt:

 X(t) toma sólo valores enteros y X(0) = 0

 Los incrementos de X(t) son independientes entre sí y estacionarios (todos
tienen la misma tasa de ocurrencia, lt)
 Lo anterior implica que, por ejemplo, en el caso del banco, los clientes
no llegan en grupos y a lo largo de todo el día llegan con la misma
intensidad
 Si estas condiciones no se cumplen, no es un proceso Poisson
Ejemplo
Suponga que las solicitudes a un servidor de red siguen la distribución Poisson con tasa
l=5 por minuto. Encuentre la probabilidad de que haya al menos 8 solicitudes en un
periodo de 2 minutos

Ejemplo
 Los defectos en cierto tipo de cable siguen la distribución Poisson con tasa 1.5
por metro. Encuentre la probabilidad de que haya no más de 4 defectos en una
pieza de 2 metros de cable
Ejemplo
 Una central telefónica recibe llamadas con una intensidad de 3 llamadas por
minuto
 Calcule la probabilidad de que se reciban 3 llamadas en un periodo de 40
segundos

Distribución inicial de una cadena de Markov

• Ejemplo
– Consideremos una cadena con estados 0, 1, 2
– Supongamos que, P(X0 = 0) = 0.5625, P(X1 = 1) = 0.3750 y P(X2 = 2) =
0.0625

11
 – Entonces el vector p = (0.5625,0.3750,0.0625) proporciona la
distribución de probabilidad para el estado inicial de la cadena
• Un caso particular es que inicialmente siempre ocurra que X0 = i, donde i es uno
de los estados de la cadena
– Por ejemplo, si se trata de una línea de espera, al inicio está vacía
– Suponiendo que hubiera también tres estados: 0, 1 y 2, en este caso
tendríamos p = (1,0,0)
• Cuando el estado inicial siempre es el mismo, no se acostumbra dar la
distribución inicial, sino simplemente decir que el estado inicial es X0 = 0 (en
este caso)

Matrices de probabilidad de transición regulares

• Supongamos que tenemos una matriz P de probabilidades de transición de una

cadena de Markov que tiene un número finito de estados etiquetados 0,1,…, N
• Supongamos además que dicha matriz tiene la propiedad de que al elevarla a
cierta potencia k, la matriz tiene todos sus elementos estrictamente positivos
• Entonces decimos que tal matriz de transición, o bien la cadena de Markov
correspondiente, es regular

2.2.8 Probabilidad de pasar por un estado.

Distribución límite de una cadena de Markov regular

La principal característica de una cadena de Markov regular es la existencia de una
distribución de probabilidad límite

que cumple

p j > 0, j = 0,1,..., N
N

åp
j =0
j =1

y además es independiente del estado inicial

Ejemplo
La siguiente matriz es regular:

• Si calculamos las primeras potencias de P, tenemos:

12
 • De lo anterior, notamos que para P7, las entradas por renglones coinciden a dos
decimales
• Las probabilidades límite son 0.5282 y 0.4718

Si se tiene una cadena de Markov regular con matriz de probabilidades de transición P y

estados 0,1,…, N, entonces la distribución límite de dicha cadena satisface las
condiciones:

• Estas ecuaciones proporcionan un sistema que tiene solución, pero tiene una
ecuación redundante
• Para obtener la solución, arbitrariamente se desecha una de las ecuaciones de la
primera parte (la que establece la relación entre las pj y las Pkj) y se resuelve el
sistema resultante

Ejercicio
Determine la distribución de probabilidad límite para la matriz de transición del
ejercicio anterior

P2=(1-P1)

P1=0.5281
P2= 4718
Interpretación de la distribución límite
• La distribución límite de una cadena de Markov tiene dos interpretaciones:
• La primera interpretación se refiere, precisamente, a que se trata de la
distribución límite

13
 • Cuando el proceso ha estado en operación por un tiempo largo, la probabilidad
de encontrar al proceso en el estado j es pj, sin importar en qué estado se haya
comenzado
• La segunda interpretación dice que pj proporciona la fracción de tiempo que, en
el largo plazo, el sistema pasará en el estado j

2.2.9 Costos

• Una consecuencia de lo anterior es que si el sistema incurre en un costo cj por

cada visita al estado j, entonces a la larga el costo promedio por unidad de
tiempo asociado con la cadena de Markov, C, es

Ejemplo

• Considérese una tienda de fotografía con un problema de inventarios

• Sea Di la demanda de cámaras de tipo K que tiene la tienda durante la semana i,
i = 1,2,…
• Se supone que las Di son variables aleatorias independientes e idénticamente
distribuidas que siguen la distribución Poisson con media l = 1
• Sea Xt el número de cámaras con que la tienda cuenta al final de la semana t,
para t = 0,1,… y supongamos que X0 = 3, de modo que al principio se cuenta
con 3 cámaras en inventario
• Entonces {Xt} = {X0, X1, X2,…} es un proceso estocástico que representa el
número de cámaras con que se cuenta al final de la semana t
• El dueño de la tienda sigue la política de pedidos que se describe a continuación:
• Al final de cada semana t, se revisa el inventario y:
• Si Xt = 0, entonces se hace un pedido por tres cámaras
• Si Xt > 0, entonces no se hace pedido alguno

• Suponga que el sistema de inventarios descrito tiene la matriz de transición

Suponga además que la tienda incurre en un costo por almacenaje de acuerdo con la
siguiente relación:

14
Obtenga la distribución límite de la cadena de Markov y calcule el costo esperado por
almacenaje
• Resolviendo el sistema, tenemos que la distribución límite es p = (0.286, 0.285,
0.263, 0.166)
• El costo esperado por almacenaje es:

2.3 Software especializado

Utilización del modulo Markov analysis de QM for Windows

15
Seleccionar el número de estados de la matriz a resolver:

16
Capturar las probabilidades de la matriz inicial

2.4 Ejercicios y casos prácticos.

Determine la distribución límite de una cadena de Markov X0, X1, X2, … que asume los
estados 0, 1 y 2 y tiene la matriz de probabilidades de transición

17
Suponga que las clases sociales de generaciones sucesivas en una familia siguen una
cadena de Markov con la matriz de probabilidades de transición que se da más abajo. En
el largo plazo, ¿qué fracción de las familias estará en la clase alta?

• Un autobús en un sistema masivo de transporte opera en una ruta continua con

paradas intermedias
Se clasifica la llegada del autobús en uno de tres estados, a saber:
1. Llegada temprana
2. Llegada a tiempo
3. Llegada tardía
Suponga que los estados sucesivos forman una cadena de Markov con la matriz de
probabilidad de transición que se da más abajo. En un periodo largo de tiempo, ¿qué
fracción de las llegadas se puede considerar tardía?
• Los cuatro pueblos A, B, C y D están conectados por líneas de
ferrocarril como se muestra en la figura (todas son en ambos
sentidos)

Cada día, sin importar en qué pueblo se encuentre, en conductor de un tren elige una de
las líneas que salen del pueblo y la recorre hasta el pueblo siguiente, donde el proceso se
repite al día siguiente
A la larga, ¿cuál es la probabilidad de encontrar al tren en el pueblo D?

A B C D
A 0 0.6 0 0.4
B 0.6 0 0.2 0.2
C 0 1 0 0
D 0.4 0.6 0 0

Ejemplo prototipo: Inventarios

• Considérese una tienda de fotografía con un problema de inventarios

18
 • Sea Di la demanda de cámaras de tipo K que tiene la tienda durante la semana i,
i = 1,2,…
• Se supone que las Di son variables aleatorias independientes e idénticamente
distribuidas que siguen la distribución Poisson con media l = 1
• Sea Xt el número de cámaras con que la tienda cuenta al final de la semana t,
para t = 0,1,… y supongamos que X0 = 3, de modo que al principio se cuenta
con 3 cámaras en inventario
• Entonces {Xt} = {X0, X1, X2,…} es un proceso estocástico que representa el
número de cámaras con que se cuenta al final de la semana t
• El dueño de la tienda sigue la política de pedidos que se describe a continuación:
• Al final de cada semana t, se revisa el inventario y:
• Si Xt = 0, entonces se hace un pedido por tres cámaras
• Si Xt > 0, entonces no se hace pedido alguno

• Suponga que el sistema de inventarios descrito tiene la matriz de transición

Suponga además que la tienda incurre en un costo por almacenaje de acuerdo con la
siguiente relación:

Obtenga la distribución límite de la cadena de Markov y calcule el costo esperado por

almacenaje
• Resolviendo el sistema, tenemos que la distribución límite es p = (0.286, 0.285,
0.263, 0.166)
• El costo esperado por almacenaje es:

19
20
21
22
23
Ejercicio:

El departamento de estudios de mercado de una fábrica estima que el 20% de

la gente que compra un producto un mes, no lo comprará el mes siguiente.
Además, el 30% de quienes no lo compren un mes lo adquirirá al mes
siguiente. En una población de 1000 individuos, 100 compraron el producto el
primer mes. ¿Cuántos lo comprarán al mes próximo? ¿Y dentro de dos
meses ?.

Caso de estudio:

La siguiente tabla muestra los resultados en valores absolutos* tomados

de manera directa en las aulas, el total está ajustado con los porcentajes de
abandono para la generación 1998-1 de Contaduría Pública, tomados del l
programa de consulta a las unidades académicas y están elaboradas con datos
proporcionados por el C.P. Luis Meza Arístigue**.

I
SEMESTRE I II III IV V VI VII VIII X
1
4
REPITEN* 24 24 28 28 28 56 56 80 0
2
33 36 33 30 6
AVANZAN* 312 6 364 4 364 2 344 8 0
ABANDONAN** 64 40 8 8 8 12 0 12 0
4
40 40 40 40 0
TOTAL 400 0 400 0 400 0 400 0 0

24
 A) Elabore una matriz de probabilidades de transición
B) Calcule la matriz de probabilidades de transición para 1998-2
C) Calcule el estado estable
D) Elabore el diagrama de Markov

25