Cadenas de Markov 1

3. Cadenas de Markov

Algunas veces nos interesa saber cmo cambia una variable aleatoria a travs del tiempo. Por ejemplo,
desearamos conocer cmo evoluciona el precio de las acciones de una empresa en el mercado a travs del
tiempo. El estudio de cmo evoluciona una variable aleatoria incluye el concepto de procesos estocsticos. En
este captulo explicaremos esos procesos, en especial uno que se conoce como cadena de Markov. Las cadenas
de Markov se han aplicado en reas tales como educacin, mercadotecnia, servicios de salud, contabilidad y
produccin.
Qu es un Proceso Estocstico?
Supngase que observamos alguna caracterstica de un sistema en puntos discretos en el tiempo (que llamamos
0,1,2,...). Sea Xt el valor de la caracterstica del sistema en el tiempo t. En la mayor parte de los casos no se
conoce Xt con certeza antes del tiempo t y se puede considerar como variable aleatoria. Un proceso estocstico
de tiempo discreto es simplemente una descripcin de la relacin entre las variables aleatorias X 0, X1, X2,... A
continuacin daremos algunos ejemplos de procesos estocsticos de tiempo discreto.
Ejemplo 1 La ruina del jugador: En el tiempo 0 tengo 2 dlares. En los tiempos 1,2,3... participo en un juego
en el que apuesto 1 dlar. Gano el juego con probabilidad p, y lo pierdo con probabilidad 1-p. Mi meta es
aumentar mi capital a 4 dlares, y tan pronto como lo logre se suspende el juego. El juego tambin se suspende
si mi capital se reduce a 0 dlares. Si definimos que X t es mi capital despus del juego cuando el tiempo es t, si
es que lo hay, entonces se puede considerar que X 0, X1, ..., Xt son procesos estocsticos de tiempo discreto.
Ntese que X0=2 es una constante conocida, pero que X 1 y las dems Xt son aleatorias. Por ejemplo X 1=3 con
probabilidad p y X1=1 con probabilidad 1-p. Ntese que si Xt=4, entonces Xt+1 y todas las dems Xt tambin
sern igual a 4. Igualmente, si Xt=0, entonces Xt+1 y todas las dems Xt sern 0 tambin.
Ejemplo 2: Sea X0 el precio de una accin de computadoras CSL al principio de este da hbil. Tambin sea X t
el precio de esa accin al principio del t-simo da hbil en el futuro. Es claro que si se conocen los valores de
X0, X1, ..., Xt nos dicen algo de la distribucin de probabilidad de X t+1; el asunto es: Qu nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de X t+1? La respuesta de esta pregunta es de importancia crtica
en finanzas.
Un proceso estocstico de tiempo continuo es simplemente un proceso estocstico en el que el estado del
tiempo se puede examinar en cualquier tiempo y no slo en instantes discretos. Por ejemplo, se puede considerar
que el nmero de personas en un supermercado a los t minutos despus de abrir, es un proceso estocstico de
tiempo continuo. As tambin, el precio de una accin se puede observar en cualquier tiempo, y no slo al abrir
la bolsa, por lo que se puede considerar como proceso estocstico de tiempo continuo. Al considerarlo as, se ha
podido a importantes resultados en la teora de finanzas, incluyendo la famosa frmula de Black-Scholes para
opcin de precio.

Ing. Efran Murillo

Cadenas de Markov 2

Definicin de Cadena de Markov

Cadenas de Markov es un modelo matemtico que se basa en dos conceptos: estado y transicin. El sistema
ocupa un estado i con probabilidad p i y, despus de un periodo, procede a una transicin para el estado j con
probabilidad de transicin tij. Sean N los estados del sistema, entonces, para cualquier estado i:
N

t
j 1
ij 1, con 0 tij 1

En los modelos ms simples de cadenas de Markov, los valores de las probabilidades de transicin t ij no
dependen ni de cmo el sistema lleg al estado i, ni del periodo n. Las probabilidades de ocupar un estado i
dependen del nmero de periodos o de transiciones efectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de Markov si:
a) El resultado del m-simo intento depende slo del resultado del intento (m-1)-simo y no de los resultados
en los intentos anteriores, y
b) La probabilidad de pasar del estado i al estado j en dos intentos sucesivos del experimento permanece
constante.

Aplicacin 1:
Participaciones de mercado
Una investigacin de mercados sobre el consumo de 3 marcas de cerveza: A, B y C por 1000 personas dar al
inicio (n=0) y despus de un periodo (n=1) los siguientes resultados:

Se desea saber:
a) El porcentaje de los clientes que consumen cada marca de cerveza despus de un periodo.
b) El porcentaje de los clientes que consumen cada marca de cerveza despus de 2 periodos.
c) A la larga cmo se reparte el mercado de bebedores de cerveza entre las tres marcas?
Grficamente se tiene:

Ing. Efran Murillo

Cadenas de Markov 3

Observamos que estamos delante de un fenmeno dinmico, en el cual A aument su participacin en el mercado
de 20% a 29%.
Siendo p la probabilidad de que un consumidor est demostrando preferencia por uno de los tres productos (osea
la participacin de cada producto en el mercado) y observando que cada producto (o el hecho de estar
consumiendo un determinado producto) corresponde a un estado, resulta:
Xo = [pA(0) pB(0) pC(0)] = [0,2 0,3 0,5]
Donde X0 es el vector de distribucin de estados al inicio. y
X1 = [0,29 0,27 0,44]
Donde X1 es el vector de distribucin de estados despus de un periodo (n=1).
Las probabilidades del vector X1 nos indican que despus de un periodo, el comportamiento del mercado ser:
29% consume el producto A, 27% el B y 44% el producto C.
Deseando analizar como ocurren estas alteraciones, y utilizando el cuadro correspondiente a las transiciones, se
tiene que:
La probabilidad de que un consumidor de A (o en A) permanece con A es:
140
tAA = 0,7.
200
20
La probabilidad de que un consumidor en A pase a C es tAC = 0,1.
200
Entonces las probabilidades de transicin resultan:
A B C
A 0,7 0,2 0,1
0,4
T = B 0,1 0,5

C0,24 0,16
0,6

Donde observamos que la suma de los elementos de cada fila siempre es 1.

Para visualizar mejor el fenmeno, diseamos la siguiente cadena:

La probabilidad de ocupar estado j despus de un periodo es:

N
pj(1)= p (0).t
i 1
i ij

o en forma matricial: X1 = X0T

Ing. Efran Murillo

Cadenas de Markov 4

Despus de la segunda transicin (n=2), resulta:

X2 = X1 T

0.7 0.2 0.1

X 2 0.29 0.27 0.44 0.1 0.5 0.4


0.24 0.16 0.6

X2 = [0,34 0,26 0,40]

Lo que significa que despus de 2 periodos, el comportamiento del mercado ser: 34% consume el producto A,
26% el B y 40% el producto C.
Tambin X2= X0T T = X0T2
Despus de la tercera transicin (n=3), resulta:
X3 = X2 T = X0T2 T = X0T3

Despus de n transiciones se tiene:

Xn=Xn-1T =X0Tn-1T =X0Tn
Donde Xn es el vector de distribucin de probabilidad de estados en el periodo n.
Despus de muchas transiciones, se llega a una situacin estacionaria o de rgimen de equilibrio dinmico (osea,
lo contrario de transitoria) en la cual las participaciones de mercado no se alteran ms. En este caso:
Xn = Xn-1 =
donde : Vector de distribucin de estado estable).
Por lo tanto: = .T
Deseando calcular los elementos de =[A B C], tenemos:

0,7 0,2 0,1

0,4
[A B C] = [A B C] 0,1 0,5

0,24
0,16
0,6

adems de:
A + B + C =1
El sistema de ecuaciones sera:
A + B + C =1
0,7A + 0,1B + 0,24C = A
0,2A + 0,5B + 0,16C = B
0,1A + 0,4B + 0,6C = C
Este sistema es redundante y, para resolverlo, eliminamos una de las tres ltimas ecuaciones (por ejemplo la
ltima).
A + B + C =1
-0,3A + 0,1B + 0,24C = 0
0,2A - 0,5B + 0,16C = 0
y la solucin es: = [ 0,376 0,265 0,359]
Observamos el aumento en la participacin de A, que pasa de 20% a 37.6%; principalmente a costa de C, que cae
de 50% a 35,9%. Entonces si C quiere promover una campaa publicitaria para quebrar el proceso, debera,

Ing. Efran Murillo

Cadenas de Markov 5

principalmente, dirigirla hacia los actuales consumidores de A, ya que t AC=0,1 (muy pequeo). Se observa que
tBC es bastante grande.
La siguiente tabla muestra las distribuciones de estado para diferentes periodos de transicin:

Se observa que a partir del periodo 7, las variaciones en los tres estados son casi despreciables.

ANLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta sus ventas en $40
por cuntos perodos se debe realizar la campaa publicitaria, sabiendo que esta cuesta $500 por semana?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:

Participacin nmero de incremento Ingresos Costo

Periodo de mercado clientes de clientes adicionales publicidad Utilidad
0 0.2 200
1 0.29 290 90 $3600 $500 $ 3100
2 0.3356 336 46 1840 500 340
3 0.3575 358 22 880 500 380
4 0.3676 368 10 400 500 -100

En consecuencia se deber realizar la campaa durante 3 semanas, luego cambiar.

NOTA.- Para que exista un nico vector de distribucin estacionaria , se requiere que T sea regular.
T = [tij] es regular si tij > 0 en al menos una de sus potencias Tm
Ejemplos:
1 / 2 1 / 2
a) T= es regular ya que tij > 0
1 / 3 2 / 3

1 / 2 1 / 2 2 1 / 4 3 / 4
b) T= ,T= ,
0 1 0 1

1 / 8 7 / 8
T3= ,
0 1
entnces cualquier Tm no cumplir la condicin tij > 0 ya que siempre existir el elemento t21= 0, por lo tanto
T no es regular.

Ing. Efran Murillo

Cadenas de Markov 6

0 1/ 2 1 / 2 1 / 2 1/ 4 1 / 4
1 / 2 , T2= 1 / 4 1 / 4 ,
c) T= 1 / 2 0

1/ 2

1 / 2 1/ 2 0 1 / 4 1/ 4 1 / 2

por lo tanto T es regular.

Si T es matriz regular existe un vector nico de tal forma que T = donde es llamado a menudo vector
de distribucin de estado estable compuesto por probabilidades de estar en cada estado a largo plazo.

Aplicacin 2:
Pronstico del clima
Las probabilidades del estado del tiempo para la ciudad de Arequipa el mes de enero del presente ao fueron
extradas de la base de datos de SENAMHI Arequipa. Dichos valores han sido tomados de un dia anterior al dia
que iran a ser puestos a conocimiento de la poblacin arequipea. Estos datos se pueden expresar mediante la
siguiente matriz de transicin:

La matriz P representa el modelo del clima, en donde dice que un dia es soleado es 90% posible de que sea
seguido por otro dia soleado y un dia lluvioso es 50% posible de que sea seguido por otro dia lluvioso. Las
columnas pueden ser nombradas como soleado y lluvioso respectivamente y las filas pueden ser nombradas
en el mismo orden.

(P) es la probabilidad que, dado un dia de tipo j, sea seguido por un dia i.
Ntese que las columnas de P suman 1, es as porque P es una matriz estocstica.

Pronosticando el clima.-

El clima en el dia 0 es conocido como soleado. Esto es representado por el vector en donde la entrada de
soleado es 100% y la de lluvioso es 0%

El clima en el da 1 puede ser pronosticado de la siguiente manera

Por eso, hay un 90% de posibilidad de que el dia 1sea tambien soleado

El clima para el da 2 puede ser pronosticado de la siguiente manera:

Ing. Efran Murillo

Cadenas de Markov 7

Las reglas generales para el da n son:

Estado estacional del clima.-

Para este caso, las predicciones para el clima en das mas distantes son incrementalmente imprecisos y tienden a
tornarse en un vector de estado estacional. Este vector representa las probabilidades de condiciones soleadas y
lluviosas para todos los das y son independientes del clima inicial.
El vector del estado estacional se define como:

pero solo converge si P es una matriz de transicin regular.

Desde que q es independiente desde condiciones iniciales, no debe ser alterada cuando transformada por P. Esto
genera un eigenvector (vocablo aleman que significa vector propio) y significa que puede ser derivado de P.

Par el caso que se venia tratando:

Asi que;
q1 5q2 = 0

Estableciendo s = q2 asi que s = q1. Se require s + 5s = 1 para lo cual s= 0.167. El vector estacional seria el
siguiente:

Repuesta.- En conclusin, a final de cuentas, 83% de los das fueron soleados en la cuidad de Arequipa
para el mes de Enero del presente ao.

Ing. Efran Murillo

Cadenas de Markov 8

CADENAS DE MARKOV ABSORBENTES

Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los estados
son absorbentes y el resto son transitorios. A esas cadenas se les llaman cadenas absorbentes.
Un estado i de una cadena de Markov se dice que es absorbente si, una vez alcanzado el estado i en algn
intento, el sistema permanece en el estado i en todos los intentos futuros.
Una cadena de Markov es absorbente si tiene uno o ms estados absorbentes y es posible llegar a un estado
absorbente a partir de cualquiera de los estados no absorbentes o transitorios.
Nota.- Puede ser necesario pasar por varios estados transitorios para llegar a un estado absorbente.
Si el estado i es absorbente, la probabilidad de transicin de i a j es de 1. En otras palabras, el estado i es
absorbente s y slo s tij=1. El nmero de estados absorbentes de una cadena de Markov es igual al nmero de
unos en la diagonal de su matriz de transicin. La probabilidad de que el sistema est en un estado transitorio
disminuye al aumentar el nmero de intentos

Aplicacin 3:
Planificacin de Personal
La empresa de abogados Los Justicieros emplea a tres categoras de abogados: principiantes, con experiencia y

s-m m
columnas columnas
s m renglones Q R
T= 0
m renglones I

socios. Durante un ao determinado hay una probabilidad 15% que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 5% que deje la empresa. Tambin hay una probabilidad 20% que un
abogado con experiencia sea ascendido a socio y una probabilidad 10% que deje la empresa. Tambin hay una
probabilidad 5% que un socio deje la empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra contestar. Por ejemplo:
1. Cul es la duracin promedio de un abogado joven recin contratado en la empresa?.
2. Cul es la probabilidad de que un abogado joven llegue a ser socio?.
3. Cul es la duracin promedio que pasa un socio en el bufete? entre muchas otras.
Modelaremos la trayectoria de un abogado en Los Justicieros como cadena absorbente con la siguiente matriz
de probabilidad de transicin:

Los dos ltimos estados son estados absorbentes y los dems son transitorios. Por ejemplo, Experimentado es
estado transitorio, por que hay una trayectoria de Experimentado a Sale sin ser socio, pero no hay trayectoria que
regrese de Sale sin ser socio a Experimentado. Suponemos que una vez que un abogado sale de la empresa nunca
regresa.

Ing. Efran Murillo

Cadenas de Markov 9

Para toda la cadena absorbente se desea conocer: (1) Si la cadena comienza en un determinado estado transitorio,
y antes de alcanzar un estado absorbente, cul es el nmero esperado de veces que se entrar en cada estado?
Cuntos periodos esperamos pasar en un estado transitorio dado antes que se efecte la absorcin?. (2) Si una
cadena inicia en un estado transitorio dado, cul es la probabilidad de terminar en cada uno de los estados
absorbentes?.
Para contestar estas preguntas necesitamos formular la matriz de transicin con los estados en una lista con el
siguiente orden: primero los estados transitorios y despus los absorbentes. Para precisar, se supondr que hay s-
m estados transitorios (t1, t2, ..., ts-m) y m estados absorbentes (a1, a2, ..., am). Entonces la matriz de transicin para
la cadena de absorcin puede escribirse como sigue:
En este caso, I es una matriz identidad mxm, que refleja el hecho de que nunca podemos dejar un estado
absorbente; Q es una matriz (s-m)x(s-m) que representa las transiciones entre los estados transitorios; R es una
matriz (s-m)xm que representa las transiciones desde los estados transitorios a los estados absorbentes; 0 es una
matriz mx(s-m) que consta de ceros. Esto refleja de que es imposible ir de un estado absorbente a uno transitorio.
Aplicando esta notacin a la aplicacin, tenemos que:
t1= Principiante,
t2 = Experimentado,
t3= Socio,
a1= Sale sin ser socio y
a2 = Sale siendo socio.
y podemos escribir la matriz de probabilidad de transicin como:

Entonces s=5, m=2, y

0,80 0,15 0 0,05 0

0 0,70 0,20 0,10 0
Q= R=

0
0 3x 3
0,95 0
3x 2
0,05

Para dar respuesta a las preguntas formuladas anteriormente, es necesario obtener las matrices: (I-Q) -1 y (I-Q)-1R,
la informacin contenida en estas matrices debidamente interpretadas, permite tomar decisiones.
Entonces,
0,20 0,15 0
0,20
I-Q = 0 0,30


0 0 0,05

Con el mtodo Gauss-Jordan o el mtodo de la matriz adjunta, se encuentra que:

Ing. Efran Murillo

Cadenas de Markov 10

t1 t2 t3
t1 5 2,5 10
40 / 3
(I-Q) = 2 0
-1 t 10 / 3

t 3 0 0 20
Entonces,
a1 a2
t1 0,50 0,50

(I-Q)-1R = t 2 1 / 3 2 / 3
t3 0 1

Interpretacin: (1) Si en este momento estamos en el estado transitorio t i, el nmero esperado de periodos que
pasarn en un estado transitorio tj antes de la absorcin es el ij-simo elemento de la matriz (I-Q) -1. (2) Si en este
momento estamos es un estado transitorio t i, la probabilidad de ser absorbidos finalmente por un estado
absorbente aj es el ij-simo elemento de la matriz (I-Q)-1R.

Por lo tanto,
1. El tiempo esperado que un abogado principiante permanece en la empresa = (duracin esperada del abogado
principiante en la empresa como principiante) + (tiempo esperado que el abogado principiante permanece en la
empresa como abogado con experiencia) + (tiempo esperado que el abogado principiante permanece en la
empresa como socio). Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q)-112=2,5
- Tiempo esperado como socio = (I-Q)-113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la empresa es 5 + 2,5 + 10 =
17,5 aos.
2. La probabilidad de que un abogado principiante recin ingresado llegue a ser socio es tan slo la probabilidad
de que salga de la empresa siendo socio. Como t1 = Principiante y a2 = Sale siendo socio, la respuesta es el
elemento 12 de (I-Q)-1R = 50.
3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t 3, dado que comenzamos en t3. Este es
justamente el elemento 33 de (I-Q) -1 = 20 aos. Es razonable, por que durante cada ao hay una probabilidad
de 0,05 (1 en 20) que un socio deje el bufete y, por lo tanto, debe tardar un promedio de 20 aos en dejar la
empresa.

Aplicacin 4:
MODELOS DE PLANEACION DE PERSONAL
Muchas empresas, como por ejemplo Los Justicieros del ejemplo de planificacin de personal, emplean varias
categoras de personal. Con fines de planeacin a largo plazo, a menudo es til poder predecir el nmero de
empleados de cada categora que, si las tendencias actuales continan, estarn disponibles en el estado estable.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se plantea
como sigue: tan slo ntese que para que exista ese estado, debe ser vlido que, para i=1, 2, ..., S,
Nmero de personas que entran al grupo i durante cada periodo = Nmero de personas que salen del grupo i
durante cada periodo

Ing. Efran Murillo

Cadenas de Markov 11

Ejemplo: Regresemos al bufete de abogados Los Justicieros (Ejemplo anterior) Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10 socios. Para alcanzar este
censo de estado estable, cuntos abogados de cada tipo deben contratar cada ao?.
Solucin: Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete
Censo de estado estable: N1=50, N2=30 y N3=10
Adems:
H1= nmero de abogados principiantes a contratar
H2 = nmero de abogados con experiencia a contratar
H3 = nmero de abogados asociados a contratar
Entonces:
Nmero que ingresa al grupo i = nmero que sale del grupo i
H1 = (0,15 + 0,05)50 (abogados principiantes)
(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H3 = (0,05)10 (abogados asociados)
La solucin nica de este sistema de ecuaciones es H 1=10, H2=1,5, H3=-5,5. Estos significa que para mantener el
censo deseado de estado estable, Los Justicieros deben despedir 5,5 socios cada ao. Esto es razonable, por
que cada ao hay 0,20(30) = 6 abogados con experiencia que pasan a ser socios, y una vez que lo hacen,
permanecen en ese puesto un promedio de 20 aos. Esto muestra que para mantener el nmero de asociados en
10, deben despedirse algunos de ellos. Otra solucin podra ser reducir, a menos de su valor actual de 0,20, la
fraccin de abogados con experiencia que pasan a ser socios cada ao.

MAS APLICACIONES:

APLICACIN 1.- Una empresa necesita contratar copiadoras en renta, escogiendo entre dos mquinas. Las
dos mquinas hacen copias que no se pueden distinguir. Cada mquina funciona o no funciona. Segn los
registros anteriores, se ha determinado que si la mquina I trabaja un da determinado, la probabilidad es de 0,95
que trabaje el da siguiente. Si no trabaja un cierto da, la probabilidad es de 0,75 que funcione el siguiente da.
Si la mquina II trabaja hoy, la probabilidad es de 0,9 que trabaje maana. Si no funciona hoy, la probabilidad es
de 0,8 que trabaje maana. Qu mquina debe rentar la empresa?.
SOLUCIN:
Siendo los estados: F (funciona) y NF (no funciona), elaboramos las matrices de transicin de estados
respectivas.
Matriz de transicin de estados (T) para la Mquina 1

Matriz de transicin de estados para la Mquina 2

Ing. Efran Murillo

Cadenas de Markov 12

Luego hallamos los vectores de estado estable para ambas mquinas aplicando la relacin:
= .T
Siendo = [ x1 x2 ]
Donde :
x1: probabilidad de estado estable de que la mquina Funcione
x2: probabilidad de estado estable de que la mquina No Funcione
Adems x1+x2=1
Para la mquina 1 tenemos:
[ x1 x2 ] = [ x1 x2 ]*T
x1+x2=1
Reemplazando los datos de matriz de Transicin de estados de la mquina 1 y resolviendo el sistema de
ecuaciones tenemos:
x1= 0.9375 y x2=0.0625
entonces 1 = [ 0.9375 0.0625 ]
Para la mquina 2 tenemos 2 = [ 0.8889 0.1111 ]
Por lo tanto se observa que la mquina 1 tiene mayor probabilidad de funcionamiento (93.75%) frente a 88.89%
de la mquina 2, en consecuencia la empresa debe rentar la mquina 1.

APLICACIN 2.- Una pequea tienda de videos lleva un control del nmero de veces por semana que es
rentado un video y estima las siguientes probabilidades de transicin (ver matriz siguiente).

Donde: los estados en orden son: 5 veces, 4 veces, 3 veces, 2 veces, 1 vez y 0 veces
Por ejemplo, si un video se rent 5 veces esta semana, entonces hay una probabilidad de 80% de que sea rentado
5 veces la siguiente semana, 10% de probabilidades de que sea rentado 4 veces y 10% de probabilidades de que
sea rentado 3 veces. Cuando un video es rentado 0 veces, este se desecha.
La siguiente matriz fue calculada utilizando el las funciones de Excel:

Ing. Efran Murillo

Cadenas de Markov 13

a) Suponga que un video fue rentado 5 veces esta semana. Cul es la probabilidad de que sea rentado 4 veces
durante la siguiente semana?.
Entonces se tiene que:
Xo = [ 1 0 0 0 0 0 ]
Hallamos X1
X1 = XoT
X1 = [ 0.8 0.1 0.1 0.0 0.0 0.0 ]
Entonces la probabilidad de que sea rentado 4 veces la prxima semana es 10%.

b) Suponga que un video fue rentado 3 veces esta semana. Cul es la probabilidad de que sea rentado 2 veces
durante la segunda semana?.
Entonces se tiene que:
Xo = [ 0 0 1 0 0 0 ]
Hallamos X2
X1 = XoT
X1 = [ 0.0 0.0 0.6 0.3 0.1 0.0 ]
X2 = X1T
X2 = [ 0.0 0.0 0.51 0.30 0.15 0.004 ]
Entonces la probabilidad de que sea rentado 2 veces la segunda semana es 30%.

c) Suponga que un video fue rentado 5 veces esta semana. En promedio, cuntas veces ms ser rentado
antes de que se deseche?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1 (primera fila)
5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces
d) Suponga que esta semana se rent 5 veces. En promedio, cuntas semanas ser rentado por lo menos 2
veces?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1 (primera fila)
3.519 semanas ser rentado 2 veces
6.481 semanas ser rentado 3 veces
1.667 semanas ser rentado 4 veces
5.000 semanas ser rentado 5 veces
Entonces ser rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7 semanas.

e) Suponga que un video fue rentado 3 veces esta semana. En promedio, cuntas veces ms ser rentado?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1 (tercera fila)
0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.

f) Suponga que un video fue rentado 4 veces esta semana. Cul es la probabilidad de que sea desechado?.

Ing. Efran Murillo

Cadenas de Markov 14

1
1

1
Hallamos la matriz (I-Q)-1*R =
1
1


1

Usamos la informacin de la segunda fila: La probabilidad de que sea desechado es 100%

APLICACIN 3.- Juan es propietario de un terreno con 5000 pinos. Cada ao Juan le permite a los detallistas
de rboles de navidad seleccionar y cortar rboles para la venta a clientes individuales. Juan protege los rboles
pequeos (por lo general de menos de 120 cm. de alto) de manera que estn disponibles para la venta en aos
futuros. Actualmente estn clasificados 1500 rboles como protegidos, en tanto que los 3500 restantes estn
disponibles para corte. Sin embargo, aunque en un ao dado un rbol est disponible para corte, quizs no sea
seleccionado sino hasta en aos futuros. Aunque la mayora de los rboles que no se cortan en un ao dado viven
hasta el siguiente, todos los aos se pierden algunos pinos enfermos.
Al estudiar la operacin de los rboles de navidad de Juan como un proceso de Markov con periodos anuales,
definimos los cuatro estados siguientes:
Estado 1. Cortado y vendido.
Estado2. Perdido por enfermedad.
Estado3. Pequeo para cortarse
Estado4. Disponible para cortar, pero no cortado ni vendido
La siguiente matriz de transicin es apropiada

Aplicando el Excel hallamos las siguientes matrices:

a) Cuntos de los 5000 rboles se vendern y cuntos se perdern?.

1500*0.52 + 3500*0.8 = 3580 rboles se vendern

1500*0.48 + 3500*0.2 = 1420 rboles se perdern

b) Cuntos aos se espera que pase un rbol pequeo en el vivero antes de ser cortado y vendido o perdido
por enfermedad?.

2 + 0.8 = 2.8 aos

Ing. Efran Murillo

Cadenas de Markov 15

c) Cul es la probabilidad de que un rbol disponible para cortar sea cortado y vendido?. y cul es la
probabilidad de que se pierda por enfermedad?.

80% de probabilidad de que un rbol disponible para cortar sea cortado y vendido y
20% de probabilidad de que un rbol disponible para cortar se pierda por enfermedad.

APLICACIONES PROPUESTAS
APLICACIN 1.- Una mquina puede estar en dos estados: F funciona o Q averiada, con t FF = 0.8, tQQ =
0.4, tQF = 0.6, tFQ = 0.2. Cuando funciona da una utilidad de 480 por periodo y, cuando est averiada, los gastos
son de 160 por periodo, considerando la situacin de rgimen estable:
a) Calcule la ganancia media por periodo.
b) Verifique si un plan de mantenimiento preventivo que cuesta $50 por periodo, alterando: t FF a 0.9 y tQQ
a 0.3 vale la pena?.

APLICACIN 2.- Calcule la situacin de rgimen para el modelo cuyas probabilidades de transicin son
las siguientes:
t11= 0.4 t22=0.3 t31=0.5
t12= 0.3 t23=0.7 t33=0.5
t13= 0.3
Repita en el caso de t23=0,4 en vez de 0,7.

APLICACIN 3.- Un asaltante notorio puede estar en uno de tres estados:

i) Suelto, practicando asaltos.
ii) Preso en la delegacin de polica, esperando su transferencia.
iii) Preso en la crcel.

Considerando las siguientes probabilidades de transicin:

taa = 0.6; Permanecer suelto.
tab = 0.4; Ser preso y llevado para la delegacin.
tba = 0.2; Fugar de la delegacin.
tbb = 0.2; Continuar en la delegacin.
tbc = 0.6; Ser llevado a prisin.
tcc = 0.8; Continuar en la prisin.
tca = 0.2; Fugar de la prisin.
a) Haga un diagrama de la situacin.
b) Calcule la probabilidad de que un asaltante, inicialmente suelto, siga suelto (practicando asaltos)
despus de dos periodos.

APLICACIN 4.- Se usa una mquina para producir herramientas de precisin. Si la mquina est hoy en
buenas condiciones, entonces estar bien maana con 90% de probabilidad. Si la mquina est en mal estado
hoy, entonces estar en mal estado maana con 80% de probabilidad. SI la mquina est en buen estado, produce

Ing. Efran Murillo

Cadenas de Markov 16

100 herramientas por da, y si est en mal estado, 60 herramientas por da. En promedio, cuntas herramientas
por da se producen?.

APLICACIN 5.- La Zephyr Electronics Co. Fabrica tocacintas porttiles. Antes de mandar a ventas un
casete o portacintas, se analiza el lote. Las categoras de inspeccin son: no funciona (NF), regular, bueno y
excelente. Los portacintas NF se desechan, mientras que los lotes excelentes se envan inmediatamente a ventas.
Los lotes regulares y buenos se regresan para ajustes y se vuelven a probar. Las proporciones de lotes regulares y
buenos que cambian de categora se dan en la tabla siguiente:

a) Descrbase este proceso de prueba como una cadena de Markov absorbente y calclese la matriz de
transicin.
b) Cuntas veces, en promedio, se volver a inspeccionar un lote que ya se haba probado y haba
resultado regular en la prueba anterior?
c) Cuntas veces, en promedio, se inspeccionar de nuevo un lote que ya se haba probado y dio por
resultado ser bueno?
d) Cul es la probabilidad de que se deseche un lote regular?
e) Cul es la probabilidad de que un lote regular llegue a ventas?
f) De 30 000 lotes probados como buenos originalmente. Cuntos llegarn a ventas?

APLICACIN 6.- Freezco, Inc., vende refrigeradores. La fabrica otorga una garanta en todos los
refrigeradores que especifica cambio gratis de cualquier unidad que se descomponga antes de tres aos. Se nos
da la siguiente informacin: (1) el 3% de todos los refrigeradores nuevos falla durante su primer ao de
funcionamiento; (2) el 5% de todos los refrigeradores con 1 ao de funcionamiento falla durante el segundo ao
de trabajo, y (3) el 7% de todos los refrigeradores con dos aos de funcionamiento falla durante su tercer ao. La
garanta no vale para el refrigerador de repuesto.
a) Use la teora de cadenas de Markov para predecir la fraccin de todos los refrigeradores que deber
cambiar Freezco.
b) Suponga que a Freezco le cuesta 500 dlares cambiar un refrigerador y que vende 10000 refrigeradores
al ao. Si la fabrica redujera el plazo de garanta a dos aos, cunto dinero se ahorrara en costos de
reemplazo?.

APLICACIN 7.- El Programa Profesional de Ingeniera Industrial, despus de haber recogido datos durante
varios aos, puede predecir las proporciones de los estudiantes que pasarn de una categora a otra en un ao
dado. Estos datos se dan en la tabla siguiente.

Ing. Efran Murillo

Cadenas de Markov 17

Se observa el estado de cada estudiante al principio de cada ao. Por ejemplo, si un estudiante es del 3er ao al
principio de este ao, habr 65% de probabilidades de que al principio del ao siguiente sea del 4to ao, 15% de
probabilidad de que an sea del tercer ao y 20% de que se retire. Suponemos que una vez de que se retire un
estudiante ya nunca vuelve a inscribirse.
a) Si un estudiante entra al Programa a primer ao, Cuntos aos se espera que pasen siendo estudiante?.
b) Cul es la probabilidad de que egrese un estudiante de nuevo ingreso?.
c) Si hay 250 estudiantes de primer ao, 150 estudiantes de segundo ao, 120 de tercer ao, 80 de cuarto
ao y 50 de quinto ao. Cuntos de stos estudiantes culminarn la carrera?.

APLICACIN 8.- El equipo de ftbol del FBC Melgar consta de 2 estrellas, 9 novatos y 11 sustitutos. Para
fines de impuestos, los accionistas deben evaluar a los jugadores. Se define el valor de cada jugador como el
valor total del sueldo que gana hasta su retiro. Al inicio de cada temporada, se clasifican los jugadores en cuatro
categoras:
Categora 1: Estrella (Gana 1 milln de dlares al ao).
Categora 2: Novato (Gana 400 mil dlares al ao).
Categora 3: Reserva (Gana 100 mil dlares al ao).
Categora 4: Retirado (No gana salario).
Si un jugador es estrella, novato o reserva el principio de sta temporada, las probabilidades de que pase a ser
estrella, novato, reserva o retirado al principio de la siguiente temporada son como sigue:

Determine el valor de los jugadores del equipo.

APLICACIN 9.- En un proceso productivo las piezas una vez procesadas son inspeccionadas para
determinar si son rechazadas, reprocesadas o aceptadas para su posterior venta. Estadsticamente el 80% de las
piezas son aceptadas y el 5% son rechazadas.
a) Si el costo de proceso es de $15 por pieza y el de reproceso $5. Cul seria el costo de un item que
termine en ventas?.
b) En un lote de 10000 piezas cuntas sern rechazadas?

APLICACIN 10.- Una fbrica de jabn se especializa en jabn de tocador de lujo. Las ventas de este jabn
fluctan entre dos niveles bajo y alto- y dependen de dos factores: 1) si hacen o no publicidad y 2) si los
competidores anuncian y comercializan nuevos productos. El segundo factor est fuera de control de la
compaa, pero quieren determinar cul debe ser su propia poltica publicitaria. Por ejemplo, el gerente de
comercializacin propone hacer publicidad cuando las ventas estn bajas y no hacerla cuando estn altas. La
publicidad que se hace en un trimestre dado del ao tiene su impacto el siguiente trimestre. De cualquier
manera, al principio de cada trimestre se dispone de la informacin necesaria para pronosticar con exactitud si
las ventas sern altas o bajas ese trimestre y decidir si hacer publicidad o no.
El costo de publicidad es de $1 milln de dlares cada trimestre del ao que se haga. Cuando se hace publicidad
en un trimestre, la probabilidad de tener ventas altas el siguiente trimestre es o segn si en el trimestre
actual se tiene ventas bajas o altas. Estas probabilidades bajan a y cuando no se hace publicidad en el
trimestre actual. Las ganancias trimestrales de la compaa (sin incluir los costos de publicidad) son de $4
millones cuando las ventas son altas pero slo $2 millones cuando son bajas. (De aqu en adelante utilice cifras
en millones de dlares).

Ing. Efran Murillo

Cadenas de Markov 18

a) Construya la matriz de transicin (de un paso) para cada una de las siguientes estrategias de publicidad:
i) nunca hacer publicidad, ii) siempre hacer publicidad, iii) seguir la propuesta del gerente de
comercializacin.
b) Determine las probabilidades de estado estable para los tres casos del inciso a).
c) Encuentre la ganancia promedio a la larga (incluyendo una deduccin por los costos de publicidad) por
trimestre para cada una de las estrategias del inciso a). Cul de estas estrategias es la mejor segn esta
medida de desempeo?.

APLICACIN 11.- El estado de las cuentas por cobrar en una empresa se modela con frecuencia como una
cadena absorbente de Markov. Suponga que una empresa supone que una cuenta es incobrable si han pasado ms
de tres meses de su fecha de vencimiento. Entonces, al principio de cada mes, se puede clasificar cada cuenta en
uno de los siguientes estados especficos:
Estado 1 Cuenta nueva.
Estado 2 Los pagos de la cuenta estn retrasados un mes.
Estado 3 Los pagos de la cuenta estn retrasados dos meses.
Estado 4 Los pagos de la cuenta estn retrasados tres meses.
Estado 5 Se ha saldado una cuenta.
Estado 6 Se ha cancelado la cuenta por ser mal pagador.
Supongamos que los ltimos datos indican que la siguiente cadena de Markov describe cmo cambia el estado
de una cuenta de un mes al siguiente:

Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de probabilidades de que
no se pague al principio del mes siguiente y, por lo tanto, que tenga tres meses de retraso y una probabilidad de
60% de que se pague.
Suponga ademn que despus de tres meses, la cuenta o se cobra o se considera incobrable.
Una vez que una deuda se paga o se considera incobrable, se cierra y no se tiene ms transiciones.
a) Cul es la probabilidad que una cuenta nueva sea cobrada alguna vez?.
b) Cul es la probabilidad que una cuenta atrasada un mes se vuelva finalmente incobrable?
c) Si las ventas de la empresa son 100 000 dlares en promedio mensual, cunto dinero ser incobrable
cada ao?.

APLICACIN 12.- En la siguiente matriz de probabilidad de transicin se resume la informacin del

progreso de los estudiantes universitarios en una universidad en particular.

Ing. Efran Murillo

Cadenas de Markov 19

1.00 0.00 0.00 0.00 0.00 0.00

0.00 1.00 0.00 0.00 0.00 0.00

0.00 0.20 0.15 0.65 0.00 0.00
T
0.00 0.15 0.00 0.10 0.75 0.00
0.00 0.10 0.00 0.00 0.05 0.85

0.90 0.05 0.00 0.00 0.00 0.05
Donde los estados son:
Estado 1: Graduado, Estado 2: Abandona, Estado 3: De primer ao, Estado 4: De segundo ao, Estado 5: De
tercer ao y Estado 6: De cuarto ao
a) Qu estados son absorbentes?.
b) Cul es la probabilidad de que un estudiante de segundo ao se grade, cul la probabilidad de que
abandone?.
c) En un discurso de bienvenida a 600 alumnos de nuevo ingreso, el rector les pide que se den cuenta de
que aproximadamente 50% de los presentes no llegar al da de graduacin. Un anlisis de los
procesos de Markov apoya la declaracin del rector?. Explique.
d) Cuntos aos se espera que pase en la universidad un estudiante de nuevo ingreso antes de que se
grade?
e) Hoy, la universidad tiene 600 estudiantes nuevos; 520 de segundo ao; 460 de tercero y 420 de cuarto.
Qu porcentaje se graduar de los 2000 estudiantes de la universidad?.
f) Dentro de 5 aos, cul ser la distribucin de los 2000 estudiantes?

APLICACIN 13.- El 1 de enero (de este ao), las panaderas Klosman controlaban el 40% de su mercado
local, mientras que las otras dos panaderas, A y B, tenan 40 y 20 por ciento, respectivamente, del mercado.
Basndose en un estudio de una empresa de investigacin de mercado, se compilaron los siguientes datos: la
panadera Klosman retiene el 90% de sus clientes, y gana el 5% de los clientes de A y el 10% de los de B. La
panadera A retiene el 85% de sus clientes y gana 5% de los clientes de Klosman y 7% de los de B. La panadera
B retiene 83% de sus clientes y gana 5% de los clientes de Klosman y 10% de los de A.
a) Cul ser la participacin de cada empresa en 1 de enero del ao siguiente.
b) Klosman decide hacer una campaa publicitaria a efectos de ganar clientes, dicha campaa altera las
probabilidades de transicin de estados de la siguiente manera: la panadera Klosman retiene el 90% de
sus clientes, y gana el 15% de los clientes de A y el 20% de los de B. La panadera A retiene el 75% de
sus clientes y gana 5% de los clientes de Klosman y 7% de los de B. La panadera B retiene 73% de sus
clientes y gana 5% de los clientes de Klosman y 10% de los de A. Si a Klosman le cuesta 350 dlares
por mes una campaa publicitaria y por cada cliente ganado obtiene un ingreso igual a 10 dlares
mensuales, por cuntos periodos debe mantener su campaa publicitaria, sabiendo que se compite en
un mercado de 1000 clientes?.

Ing. Efran Murillo