MARKOV

INTRODUCCIÓN
Cadenas de Markov es un modelo matemático que se basa en dos conceptos: estado y
transición. El sistema ocupa un estado i con probabilidad pi y, después de un periodo,
procede a una transición para el estado j con probabilidad de transición t ij. Sean N los
estados del sistema, entonces, para cualquier estado i:

tij 1, con 0 tij 1N

j 1
En los modelos más simples de cadenas de Markov, los valores de las probabilidades de
transición tij no dependen ni de cómo el sistema llegó al estado i, ni del periodo n. Las
probabilidades de ocupar un estado i dependen del número de periodos o de transiciones
efectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de Markov.

Algunas veces nos interesa saber cómo cambia una variable aleatoria a través del
tiempo. Por ejemplo, desearíamos conocer cómo evoluciona el precio de las acciones de
una empresa en el mercado a través del tiempo. El estudio de cómo evoluciona una
variable aleatoria incluye el concepto de procesos estocásticos. En este capítulo
explicaremos esos procesos, en especial uno que se conoce como cadena de Markov. Las
cadenas de Markov se han aplicado en áreas tales como educación, mercadotecnia,
servicios de salud, contabilidad y producción.

Definición de Cadena de Markov

El proceso estocástico de tiempo discreto puede estar en uno de un número finito de

estados identificados por 1, 2,...,s.

Un proceso estocástico de tiempo discreto es una CADENA DE MARKOV sí, para t =

0,1,2,... y todos los estados,
P(Xt+1=it+1/Xt=it) =
P(Xt+1=it+1/X0=i0, X1=i1,...Xt-1=it-1, Xt=it)
Además para todos los estados i y j y toda t, P(Xt+1=j / Xt=i) es independiente de t. Esta
hipótesis permite escribir:
pij = P(Xt+1=j / Xt=i)

Con frecuencia se llaman probabilidades de transición a las pij en una cadena de Markov.

La ecuación: pij = P(Xt+1=j / Xt=i)

Indica que la ley de probabilidad que relaciona el estado del siguiente período con el
estado actual no cambia, o que permanece estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condición se llama cadena estacionaria de
Markov.
Se necesita saber las probabilidades de encontrar la cadena en el estado i en el tiempo
“0”, es decir, P(X0=i) = qi

Al vector q = [q1 q2 .....qn] se le llama vector de condiciones iniciales o distribución inicial

de probabilidad.

Σ q=1
j=1,n j

Las probabilidades de transición se presentan como una matriz P de probabilidad de

transición s x s. La matriz de probabilidad de transición se puede escribir como:

Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el tiempo
t+1. Esto significa que para cada i:

Σ j=1,s P(Xt+1=j / Xt=i) = Σ j=1,s pij = 1(pij≥ 0)

Elementos de una Cadena de Markov:

Estados del Sistema: X(t)

Período de Transición
Probabilidades de Transición: Matriz de probabilidades
Distribución inicial de probabilidad

IMPORTANCIA:

Permite encontrar la probabilidad de que un sistema se encuentre en un estado en

particular en un momento dado.
Permite encontrar el promedio a la larga o las probabilidades de estado estable.

APLICACIONES

Biología (Comportamiento de moléculas y predicción de comportamientos).

Genética y Paleontología (Evolución de las especies).

Marketing (Identificar patrones de comportamiento de clientes).

Gobierno (Efecto de Políticas Gubernamentales).

¿Qué es un Proceso Estocástico?

Supóngase que observamos alguna característica de un sistema en puntos discretos en

el tiempo (que llamamos 0, 1, 2,...). Sea Xt el valor de la característica del sistema en el
tiempo t. En la mayor parte de los casos no se conoce Xt con certeza antes del tiempo
t y se puede considerar como variable aleatoria. Un proceso estocástico de tiempo
discreto es simplemente una descripción de la relación entre las variables aleatorias X0,
X1, X2,... A continuación daremos algunos ejemplos de procesos estocásticos de tiempo
discreto.
Sucesión de eventos que se desarrolla en el tiempo, en el cual el resultado en cualquier
estado contiene algún elemento que depende del azar.

Ejemplo
Xt = Condiciones de tiempo en una ciudad

Ejemplo

Xt = El valor de venta del kilogramo de pollo cada semana

Ejemplo

Xt = Lanzamiento de una moneda

En los casos de la condición del clima y del precio de venta de la carne de aves, su estado
en un tiempo determinado no es aleatorio por completo, sino que es afectado en cierto
grado por el tiempo de días previos. No obstante la sucesión es tan compleja que dicho
comportamiento cambia día a día de una manera que en apariencia es algo aleatorio.
En el caso del lanzamiento de una moneda, el resultado en cualquier etapa es
independiente de todos los resultados previos. Por lo mencionado, decimos que un proceso
estocástico discreto en el tiempo es la relación entre variables aleatorias.

Ejemplo
Xt = Temperatura registrada en cada día del año en la ciudad de Arequipa.

Ejemplo
Xt = Cantidad de alumnos que egresan semestralmente en la especialidad de ingeniería
industrial.

Ejemplo

Cadena de Markov con 2 estados

Supongamos, que en Lima, si un día está nublado, el 65% del tiempo será nublado al día
siguiente y que si un día está soleado, con probabilidad 38% será soleado al día siguiente.
Hallar la Matriz de Transición.

Gráfico:

Matriz de transición:

Ejemplo

Cadena de Markov con 3 estados

Supongamos que el estado de ánimo de Enzo puede ser, alegre, triste o molesto. Si está
alegre, habrá una probabilidad de 80% de que siga alegre al día siguiente y 15% de que
esté triste. Si está triste, 30% de que siga triste y 50% de que esté molesto. Y, si está
molesto, 80% de que no siga molesto y 50% de que esté alegre al día siguiente. Hallar la
Matriz de Transición.
Gráfico:

Matriz de transición:

Ejemplo:

Cadena de Markov con 4 estados

Considere el siguiente modelo para el valor de una acción. Si la acción sube o no mañana
depende de si subió o no hoy y ayer. Si la acción subió hoy y ayer , mañana subirá con
probabilidad “a”. Si la acción subió hoy y ayer bajó, mañana subirá con probabilidad “b”. Si
la acción bajó hoy y ayer subió, la probabilidad de que suba mañana es “c”. Por último, si
la acción bajó hoy y ayer, la probabilidad de que suba mañana es “d”. Determine la matriz
de transición de un paso para la cadena de Markov.

Gráfico:

Matriz de transición:
Ejemplo:
Línea telefónica

Sea una línea telefónica de estados ocupado=1 y desocupado=0. Si en el instante t está

ocupada, en el instante t+1 estará ocupada con probabilidad 0,7 y desocupada con
probabilidad 0,3. Si en el instante t está desocupada, en el t+1 estará ocupada con
probabilidad 0,1 y desocupada con probabilidad 0,9

Gráfico:

Matriz de transición:

Ejemplo: Lanzamiento de un dado

Se lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 €, y
cada vez que sale 5 o 6 se gana 2 €. El juego acaba cuando se tienen 0 € o 100 €.
Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una
CM S={0, 1, 2, …, 100}

Gráfico:

Ejemplo: Lanzamiento de una moneda

Lanzamos una moneda al aire 6 veces. El jugador gana 1 € cada vez que sale cara (C),
y pierde 1 € cada vez que sale cruz (F).
Xi = estado de cuentas del jugador después de la i-ésima jugada
La familia de variables aleatorias {X1, X2,…, X6} constituye un proceso
estocástico ={CCCCCC,CCCCCF,…}
Combinaciones ( ) = 26 = 64
P( )=1/64
T={1, 2, 3, 4, 5, 6}
S={–6, –5, …, –1, 0, 1, 2, …, 5, 6}

Usando diagramas de árbol:

⚫
Si fijo ω, por ejemplo 0=CCFFFC, obtengo una secuencia de valores completamente
determinista:
⚫
X1( 0)=1, X2( 0)=2, X3( 0)=1, X4( 0)=0, X5( 0)= –1, X6( 0)=0
⚫
Puedo dibujar con estos valores la trayectoria del proceso:
 Si fijo t, por ejemplo t0=3, obtengo una de las variables aleatorias del proceso:
X :
3
X3
Los posibles valores que puede tomar el proceso en :X3( )={–3, –1, 1, 3}
Podemos hallar la probabilidad de que el proceso tome uno de estos valores:

APLICACIONES
Aplicación 1:

Participaciones de mercado
Una investigación de mercados sobre el consumo de 3 marcas de cerveza: A, B y C por
1000 personas dará al inicio (n=0) y después de un periodo (n=1) los siguientes resultados:
Se desea saber:

a) El porcentaje de los clientes que consumen cada marca de cerveza después de un

periodo.
b) El porcentaje de los clientes que consumen cada marca de cerveza después de 2
periodos.
c) A la larga cómo se reparte el mercado de bebedores de cerveza entre las tres
marcas?

Gráficamente se tiene:

Observamos que estamos delante de un fenómeno dinámico, en el cual A aumentó su

participación en el mercado de 20% a 29%.
Siendo p la probabilidad de que un consumidor está demostrando preferencia por uno de
los tres productos (o sea la participación de cada producto en el mercado) y observando
que cada producto (o el hecho de estar consumiendo un determinado producto)
corresponde a un estado, resulta:
Xo = [pA(0) pB(0) pC(0)] = [0,2 0,3 0,5]
Donde X0 es el vector de distribución de estados al inicio. y
X1 = [0,29 0,27 0,44]
Donde X1 es el vector de distribución de estados después de un periodo (n=1).
Las probabilidades del vector X1 nos indican que después de un periodo, el comportamiento
del mercado será: 29% consume el producto A, 27% el B y 44% el producto C.
Deseando analizar como ocurren estas alteraciones, y utilizando el cuadro correspondiente
a las transiciones, se tiene que:
La probabilidad de que un consumidor de A (o en A) permanece con A es:
140
tAA = 200 0,7.
20
La probabilidad de que un consumidor en A pase a C es tAC = 0,1.
200

Donde observamos que la suma de los elementos de cada fila siempre es 1.

Para visualizar mejor el fenómeno, diseñamos la siguiente cadena:

La probabilidad de ocupar estado j después de un periodo es:

 N
pj(1)= pi(0).tij
i1

En forma matricial: X1 = X0T

Después de la segunda transición (n=2), resulta:
X2= X1 T

X2 = [0,34 0,26 0,40]

Lo que significa que después de 2 periodos, el comportamiento del mercado será: 34%
consume el producto A, 26% el B y 40% el producto C.
También X2= X0T T = X0T2
Después de la tercera transición (n=3), resulta:

X3= X2 T = X0T2 T = X0T3

Después de n transiciones se tiene:

Xn=Xn-1T =X0Tn-1T =X0Tn

Donde Xn es el vector de distribución de probabilidad de estados en el periodo n.
Después de muchas transiciones, se llega a una situación estacionaria o de régimen de
equilibrio dinámico (o sea, lo contrario de transitoria) en la cual las participaciones de
mercado no se alteran más. En este caso:
Xn= Xn-1 =
dónde : Vector de distribución de estado estable).
Por lo tanto: = .T
Deseando calcular los elementos de =[ A B C], tenemos:

además de:
A+ B+ C=1
El sistema de ecuaciones sería:
A+ B+ C=1
0,7 A+0,1 B+0,24 C= A

0,2 A+0,5 B+0,16 C= B

0,1 A+0,4 B+ 0,6 C= C

Este sistema es redundante y, para resolverlo, eliminamos una de las tres últimas
ecuaciones (por ejemplo la última).
A+ B+ C=1
-0,3 A+0,1 B+0,24 C=0
0,2 A- 0,5 B+0,16 C=0
y la solución es: = [ 0,376 0,265 0,359]
Observamos el aumento en la participación de A, que pasa de 20% a 37.6%; principalmente
a costa de C, que cae de 50% a 35,9%. Entonces si C quiere promover una campaña
publicitaria para quebrar el proceso, debería, principalmente, dirigirla hacia los actuales
consumidores de A, ya que tAC=0,1 (muy pequeño). Se observa que tBC es bastante grande.
La siguiente tabla muestra las distribuciones de estado para diferentes periodos de
transición:
Se observa que a partir del periodo 7, las variaciones en los tres estados son casi
despreciables.

ANÁLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta sus ventas en
$40 ¿por cuántos períodos se debe realizar la campaña publicitaria, sabiendo que esta
cuesta $500 por semana?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:

En consecuencia se deberá realizar la campaña durante 3 semanas, luego cambiar.

NOTA.- Para que exista un único vector de distribución estacionaria , se requiere que T sea
regular.

T = [tij] es regular si tij> 0 en al menos una de sus potencias Tm

Ejemplos:

1/2 1/2
a) T= es regular ya que tij> 0
1/3 2/3 2
1/2 1/2 1/4 3/4,
b) T= ,T=
0
3 0 1 1
1/8 7/8
T= ,
0 1
entonces cualquier Tm no cumplirá la condición tij> 0 ya que siempre existirá el elemento
t21= 0, por lo tanto T no es regular.

0 1/2 1/2 1/2 1/4 1/4

2
T= 1 / 2 0 1 / 2, T = 1 / 4 1 / 2 1 / 4 ,
1/2 1/2 0 1/4 1/4 1/2
Por lo tanto T es regular.
Si T es matriz regular existe un vector único de tal forma que T = donde es llamado a
menudo vector de distribución de estado estable compuesto por probabilidades de estar
en cada estado a largo plazo.
Aplicación 2: Competencia de mercado

Las compras de los consumidores están influidas por la publicidad, el precio y muchos
otros factores. Un factor clave en las compras de los consumidores es la última compra.
Según datos recolectados en el cafetín de ingeniería industrial (2 semanas):
Si alguien compra una bebida Coca-Cola, y se le agrada el sabor, quedará dispuesto a
comprar otra Coca-Cola (lealtad a la marca). Coca-Cola es la marca de interés.

Pepsi es su competencia directa.

El 74% de los clientes son leales. La oposición conserva el 62% de sus clientes.
¿Qué porcentaje del mercado esperará recibir Coca-Cola en el largo plazo?

Hay que resolver el siguiente sistema:

=P=1
Donde: = [ A B]

[A B]= [A B] P
= [0.74 A + 0.38 B 0.26 A + 0.62 B ]
A =0.74 A+0.38 B
B =0.26 A+0.62 B
A + B =1

De donde: A= 0.59375
B= 0.40625
Coca-Cola esperará recibir el 59.375% del mercado en el largo plazo
Ejemplo – solución (elevando Pn para estabilizarlo en el largo plazo)
P(13) = P(14) = P(15) = ...... = P(n)
A = 0.59375
B = 0.40625
Podemos observar que las probabilidades se han estabilizado, es decir, cada fila poseen
valores iguales.
Aplicación 3: Pronóstico del clima
Las probabilidades del estado del tiempo para la ciudad de Arequipa el mes de enero del
presente año fueron extraídas de la base de datos de SENAMHI Arequipa. Dichos valores
han sido tomados de un día anterior al día que irían a ser puestos a conocimiento de la
población arequipeña. Estos datos se pueden expresar mediante la siguiente matriz de
transición:

Gráficamente:
La matriz P representa el modelo del clima, en donde dice que un día es soleado es 90%
posible de que sea seguido por otro día soleado y un día lluvioso es 50% posible de que
sea seguido por otro día lluvioso. Las columnas pueden ser nombradas como “soleado” y
“lluvioso” respectivamente y las filas pueden ser nombradas en el mismo orden.

(P) es la probabilidad que, dado un día de tipo j, sea seguido por un día i.
Nótese que las columnas de P suman 1, es así porque P es una matriz estocástica.

Pronosticando el clima.-

El clima en el día 0 es conocido como soleado. Esto es representado por el vector en donde
la entrada de “soleado” es 100% y la de “lluvioso” es 0%

El clima en el día 1 puede ser pronosticado de la siguiente manera

Por eso, hay un 90% de posibilidad de que el día 1sea también soleado
El clima para el día 2 puede ser pronosticado de la siguiente manera:

Las reglas generales para el día n son:

Xn = X(n-1)P o

Xn = XoPn

Estado estacional del clima.-

Para este caso, las predicciones para el clima en días más distantes son incrementalmente
imprecisas y tienden a tornarse en un vector de estado estacional. Este vector representa
las probabilidades de condiciones soleadas y lluviosas para todos los días y son
independientes del clima inicial. El vector del estado estacional se define como:

Xn = X(n-1)

pero solo converge si P es una matriz de transición regular.

Desde que q es independiente desde condiciones iniciales, no debe ser alterada cuando
transformada por P. Esto genera un eigenvector (vocablo alemán que significa vector
propio) y significa que puede ser derivado de P.

Par el caso que se está tratando:

Asi que;
0.9SO +0.5LL = SO - 0.1SO + 0.5LL = 0
0.1SO + 0.5LL = LL 0.1SO -0.5LL = 0
Además SO+LL =1
Resolviendo:
SO = 0.8333 y LL = 0.1667

Repuesta.- En conclusión, a final de cuentas, 83% de los días fueron soleados en la ciudad
de Arequipa para el mes de Enero del presente año.
Aplicación 4: La ruina del jugador
Cierto juego tiene las siguientes características:
Se dispone de $3 para jugar. Se apuesta $1 por jugada. En cada jugada se gana $1 o se
pierde $1 (no hay empate). Se gana $1 con probabilidad p y se pierde $1 con probabilidad
1 – p. La meta es tener la máxima cantidad de dinero posible. El juego termina cuando se
llega a $5 o cuando el capital se reduce a $0.
El proceso es el siguiente, en el tiempo 0 se tiene 3 dólares. En los tiempos 1,2,3, 4 y 5
participo en un juego en el que apuesto 1 dólar. Gano el juego con probabilidad p, y lo
pierdo con probabilidad 1-p. Mi meta es aumentar mi capital a 5 dólares como máximo, y
tan pronto como lo logre se suspende el juego. El juego también se suspende si mi capital
se reduce a 0 dólares. Si definimos que Xt es mi capital después del juego cuando el tiempo
es t, si es que lo hay, entonces se puede considerar que X0, X1, ..., Xt son procesos
estocásticos de tiempo discreto. Nótese que X0=3 es una constante conocida, pero que X1
y las demás Xt son aleatorias. Por ejemplo X1=4 con probabilidad p y X1=2 con probabilidad
1-p. Nótese que si Xt=5, entonces Xt+1 y todas las demás Xt también serán igual a 5.
Igualmente, si Xt=0, entonces Xt+1 y todas las demás Xt serán 0 también.
Matricialmente

Gráficamente:
Usando diagramas de árbol:

Matricialmente
Gráficamente:

Aplicación 5: Urna de bolas

Usando diagramas de árbol

En consecuencia se responderán las preguntas:

a. La matriz de probabilidades de transición será:

b. Después de haber pintado dos bolas se inicia con dos bolas sin pintar (E0) y nos piden la
probabilidad de que pasemos al estado [0 2 0] (E4) después de pintar dos bolas (a dos
pasos). Entonces nos piden P² = P*P.
Elevamos la matriz P al cuadrado:
c. Después de haber pintado dos bolas, iniciamos en E0 y nos preguntan cuál es la
probabilidad de pasar al estado [0 1 1] (E3) después de haber pintado tres bolas (a tres
pasos). Entonces nos piden P³ = P*P*P.
Elevamos la matriz P al cubo y nos queda:

Ejemplo: Compañía de seguros

E0: No ha tenido accidentes los últimos dos años [N N]. ($100)

E1: Ha tenido un accidente en cada uno de los dos últimos años [S S]. ($400)
E2: Tuvo un accidente el primero de los dos últimos años. [S N]. ($300)
E3: Tuvo un accidente el segundo de los dos últimos años. [N S]. ($300)
Usando diagramas de árbol

Encontrando las probabilidades de estado estable por medio de ecuaciones

SOLUCIÓN

Probabilidad de transición de n pasos

Si una cadena de Markov se encuentra en el estado i en el tiempo m, la probabilidad

que n períodos después la cadena de Markov esté en el estado j, es:

pij (n) = P(Xm+n= j / Xm=i) = P(Xn= j / X0=i)

Donde pij (1) = pij

Las pij(n) se pueden representar en la matriz P(n):

Probabilidad de transición de n pasos
Se puede demostrar que pij(n) es el elemento ij-ésimo de la matriz Pn. Entonces:
pij (n) = Σ k=1,s pik(v)pkj(n-v)
Para n=0, pij(0) = P(X0 = j / X0 = i) y por lo tanto:
pij (0) = 1, si i = j
pij (0) = 0, si i j

Probabilidad de Transición de 2 pasos

Pij (2) = Σk Pik * Pkj

Pij (2) = P( Xm+2=j / Xm=i )

Probabilidad de Transición de 3 pasos

Pij (3) = Σk Σl ( Pik * Pkl * Plj )

Pij (3) = P( Xm+3=j / Xm=i )

Probabilidad de Transición de “n” pasos

En general,
P( Xn+m=j / Xm=i ) = Pij (n)
P (n) = P*P*P*.....*P (n veces)

Ejemplo

Una fotocopiadora de oficina tiene uno de dos posibles comportamientos: FUNCIONA o

NO FUNCIONA

Si funciona durante un día, la probabilidad de que al día siguiente siga funcionando es de

un 75%. Si no funciona durante un día cualquiera, hay un 75% de probabilidad de que
tampoco funcione al día siguiente.
a. Si actualmente funciona, ¿Cuál es la probabilidad de que esté funcionando dentro de
dos días?

b. Si actualmente no funciona, ¿Cuál es la probabilidad que no está funcionando dentro

de tres días?
Solución

Gráfico:

Matriz:

Tiempos promedio de primera pasada (Número de veces que pasa de un estado a

otro)

En una cadena Markov, sea µij el número esperado de transiciones antes de alcanzar por
primera vez el estado j, dado que estamos actualmente en el estado i. µij se llama tiempo
promedio de primera pasada del estado i al estado j.

Cuando i = j, µij se llama tiempo promedio de recurrencia:

µij = 1/πi

Cuando i ≠ j, se tiene que resolver el siguiente sistema de ecuaciones:

µij = 1 + ∑ k≠j pik µkj

Ejemplo

Una computadora se inspecciona cada hora. Se encuentra que está trabajando o

descompuesta. Si está trabajando, la probabilidad de que siga trabajando la siguiente hora
es 0.87. Si está descompuesta, se repara, lo que puede llevar más de una hora. Siempre
que la computadora está descompuesta, la probabilidad de que siga descompuesta la
siguiente hora es 0.43.

Encontrar las µij.

Solución:

Los estados del ejemplo están dados por:

La matriz será:

Las ecuaciones para hallar los son:

π1=0.87π1+0.57π2
π2=0.13π1+0.43π2
π1 + π2=1

De donde:
π1 = 57/70
π2 = 13/70
Cuando i = j
Por tanto:
µ11 = 1/π1 = 1.23 horas
µ22 = 1/π2 = 5.38 horas
Cuando i ≠ j
Hay que resolver el siguiente sistema:

µij = 1 + ∑ k≠j pik µkj

µ12 = 1 + p11 µ12

= 1 + 0.87µ12
µ21 = 1 + p22 µ21
= 1 + 0.43µ21
Dónde:
µ12 = 7.69 horas
µ21 =1.75 horas

Cadenas de Markov con recompensa

El costo promedio a largo plazo, por unidad de tiempo está dado por:
g = j=1,s ( j Cj)
Done:
Cj = Inventarios, Nivel de ventas, Máquinas malogradas, etc.

CADENAS DE MARKOV ABSORBENTES

Una cadena de Markov es absorbente, si tiene por lo menos un estado absorbente, y es

posible ir de cada estado no absorbente hasta por lo menos un estado absorbente.

En una cadena de Markov absorbente se puede calcular:

Número esperado de veces que se estará en un estado transitorio antes de llegar a un

estado absorbente.
Probabilidad de terminar en estados absorbentes.

Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que
algunos de los estados son absorbentes y el resto son transitorios. A esas cadenas se les
llaman cadenas absorbentes.
Un estado i de una cadena de Markov se dice que es absorbente si, una vez alcanzado el
estado i en algún intento, el sistema permanece en el estado i en todos los intentos futuros.
Una cadena de Markov es absorbente si tiene uno o más estados absorbentes y es posible
llegar a un estado absorbente a partir de cualquiera de los estados no absorbentes o
transitorios.
Nota.- Puede ser necesario pasar por varios estados transitorios para llegar a un estado
absorbente.

Si el estado i es absorbente, la probabilidad de transición de i a j es de 1. En otras palabras,

el estado i es absorbente sí y sólo sí tij=1. El número de estados absorbentes de una cadena
de Markov es igual al número de unos en la diagonal de su matriz de transición. La
probabilidad de que el sistema esté en un estado transitorio disminuye al aumentar el
número de intentos.

Se requiere una matriz de transición ordenada como la que se muestra a continuación:

Se puede entonces determinar:

Número esperado de veces en un estado antes de la absorción:

(I – Q)-1
Probabilidad de terminar en cada uno de los estados absorbentes:
(I – Q)-1R
Así tenemos:

I: Es una matriz identidad de orden m x m que representa las probabilidades de

permanecer dentro de un estado absorbente.
Q: es una matriz de orden (s-m) x (s-m) que representa las probabilidades de ir de un
estado transitorio hasta otro estado transitorio.
R: es una matriz de orden (s-m) x m que representa las probabilidades de ir de un estado
transitorio hasta un estado absorbente.
O: es una matriz nula de orden m x (s-m) que representa las probabilidades de ir de un
estado absorbente hasta un estado transitorio.
En conclusión:

Para un determinado ejemplo se pueden definir 4 matrices {Q, R, O, I}

APLICACIONES
Aplicación 1:
Planificación de Personal
La empresa de abogados “Los Justicieros” emplea a tres categorías de abogados:
principiantes, con experiencia y socios. Durante un año determinado hay una probabilidad
15% que un abogado principiante sea ascendido a abogado con experiencia y una
probabilidad 5% que deje la empresa. También hay una probabilidad 20% que un abogado
con experiencia sea ascendido a socio y una probabilidad 10% que deje la empresa.
También hay una probabilidad 5% que un socio deje la empresa. La empresa nunca
degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podría contestar. Por ejemplo:
1. ¿Cuál es la duración promedio de un abogado joven recién contratado en la empresa?
2. ¿Cuál es la probabilidad de que un abogado joven llegue a ser socio?
3. ¿Cuál es la duración promedio que pasa un socio en el bufete? entre muchas otras.
Solución:
Modelaremos la trayectoria de un abogado en “Los Justicieros” como cadena absorbente
con la siguiente matriz de probabilidad de transición:

Sí hacemos la siguiente notación:

t1= Principiante,
t2 = Experimentado,
t3= Socio,
a1= Sale sin ser socio y
a2 = Sale siendo socio.
Generamos el siguiente gráfico:

Los dos últimos estados (a1, a2) son estados absorbentes y los demás son transitorios (t1,
t2, t3). Por ejemplo, Experimentado es estado transitorio, porque hay una trayectoria de
Experimentado a Sale sin ser socio, pero no hay trayectoria que regrese de Sale sin ser
socio ha Experimentado. Suponemos que una vez que un abogado sale de la empresa
nunca regresa.
Para dar respuesta a las preguntas formuladas anteriormente, es necesario obtener las
matrices: (I-Q)-1 y (I-Q)-1R, la información contenida en estas matrices debidamente
interpretadas, permite tomar decisiones.
Entonces s=5, m=2, y
Luego:

Con el método Gauss-Jordan o el método de la matriz adjunta, se encuentra la matriz

fundamental:

La matriz de probabilidades es determinada :

Interpretación:
Matriz fundamental, si en este momento estamos en el estado transitorio t i, el número
esperado de periodos que pasarán en un estado transitorio t j antes de la absorción es el ij-
ésimo elemento de la matriz (I-Q)-1.
Matriz de probabilidades, si en este momento estamos es un estado transitorio t i, la
probabilidad de ser absorbidos finalmente por un estado absorbente a j es el ij-ésimo
elemento de la matriz (I-Q)-1R.
Por lo tanto, respondemos a las preguntas
1. El tiempo esperado que un abogado principiante permanece en la empresa = (duración
esperada del abogado principiante en la empresa como principiante) + (tiempo esperado
que el abogado principiante permanece en la empresa como abogado con experiencia) +
(tiempo esperado que el abogado principiante permanece en la empresa como socio).
Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q)-112=2,5
- Tiempo esperado como socio = (I-Q)-113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la
empresa es 5 + 2,5 + 10 = 17,5 años.
2. La probabilidad de que un abogado principiante recién ingresado llegue a ser socio es
tan sólo la probabilidad de que salga de la empresa siendo socio. Como t 1 = Principiante y
a2 = Sale siendo socio, la respuesta es el elemento 12 de (I-Q)-1R = 50.
3. Como t3 = Socio, buscamos el número esperado de años que pasa en t 3, dado que
comenzamos en t3. Este es justamente el elemento 33 de (I-Q)-1 = 20 años. Es razonable,
porque durante cada año hay una probabilidad de 0,05 (1 en 20) que un socio deje el bufete
y, por lo tanto, debe tardar un promedio de 20 años en dejar la empresa.

APLICACIÓN 2: MODELOS DE PLANEACION DE PERSONAL

Muchas empresas, como por ejemplo “Los Justicieros” del ejemplo de planificación de
personal, emplean varias categorías de personal. Con fines de planeación a largo plazo, a
menudo es útil poder predecir el número de empleados de cada categoría que, si las
tendencias actuales continúan, estarán disponibles en el estado estable.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de S
ecuaciones que se plantea como sigue: tan sólo nótese que para que exista ese estado,
debe ser válido, para i = 1, 2 .. S.
Número de personas que entran al grupo i durante cada periodo = Número de personas
que salen del grupo i durante cada periodo
Ejemplo: Regresemos al bufete de abogados “Los Justicieros” (Ejemplo anterior)
Supongamos que la meta a largo plazo de ese bufete es tener 50 abogados principiantes,
30 con experiencia y 10 socios. Para alcanzar este censo de estado estable, ¿cuántos
abogados de cada tipo deben contratar cada año?
Solución: Sean

H1= número de abogados principiantes a contratar

H2 = número de abogados con experiencia a contratar
H3 = número de abogados asociados a contratar
Entonces:
Generando el gráfico de Markov
Número que ingresa al grupo i = número que sale del grupo i

H1 = (0,15 + 0,05)50 (abogados principiantes)

(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H3 = (0,05)10 (abogados asociados)

La solución única de este sistema de ecuaciones es H1=10, H2=1,5, H3=-5,5. Esto significa
que para mantener el censo deseado de estado estable, “Los Justicieros” deben despedir
5,5 socios cada año. Esto es razonable, porque cada año hay 0,20(30) = 6 abogados con
experiencia que pasan a ser socios, y una vez que lo hacen, permanecen en ese puesto un
promedio de 20 años. Esto muestra que para mantener el número de asociados en 10,
deben despedirse algunos de ellos. Otra solución podría ser reducir, a menos de su valor
actual de 0,20, la fracción de abogados con experiencia que pasan a ser socios cada año.

Aplicación 3

A través del análisis de cuentas por cobrar pasadas, un contralor proporciona la

siguiente información:

El balance de cuentas por cobrar indica que se tiene $60000 en cuentas por cobrar con
retraso entre 0 y 30 días y $40000 en cuentas por cobrar con retraso entre 31 y 90 días.

¿Cuál debe ser la concesión?

Solución:

Generamos los estados del problema:

Con los datos del problema, diferenciamos cada una de las matrices
Graficamos

Definimos matrice absorbente (R) y transitoria (Q)

Determinamos la matriz fundamental

Determinamos la matriz de probabilidades

La concesión será:

60000(0.021) + 40000(0.128)= $6380

APLICACIÓN 4.- Una empresa necesita contratar copiadoras en renta, escogiendo entre
dos máquinas. Las dos máquinas hacen copias que no se pueden distinguir. Cada máquina
funciona o no funciona. Según los registros anteriores, se ha determinado que si la máquina
I trabaja un día determinado, la probabilidad es de 0,95 que trabaje el día siguiente. Si no
trabaja un cierto día, la probabilidad es de 0,75 que funcione el siguiente día. Si la máquina
II trabaja hoy, la probabilidad es de 0,9 que trabaje mañana. Si no funciona hoy, la
probabilidad es de 0,8 que trabaje mañana. ¿Qué máquina debe rentar la empresa?
SOLUCIÓN:
Siendo los estados: F (funciona) y NF (no funciona), elaboramos las matrices de transición
de estados respectivas.
Matriz de transición de estados (T) para la Máquina 1

Matriz de transición de estados para la Máquina 2

Luego hallamos los vectores de estado estable para ambas máquinas aplicando la relación:

Dónde :
F: probabilidad de estado estable de que la máquina Funcione
NF: probabilidad de estado estable de que la máquina No Funcione
Además F + NF =1
Para la máquina 1 tenemos:
[F NF]=[F NF]*T
F+NF=1
Reemplazando los datos de matriz de Transición de estados de la máquina 1 y
resolviendo el sistema de ecuaciones tenemos:
F= 0.9375 y NF=0.0625
entonces 1= [ F NF ]= [ 0.9375 0.0625 ]
Para la máquina 2 tenemos 2 =[ F NF ]= [ 0.8889 0.1111 ]
Por lo tanto se observa que la máquina 1 tiene mayor probabilidad de funcionamiento
(93.75%) frente a 88.89% de la máquina 2, en consecuencia la empresa debe rentar la
máquina 1.

APLICACIÓN 5.- Una pequeña tienda de videos lleva un control del número de veces por
semana que es rentado un video y estima las siguientes probabilidades de transición (ver
matriz siguiente).

Gráfico:

Dónde: los estados en orden son: 5 veces, 4 veces, 3 veces, 2 veces, 1 vez y 0 veces
Por ejemplo, si un video se rentó 5 veces esta semana, entonces hay una probabilidad de
80% de que sea rentado 5 veces la siguiente semana, 10% de probabilidades de que sea
rentado 4 veces y 10% de probabilidades de que sea rentado 3 veces. Cuando un video es
rentado 0 veces, este se desecha.
Se determina la matriz fundamental y expresan el número de semanas que
serán rentados ( 5, 4, 3, 2,1) veces:
a) Suponga que un video fue rentado 5 veces esta semana. ¿Cuál es la probabilidad de
que sea rentado 4 veces durante la siguiente semana?.
Entonces se tiene que:
Xo = [ 1 0 0 0 0 0 ]
Hallamos X1
X1 = XoT
X1 = [ 0.8 0.1 0.1 0.0 0.0 0.0 ]
Entonces la probabilidad de que sea rentado 4 veces la próxima semana es 10%.

b) Suponga que un video fue rentado 3 veces esta semana. ¿Cuál es la probabilidad de
que sea rentado 2 veces durante la segunda semana?
Entonces se tiene que:
Xo = [ 0 0 1 0 0 0 ]
Hallamos X2
X1 = XoT
X1 = [ 0.0 0.0 0.6 0.3 0.1 0.0 ]
X2 = X1T
X2 = [ 0.0 0.0 0.51 0.30 0.15 0.004 ]
Entonces la probabilidad de que sea rentado 2 veces la segunda semana es 30%.

c) Suponga que un video fue rentado 5 veces esta semana. En promedio, ¿cuántas veces
más será rentado antes de que se deseche?
Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera
fila) 5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces
d) Suponga que esta semana se rentó 5 veces. En promedio, ¿cuántas semanas será
rentado por lo menos 2 veces?.
Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera fila)
3.519 semanas será rentado 2 veces
6.481 semanas será rentado 3 veces
1.667 semanas será rentado 4 veces
5.000 semanas será rentado 5 veces
Entonces será rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7 semanas.
e) Suponga que un video fue rentado 3 veces esta semana. En promedio, ¿cuántas veces
más será rentado?.
Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (tercera fila)
0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.

f) Suponga que un video fue rentado 4 veces esta semana. ¿Cuál es la probabilidad de
que sea desechado?

Usamos la información de la segunda fila: La probabilidad de que sea desechado es

100%

APLICACIÓN 6.- Juan es propietario de un terreno con 5000 pinos. Cada año Juan permite
a los detallistas de árboles de navidad seleccionar y cortar árboles para la venta a clientes
individuales. Juan protege los árboles pequeños (por lo general de menos de 120 cm. de
alto) de manera que estén disponibles para la venta en años futuros. Actualmente están
clasificados 1500 árboles como protegidos, en tanto que los 3500 restantes están
disponibles para corte. Sin embargo, aunque en un año dado un árbol esté disponible para
corte, quizás no sea seleccionado sino hasta en años futuros. Aunque la mayoría de los
árboles que no se cortan en un año dado viven hasta el siguiente, todos los años se pierden
algunos pinos enfermos.
Al estudiar la operación de los árboles de navidad de Juan como un proceso de Markov con
periodos anuales, definimos los cuatro estados siguientes:
Estado 1. Cortado y vendido.
Estado2. Perdido por enfermedad.
Estado3. Pequeño para cortarse
Estado4. Disponible para cortar, pero no cortado ni vendido
La siguiente matriz de transición es apropiada

Gráfico:
Determinamos la matriz fundamental:

Determinamos la matriz probabilidades:

a) ¿Cuántos de los 5000 árboles se venderán y cuántos se perderán?

1500*0.52 + 3500*0.8 = 3580 árboles se venderán

1500*0.48 + 3500*0.2 = 1420 árboles se perderán
b) ¿Cuántos años se espera que pase un árbol pequeño en el vivero antes de ser
cortado y vendido o perdido por enfermedad?

2 + 0.8 = 2.8 años

c) ¿Cuál es la probabilidad de que un árbol disponible para cortar sea cortado y
vendido? ¿y cuál es la probabilidad de que se pierda por enfermedad?

80% de probabilidad de que un árbol disponible para cortar sea cortado y vendido y 20%
de probabilidad de que un árbol disponible para cortar se pierda por enfermedad.

APLICACIÓN 7.- Problema de producción

En un proceso de producción cada producto pasa por seis etapas, tres de fabricación y tres
de inspección. Al final de cada etapa los productos se desechan, se regresan para
rehacerlos sólo en inspección, o pasan a la siguiente etapa. En la siguiente tabla se
muestran datos del problema:
El costo de los materiales es de 25.00 UM por parte y el de los residuos 2.00 UM
por parte. Describirlo como una cadena de Markov Si se desea producir 100
productos

a) ¿Cuál es el número de partes que se deben comenzar a producir en un lote?

b) Con los datos de tiempo de operación ¿cuáles son los requerimientos esperados
de horas hombres en cada etapa?
c) Con los costos de mano de obra y de materiales, ¿cuáles son los costos
directos esperados?
Solución: Describimos los estados que son generados en el problema por la fabricación de los
artículos en las máquinas, las inspecciones realizadas a los artículos en cada etapa de
producción, los artículos desechados y almacenados, considerando los siguientes estados:

El diagrama de operaciones está dada por:

Gráfico:
Matriz:Si deseamos producir 100 artículos, ¿cuál es el número de partes que se
deben producir en un lote?

Definimos las matrices:

El número esperado de partes buenas que desean completarse es N*P17 = N(0.747)
= 100, luego N = 134 partes

b. Con los sobretiempos estimados por operación que se muestra en la tabla, ¿cuáles son
los requerimientos esperados de horas hombres es cada etapa?

Los requerimientos esperados de horas hombres en cada etapa se muestran

a continuación:

c. Con los datos de costos de mano de obra y de materiales, ¿cuáles son los
costos directos esperados?

Los costos directos son:

Costo total de mano de obra: sumatoria (4) = 100.15 UM

Costo de materiales: (25/0.747) – (2*0.253/0.747) = 32.79 UM
Costos directos por unidad producida 132.94 UM

Aplicación 7.- Problema del ratón.

Tenemos un ratón encerrado en una casa dividida en cuatro habitaciones con diversas
entradas: el salón, la cocina, una habitación y la entrada.
La probabilidad de que el ratón pase a las habitaciones adyacentes es la misma por cada
puerta.

Las probabilidades pueden representarse en una matriz

Para calcular el tiempo que permanece el ratón en cada estancia resolvemos el siguiente
sistema de ecuaciones

Resolviendo:

PE=PH=0.2
PC=PS=0.3

Así que para un periodo de 5 horas (300 minutos)

tE = tH = 60 min
tC = tS = 90 min

Ahora vamos a calcular la posibilidad de que el dueño de la casa mate al ratón poniendo
queso envenenado en la cocina y abriendo una nueva puerta hacia el exterior desde la
entrada.
Este tipo de distribución es límite ya que existe una sola clase final y es aperiódica.

Debido a que ahora tenemos una nueva puerta debemos tener en cuenta la aparición de
un nuevo estado (SL), genera el gráfico siguiente:

En esta nueva situación no tenemos una distribución límite ya que existen dos posibles
estados finales que pueden acabar con el ratón. Además el estado inicial va a repercutir en
el resultado del problema ya que si el ratoncito se encuentra en un principio en la cocina es
más probable que muera envenenado en la cocina, mientras que si se encuentra en la
entrada tiene más posibilidades de salir de la casa.

Ahora nuestro problema se va a centrar en encontrar las probabilidades de que acabar en

un estado final, eliminando al ratón, dependiendo de las distintas situaciones iniciales. Y
calcular el tiempo que va a tardar el ratón en hacerlo.

Para ello nos planteamos que los estados E, S, D son estados transitorios, mientras que C
y SL son estados absorbentes o finales.

La matriz de probabilidad:

La matriz de estados transitorios:

La matriz de estados absorbentes:

Resta de matriz identidad y matriz de estados transitorios:

Determinamos la matriz fundamental:

Matriz fundamental, si en este momento estamos en el estado transitorio t i, el

número esperado de periodos que pasarán en un estado transitorio t j antes de la
absorción es el ij-ésimo elemento de la matriz (I-Q)-1.

Por último determinamos la matriz de probabilidades:

Matriz de probabilidades, si en este momento estamos es un estado transitorio ti,

la probabilidad de ser absorbidos finalmente por un estado absorbente a j es el ij-
ésimo elemento de la matriz (I-Q)-1R.