Cadenas de Markov

CAPÍTULO VI
CADENAS DE MARKOV

6.1 INTRODUCCIÓN

El análisis de Markov es un método para analizar la conducta actual de alguna variable

en un esfuerzo por predecir la conducta futura de esa variable. Este procedimiento fue
desarrollado por el matemático ruso Andrei Andreivich Markov (14 de junio de 1856 – 20
de julio de 1922). Primero lo usó para describir y pronosticar el comportamiento de
partículas de gas en un recipiente cerrado. El análisis de Markov ha sido aplicado
exitosamente a una amplia variedad de situaciones de decisión en áreas tales como
educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción
(problemas de inventarios, líneas de espera, mantenimiento y reemplazo entre otros).

En el caso de mercadotecnia, se utiliza para examinar y pronosticar el

comportamiento de los clientes desde el punto de vista de su lealtad a una marca y de sus
formas de cambio a otras marcas. Por ejemplo un cliente puede comprar detergente de la
marca A, B, ó C, pero una compra comprenderá sólo una de las marcas. Si la probabilidad
de que la siguiente compra sea de la marca A, B, ó C depende exclusivamente de la compra
mas reciente y no de las anteriores.

En el caso de producción, se puede utilizar para pronosticar el comportamiento de

una máquina desde el punto de vista de su funcionamiento. Por ejemplo una máquina en un
momento dado puede estar en funcionamiento o descompuesta. La probabilidad de que en
el siguiente tiempo t la máquina este en funcionamiento o descompuesta dependerá del
estado mas reciente y no de los estados anteriores.

En el caso de genética, se puede utilizar para modelar la teoría de Gregor Mendel

donde existe una probabilidad de que un rasgo tal como el color está determinado por dos
genes, cada uno de los cuales puede ser de carácter “dominate o recesivo”. Según la teoría,
cuando de dos genes hay uno dominante, el color queda determinado por éste, mientras que
sólo puede tener el otro color si ambos genes son recesivos y esto depende del estado mas
reciente y no de los estados anteriores.

6.2 CONCEPTOS BÁSICOS

6.2.1 Vectores de Probabilidad

Un vector fila v = (v1, v2, ...,vn) recibe el nombre de vector de probabilidad si sus
componentes son no negativas y la suma es igual a 1.

82
 Cadenas de Markov

Ejemplo 1 Identificación de vectores de probabilidad.

Indicar cual(es) de los siguientes vectores son vectores de probabilidad

a) w = (1/3, 2/5, ½) b) x = (1/2, ¾, -1/4) c) y = (1/5, 2/5, 2/5) d) z = (1/2, 0, ½)

a) w No es un vector de probabilidad porque la suma de sus componentes es mayor a 1

b) x No es un vector de probabilidad porque tiene componentes negativos
c) y Es un vector de probabilidad porque todas sus componentes son no negativas y la
suma es igual a 1
d) z Es un vector de probabilidad porque todas sus componentes son no negativas y la
suma es igual a 1.

El vector no nulo w = ( 2, 3, 0, 6, 4) no es un vector de probabilidad puesto que la suma de

sus componentes no es igual a 1. Sin embargo, puesto que las componentes de w son no
negativas, w tiene un múltiplo escalar λw que es un vector de probabilidad; puede
obtenerse a partir de w dividiendo cada componente de w por la suma de las componentes
de w:

Ejemplo 2: Vectores no nulos

Obtenga el vector de probabilidad a partir del vector no nulo w= ( 2, 3, 0, 6, 4)

1 1
λ= =
2 + 3 + 0 + 6 + 4 15
1 2 3 0 6 4
λw = w =  , , , , 
15  15 15 15 15 15 

6.2.2 Proceso estocástico: Si el estado de un sistema dado puede cambiar con cierta
probabilidad a intervalos fijos o aleatorios de tiempo se denomina proceso estocástico

Un proceso estocástico se define como una colección subindizada de variables aleatorias

denotadas por {Xt}.

Las variables X1, X2 y X3 pueden representar los niveles de inventario al finalizar los meses
1, 2 y 3 ó las marcas de productos preferidas por los clientes en las semanas 1, 2 y 3.

6.2.3 Espacio de estados: Se define al conjunto de todos los posibles valores asociados a
un proceso estocástico.

Marcas ={Toyota, Mitsubishi, Suzuki}

Estado de una máquina = {Descompuesta, Funcionando}

83
 Cadenas de Markov

6.2.4 Transición: Se define como una transición a cualquier cambio de estado

6.2.5 Diagrama de transiciones: Conjunto de nodos y arcos dirigidos que ilustra las
transiciones entre estados.

Ejemplo 3: Funcionamiento de máquinas

Sean los estados de la máquina representados en la figura 6.1

1) Descompuesta y 2) Funcionando

El arco 1, 2 representa la transición de pasar de un estado en el que la máquina

estuvo descompuesta en el tiempo t, a un estado de funcionamiento en el tiempo t +1.

1 2

Figura 6.1

6.2.6 Cadena de Markov: Es un proceso estocástico el cual tiene la propiedad de que la

probabilidad de una transición de un estado dado a cualquier estado futuro es dependiente
solamente del estado actual.

Matemáticamente puede expresarse de la siguiente manera:

P{Xt+1 =j / Xo=f, X1=g, X2=h, Xt =i}

= P{Xt+1 =j / Xt =i} (4.1)

Probabilidad de que la variable de estado tome el valor de j en el tiempo t+1 dado que en el
tiempo t toma el valor de i.

La probabilidad condicional 4.1 se conoce como probabilidad de transición y es la que se

asigna a los arcos del diagrama de transiciones.

Pij = P{Xt+1, = j / Xt = i) para toda i,j (4.2)

Las probabilidad Pij se consideran estacionarias porque no cambian con el tiempo.

Probabilidad de transición de n periodos, denotada por Pij(n) se define como

Pij(n)= P{Xt+n, = j / Xt = i) (4.3)

Como Pij(n) son probabilidades condicionales deben satisfacer:

Pij(n) >=0 para toda i ,j y n=0, 1, 2,…

84
 Cadenas de Markov

y
M

∑p
j =0
n
i, j = 1 para toda i y n = 0,1 ,2, ... donde M es el número finito asociado por donde

puede pasar el proceso.

Ejemplo 4: Ajuste de máquinas

Una máquina que produce piezas puede estar ajustada o desajustada. Si esta ajustada,
suponga que la probabilidad de que no lo esté es 0.3. Si la máquina esta desajustada, la
probabilidad de que este ajustada el día siguiente es 0.6 y la probabilidad de que no lo este
es 0.4. Si el estado 1 representa la situación en que la máquina esta ajustada y el estado 2
representa el caso en que esta desajustada, las probabilidades de cambio son las que se
indica en la tabla 6.1.

El proceso se representa con dos árboles de probabilidades en la figura 6.2a y 6.2b, cuyas
ramas ascendentes indican el paso al estado 1 y las ramas inferiores el cambio al estado 2.

A Ajustada No Ajustada
De
Ajustada 0.7 0.3
No ajustada 0.6 0.4

Tabla 6.1

0.49
1
0.7

1 0.3
0.7

2 0.21

1
0.3
0.18
0.6 1

2
0.4

2 0.12

Figura 6.2 a

85
 Cadenas de Markov

0.42
1
0.7

1 0.3
0.6

2 0.18

2
0.4
0.24
0.6 1

2
0.4

2 0.16

Figura 6.2 b

a) Halle la probabilidad de que la máquina este ajustada el segundo día si el primer día
estuvo ajustada.

P11 = P{ X 2 = 1 / X 1 = 1}
P11 = 0.7

b) Halle la probabilidad de que la máquina este ajustada el tercer día si el primer día
estuvo ajustada.

P112 = P{ X 3 = 1 / X 1 = 1}
P112 = P11 * P11 + P12 * P21 = 0.49 + 0.18 = 0.67

c) Halle la probabilidad de que la máquina este desajustada el tercer día si el primer

día estuvo ajustada.

P122 = P{ X 3 = 2 / X 1 = 1}
P122 = P11 * P12 + P12 * P22 = 0.21 + 0.12 = 0.33

d) Halle la probabilidad de que el tercer día este desajustada si el primer día estuvo
desajustada y el segundo día estuvo ajustada

P12 = P{ X 3 = 2 / X 1 = 2, X 2 = 1}
P12 = 0.3

e) Construya el diagrama de transiciones

86
 Cadenas de Markov

El diagrama de transiciones se observa en la figura 6.3

0.3

0.7
1 2 0.4

0.6

Figura 6.3

6.2.7 Matrices Estocásticas y Estocásticas Regulares

Una matriz cuadra P = (pij) es estocástica si cada una de sus filas es un vector de
probabilidad, esto es, si cada elemento de P es no negativo y la suma las componentes para
cada fila es 1.

Ejemplo 5: Identificación de matrices estocásticas

Indique cual de las siguientes matrices se considera estocástica

0.5 0.3 0.2 0.8 0.4 − 0.2  0 1 0

0.1 0.7 0.4 0.1 0.6 0.3  0.1 0.5 0.4 
  
0.2 0.7 0.1 0.3 0.3 0.4   0 0.5 0.5
A B C

a) No es una matriz estocástica porque la suma de las componentes de la segunda fila

no es igual a 1
b) No es una matriz estocástica porque la primera fila tiene una componente negativa
c) Es una matriz estocástica, puesto que cada fila es un vector de probabilidad.

Teorema 4.1 Si A y B son matrices estocásticas, entonces el producto AB es una matriz

estocástica. Por tanto, en particular, todas las potencias de An son matrices estocásticas.

Definición: Una matriz estocástica P es regular si todos los elementos de alguna potencia
Pm son positivos.

Ejemplo 6: Determinar si la siguientes matrices son estocásticas regulares

1 1  
2 2 1 0
   
A=  B= 
1 0 1 2
   
  3 3

87
 Cadenas de Markov

0.75 0.25
A2 =  por lo tanto A es una matriz estocástica Regular
 0 .5 0.5 

1 0
Bm =   por lo tanto B no es una matriz estocástica regular
1 0 

6.2.8 Puntos fijos de matrices cuadradas

Un vector no nulo u= (u1,u2, ..., un) es un punto fijo de una matriz cuadrada A si u
permanece fijo, esto es, no cambia cuando se multiplica por A.

uA=u

1 1
2 2
Ejemplo: Si tenemos la matriz A =   entonces u=(3/8, 5/8) es un punto fijo de A
3 7 
10 10 
puesto que

1 1 
2 2 
( 3 , 5 ) = (3 , 5 )
8 8 3 7 8 8
 
10 10 
6.2.9 Puntos fijos y matrices estocásticas regulares

La principal relación entre las matrices estocásticas y regulares y los puntos fijos se
establece en el teorema siguiente.

Teorema 4.3 Sea P una matriz estocástica Regular, Entonces:

a) P tiene un vector de probabilidades fijo único t, y las componentes de t son todas

positivas;
b) La sucesión P, P2, P3, ... de potencias de P se aproxima a la Matriz T, cuyas filas son
cada una el punto fijo t;
c) Si p es cualquier vector de probabilidad, entonces la sucesión de vectores pP, pP2,
pP3,... se aproxima al punto fijo t

88
 Cadenas de Markov

Ejemplo 7: Sea A una matriz estocástica Regular, halle el vector fijo único u

Si u= (x,y,z) y

 
0 1 0
 
A = 0 0 1 sabemos que uA=u entonces:
1 1 
 0
2 2 

 
0 1 0
 
( x , y , z ) 0 0 1  = ( x, y , z )
1 1 
 0
2 2 

0x + 0y + ½ z = x
1x + 0y + ½ z = y
0x + 1y + 0z = z
x+y+z=1

x= 1/5, y= 2/5, z= 2/5

u=(1/5,2/5,2/5)

b) Halle la matriz A64 y compare los valores de cada fila con el vector fijo único u
1 2 2 
  5 5 5 
0 1 0   
  64  1 2 2
A = 0 0 1  A =
5 5 5 
1 1   
 0  1 2 2
2 2 
 5 5 5 

6.2.10 Matriz de Transición

La matriz de transición es una matriz estocástica en la cual se incorpora los estados actuales
y los estados en el tiempo t+1

Ejemplo 8: Una persona puede escoger entre conducir su automóvil o tomar el metro para
ir a su trabajo cada día. Supongamos que la persona nunca toma el tren dos días seguidos;
pero si conduce hasta el trabajo, entonces al día siguiente puede manejar de nuevo o tomar
el tren. Construya la matriz de transición.

89
 Cadenas de Markov

El espacio de estados del sistema es {m (metro), c (conducir)}

Este proceso estocástico es una cadena de Markov, puesto que el resultado de cualquier día
depende únicamente de lo que ha sucedido el día anterior. La matriz de transición de la
cadena de Markov es:

Estado Futuro
m c
Estado
Actual
m 0 1
c 0.5 0.5

6.3 Ecuaciones de Chapman – Kolmogorov

La probabilidad de transición de n periodos (4.3) puede ser útil cuando el proceso se

encuentra en el estado i y se desea la probabilidad de que el proceso se encuentre en el
estado j después de n periodos. Las ecuaciones de Chapman – Kolmogorov proporcionan
un método para calcular estas propiedades de transición de n pasos.

M
Pijn = ∑ Pikm * Pkj( m − n ) para 0 ≤ m ≤n
k =0

donde M representa el número de estados

6.4 Clasificación de estados en una cadena de Markov

Partamos de la siguiente matriz de transición y el diagrama de transiciones correspondiente

mostrados en las figuras 6.4 y 6.5 respectivamente.
.4 .6 0 0 0
.5 .5 0 0 0 

P=0 0 .3 .7 0 
 
0 0 .5 .4 .1 
0 0 0 .8 .2 


0.3
0.6 0.7

90
 Cadenas de Markov

0.4
0.5 3
1 2
0.5 0.4
0.5 4
0.1
Figura 6.4

0.2
5
0.8

Figura 6.5

Definición: Dados dos estados i y j, la trayectoria de i a j es la sucesión de transiciones que

comienza en i y termina en j, de modo que cada transición de la secuencia tenga
probabilidad positiva de presentarse.

La trayectoria de 3 a 5 es la sucesión de pasos de ir del estado 3 al estado 4, luego del

estado 4 al estado 5.

Definición: Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i
aj
El estado 5 es alcanzable desde el estado 3.

Definición: se dice que dos estados i y j se comunican si j es alcanzable desde i e i es

alcanzable desde j

El estado 3 y el estado 5 se comunican.

Definición: Un conjunto de estados S en una cadena de Markov es conjunto cerrado si

ningún estado fuera de S es alcanzable desde un estado S ver figura 6.6 y 6.7

91
 Cadenas de Markov

0.3
0.6 0.7
0.4
0.5 3
1 2
0.5 0.4
0.5 4
0.1

S1
Figura 6.6 0.2
5
0.8

S2
Figura 6.7
S1 y S2 son conjuntos cerrados.

Definición: Un estado i es absorbente si Pii=1

Definición: Un estado i es transitorio si hay un estado j alcanzable desde i, pero el estado i

no es alcanzable desde el estado j ver figura 6.8

0.4 0.6
1
1 2

Figura 6.8

El estado 1 es transitorio y el estado 2 es absorbente

Definición: Si un estado no es transitorio se llama estado recurrente Ver figura 6.9

92
 Cadenas de Markov

4
2

5
3

Figura 6.9

Los estados 1, 2 y 4 son recurrentes

Definición: Un estado i es periódico con periodo k>1 si k es el número mas pequeño tal
que las trayectorias que parten del estado i y regresan al estado i tienen una longitud
múltiplo de k. Si un estado recurrente no es periódico, se llama aperiódico.

Ejemplo 9 Indique si el estado 1 del diagrama de transiciones de la figura 6.10 es periódico

1 2 3

Figura 6.10

Al comenzar con el estado 1 la trayectoria a seguir para retornar al estado 1 sería 1-2-3-1
por lo tanto k = 3. Esto es, si se parte del estado 1 para retornar al estado 1, se tendrán que
realizar pasos en cantidades que son múltiplos de 3.

Definición: Si todos los estados en una cadena son recurrentes, aperiódicos y se comunican
entre si, se dice que la cadena es ergódica (estocástica regular).

Ejemplo 10 Indique si la siguiente Cadenas de Markov es ergódica

93
 Cadenas de Markov

1 2  4 2 1 
3 0 9
3 9 3 
   
1 1 2 1 11 3
P=  0 -> P=
2 2 6 24 8
   
0 1 3 1 3 11 
 4 4   8 16 16 

Como se había indicado anteriormente, para verificar que la matriz es ergódica se puede
elevar la matriz a la potencia m y si se comprueba que desaparecen los ceros, se concluye
que la matriz es ergódica.

Otra forma, es hacer uso de la definición y basándose en el diagrama de transiciones (ver

figura 6.11 )se puede identificar las características de los estados:

Primera característica: todos los estados son recurrentes (para cada salida existe un
retorno)
Segunda característica: todos los estados son aperiódicos (Para el estado 1 y 3 k=1 y
para el estado 2 no existe un múltiplo mínimo k)
Tercera característica : Todos los estados se comunican entre sí (La cadena de Markov
es un solo conjunto cerrado y son recurrentes)

Al cumplir las tres características la cadena es ergódica.

Ejemplo 11 Indique si la siguiente Cadenas de Markov es ergódica

94
 Cadenas de Markov

 1 1 1
0 2 3 6 0,237 0 0,763 0
  0 0,373 0 0,627
1 0
1 1
0,237 0 0,763 0
2 4 4
P=   -> P64 = 0 0,373 0 0,627
1 1
0
1
3 3 3
1 2 2 
 0
5 5 5 

Como en la matriz, al elevarse a la potencia m no desaparecen los valores de 0, entonces se

concluye que la matriz no es ergódica.

Otra forma, es hacer uso de la definición y basándose en el diagrama de transiciones (ver

figura 6.12 )se puede identificar las características de los estados:

Primera característica: todos los estados son recurrentes (para cada salida existe un
retorno)
Segunda característica: todos los estados son aperiódicos (Para todos los estados existe
un periodo K>1 y es múltiplo de 2, por lo tanto todos los estados son periódicos con
periodo igual a 2)
Tercera característica : Todos los estados se comunican entre sí (La cadena de Markov
es un solo conjunto cerrado y son recurrentes)

Al no cumplir con alguna de las características, en este caso la segunda, se concluye que la
matriz no es ergódica

6.5 Probabilidad de primera ocurrencia

95
 Cadenas de Markov

Es la probabilidad de pasar del estado i al estado j en n transiciones sin pasar por el estado j
en una transición intermedia. Esto es, la probabilidad de llegar al estado j por primera vez
en la transición n.
n
La probabilidad de primera ocurrencia se representa por ( f ij )
 pij si n = 1
 M
f ijn =  P * f n −1 si n ≥ 2
∑ ik kj
 k ≠ j
k =1

Desarrollando:

f ij1 = Pij1 Probabilidad de primera ocurrencia en una transición

f ij2 = Pij2 − f ij1 p1jj Probabilidad de primera ocurrencia en dos transiciones

f ijn = Pijn − f ij1 p njj−1 − f ij2 p njj− 2 ... − f ijn −1 Pjj Probabilidad de primera ocurrencia en n transiciones

f ijn
Las probabilidades de primera ocurrencia en n transiciones cumplen la condición de que
∞

∑f
n =1
n
ij ≤1

Si la suma es estrictamente menor a 1 implica que un proceso que está inicialmente en el

estado i es posible que nunca llegue al estado j.
Si la suma es igual a 1 puede considerarse como una distribución de probabilidad para la
variable aleatoria.

∞
Si i=j y ∑ f iin = 1 entonces el estado i se conoce como estado recurrente. Un caso especial
i =1
de un estado recurrente es un estado absorbente.

∞
Si i=j y ∑ f iin < 1 entonces el estado i se conoce como estado transitorio
i =1

6.6 Tiempos de primera ocurrencia

El tiempo de primera ocurrencia se denota por µij y es el número de transiciones esperadas

para ir del estado i al estado j por primera vez y se define mediante las expresones

96
 Cadenas de Markov

 ∞

∞ si

∑f
n =1
n
ij < 1
µ ij =  ∞ ∞
 nf n
∑ ∑f n
ij si ij = 1
n =1 n =1

∞
Siempre que ∑f n =1
n
ij = 1 entonces µij , satisface de modo único la ecuación

M
µ ij = 1 + ∑ pik µ kj ∀i≠j
K =1
k≠ j

Cuado j=i, el tiempo esperado del primer paso se llama tiempo esperado de recurrencia y se
representa por:

1
µ ij = ∀ i=j
πj

El resultado recurrente recibe el nombre de estado recurrente nulo si µij = ∞, y se llama

estado recurrente positivo si µij < ∞. En una cadena de Markov de estado finito no se tienen
estados recurrentes nulos (únicamente se tienen estados recurrentes positivos y estados
transitorios).

Ejemplo 12:
El mercado para un producto de 3 marcas diferentes cuenta con 1,000 clientes potenciales
distribuidos de la siguiente forma

Marca Clientes el 1ero Clientes que se cambiaron a Clientes 1ero.

De Mayo A B C de Junio

A 300 0 30 30 310

B 400 40 0 80 370

C 300 30 60 0 320

------- -------
1000 1000

a) Indique la matriz de transición.

b) Construya el diagrama de transiciones.
c) Verifique si la matriz es ergódica.

97
 Cadenas de Markov

d) ¿Cuántos clientes preferirán la marca B el 1ero. de julio?

e) A largo Plazo. ¿Cuántos clientes no prefieren la marca C?
f) ¿Cuánto tarda un cliente que prefiere la marca A en cambiarse a la marca C?
e) ¿Cuántos meses en promedio transcurrirán para que un cliente que dejó la
marca A regrese?
f) ¿Cuál es la probabilidad de que un cliente que se encuentra el primero de
Mayo en B sea un nuevo cliente de C el primero de Julio?
a)
A B C
A 0.8 0.1 0.1
B 0.1 0.7 0.2
C 0.1 0.2 0.7

98
 Cadenas de Markov

b)

c) Como la matriz de transición no contiene ceros, entonces es ergódica.

d) p(0)P = p(1)
p(1)P = p(2)

0.8 0.1 0.1 

(300,400,300) 0.1 0.7 0.2 = (310,370,320)
0.1 0.2 0.7 

0.8 0.1 0.1 

(310,370,320) 0.1 0.7 0.2 = (317,354,319)
0.1 0.2 0.7

354 clientes preferirán la marca B el 1 de julio

e) πP = π

0.8 0.1 0.1 

(π 1 , π 2 , π 3 ) 0.1 0.7 0.2 = (π 1 , π 2 , π 3 )
0.1 0.2 0.7

1 1 1
π 1 = ;π 2 = ;π 3 =
3 3 3

a largo plazo 667 clientes no preferirán la marca C

99
 Cadenas de Markov

f) µ A,C = 1 + ∑ pi ,k µ k , j
k≠ j

µ A,C = 1 + p AA µ AC + p AB µ BC + p AC µ CC

µ B ,C = 1 + p BA µ AC + p BB µ BC + p BC µ CC

µ A,C = 8; µ B ,C = 6
Un cliente que actualmente prefiere la marca A tardará 8 mese en preferir la marca
C

1
g) µ A, A =
πA

1
µ A, A = = 3 meses
1
3

Un cliente que dejó la marca A tardará tres meses en regresar

h) f B2,C = p BA p AC + p BB p BC

f B2,C = (0.1)(0.1) + (0.7)(0.2) = 0.15

La probabilidad de que un cliente que prefiere la marca B el 1ero de mayo prefiera

por primera vez la marca C el primero de julio es 0.15

6.7 Cadenas Absorbentes

Una cadena de Markov en la que uno o más estados son estados absorbentes corresponde a
una cadena de Markov absorbente.

Muchas de las aplicaciones importantes de análisis de Harkov tratan con situaciones donde
existen uno o más estados absorbentes en el proceso y pueden identificarse por sus
cantidades en la matriz de transición. En particular, el estado i es absorbente si Pii = 1.

Los estados absorbentes no permiten el cálculo de probabilidades de estado estable.

En la presencia de estados absorbentes existen algunas cuestiones de interés involucrando

el comportamiento a largo plazo del proceso. Estas son:

100
 Cadenas de Markov

1.-¿ Cuál es el tiempo esperado que el proceso está en estado no absorbente antes de que
entre en uno no absorbente?
2.- ¿Cuál es el tiempo total antes de la absorción para cada estado no absorbente?
3.- ¿Cuál es la probabilidad de absorción partiendo de cada uno de los estados no
absorbentes?

Para dar respuesta a estas interrogantes, el primer paso es rearreglar los estados de tal
manera que los estados absorbentes estén agrupados en la parte superior izquierda de la
matriz de transición; los estados restantes entonces se tendrán en cualquier orden.

Arreglando los estados de esta manera se proporciona la forma canónica en la figura 4.12.

I O
P =  

 A T 
Figura 4.12

Donde I es una matriz identidad r X r para un total de r estados absorbentes; O es una

matriz de r X (n-r) con todos sus elementos igual a cero; A tiene dimensión (n-r) X r y
representa las transiciones de los estados no absorbentes a los estados absorbentes; y T
tiene dimensión (n-r) X (n-r) y representa las transiciones entre los estados no absorbentes.

Para cualquier cadena de Markov absorbente escrita en esta forma canónica se define una
matriz fundamental.

F=(I-T)-1

Donde F tiene una dimensión (n-r) X (n.r) y sus cantidades representan la media o número
esperado de veces que el proceso está en cada estado no absorbente antes de ser absorbido.

Ya que los renglones representan la absorción del proceso de varios estados, la suma de
cada renglón de F representa el tiempo total esperado hasta la absorción de cada uno de os
estados no absorbentes.

Otro punto de interés es la determinación de cuál estado absorbente capturará el proceso.

Estas probabilidades están dadas por:

B=F x A

Donde F es la matriz fundamental y A es la matriz apropiada de la figura 4.12. La matriz B

tiene una dimensión de (n-r) x r, y cada columna corresponde a la absorción de los estados
no absorbentes por un estado absorbente particular.

101
 Cadenas de Markov

Cada uno de los renglones de B representa la probabilidad de absorción de un estado no

absorbente por cada uno de los estados absorbentes.

Ejemplo 13

Un modelo de Markov ha sido utilizado para estudiar los efectos de un tratamiento de

cáncer. Se tienen los siguientes estudios:
A = Morir sin tratamiento
B = Estar bajo tratamiento
C = Estar sano
D = Morir estando bajo tratamiento

Estado Año 2006 No. de personas que cambiaron a otro estado en un año
A B C D
B 500 0 0 250 150
C 1000 100 100 0 0
TOTAL 1500

a) Construya la matriz de transición

b) Construya el diagrama de transiciones.
c) Indique cuáles de los estados son: absorbentes, transitorios, recurrentes.
d) ¿Cuál es la probabilidad de que un paciente que esta bajo tratamiento no muera en los
siguientes dos años?.
e) ¿Cuál es la probabilidad de que un paciente que está sano el año 2006 este bajo
tratamiento el año 2008
f) ¿Cuál es el tiempo de vida que tiene un paciente que esta bajo tratamiento?
g) Si un paciente esta sano, ¿Cuál es la probabilidad de que llegue a morir estando bajo
tratamiento?

a)
A B C D
A 1 0 0 0
B 0 0,2 0,5 0,3
C 0,1 0,1 0,8 0
D 0 0 0 1

102
 Cadenas de Markov

b)

c)
Estados Absorbentes A y D
Estados Transitorios B y C
Estados Recurrentes A y D

2 2
d) PBB + PBC
Utilizando las ecuaciones de Chapman – Kolmogorov
po(0,1,0,0) x P = p1(0, 0.2, 0.5, 0.3)
p1(0, 0.2, 0.5, 0.3) x P = p2(0.05, 0.09, 0.5, 0.36)

Probabilidad es de 0.09+0.5 =0.59

2
e) PBC = 0.1

f)
Matriz en formato canónico

A D B C
A 1 0 0 0
D 0 1 0 0
B 0 0,3 0,2 0,5
C 0,1 0 0,1 0,8
La matriz fundamental es la siguiente F=(I-T)-1
B C
F= B 1,818 4,545 6,36
C 0,909 7,273 8,18
El tiempo de vida del paciente es de 6.36 años
g)
A D
B=FxA B 0,455 0,545
C 0,727 0,273

Si un paciente esta sano, la probabilidad de que muera estando bajo tratamiento es 0.273

103
 Cadenas de Markov

EJERCICIOS PROPUESTOS

1.- Mario Jaldín es el distribuidor de Coca Cola en una provincia. Su gerente de almacén
inspecciona las cajas de gaseosas ( éstos son los guacales de madera que almacenan 24
botellas) cada semana y los clasifica así “ A) recién construido esta semana”, “B) en buenas
condiciones”, “C) en condición aceptable ó “D) imposible de utilizar por daños”. Si no es
posible usar una caja por daño, se envía al área de reparación, donde usualmente esta fuera
de uso por una semana. Los registros de la bodega de Mario indican que ésta es la matriz
apropiada de probabilidades de transición para sus cajas de gaseosas

Reconstruido Bueno Aceptable Dañado

Reconstruido 0 0.8 0.2 0
Bueno 0 0.6 0.4 0
Aceptable 0 0 0.5 0.5
Dañado 1 0 0 0

El contador de Mario le dice que le cuesta 2.50 Bs. reconstruir una caja, y la compañía
incurre en un costo de $1.85 Bs. por pérdida de eficiencia de producción cada vez que una
caja se encuentra que esta dañada. Ésta pérdida de eficiencia es porque las cajas rotas hacen
lento el proceso de cargar los camiones.

a) Calcule el costo total semanal esperado por la reconstrucción como por la pérdida
de eficiencia de producción.
Respuesta: Costo total semanal es 0.725 por caja.

b) Suponga que Mario desea considerar el construir cajas siempre que se inspeccione y
se encuentre que están en condición aceptable (Eliminando la posibilidad de que la
caja se dañe). Construya la nueva matriz de transición. Y calcule el costo total
semanal esperado con esta nueva matriz de transición.
Respuesta: Costo total semanal = 0.625 por caja

2.- Industrias Unidad, un fabricante de ropa de dormir para mujer clasifica a sus operadores
de máquinas de coser en cuatro categorías, dependiendo de su productividad durante el mes
precedente; 1 es la categoría mas baja y 4 es la categoría mas alta. Históricamente, la fuerza
de trabajo de cosido se ha distribuido entre las cuatro categorías como sigue: 1=30%, 2=
35%, 3= 25%, 4= 10%. Hace siete meses, Industrias Unidas produjo un nuevo sistema
organizacional en su planta con 450 operadores. El nuevo sistema agrupa a los operadores
en unidades voluntarias de trabajo que no sólo eligen a sus propios supervisores sino que
también determinan sus propios horarios de trabajo. Los registros de producción
mantenidos desde que se adoptó el nuevo plan le ha permitido a su gerente de planta,
construir esta matriz de probabilidades de transición que ilustra los cambios mes a mes de
la productividad de sus empleados.

104
 Cadenas de Markov

Mas Baja 1 2 3 Mas alta 4

Mas baja 1 0.5 0.3 0.2 0
2 0.3 0.4 0.3 0
3 0.1 0.2 0.2 0.5
Mas alta 4 0.1 0.1 0.1 0.7

A su gerente le gustaría saber qué esperar en el área de distribución de productividad de la

fuerza de trabajo como resultado del nuevo sistema organizacional.

Además le gustaría conocer el beneficio mensual a largo plazo de este sistema,

considerando que los operadores ganan un promedio de Bs. 700 al mes y las pérdidas de
productividad para las cuatro categorías de empleados son 40%, 25%, 15% y 5%
respectivamente para las categorías 1, 2, 3 y 4.
Respuesta
Distribución de productividad (0.247;0.24;0.192;0.32)
Beneficio mensual 14,616
3.- Suponga que las llantas radiales fueron lanzadas al mercado por tres compañías al
mismo tiempo. Cuando las introdujeron, cada firma tenía una participación igual de
mercado pero durante el primer año tuvieron lugar los siguientes cambios de mercado.

• La compañía A retuvo el 80% de sus clientes, perdió 5% de sus clientes con B y 15% con C.
• La compañía B retuvo e 90% de sus clientes; perdió el 10% con A y ninguno con C
• La compañía C retuvo el 60% de sus clientes; perdió el 20% con A y 20% con B

Suponga que el mercado no crecerá y que los hábitos de compra no cambiarán.

A B C
A 0,8 0,05 0,15
B 0,1 0,9 0
C 0,2 0,2 0,6
a) ¿Qué porcentaje de mercado es probable que retenga cada compañía al final del
próximo año
Respuesta: A=0.37 B=0.38; C=0.25
b) A largo plazo ¿Cuál es el porcentaje de mercado para cada compañía?
Respuesta: A=0.381; B=0.476; C=0.143
c) ¿Cuál es la probabilidad de que un cliente de la compañía A sea un nuevo cliente de C
en 4 años?
Respuesta: 0.078675
d) ¿Cuantos años, en promedio, pasarán para que un cliente de B se cambie a A?
Respuesta: 10 años
e) ¿Cuántos años pasarán para que un cliente que dejó la marca C regrese?
Respuesta: 7 años
f) ¿Cuál es la probabilidad de que un cliente de B sea un cliente de C el quinto año?
Respuesta: 0.071

105
 Cadenas de Markov

g) Si actualmente el cliente es de B. ¿Cuál es la probabilidad de que no sea cliente de B

durante los tres años próximos?
Respuesta:0.088

4.- Una tienda vende cámaras fotográficas y cada sábado ordena solo si tiene 0 cámaras en
inventario, en caso contrario no ordena, los pedidos se hacen por 3 cámaras, las cámaras
ordenadas están disponibles el lunes por la mañana. La demanda de las cámaras es Poisson
con media de 1 cámara /semana.

A) Obtenga la matriz de transición

Respuesta: vector punto fijo único de la matriz de transición es:t
=(0.286;0.285;0.263;0.166)
B) Obtenga el diagrama de transiciones
C) ¿Cuál es la probabilidad de que la tienda tenga 2 cámaras al cabo de la tercera
semana si actualmente tiene una cámara?
Respuesta:0.275
D) ¿Cuál es la probabilidad de que por primera vez tenga 2 cámaras al final de la cuarta
semana si actualmente tiene 0 cámaras?
Respuesta:0.0872
E) ¿Qué cantidad de cámaras, en promedio, se tendrá en la tienda?
Respuesta: 1.309
F) ¿Cuántas semanas transcurrirán para que la tienda se quede sin cámaras si
actualmente tiene 3?
Respuesta:3.5 semanas
G) ¿Cuántas semanas transcurrirán para que la tienda tenga una cámara, si actualmente
dispone de una?
Respuesta:3.509

5.- Un proceso de producción incluye una máquina que se deteriora con rapidez bajando
tanto en la calidad como en el rendimiento de su producción bajo un uso pesado, de modo
que se inspecciona al final de cada día. Inmediatamente después de la inspección, se
observa la condición de la máquina y se clasifica en uno de los cuatro estados posibles:

Estado Condiciones

0 Buena como nueva

1 Operable(deterioro menor)
2 Operable (deterioro importante)
3 Inoperable(Producción con calidad inaceptable)

106
 Cadenas de Markov

La matriz de transición es la siguiente:

0 1 2 3

0 1/16 13/16 1/16 1/16

1 0 ¾ 1/8 1/8
2 0 0 1/2 1/2
3 0 0 0 1

Obtener:

a) La probabilidad de que la máquina que está operable (deterioro menor),este inoperable a

los dos días.
Respuesta:0.28125
b)La probabilidad de que la máquina que está en buenas condiciones (como nueva) no este
inoperable en los siguientes dos días
Respuesta:0.7188
c)La probabilidad de que la máquina que está operable(deterioro menor) este operable en
tres días
Respuesta:0.571
d)La probabilidad de que la máquina que esta buena como nueva este operable (deterioro
importante) por primera vez en, 3 días.
Respuesta:0.0828
d)¿Cuántos días trascurrirán en promedio para que la máquina quede inoperable?
Respuesta: 5.33 días si la máquina está buena como nueva; 5 días si está operable con
deterioro menor; 2 días si esta operable con deterioro importante
e)¿Cuál es la probabilidad de que la máquina que esta operable sea absorbida por la
inoperabilidad?
Respuesta : 1

6.- Hay dos fichas blancas en la urna A y 3 fichas rojas en la urna B. A Cada paso del
proceso se selecciona una ficha de cada una y se intercambian las dos fichas seleccionadas.
Sea Xn el número de fichas rojas en la urna A.
a) Encuentre la Matriz de transición P.
Respuesta: El vector t de esta matriz de transición es (0.1;0.6;0.3)
b) Construya el diagrama de transiciones.
c) ¿Cuál es la probabilidad de haya dos fichas rojas en la urna A luego de cuatro
pasos?
Respuesta:0.3056
d) A la larga ¿Cuál es la probabilidad de que haya dos fichas rojas en la urna A?
Respuesta:0.3
e) ¿Cuántos pasos en promedio se requieren para que existan 2 fichas rojas en la urna
A?
Respuesta: 3 pasos

107
 Cadenas de Markov

f) Si actualmente, hay una ficha roja en la urna A ¿Cuál es la probabilidad para que
existan 2 fichas rojas, en esta urna, por primera vez en tres pasos?
Respuesta: 0.1389

7.- La clientela compra automóviles en tres agencias. Dada la compañía a la que compró un
cliente la última vez, la probabilidad que compre la próxima vez es:

Comprará en
Compró en: Agencia 1 Agencia 2 Agencia 3

Agencia 1 0.80 0.10 0.10

Agencia 2 0.05 0.85 0.10
Agencia 3 0.10 0.20 0.70

a) Si alguien posee actualmente un automóvil de la agencia 1 ¿Cual es la probabilidad

de que al menos uno de los dos siguientes coches que compre sea de la agencia 1 ?.
Respuesta: 0.815
b) En la actualidad a la agencia 1 le cuesta 5,000 dólares en promedio cada automóvil y
el precio que paga el cliente es de 8,000 dólares. La agencia 1 piensa instituir una
garantía de 5 años. Estima que con ello se aumentará el costo en 300 dólares por
automóvil, pero una investigación de mercado indica que las probabilidades
cambiarán como sigue:
Comprará en
Compró en: Agencia 1 Agencia 2 Agencia 3
Agencia 1 0.85 0.10 0.05
Agencia 2 0.10 0.80 0.10
Agencia 3 0.15 0.10 0.75
¿Debe Instituir la garantía de 5 años la agencia l?

Respuesta: Ganancia Instituyendo la garantía =1200(tamaño de mkdo)

Ganancia No instituyendo la gar5antía= 750(Tamaño de mkdo)

8.- En un juego de lanzamiento de monedas participan 3 personas. Cada jugador tiene

inicialmente dos monedas. Un jugador gana cuando la jugada es diferente a la de los demás,
empata cuando todos obtienen la misma jugada, pierde cuando otro jugador tiene la jugada
diferente a los otros dos. Un jugador se retira cuando no tiene monedas o ha ganado las
cuatro monedas

a) Construya la matriz de transición

Respuesta:Xi=0,1,2,3,4,6; P(g)=1/4, P(p)=1/2,P(e)=1/4
b) ¿Cuál es la probabilidad de que un jugador tenga 1 moneda en la tercera jugada?
Respuesta:0.0938
c) ¿Cuál es la probabilidad de que el juego dure mas de tres jugadas?
Respuesta:0.15625
d) ¿Cuál es la probabilidad de que el juego acabe en la cuarta jugada?

108
 Cadenas de Markov

Respuesta:0.9492

9.- Un borracho camina por el pasillo que tiene un ancho de cinco baldosas. Comienza a
caminar en la baldosa central pero no puede mantener la línea recta y se va a la izquierda o
la derecha con la misma probabilidad. Cuando llega a una baldosa que está junto a la pared
del lado izquierdo, se choca contra ella y esto hace que en el siguiente paso vaya a la
baldosa de al lado, pero si llega a la baldosa que esta en el extremo derecho el borracho
pierde el equilibrio y cae porque las baldosas de esa fila no están bien colocadas.

a) Describir la posición del borracho en el pasillo (número de la columna de la baldosa

que ocupa) mediante un proceso estocástico. ¿Cuáles son los estados del proceso?. ¿Es un
proceso de Markov?.
Respuesta: Xi=1,2,3,4,5 El proceso es estocástico y no tiene memoria de estado
b) Escribir la matriz de probabilidades de transición.
c) ¿Cuál es la probabilidad de que el borracho no caiga hasta dar el 5to paso?
Respuesta:0.625
d)¿Cuál es la probabilidad de que el borracho caiga en el tercer paso?
Respuesta:0.25
e)¿Cuál es la probabilidad de que el borracho camine más de tres pasos?
Respuesta:0.75
f)¿Cuántos pasos dará el borracho en promedio hasta que caiga?
Respuesta:12 pasos
g)¿Cuál es la probabilidad de que el borracho caiga?
Respuesta: 1

109