Está en la página 1de 43

1

CADENAS DE MARKOV

En los problemas de toma de decisiones, con frecuencia nos enfrentamos a situaciones que tienen
incertidumbre asociada a ellas. Esta incertidumbre proviene de la variación inherente a las fuentes de esa
variación que eluden el control o proviene de la inconsistencia de los fenómenos naturales. En lugar de
manejar esta variabilidad como cualitativa, puede incorporarse a un modelo matemático y manejarse en
forma cuantitativa. Por lo general, este tratamiento puede lograrse si el fenómeno natural muestra un cierto
grado de regularidad, de manera que sea posible describir la variación mediante un modelo probabilístico.

Este capitulo presenta modelos de probabilidad para procesos que evolucionan en el tiempo de una manera
probabilística. Tales procesos se llaman procesos estocásticos. Después de introducir brevemente los
procesos estocásticos generales en la primera sección, el resto del capítulo está dedicado a un tipo especial
de proceso, llamado Cadena de Markov. Las cadenas de Markov tienen la propiedad particular de que las
probabilidades que describen la forma en que el proceso evolucionará en el futuro dependen sólo del estado
actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos ocurridos en el
pasado. Muchos procesos se ajustan a esta descripción por lo que las cadenas de Markov constituyen una
clase de modelos probabilísticos de gran importancia y por lo tanto, se han aplicado con éxito en áreas tales
como educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción, entre otros.

1.1 ¿QUÉ ES UN PROCESO ESTOCÁSTICO?


Suponga que se observa una característica de un sistema en un conjunto de puntos discretos del tiempo
(que llamaremos T = {0, 1, 2, , t, } y que no necesariamente son equidistantes) y la cual puede tomar en
cada uno de estos tiempos uno de un número finito de estados mutuamente excluyentes, etiquetados como
1, 2, , s1. Sea Xt el valor de la característica del sistema en el tiempo t (Xt toma valores en el conjunto S =
{1, 2, , s}). En la mayor parte de los casos no se conoce Xt con certeza antes del tiempo t y por lo tanto se
puede considerar como variable aleatoria. Así, un proceso estocástico de tiempo discreto y estado finito
no es más que un conjunto indexado de variables aleatorias idénticamente distribuidas {Xt} sobre un
conjunto discreto T, las cuales toman valores en un conjunto S = {1, 2, 3, , s}, y el cual da una descripción
de la relación entre las variables aleatorias X0 , X1, X2, , Xt, . A continuación se dan unos ejemplos de
procesos estocásticos de tiempo discreto.

Ejemplo 1.1 La ruina del jugador. En el tiempo 0 tengo $2000. En los tiempos 1, 2,  participo en un
juego en el que solo puedo apostar $1000. Gano con probabilidad p, y pierdo con
probabilidad 1 - p. Mi meta es aumentar mi capital a $4000, y tan pronto como lo logre se
suspende el juego. El juego también se suspende si mi capital se reduce a $0.

Sea t el tiempo después de terminada la t-ésina partida y Xt la variable aleatoria que


representa el capital que poseo después del juego cuando el tiempo es t, si es que lo hay.
Así, los estados que puede tomar el sistema son:
Estado 0 Tener $0
Estado 1 Tener $1000
Estado 2 Tener $2000
Estado 3 Tener $3000
Estado 4 Tener $4000,

y por lo tanto S = {0, 1, 2, 3, 4}. Entonces se puede considerar que {Xt} es un proceso
estocástico de tiempo discreto. Nótese que X0 = 2 es una constante conocida, pero que X1 y
las demás Xt son aleatorias. Por ejemplo, X1 = 3 con probabilidad p y X1 = 1 con probabilidad

1
Es indiferente si se inicia a etiquetar desde 1 o desde 0.
−λ x
e λ
Si x=0 , 1 , 2 , ⋯
P( X= x )=( x !
0 , en cualquier otro caso
2

1 - p. Nótese que si Xt = 4, entonces Xt+1 y todas las demás Xt también serán iguales a 4.
Igualmente, si Xt = 0, entonces Xt+1 y todas las demás Xt serán también cero. Por razones
obvias, a estos casos se les llama problema de la ruina del jugador.

Ejemplo 1.2 Una urna contiene dos bolas, las cuales se encuentran sin pintar. Se selecciona una bola al
azar y se lanza una moneda. Si la bola elegida no está pintada y la moneda produce cara,
pintamos la bola de rojo; si la moneda produce sello, la pintamos de negro. Si la bola ya está
pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo,
independientemente de si la moneda produce cara o sello. Para modelar este caso como
proceso estocástico, definimos a t como el tiempo después que la moneda ha sido lanzada
por t-ésina vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el
estado del sistema mediante el vector [u, r, b], donde u es el número de bolas sin pintar en la
urna, r el número de bolas rojas y b el de bolas negras. Luego los estados del sistema serán:
Estado 1 [2, 0, 0]
Estado 2 [1, 1, 0]
Estado 3 [1, 0, 1]
Estado 4 [0, 1, 1]
Estado 5 [0, 2, 0]
Estado 6 [0, 0, 2].

Se nos dice que X0 = [2, 0, 0]. Después del primer lanzamiento una bola habrá sido pintada
ya sea de rojo o de negro y el estado será [1, 1, 0] o [1, 0, 1]. Por lo tanto, podemos asegurar
que X1 = [1, 1, 0] o X1 = [1, 0, 1]. Es claro que debe haber alguna relación entre las Xt. Por
ejemplo, si Xt = [0, 2, 0], podemos asegurar que Xt+1 será [0, 1, 1].

Ejemplo 1.3 Sea X0 el precio de una acción de la compañía de Computadoras CSL al principio de este día
hábil. También, sea Xt el precio de esa acción al principio del t-ésimo día hábil en el futuro. Es
claro que si se conocen los valores de X0, X1, , Xt estos valores dicen algo acerca
distribución de probabilidad de Xt+1; el asunto es: ¿qué nos dice el pasado (los precios de las
acciones hasta el tiempo t) acerca de Xt+1? La respuesta a esta pregunta es de importancia
crítica en finanzas. Para mayores detalles, véase la siguiente sección.

Ejemplo 1.4 Problema de inventarios. Una tienda de cámaras tiene en almacén un modelo especial
que se puede ordenar cada semana. Sean D1, D2,  las demandas de este tipo de cámara
durante la primera, segunda, , t-ésima semana, respectivamente. Suponga que las Dt son
variables aleatorias independientes e idénticamente distribuidas con distribución de
probabilidad conocida. Sea Xt el número de cámaras que se tiene en el momento de iniciar el
proceso. El sábado en la noche la tienda hace un pedido que le entrega el lunes en el
momento de abrir la tienda. La tienda usa la siguiente política (s, S)2 para ordenar: Si el
número de cámaras en inventario al final de la semana es menor que s = 1 , ordena (hasta) S
= 3. De otra manera no coloca la orden. Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces {Xt} es un proceso estocástico. Los estados
posibles del proceso son:
Estado 0 Tener 0 cámaras en inventario al final de la semana
Estado 1 Tener 1 Cámara en inventario al final de la semana
Estado 2 Tener 2 cámaras en inventario al final de la semana
Estado 3 Tener 3 cámaras en inventario al final de la semana.

2
Una política (s, S) es una política de revisión continua que consiste en ordenar hasta S unidades siempre que el nivel del inventario baje
de s (S  s). Si el nivel de inventario es s o mayor que, no se ordena.
−λ x
e λ
Si x=0 , 1 , 2 , ⋯
P( X= x )=( x !
0 , en cualquier otro caso
3

De hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en
forma iterativa por medio de la expresión

máx {(3−D t+1 ), 0} si X t < 1


X t +1 =
{
máx {( X t −Dt +1 ), 0} si X t ≥1
(1)

Se finalizará esta sección con una explicación breve de los procesos estocásticos de tiempo continuo. Un
proceso estocástico de tiempo continuo es simplemente un proceso estocástico en el que el estado del
sistema se puede examinar en cualquier tiempo y no sólo en instantes discretos. Por ejemplo, se puede
considerar que el número de personas en un supermercado a los t minutos después de abrir, es un proceso
estocástico de tiempo continuo. Los modelos en los que intervienen estos procesos se estudiaran más
adelante. Como el precio de una acción se puede observar en cualquier tiempo, y no sólo al abrir la bolsa,
este se puede considerar como proceso estocástico de tiempo continuo. Al considerarlo así, se ha podido
llegar a importantes resultados en la teoría de finanzas, incluyendo la famosa fórmula de Black-Scholes para
opción de precio.

1.2 ¿QUÉ ES UNA CADENA DE MARKOV?


Es necesario hacer algunas suposiciones sobre la distribución conjunta de X0, X1,  para obtener resultados
analíticos. Hay una suposición que nos lleva a un tipo especial de procesos estocásticos de tiempo discreto
llamados cadenas de Markov. Para simplificar nuestra presentación supondremos que en cualquier tiempo,
el proceso estocástico de tiempo discreto puede estar en uno de un número finito de estados identificados
por 1, 2, ,s.

DEFINICIÓN Un proceso estocástico de tiempo discreto es una cadena de Markov si para t = 0, 1, 2,


 y todos los estados,
P ( X t+1 =i t+1|X t =i t , X t −1=it −1 ,⋯, X 1 =i 1 , X 0 =i 0 ) =P ( X t+1=i t+1|X t =it )
(2)

En esencia, la ecuación (1) dice que la distribución de probabilidad del estado en el tiempo t + 1 depende del
estado en el tiempo t (it) y no depende de los estados por los cuales pasó la cadena para llegar a it, en el
tiempo t, es decir, el estado que tomará el sistema en el futuro inmediato solo depende del presente más no
P ( X t +1 =i t +1|X t =i t )
del pasado. La probabilidad condicional se llama probabilidad de transición, ya que el
sistema en período pasa del estado it+1 al estado it.

P ( X t+1 = j|X t =i)


Además, si para cualquier par de estados i y j ocurre toma el mismo valor para todo t,
se dice que la cadena de Markov es estacionaria en el tiempo y se puede escribir:
P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (3)

donde pij es la probabilidad de que dado que el sistema está en el estado i en el tiempo t, el sistema estará
en el estado j en el tiempo t + 1. Con frecuencia, en una cadena de Markov, a las pij, se les conoce con el
nombre de probabilidades de transición estacionarias.

La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el siguiente periodo con el
estado actual del sistema no cambia, o que permanece estacionaria, en el tiempo. Por este motivo, a
menudo se llama Hipótesis de estabilidad a la ecuación (2). Toda cadena de Markov que cumple con la
Ecc. 2 se llama cadena estacionaria de Markov.

En la mayoría de las aplicaciones, las probabilidades de transición se presentan como una matriz P de
probabilidad de transición s  s. La matriz de probabilidad de transición P se puede escribir como
4

p 11 p12 ⋯ p 1S

[
p
P= 21

pS 1
p22 ⋯ p 2S
⋮ ⋮
pS 2 ⋯ p SS
]
Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el tiempo t + 1. Esto significa
que para cada i,
s
s
∑ P( X t +1= j| X t =i)=1 ∑ pij =1
j=1 o bien que j=1

También sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos
de la matriz de probabilidad de transición son no negativos y además, los elementos de cada renglón deben
sumar 1.

El estudio de las cadenas de Markov también necesita que se defina qi como la probabilidad de que la
cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X0 = i) = qi. Al vector q = [q1, q2, , qs]
se le llama distribución inicial de probabilidad de la cadena de Markov.

Ejemplo 2.1 La ruina del jugador (continuación). Encuentre la matriz de transición del Ejemplo 1.1.

Solución Como la cantidad de dinero que tengo después de t + 1 jugadas depende de los
antecedentes del juego sólo hasta la cantidad de efectivo que tengo después de t jugadas,
no hay duda que se trata de una cadena de Markov. Debido a que como las reglas del juego
no varían con el tiempo, también tenemos una cadena de Markov estacionaria. La matriz de
transición es la siguiente:
Estado
0 1 2 3 4
0 1 0 0 0 0
1 1-p 0 P 0 0
P = 2 0 1-p 0 P 0
3 0 0 1-p 0 p
4 0 0 0 0 1

Si el estado es 0 o 4 no juego más y, por lo tanto, el estado no puede cambiar; entonces p00 =
p44 = 1. Para los demás estados sabemos que, con probabilidad p, el estado del siguiente
periodo será mayor que el estado actual en 1, y con probabilidad 1 - p, el estado del siguiente
periodo será menor en 1 que el estado actual.

Una matriz de transición se puede representar con una gráfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transición pij. La Fig. 1 es una
representación gráfica de la matriz de probabilidad de transición para este ejemplo.

Figura 1
Representación gráfica
de la matriz de
transición para el
ejemplo de la ruina del
jugador

Ejemplo 2.2 (Continuación) Determine la matriz de transición del Ejemplo 1.2 de la sección anterior.

Solución Como el estado de la urna después del siguiente lanzamiento de la moneda depende sólo
del pasado del proceso hasta el estado de la urna después del lanzamiento actual, se trata
5

de una cadena de Markov. Además, las reglas no varían a través del tiempo y por lo tanto
tenemos una cadena estacionaria de Markov. La matriz de transición para el Ejemplo 1.2 es
la siguiente:
Estado
[0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1]
[0, 1, 1] 0 ½ ½ 0 0 0
[0, 2, 0] 1 0 0 0 0 0
[0, 0, 2] 1 0 0 0 0 0
P=
[2, 0, 0] 0 0 0 0 ½ ½
[1, 1, 0] ¼ ¼ 0 0 0 ½
[1, 0, 1] ¼ 0 ¼ 0 ½ 0

Para ver cómo se forma la matriz de transición, determinaremos el renglón [1, 1, 0]. Si el
estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible pasar a
cualquiera de los estados [0, 0, 2], [2, 0, 0] y [1, 1, 0] y por lo tanto la probabilidad de
transición del estado [1, 1, 0] a cualquiera de estos estados es cero. Ahora bien, si el estado
es [1, 1, 0] para alcanzar el estado [0, 2, 0] debe ocurrir que se escoge una bola sin pintar
(con probabilidad ½) y que el resultado del lanzamiento de la moneda sea cara (con
probabilidad ½), lo que da una probabilidad de ¼. Pero si lo que ocurre es que se saca una
bola sin pintar (con probabilidad ½) y el resultado del lanzamiento de la moneda es sello (con
probabilidad ½) se alcanza el estado [0, 1, 1] con probabilidad ¼. Finalmente, si se escoge la
bolla roja (con probabilidad de ½), sin importar el resultado del lanzamiento de la moneda a
esta se le cambiará el color y se alcanza así el estado [1, 0, 1] con probabilidad ½. Lo
anterior se resume en la Tabla 1.

Tabla 1 EVENTO PROBABILIDAD ESTADO NUEVO


Cálculos de las Sacar cara en el lanzamiento y escoger un a bola sin pintar ¼ [0, 2, 0]
probabilidades de
transición si el estado Escoger bola roja ½ [1, 0, 1]
actual es [1, 1, 0] Sacar cruz en el lanzamiento y escoger una bola sin pintar ¼ [0, 1, 1]

En la Fig. 2 se da una representación gráfica de esta matriz de transición.

Figura 2
Representación
gráfica de la matriz
de transición para el
ejemplo de la urna

Ejemplo 2.3 (Continuación) En los últimos años, los estudiantes de finanzas han dedicado mucho
esfuerzo a contestar la pregunta de si el precio diario de una acción se puede describir
mediante una cadena de Markov. Supongamos que el precio diario de una acción, como el
de la compañía de computadoras CSL, se puede representar por una cadena de Markov.
¿Qué nos dice esto? Simplemente que la distribución de probabilidad del precio de las
acciones mañana depende sólo del precio de hoy, pero no de los precios anteriores. Si el
6

precio de una acción se puede representar como cadena de Markov, los “tablistas” que
tratan de predecir los precios futuros sobre la base de los comportamientos seguidos durante
el pasado están mal. Por ejemplo, supongan que el precio diario de una acción de CSL sigue
una cadena de Markov y el precio de hoy es 50 dólares. Entonces, para predecir el precio de
mañana no importa si el precio ha aumentado o disminuido durante cada uno de los últimos
30 días. En cualquier caso, o en cualquier otro caso que pudiera haber conducido al precio
actual de 50 dólares, la predicción del precio de mañana se debe basar sólo en el hecho de
que hoy el precio de esas acciones es de 50 dólares. En la actualidad, el consenso es que
para la mayor parte de las acciones, su cotización diaria se puede describir con una cadena
de Markov. A esta idea se le llama con frecuencia hipótesis del mercado eficiente.

Ejemplo 2.4 Problema de inventario (continuación). Encontrar la matriz de transición para el ejemplo
1.4, suponiendo que Dt tiene una distribución de probabilidad Poisson con parámetro  = 13.

Solución Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). Si Xt=0, entonces Xt+1= máx{(3 – Dt+1),
0}, según la Ecc 1. Pero como Xt+1=0, 3 – Dt+1  0 y por lo tanto Dt+1  3. Así, p00= P(Dt+1  3) = 1
- P(Dt+1  2) = .080; y p10= P(Xt+1=0 | Xt=1) se puede obtener de una manera parecida. Si Xt=1,
entonces Xt+1= máx{(1 – Dt+1), 0}. Pero como Xt+1=0, 1 – Dt+1  0 y por lo tanto la demanda debe
ser 1 o más. Por esto, p10= P(Dt+1  1) = 1 - P(Dt+1 = 0) = .632. Para encontrar p21= P(Xt+1=1 |
Xt=2), observe que Xt+1= máx{(2 – Dt+1), 0} si Xt=2. En consecuencia, si Xt+1=1, entonces la
demanda durante la semana tiene que ser exactamente 1. Por lo tanto, p21= P(Dt+1=1) = .368.
Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente matriz de
transición:
0 1 2 3
0 . 080 . 184 . 368 .368
P=
1
2
3
[ . 632
. 264
. 080
. 368 0
. 368 . 368 0
0

. 184 . 368 .368


]
La Fig. 3 muestra la representación gráfica de esta matriz de transición.

Figura 3
Representación gráfica para
la matriz de transición para
el problema de inventario.

PROBLEMAS

GRUPO A 2. Suponga que la probabilidad de lluvia mañana es


1. En una ciudad, al 90% de los días soleados siguen 0.5 si hoy llueve y que la probabilidad de un día
días soleados, y al 80% de los días nublados claro (sin lluvia) mañana es 0.9 si hoy está claro.
siguen días nublados. Con esta información Suponga además que estas probabilidades no
modelar el clima de la ciudad como cadena de cambian si también se proporciona información
Markov. sobre el clima de días anteriores a hoy.
−λ x
e λ
Si x=0 , 1 , 2 , ⋯
P( X= x)=( x !
3
La distribución Poisson esta dada por: 0 , en cualquier otro caso
7

a) Explique por qué las suposiciones hace que el estado del sistema sea el número de
establecidas implican que la propiedad máquinas que trabajan al principio del día, formule
markoviana se cumple para la evolución del una matriz de probabilidad de transición para este
clima. caso.
b) Formule la evolución del clima como una
cadena de Markov definiendo sus estados y
dando su matriz de transición (de un paso). GRUPO B
3. Considere que si el precio de una acción sube o no 6. En relación con el problema 1, suponga que el
mañana depende de si subió o no hoy y ayer. Si la tiempo de mañana en la ciudad depende del
acción subió hoy y ayer, mañana subirá con tiempo que haya prevalecido los últimos dos días,
probabilidad 1. Si la acción subió hoy y ayer bajó, como sigue: (1) Si los últimos dos días han sido
soleados, entonces el 95% de las veces mañana
mañana subirá con probabilidad 2. Si la acción
será soleado. (2) Si ayer estuvo nublado y hoy
bajó hoy y ayer subió, la probabilidad de que suba
soleado, entonces el 70% de veces mañana estará
mañana es 3. Por último, si la acción bajó hoy y
soleado. (3) Si ayer estuvo soleado y hoy está
ayer, la probabilidad de que suba mañana es 4. nublado, entonces el 60% de las veces mañana
Modele esta situación como una cadena de Markov estará nublado. (4) Si los últimos dos días fueron
y determine la matriz de transición de un paso. nublados, entonces el 80% de las veces mañana
4. Reconsidere el problema 3. Suponga ahora que el será nublado.
hecho que la acción suba mañana depende de si Con esta información modele el clima de la ciudad
subió o no hoy, ayer y antier. ¿Puede este como cadena de Markov. Si el tiempo de mañana
problema formularse como una cadena de Markov? dependiera del de los últimos tres días, ¿cuántos
Si se puede, ¿cuáles son los estados posibles? estados se necesitarían para modelar el clima
Explique por qué estos estados dan al proceso la como cadena de Markov? Nota: El método que se
propiedad markoviana mientras que si definen usa en este problema se puede aplicar para
como se hizo para los estados en el problema modelar un proceso estocástico de tiempo discreto
anterior esto no ocurre. como cadena de Markov, aun si Xt+1 depende de
5. Una fábrica tiene dos máquinas. Durante cualquier los estados anteriores a Xt, tal como Xt-1 en este
día, cada máquina que trabaja al principio del día ejemplo.
tiene probabilidad x de descomponerse. Si se 7. En el Prob. 3, suponga que una máquina que se
descompone una máquina durante el día, se descompone regresa al servicio tres días después.
manda a un taller de reparación y estará Por ejemplo, la máquina que se descompone
trabajando después que se descompuso. Por durante el día 3 estará trabajando al principio del
ejemplo, si una máquina se descompone durante el día 6. Determine una matriz de transición de
día 3, estará trabajando al principio del día 5. Si se
probabilidad para este caso.

1.3 PROBABILIDADES DE TRANSICIÓN DE n ETAPAS


Suponga que estudiamos una cadena de Markov con matriz P de probabilidad de transición conocida. Como
todas las cadenas con las que trataremos son estacionarias, no nos importará identificar nuestras cadenas
de Markov como estacionarias. Una pregunta de interés es: si una cadena de Markov está en el estado i en
el tiempo t, ¿cuál es la probabilidad que n períodos después la cadena de Markov esté en el estado j? Como
se trata de una cadena de Markov estacionaria, esta probabilidad será independiente de t y, por lo tanto,
podemos escribir
P(Xt+n = j | Xt = i) = P(Xn = j | X0 = i) = Pij(n)

donde pij(n) se llama probabilidad en la etapa n de una transición del estado i al estado j.

Es claro que pij(1) = pij. Para determinar pij(2) nótese que si el sistema se encuentra hoy en el estado i,
entonces para que el sistema termine en el estado j dentro de 2 periodos, debe pasar del estado i al estado
k y después pasar del estado k al estado j (Fig. 3). Este modo de razonar nos permite escribir
k =s
pij (2)=∑ ( probabilidad de transición de i a k )( probabilidad de transición de k a j)
k =1

De acuerdo con la definición de P, la matriz de probabilidad de transición, replanteamos la última ecuación


en la siguiente forma:
8

K =s
pij (2)= ∑ pik p kj
k =1 (4)

El segundo miembro de la ecuación (3) es tan sólo el producto escalar del renglón i de la matriz P por la
columna j de esa matriz. Por lo tanto, pij(2) es el ij-ésimo elemento de la matriz P2. Generalizando este modo
de razonar, se puede demostrar que para n > 1,
Pij(n) = elemento ij-ésimo de Pn (5)

La Ecc. 4 es conocida como Ecuación de Chapman—Kolmogorov.

Figura 4
pij(2) = pi1 p1j + pi2 p2j +
 + pispsj

Naturalmente, para n = 0, pij(0) = P(X0 = j | Xo = i) y, por lo tanto, debemos escribir

pij (0 )= 1 si j=i
{0 si j≠i

En el Ejem. 3.1 mostraremos el uso de la ecuación (5).

Ejemplo 3.1 Ejemplo de Cola. Suponga que toda la industria de refrescos produce dos colas. Cuando
una persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente
compra sea de cola 1. Si una persona compró cola 2, hay 80% de probabilidades que su
próxima compra sea de cola 2.
1. Si actualmente una persona es comprador de cola 2, ¿cuál es la probabilidad que compre
cola 1 pasadas dos compras a partir de hoy?
2. Si en la actualidad una persona es comprador de cola 1, ¿cuál es la probabilidad que
compre cola 1 pasadas tres compras a partir de ahora?

Solución Consideraremos que las compras de cada una de las personas son una cadena de Markov,
y que el estado en cualquier momento es el tipo de cola que compró la persona por última
vez. Por lo tanto, las compras de cola por parte de cada una de las personas se pueden
representar con una cadena de Markov de dos estados donde
Estado 1 = la persona acaba de comprar cola 1
Estado 2 = la persona acaba de comprar cola 2

Si definimos Xn como el tipo de cola que compra una persona en la n-ésima compra futura (la
compra actual = X0), entonces X0, X1,  se pueden describir como una cadena de Markov
con la siguiente matriz de transición:

1 2
1 0.90 0.10
P=
2 0.20 0.80
9

Podemos contestar ahora las preguntas 1 y 2.

1. Se busca P(X2 = 1 | X0 = 2) = p21(2) = elemento 21 de P2:

P2 =
[ 0.0. 9020 0.10 ][ 0.90
0.80 0.20
0.10 0.83 0.17
][=
0. 80 0.34 0.66 ]
Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona que
compra cola 2 compre cola 1, después de dos compras a partir de ahora. Con la teoría
básica de probabilidad, podemos obtener esta respuesta siguiendo un camino distinto (Fig.
4). Nótese que p21(2) = (probabilidad que la siguiente compra sea cola 1 y la segunda sea
cola 1) + (probabilidad que la siguiente compra sea cola 2 y la segunda sea cola 1) = p2Ip11 +
p22p21= (0.20)(0.90) + (0.80)(0.20) = 0.34.

Figura 5
Probabilidad de que a
dos periodos a partir de
ahora, un comprador de
cola 2 compre cola 1.

2. Buscamos p11(3) = elemento 11 de P3:

P3 =P(P 2 )=[00 .90.20 0 .10 0 .83 0 .17 0 .781 0.219


][ ][
=
0 .80 0 .34 0 .66 0 .438 0 .562 ]
Por lo tanto, p11(3) = 0.781.

En muchos casos conocemos el estado de la cadena de Markov en el tiempo 0. Como se definió en la Secc.
1.2, sea qi la probabilidad que la cadena esté en el estado i en el tiempo 0. Entonces podemos determinar la
probabilidad de que el sistema esté en el estado i en el tiempo n mediante el siguiente razonamiento (Fig. 5):

Figura 6
Determinación de la
probabilidad de estar en
el estado j en el tiempo
n cuando se desconoce
el estado inicial

Probabilidad de estar en el estado j en el tiempo n


i=s
=∑
i =1 (probabilidad de que el estado original sea i)
X (probabilidad de pasar de i a j en n transiciones)
i=s
=∑ qi pij (n )
i=1
10

= q ¿ (columna j de Pn) (6)

donde q = [q1, q2, ..., qn].

Para mostrar el uso de la ecuación (6) contestaremos la siguiente pregunta: supongamos que el 60% de toda
la gente toma hoy cola 1 y el 40% cola 2. A tres compras a partir de ahora, ¿qué fracción de los compradores
estará tomando cola 1? Como q = [.60, .40] y
q ¿ (columna 1 de P3) = probabilidad de que a tres compras a partir de este momento una
persona tome cola 1,

la probabilidad que se busca es

[ 0.60 0. 40 ] 0.781 =0. 6438


[ 0. 438]
Por lo tanto, a tres compras de este momento el 64% de las personas estará comprando cola 1.

Para mostrar el comportamiento de las probabilidades de transición en n etapas para grandes valores de n,
hemos calculado algunas de las probabilidades transición de n etapas para el ejemplo de la cola y se
muestran en la Tabla 2. Cuando n es grande, p11(n) y p21(n) son casi constantes y tienden a .67. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una probabilidad de 0.67 de que una
persona compre cola 1. Igualmente, vemos que para n grande, tanto p12(n) como p22(n) son casi constantes y
tienden a 0.33. Esto significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola 2. En la Secc. 1.5 estudiaremos con
detenimiento estas tendencias de probabilidad de transición en la etapa n.

Tabla 2 n P11(n) P12(n) P21(n) P22(n)


Probabilidades de
transición en n etapas 1 0.90 0.10 0.20 0.80
para el ejemplo de Cola 2 .83 0.17 0.34 0.66
3 .078 0.22 0.44 0.56
4 0.75 0.25 0.51 0.49
5 0.72 0.28 0.56 0.44
10 0.68 0.32 0.65 0.35
20 0.67 0.33 0.67 0.33
30 0.67 0.33 0.67 0.33
40 0.67 0.33 0.67 0.33

PROBLEMAS
GRUPO A (b) Supongamos que en la actualidad el 40% de
1. Cada familia colombiana se puede clasificar como las familias viven en zona urbana, el 35% en
habitante de zona urbana, rural o suburbana. zona suburbana y el 25% en zona rural.
Durante un año determinado, el 15% de todas las Después de dos años, ¿qué porcentaje de las
familias urbanas se cambian a una zona suburbana familias colombianas vivirá en zona urbana?
y el 5% se cambian a una zona rural. También, el (c) ¿Qué problemas se pueden presentar si este
6% de las familias suburbanas pasan a zona modelo se usara para predecir la distribución
urbana y el 4% se mudan a zona rural. Por último, futura de la población en Colombia?
el 4% de las familias rurales pasan a una zona 2. Se pregunta lo siguiente acerca del Problema de la
urbana y el 6% se mudan a una zona suburbana. ruina del jugador (Secc. 1 y Secc. 2).
(a) Si una familia actualmente vive en una zona (a) Después de jugar dos veces, ¿cuál es la
urbana, ¿cuál es la probabilidad que después probabilidad que tenga $3,000? ¿Cuál la de
de 2 años viva en zona urbana? ¿En zona que tenga $2,000?
suburbana? ¿En zona rural?
11

(b) Después de jugar tres veces, ¿cuál es la


probabilidad que tenga $2,000?
3. En el Ejem. 2.2, determine las siguientes
probabilidades de transición en n etapas:
(a) Después de haber pintado 2 bolas, ¿cuál es la
probabilidad que el estado sea [0, 2, 0]?
(b) Después de haber pintado tres bolas, ¿cuál es
la probabilidad que el estado sea [0, 1, 1]?
Trace un diagrama como el de la Fig. 5.
4. Reconsidere el problema 2 de la sección anterior.
(a) Encuentre la matriz de transición de n
transiciones P(n) para n = 2, 5, 10, 20.
(b) La probabilidad de que llueva hoy es 0.5. Use
los resultados del inciso (a) para determinar la
probabilidad de que llueva dentro de n días,
para n = 2, 5, 10, 20.
5. Suponga que una red de comunicaciones transmite
dígitos binarios, 0 o 1, en donde cada dígito se
transmite 10 veces sucesivas. Durante cada
transmisión, la probabilidad de que ese dígito se
transmita correctamente es de .99. En otras
palabras, se tiene una probabilidad de .01 de que el
dígito transmitido se registre con el valor opuesto al
final de la transmisión. Si X0 denota el dígito binario
que entra al sistema, X1 el dígito binario registrado
después de la primera transmisión, X2 el dígito
binario registrado después de la segunda
transmisión, , entonces {Xt} es una cadena de
Markov.
(a) Determine la matriz de transición.
(b) Diseñe un programa que permita encontrar la
matriz de transición de 10 pasos P(10). Use
este resultado para identificar la probabilidad
de que un dígito que entra a la red se registre
correctamente después de la última
transmisión.
(c) Suponga que la red se rediseña para mejorar
la probabilidad de la exactitud de una sola
transmisión de 0.99 a 0.999. Repita el inciso (b)
para encontrar la nueva probabilidad de que
un dígito que entra a la red se registre
correctamente después de la última
transmisión.
6. Una partícula se mueve sobre un círculo por
puntos marcados 0, 1, 2, 3, 4 (en el sentido de las
manecillas del reloj). La partícula comienza en el
punto 0. En cada paso tiene una probabilidad de
0.5 de moverse un punto en el sentido de las
manecillas del reloj (0 sigue al 4) y una probabilidad
de 0.5 de moverse un punto en el sentido opuesto.
Sea Xn (n  0) la localización en el círculo después
del paso n; {Xn} es entonces una cadena de
Markov.
(a) Encuentre la matriz de transición.
(b) Use el programa hecho en el problema
anterior para determinar la matriz de transición
P(n) para n = 5, 10, 20, 40, 80.
12

1.4 CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV


En la Secc. 1.3 se mostró que después de muchas transiciones, las probabilidades de transición de n etapas
tienden a estabilizarse. Antes de poder describir esto con más detalle, necesitamos estudiar cómo los
matemáticos clasifican los estados de una cadena de Markov. La siguiente matriz de transición se usará
para mostrar la mayoría de las definiciones siguientes (Fig. 6):
0.4 0.6 0 0 0

[
0.5 0.5 0 0 0
P= 0 0 0.3 0.7 0
0 0 0.5 0.4 0.1
0 0 0 0.8 0.2
]
DEFINICIÓN Dados dos estados i y j, la trayectoria de i a j es la sucesión de transiciones que
comienza en i y termina en j, de modo que cada transición de la secuencia tenga
probabilidad positiva de presentarse.

Figura 7
Representación gráfica
de la matriz de
transición

DEFINICIÓN Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j , es
decir, si para algún n 1, pij(n) > 0.

Entonces, que el estado j sea alcanzable desde el estado i significa que es posible que el sistema llegue
eventualmente al estado j si comienza en el estado i.

DEFINICIÓN Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable


desde j.

Para la matriz P de probabilidad de transición representada en la Fig. 6, el estado 5 es alcanzable desde el


estado 3 (a través de la trayectoria 3—4—5), pero el estado 5 no es alcanzable desde el estado 1 (no hay
trayectoria que vaya de 1 a 5 en la Fig. 6). También, los estados 1 y 2 se comunican: podemos pasar de 1 a
2 y de 2 a 1.

DEFINICIÓN Un conjunto de estados S en una cadena de Markov es conjunto cerrado si ningún


estado fuera de S es alcanzable desde un estado en S.

De la cadena de Markov con la matriz P de la Fig. 6, tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos
cerrados. Observe que una vez que entramos a un conjunto cerrado no podemos dejarlo nunca. En la Fig. 6
ningún arco comienza en S1 y termina en S2 o principia en S2 y termina en S1. Es evidente que todos los
estados de un conjunto cerrado se comunican y por lo tanto estos no son más que clases de equivalencia
inducidas por la relación de comunicación.
13

DEFINICIÓN Una cadena de Markov es irreducible si todos sus estados pertenecen al mismo
conjunto cerrado.

Lo anterior significa que todos los estados de la cadena pertenecen a la misma clase de equivalencia
inducida por la relación de comunicación y por lo tanto todos sus estados se comunican. El problema de
inventario corresponde a una cadena de Markov irreducible (Fig. 3), ya que todos sus estados se comunican.

DEFINICIÓN Un estado i es estado absorbente si pii = 1

Siempre que entramos a un estado de absorción, nunca lo podremos dejar. En el Ejem. 1, la ruina del
jugador, los estados 0 y 4 son absorbentes. Es natural que un estado absorbente sea un conjunto cerrado
que sólo contenga un estado.
14

DEFINICIÓN Un estado i es estado transitorio si exite un estado j alcanzable desde i, pero el estado
i no es alcanzable desde el estado j.

En otras palabras, un estado i es transitorio si hay manera de dejar el estado i de tal modo que nunca se
regrese a él. En el ejemplo de la ruina del jugador, los estados 1, 2 y 3 son estados transitorios. Por ejemplo
(Fig. 1), desde el estado 2 es posible pasar por la trayectoria 2—3—4, pero no hay modo de regresar al
estado 2 desde el estado 4. Igualmente, en el Ejem. 2.1, [2, 0, 0], [1, 1, 0] y [1, 0, 1] son estados transitorios.
En la Fig. 2, hay una trayectoria desde [1, 0, 1] a [0, 0, 2], pero una vez que se hayan pintado ambas bolas,
no hay manera de regresar a [1, 0, 1].

Después de un gran número de periodos, la probabilidad de encontrarse en cualquier estado de transición i


es cero. Cada vez que entramos a un estado i de transición, hay una probabilidad positiva de dejar i para
siempre y terminar en el estado j, descrito en la definición de estado transitorio. Así, al final, tenemos la
seguridad de entrar al estado j (y en ese caso nunca regresaremos al estado i). Así, suponga que en el
Ejem. 2.2 nos encontramos en el estado transitorio [1, 0, 1]. Con probabilidad 1, la bola no pintada la
pintaremos finalmente y nunca regresaremos a ese estado [1, 0, 1] (Fig. 2).

DEFINICIÓN Si un estado no es transitorio, se llama estado recurrente.

En el Ejem. 2.1, los estados 0 y 4 son estados recurrentes (y también estados absorbentes 4). En el Ejem.
2.2, [0, 2, 0], [0, 0, 2] y [0, 1, 1] son estados recurrentes. Para la matriz de transición de la Fig. 7 todos los
estados son recurrentes.

La recurrencia es una propiedad de clase, es decir, todos los estados de una clase (o conjunto cerrado) son
recurrentes o son transitorios. Entonces, todos los estados de una cadena de Markov de estado finito
irreducible son recurrentes

DEFINICIÓN Un estado i es periódico con periodo k >1 si k es el menor número tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud múltiplo de
k. Si un estado recurrente no es periódico, se llama aperiódico.

Al igual que la recurrencia es una propiedad de clase, también lo es la periodicidad. Esto es, si el estado i en
una clase tiene período k, todos los estados de esta clase (o conjunto cerrado) tienen período k.

Para la cadena de Markov cuya matriz de transición es


0 1 0

[ ]
Q= 0 0 1
1 0 0

cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la única manera de regresar a ese
estado es seguir la trayectoria 1—2—3—1 durante, digamos, m veces (Fig. 8). Por lo tanto, cualquier regreso
al estado 1 tomará 3m transiciones, de modo que el estado 1 tiene periodo 3. Donde nos encontremos,
tenemos la seguridad de regresar allí tres periodos después.

−λ x
e λ
Si x=0 , 1 , 2 , ⋯
P( X= x)=( x !
4 0 , en cualquier otro caso Todo estado absorbente es recurrente. Lo contrario no es cierto.
15

Figura 8
Cadena periódica de
Markov con k = 3.

DEFINICIÓN Si todos los estados de una cadena son recurrentes, aperiódicos y se comunican entre sí,
se dice que la cadena es ergódica.

El ejemplo de la ruina del jugador no es cadena ergódica porque, por ejemplo, los estados 3 y 4 no se
comunican. El Ejem. 2 tampoco es una cadena ergódica porque, por ejemplo, [2, 0, 0] y [0, 1, 1] no se
comunican. El Ejem. 4, el ejemplo de la cola, es cadena ergódica de Markov. De las siguientes tres cadenas
de Markov, P1 y P3 son ergódicas y P2 no es ergódica.
1 1
0 0

[ ]
2 2
1 2 1 1 1 1 1
0 0 0
P1=
[ ]
3
1
2
0
3
0
1
4
1
2
3
4
Ergódica
P2 =

Ergódica
2
0
0
2
0
0
2
3
1
4
1
3
3
4
No ergódica
P3 =
[ ]
0
4
2
3
2
1
3
2
3
4
0
1
3

P2 no es ergódica porque hay dos clases cerradas de estados (la clase 1 = {1, 2} y la clase 2 = {3, 4}) y los
estados en clases diferentes no se comunican entre sí.

Después de las próximas dos secciones, la importancia del concepto presentado en esta sección será
aclarada.

PROBLEMAS
GRUPOA .2 .8 0 0
1. En el Ejem. 2.1, ¿cuál es el periodo de los estados

2.
1 y 3?
La cadena de Markov de la Secc. 1.3, Prob. 1, ¿es
ergódica?
5.
0 .8 .2
[ ]
P1= .3 .7 0
. 4 .5 .1
P2 =
[ ]
0
.4
0
0
.5
0
.9
.1
0
.1
0
1
En la Serie Mundial de Póquer de 1980 participaron
3. Se tiene la siguiente matriz de transición:
54 jugadores. Cada uno de ellos comenzó con
0 0 1 0 0 0 10000 dólares. Los juegos continuaron hasta que

[ ]
0 0 0 0 0 1 uno de los jugadores ganó todo el dinero de los
0 0 0 0 1 0 demás. Si se modelara esta Serie Mundial como
P= 1 1
0 12 0 0 cadena de Markov, ¿cuántos estados absorbentes
4 4
tendría esa cadena?
1 0 0 0 0 0
0
1
0 0 0 23 6. ¿Cuál de las siguientes cadenas es ergódica?
3
.7 0 0 .3
(a) ¿Cuáles estados son transitorios?
(b) ¿Cuáles estados son recurrentes?
(c) Identifique todos los
cerrados de estados.
(d) ¿Es ergódica esa cadena?
conjuntos
.4 0 .6
[ ]
P1= .3 .3 .4
0 .5 .5
P2 =
[.2
.6
.2
.2
.1
0
.4
.1
0
.2
.2
.8
]
4. Para cada una de las siguientes matrices.
Determine si la cadena de Markov es ergódica.
También, para cada cadena, determine los estados
recurrentes, transitorios y absorbentes.

1.5 PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS MEDIOS DE PRIMER PASAJE


En nuestra descripción del ejemplo de Cola (Ejem. 4), encontramos que después de largo tiempo, la
probabilidad de que la siguiente compra de una persona fuera de cola 1 tiende a 0.67, y la de que la compra
16

siguiente fuera de cola 2 a 0.33 (Tabla 2). Estas probabilidades no dependieron de si la persona era al
principio tomador de cola 1 o de cola 2. En esta sección describiremos el importante concepto de
probabilidades de estado estable, el cual se puede usar para describir el comportamiento de una cadena de
Markov a largo plazo.

El resultado siguiente es vital para comprender las probabilidades de estado estable y el comportamiento a
largo plazo de cadenas de Markov.

TEOREMA 1 Sea P la matriz de transición de una cadena ergódica de s estados5. Existe entonces un
π =[ π 1 π2 ⋯ π s ]
vector tal que
π1 π2 ⋯ π s

n→∞
π

[
lim Pn = 1

π1
π2 ⋯ π s
⋮ ⋮
π2 ⋯ π s
]
Recuerde que el ij-ésimo elemento de Pn es pij(n). El teorema 1 establece que para cualquier estado inicial i,
lim pij ( n )=π j
n→∞

Observe que para n grande, Pn tiende a una matriz con renglones idénticos. Esto quiere decir que después
de mucho tiempo, la cadena de Markov se estabiliza e, independientemente del estado inicial i, hay una
probabilidad j de que nos encontremos en el estado j.

π =[ π 1 π 2 ⋯ π s ]
El vector a menudo se llama distribución de estado estable, o también
distribución de equilibrio para la cadena de Markov. ¿Cómo podemos encontrar la distribución de
probabilidades estacionaria para una cadena dada cuya matriz de transición es P? Según el teorema 1, para
n grande y para toda i,
pij(n + 1)  pij(n)  j, (7)

Como pij(n + 1) = (renglón i de Pn)(columna j de P), podemos escribir


s
pij (n+1 )= ∑ pik ( n) p kj
k =1 (8)

Si n es grande, al sustituir la ecuación (6) en la (7) se obtiene


s
π j = ∑ π k p kj
k =1 para j = 0, 1, , s (9)

En forma matricial, la ecuación (8) se puede escribir como:


=P (9')

Desafortunadamente, el sistema de ecuaciones que especifica la ecuación (8) tiene un número infinito de
soluciones, porque el rango de la matriz P siempre resulta ¿ 1. Para obtener valores únicos de
probabilidades de estado estable, note que para toda n y toda i,
pi1(n) + pi2(n) + ... + pis(n) = 1 (10)

−λ x
e λ
Si x=0 , 1 , 2 , ⋯
P( X= x)=( x !
5 0 , en cualquier otro caso Para ver por qué el teorema 1 no puede ser válido para una cadena no ergódica, véanse los
problemas 9 y 10 al final de esta sección.
17

Al hacer que n tienda al infinito en la Ecc. (9), obtenemos


1 + 2 + ... +s = 1 (11)

Así, después de reemplazar cualquiera de las ecuaciones (9) por (11), podemos usar el nuevo conjunto de
ecuacuines para despejar las probabilidades de estado estable.

Para mostrar cómo determinar las probabilidades de estado estable, las calcularemos para el Ejem. 4, de la
Cola. Recuerde que la matriz de transición de ese ejemplo era

P=
[0.90 0.10
0.20 0.80 ]

Entonces las ecuaciones (9) o (9’) producen

[ π1 π 2 ]= [ π 1 π 2 ]
[00 .90.20 0 .10
0 .80 ]
1 = 0.901 + 0.202
2 = 0.101 + 0.802

Al reemplazar ha segunda ecuación por la condición 1 + 2 = 1, obtenemos el sistema


1 = 0.901 + 0.202
1 = 1 + 2

Al despejar 1 y 2, resulta que 1 = 2/3 y 2 = 1/3. Por lo tanto, después de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona dada compre cola 2.

ANÁLISIS DE ESTADO TRANSITORIO


Un vistazo a la Tabla 2 muestra que para el Ejem. 3.1 se alcanza el estado estable, a dos cifras decimales,
sólo después de 10 transiciones. No se puede dar una regla general acerca de qué tan rápido alcanzan las
cadenas de Markov el estado estable, pero si P contiene muy pocos elementos que queden cerca de 0 o de
1, en general, se alcanza en forma muy rápida el estado estable. El comportamiento de una cadena de
Markov antes de alcanzar el estado estable se llama comportamiento transitorio (o a plazo corto). Para
estudiar el comportamiento transitorio de una cadena de Markov, tan sólo se usan las fórmulas para pij(n) de
las ecuaciones (4) y (5). Sin embargo es bueno saber que para n grande, las probabilidades de estado
estable describen con exactitud la probabilidad de encontrarse en un estado determinado.

INTERPRETACIÓN INTUITIVA DE LAS PROBABILIDADES DE ESTADO ESTABLE


Se puede dar una interpretación intuitiva de las ecuaciones (8) de probabilidad de estado estable. Al restar
jpjj de ambos lados de (8) se obtiene

π j (1− p jj )= ∑ π k p kj
k≠ j (12)

La ecuación (11) dice que en el estado estable,


La probabilidad de que el sistema en una transición determinada deje el estado j
= probabilidad de que en una transición determinada entre al estado j (13)

Recuérdese que en el estado estable, la probabilidad de que el sistema esté en el estado j es j. Según esa
observación se concluye que
Probabilidad de que una transición particular deje el estado j
= (probabilidad de que el periodo actual comience en j)
x (probabilidad de que la transición actual deje j)
= j(1  pjj)
18

y
Probabilidad de que determinada transición entre al estado j

= k (probabilidad de que el periodo actual comience en k ¿ j)
x (probabilidad de que la transición actual entre a j)
∑ π k p kj
= k≠j

Es aceptable la ecuación (12). Si fuese violada para cualquier estado, entonces para un estado j el lado
derecho de (12) sería mayor que el lado izquierdo. Esto ocasionaría una probabilidad de “acumulación” en el
estado j y no existiría una distribución de estado estable. Se puede considerar que la ecuación (12) dice que
en el estado estable, el “flujo” de probabilidad hacia cada estado debe ser igual al flujo de probabilidad que
sale de cada estado. Esto explica por qué las probabilidades de estado estable se llaman con frecuencia
probabilidades de equilibrio.

USO DE LAS PROBABILIDADES DE ESTADO ESTABLE PARA TOMAR DECISIONES


Ejemplo 4.1 Suponga, en el Ejem. 3.1, que cada cliente hace una compra de cola durante cualquier
semana (52 semanas = 1 año). Suponga que hay 100 millones de clientes de cola. La
producción de una unidad de venta de cola cuesta 1 dólar y se vende a 2 dólares. Una
empresa de publicidad garantiza, por 500 millones de dólares al año, un decremento del 10%
al 5% de la fracción de consumidores de cola 1, que se cambian a cola 2 después de una
compra. ¿Debe contratar a la empresa de publicidad la compañía que fabrica la cola 1?

Solución En la actualidad, una fracción 1 = 2/3 de todas las compras es de cola 1. Cada compra de
cola 1 le deja al fabricante 1 dólar. Como hay un total de 52(100,000,000) = 5,200,000,000 de
compras de cola cada año, las ganancias actuales del fabricante de cola 1, al año, son
2/3(5200000000) = 3466666667 dólares

La empresa de publicidad ofrece cambiar la matriz P a

P1=
[0.95 0.05
0.20 0.80 ]

Para P1, las ecuaciones de estado estable se transforman en


1 = 0.951 + 0.202
2 = 0.051 + 0.802

Al reemplazar la segunda ecuación por 1 + 2 = 1 y despejar, obtenemos 1 = 0.8 y 2 = 0.2. En


este caso, la ganancia anual de la productora de cola 1 será
(.80)(5200000000)  500000000 = 3660000000 dólares

Por lo tanto, el fabricante de cola 1 debe contratar la agencia de publicidad.

TIEMPOS PROMEDIO DE PRIMER PASAJE


En una cadena ergódica, sea mij = número esperado de transiciones antes de alcanzar por primera vez el estado j, dado
que estamos actualmente en el estado i. mij se llama tiempo promedio de primer pasaje del estado i al estado j. En el
Ejem. 3.1, m12 sería el número esperado de botellas de cola que adquiere un comprador de cola 1, antes de comprar una
botella de cola 2.

Suponga que el sistema se encuentra ahora en el estado i. Entonces, puede suceder que pase en una transición
directamente al estado j, con probabilidad pij, o que pase a cualquier estado k ¿ j, con probabilidad pik. En este último
caso, se necesitará un promedio de 1 + mkj transiciones para pasar de i a j. Este modo de pensar indica que
19

m ij= pij ×(1 )+ ∑ [ pik ×(1+mkj )]


k≠ j para j = 1, 2, , s
mij= pij + ∑ pik + ∑ pik mkj
k≠ j k≠ j para j = 1, 2, , s
Como
pij + ∑ p ik=1
k≠j ,
podemos reformular la última ecuación como
mij=1+ ∑ pik m kj
k≠j para j = 1, 2, , s (14)

Al resolver las ecuaciones lineales representadas en (14), podemos encontrar todos los tiempos promedios
de primer pasaje. Se puede demostrar que
1
mii=
πi

Con ello se puede simplificar el uso de las ecuaciones (14).

Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje en el Ejem. 3.1.
Recordemos que 1 = 2/3 y que 2 = 1/3. Entonces
1 1
m 11= 2 =1. 5 m22= 1 =3
3 y 3

Entonces (14) lleva a las dos ecuaciones siguientes:


m12 = 1 +p11m12 = 1 + 0.9m12, m21 = 1 + p22m21 = 1 + 0.8m21

Resolviendo esas ecuaciones encontrarnos que m12 = 10 y m21 = 5. Esto quiere decir que, por ejemplo, una
persona que había tomado cola 1 tomará un promedio de diez botellas de refresco antes de cambiar a cola
2.

PROBLEMAS
GRUPOA regular al principio del año siguiente con
1. Determine las probabilidades de estado estable probabilidad 0.70 y mal con probabilidad 0.30.
para el Prob. 1 de la Secc. 1.3. Cuesta 6000 dólares comprar un buen automóvil,
uno regular se puede conseguir por 2000 dólares;
2. En el problema de la ruina del jugador (Ejem. 3), uno malo no tiene valor de venta, y se debe
¿por qué no es razonable hablar de probabilidades reemplazar de inmediato por uno bueno. Cuesta
de estado estable? 1000 dólares al año el funcionamiento de un buen
3. Para cada una de las siguientes cadenas de automóvil, y 1500 dólares el de uno regular. ¿Debo
Markov, determine la fracción de las veces, a largo reemplazar mi automóvil tan pronto como se vuelve
plazo, que se ocupará cada estado. regular, o debo esperar hasta que se
descomponga? Suponga que el costo de
.8 .2 0

(a)
2

[ ]
3
1
2
1
3
1
2 (b)
[ ]
0 .2 .8
.8 .2 0
(c) Determine todos los tiempos promedio de
funcionamiento de un automóvil durante un año
depende del tipo de vehículo que se tiene a la
mano al principio del año (después de llegar
cualquier auto nuevo, si es el caso).

primer pasaje del inciso (b). 5. Se dice que una matriz cuadrada es doblemente
estocástica si todos sus elementos son no
4. Al principio de cada año, mi automóvil está en negativos y los elementos de cada renglón y cada
buen, regular o mal estado. Un buen automóvil columna suman 1. Para cualquier matriz ergódica y
será bueno al principio del año siguiente, con doblemente estocástica, demuestre que todos los
probabilidad .85, regular con probabilidad .10 y mal estados tienen la misma probabilidad de estado
con probabilidad .05. Un automóvil regular estará
20

estable. (b) Explique por qué falla el teorema 1 en esta


cadena. Sugerencia: Determine si es cierta la
6. Este problema mostrará por qué las probabilidades siguiente ecuación:
de estado estable se llaman a veces
lim p12 (n)=lim p32 (n)
probabilidades estacionarias. Sean 1, 2,..., s las n→∞ n→∞
probabilidades de estado estable para una cadena (c) A pesar del hecho que falla el teorema 1,
ergódica con matriz P de transición. Suponga determine
también que la cadena de Markov comienza en el lim p13 (n ), lim p21 (n),
estado i con probabilidad i. N →∞ n→∞
(a) ¿Cuál es la probabilidad que después de una lim p43 (n), lim p41 (n)
n→∞ n→∞
transición el sistema se encuentre en el estado
i? Sugerencia: Usar la Ecc. 8. 10. Se tiene la siguiente cadena no ergódica
(b) Para cualquier valor de n (n = 1, 2,...), ¿cuál es 0 1 0
la probabilidad de que una cadena de Markov
se encuentre en el estado i después de n
transiciones?
(c) Por qué a las probabilidades de estado estable
[ ]
P= 0 0 1
1 0 0
(a) ¿Por qué esta cadena es no ergódica?
se les llama a veces probabilidades (b) Explique por qué el teorema 1 falla para esta
estacionarias? cadena. Sugerencia: Demuestre que no existe
lim p11 (n )
7. Se tienen dos acciones. Las acciones 1 siempre se n→∞ al hacer una lista del
venden a 10 dólares o 20 dólares. Si hoy las comportamiento que sigue P11(n) a medida que
acciones 1 se venden a 10 dólares, hay una aumenta n.
probabilidad 0.80 de que mañana se vendan a 10
dólares. Si las acciones 1 se venden hoy a 20
dólares, hay una probabilidad 0.90 de que mañana
se vendan a 20 dólares. Las acciones 2 siempre
se venden a 10 dólares o a 25 dólares. Si se
venden hoy a 10 dólares, hay una probabilidad 0.90
de que se vendan mañana a 10 dólares. Si se
venden hoy a 25 dólares, hay una probabilidad 0.85
de que mañana se vendan a 25 dólares. En
promedio, ¿qué acciones se venden a mayor
precio? Determine e interprete todos los tiempos
promedio de primer pasaje.
GRUPO B
8. La compañía de seguros Payoff cobra a sus
clientes de acuerdo a su historia de accidentes. Un
cliente que no haya tenido accidentes durante los
últimos dos años paga 100 dólares de prima anual.
Quien haya tenido un accidente en cada uno de los
dos últimos años paga una prima anual de 400
dólares. A los que hayan tenido un accidente
durante sólo uno de los últimos dos años se les
cobra una prima anual de 300 dólares. Un cliente
que tuvo un accidente durante el último año tiene
una probabilidad de 10% de accidentarse durante
este año. Si un cliente no ha tenido un accidente
durante el último año, tiene una probabilidad de 3%
de sufrir un accidente durante este año. Durante un
año dado, ¿cuál es la prima que paga en promedio
un cliente de Payoff? (Sugerencia: En caso de
dificultad, pruebe con una cadena de Markov de
cuatro estados.)
9. Se tiene la siguiente cadena no ergódica:
1 1
0 0

[ ]
2 2
1 1
2 2
0 0
P= 1 2
0 0 3 3
2 1
0 0 3 3

(a) ¿Por qué esta cadena es no ergódica?


21

1.6 CADENAS ABSORBENTES


Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los
estados son absorbentes y el resto son transitorios. A esas cadenas se les llama cadenas absorbentes.
Veamos una cadena absorbente de Markov: si comenzamos en un estado transitorio, entonces al final
tendremos la seguridad de dejar el estado transitorio y terminar en uno de los estados absorbentes. Para ver
por qué nos interesan las cadenas absorbentes, describiremos las siguientes dos situaciones:

Ejempl0 6.1 Cuentas por cobrar El estado de cuentas por cobrar en una empresa se modela con
frecuencia como cadena absorbente de Markov6. Suponga que una empresa supone que
una cuenta es incobrable si han pasado más de tres meses de su fecha de vencimiento.
Entonces, al principio de cada mes, se puede clasificar cada cuenta en uno de los siguientes
estados específicos:

Estado 1 Cuenta nueva.

Estado 2 Los pagos de la cuenta están retrasados un mes.

Estado 3 Los pagos de la cuenta están retrasados dos meses.

Estado 4 Los pagos de la cuenta están retrasados tres meses.

Estado 5 Se ha saldado la cuenta.


Estado 6 Se ha cancelado la cuenta por ser mal pagador

Supongamos que los últimos datos indican que la siguiente cadena de Markov describe
cómo cambia el estado de una cuenta de un mes al siguiente:

Nueva 1 mes 2 meses 3 meses Pagada Incobrable

Nueva 0.0 0.6 0.0 .0.0 0.4 0.0

1 mes 0.0 0.0 0.5 0.0 0.5 0.0

2 meses 0.0 0.0 0.0 0.4 0.6 0.0

3 meses 0.0 0.0 0.0 0.0 0.7 0.3

Pagada 0.0 0.0 0.0 0.0 1.0 0.0

−λ x
e λ
Si x=0 , 1 , 2 , ⋯
P( X= x)=( x !
6 0 , en cualquier otro caso Este ejemplo se basa en Cyert, Davidson y Thompson (1963).
22

Incobrable 0.0 0.0 0.0 0.0 0.0 1.0

Por ejemplo, si al principio de un mes una cuenta lleva dos meses de vencida, hay 40% de
probabilidades de que no se pague al principio del mes siguiente y, por lo tanto, que tenga
tres meses de retraso y una probabilidad de 60% de que se pague.

Para simplificar el ejemplo, supondremos que después de tres meses, la cuenta o se cobra o se
considera incobrable. Una vez que una deuda se paga o se considera incobrable, se cierra y
no se tienen más transiciones. Por lo tanto, Pagada e Incobrable son estados absorbentes.
Como toda cuenta al final o se paga o se considera incobrable, las cuentas Nueva, 1 mes, 2
meses y 3 meses son estados transitorios. Por ejemplo, una cuenta vencida hace 2 meses
puede seguir la trayectoria 2 meses  pagada, pero no hay regreso posible de Pagada a 2
meses.

Una cuenta nueva normal será absorbida ya sea como pagada o como incobrable. Una pregunta
de mayor interés es: ¿cuál es la probabilidad de que una cuenta nueva finalmente se pueda
cobrar? Más adelante en esta sección se encontrará la respuesta.

Ejemplo 6.2 Planificación de personal La empresa de abogados Mason y Burger emplea a tres
categorías de abogados: principiantes, con experiencia y socios. Durante un año
determinado hay una probabilidad 0.15 que un abogado principiante sea ascendido a
abogado con experiencia y una probabilidad 0.05 que deje la empresa. También, hay una
probabilidad 0.20 que un abogado con experiencia sea ascendido a socio y una probabilidad
0.10 que deje la empresa. También hay una probabilidad 0.05 que un socio deje la empresa.
La empresa nunca degrada a un abogado.

Surgen muchas preguntas interesantes que la empresa podría contestar. Por ejemplo, ¿cuál es la
probabilidad que un abogado principiante recién contratado se vaya antes de ser socio? En
promedio, ¿cuánto tiempo permanece un abogado principiante recién contratado con la
empresa? Las respuestas se deducirán después en esta sección.

Modelaremos la trayectoria de un abogado en Mason y Burger como cadena absorbente de


Markov con la siguiente matriz de probabilidad de transición:

Principiante Experimentado Asociado


Sale sin ser Sale siendo
socio socio

Principiante 0.8 0.15 0.00 0.05 0.00

Experimentado 0.00 0.70 0.20 0.10 0.00

Asociado 0.00 0.00 0.95 0.00 0.05


0.00 0.00 0.00 1.00 0.00
Sale sin ser socio
0.00 0.00 0.00 0.00 1.00
Sale siendo socio
23

Los dos últimos estados son estados absorbentes y los demás son transitorios. Por ejemplo,
Experimentado es estado transitorio, porque hay una trayectoria de Experimentado a Sale
sin ser socio, pero no hay trayectoria que regrese de Sale sin ser socio a Experimentado.
Suponemos que una vez que un abogado sale de la empresa nunca regresa.

Para toda cadena absorbente se desea conocer: (1) Si la cadena comienza en un estado determinado
transitorio, y antes de alcanzar un estado absorbente, ¿cuál el número esperado de veces que se llegará a
otro estado transitorio?, o dicho de otra manera, ¿cuántos periodos esperamos pasar por un determinado
estado transitorio antes que se efectúe la absorción, partiendo de otro estado transitorio? (2) Si una cadena
inicia en un estado transitorio dado, ¿cuál es la probabilidad terminar en cada uno de los estados
absorbentes?

Para contestar estas preguntes necesitamos formular la matriz de transición con los estados en una lista con
el siguiente orden: primero los estados transitorios y después los absorbentes. Para precisar, se supondrá
que hay s  m estados transitorios (t1, t2, . . ., ts-m) y m estados absorbentes (a1, a2, . . . , am). Entonces la matriz
de transición para la cadena de absorción puede escribirse como sigue:

s -m m

Columnas columnas
P= s - m renglones Q R
m renglones 0 I
En este formato, los renglones y las columnas de P corresponden, en orden, a los estados t1, t2,, ..., ts-m, a1, a2,
..., am. En este caso, I es una matriz identidad m x m que refleja el hecho de que nunca podemos dejar un
estado absorbente; Q es una matriz (s — m) x (s — m) que representa las transiciones entre los estados
transitorios; R es una matriz (s — m) x m que representa las transiciones desde los estados transitorios a los
estados absorbentes; 0 es una matriz m x (s — m) que consta de ceros. Esto refleja el hecho de que es
imposible ir de un estado absorbente a uno transitorio.

Aplicando esta notación al Ejem. 6.1, tenemos que

t1 = Nueva

t2 = 1 mes

t3 = 2 meses

t4 = 3 meses

a1 = Pagada

a2 = Incobrable

Entonces, para ese ejemplo, la matriz de probabilidad de transición se puede expresar como

Nueva 1 mes 2 meses 3 meses Pagada Incobrable


24

Nueva 0.0 0.6 0.0 0.0 0.4 0.0

1 mes 0.0 0.0 0.5 0.0 0.5 0.0

2 meses 0.0 0.0 0.0 0.4 0.6 0.0

3 meses 0.0 0.0 0.0 0.0 0.7 0.3

Pagada 0.0 0.0 0.0 0.0 1.0 0.0

Incobrable 0.0 0.0 0.0 0.0 0.0 1.0

Entonces s = 6, m = 2 y

0 0.6 0 0 0. 4 0
Q=
[
0 0 0.5 0
0 0 0 0. 4
0 0 0 0
]
4 ×4
R=
[ ]
0. 5 0
0. 6 0
0. 7 0.3 4 ×2

Para el Ejem. 6.2, sean

t1 = Principiante

t2 = Experimentado

t3= Socio

a1 = Sale sin ser socio

a2 = Sale siendo socio


y podemos escribir la matriz de probabilidad de transición como

Principiante Experimentado Asociado


Sale sin ser Sale siendo
socio socio

Principiante 0.80 0.15 0.00 0.05 0.00

Experimentado 0.00 0.70 0.20 0.10 0.00

Asociado 0.00 0.00 0.95 0.00 0.05


25

0.00 0.00 0.00 1.00 0.00


Sale sin ser
socio

0.00 0.00 0.00 0.00 1.00


Sale siendo
socio

Entonces s = 3, m = 2, y

0.80 0.15 0 0.05 0

0 [
Q= 0 0.70 0.20
0 0.95 ]
3 ×3
[
R= 0.10 0
0 0.05 ]3 ×2

Podemos ahora investigar algunos hechos acerca de las cadenas absorbentes (Kemeny y Snell (1960)):

(1) Si la cadena comienza en un determinado estado transitorio, y antes de alcanzar un estado absorbente,
¿cuál es entonces el número esperado de veces en las que el sistema entrará en cada estado
transitorio? ¿Cuántos períodos esperamos pasar en un estado transitorio dado antes de que se lleve a
cabo la absorción?
Respuesta: Si en este momento estamos en el estado transitorio ti, el número esperado de periodos que
pasarán en un estado transitorio tj antes de la absorción es el ij-ésimo elemento de la matriz (I — Q)-1.
Para una demostración vea el Prob. 8 al final de esta sección.

(2) Si una cadena inicia en un estado transitorio dado, ¿qué probabilidad hay de terminar en cada uno de
los estados absorbentes?
Respuesta: Si en este momento estamos en un estado transitorio i, la probabilidad de ser absorbidos
finalmente por un estado absorbente aj es el ij-ésimo elemento de la matriz (I — Q)-1R. Para una
demostración vea el Prob. 9 al final de esta sección.

La matriz (I — Q)-1 a menudo se llama matriz fundamental de la cadena de Markov. El lector que se
interese en proseguir el estudio de cadenas de absorción debe consultar Kemeny y Snell (1960).

Ejempl0 6.1 Cuentas por cobrar (continuación)

1. ¿Cuál es la probabilidad que una cuenta nueva sea cobrada alguna vez?

2. ¿Cuál es la probabilidad que una cuenta atrasada un mes se vuelva finalmente


incobrable?
3. Si las ventas de la empresa son 100 000 dólares en promedio mensual ¿cuánto dinero
será incobrable cada año?

Solución De la descripción anterior, recuerde que

0 0.6 0 0 0 .4 0
Q=
[0 0 0.5 0
0 0
0 0
0 0. 4
0 0
] R=
[ ]
0 .5 0
0 .6 0
0 .7 0 . 3
26

Entonces
1 −0. 6 0 0
I−Q=
[
0 1 −0.5 0
0 0
0 0
1 −0. 4
0 1
]
Usando el método Gauss -Jordan llegamos a

t1 t2 t3 t4
t1 1 0 . 60 0 .30 0 .12
t
( I−Q)−1 = 2
t3
t4
[ 0
0
0
1
0
0
0 .50 0 .20
1
0
0. 40
1
]
Para contestar las preguntas 1 a 3 necesitamos calcular

a1 a2

t1 0 . 964 0 .036
t
( I−Q)−1 R= 2
t3
t4
[ 0. 940
0. 880
0 .700
0 .060
0 .120
0 .300
]
Entonces

1. t1 = Nueva, a1 = Pagada. Así, la probabilidad de que una cuenta nueva se pague


finalmente es el elemento 11 de (I — Q)-1R = 0.964.

2. t2 = 1 mes, a2 = Incobrable. Entonces, la probabilidad que una cuenta atrasada un mes


se vuelva incobrable es el elemento 22 de (I — Q)-1R = 0.060.
3. De la respuesta 1, sólo el 3.6% de todas las deudas son incobrables. Como las cuentas
totales del año son 1200000 dólares en promedio, (0.036)(1200000) = 43200 dólares serán
impagables al año.

Ejemplo 6.2 (continuación) Planificación del personal

1. ¿Cuál es la duración promedio de un abogado joven recién contratado en la empresa?

2. ¿Cuál es la probabilidad de que un abogado joven llegue a ser socio?


3. ¿Cuál es la duración promedio que pasa un socio en el bufete?

Solución Recordemos que,


27

0.80 0.15 0 0.05 0


[
Q= 0 0.70 0.20
0 0 0.95 ] [
R= 0.10 0
0 0.05 ]
Entonces,
0.20 0 .15 0

0[
I−Q= 0 0 .30 −0.20
0 0.05 ]
Usando el método Gauss - Jordan se encuentra que

t1 t2 t3

t 1 5 2. 5 10

[
( I−Q)−1 =t 2 0 103
t 3 0 0 20
40
3
]
Entonces,

a1 a2

t 1 0 . 50 0 .50

Por lo tanto,
( I−Q) R=t 2 13
−1

t3 0 [ 1
2
3
]
1. El tiempo esperado que un abogado principiante permanece en la empresa = (duración
esperada del abogado principiante en la empresa como principiante) + (tiempo esperado
que el abogado principiante permanece en la empresa como abogado con experiencia) +
(tiempo esperado que el abogado principiante permanece en la empresa como socio).
Entonces

−1
11
Tiempo esperado como principiante = ( I −Q) =5

−1
12
Tiempo esperado como con experiencia = ( I −Q) = 2.5

−1
13
Tiempo esperado como socio = ( I −Q) = 10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la empresa es
5 + 2.5 + 10 = 17.5 años.
28

2. La probabilidad de que un abogado principiante recién ingresado llegue a ser socio es


tan sólo la probabilidad de que salga de la empresa siendo socio. Como t1 = Principiante
y a2 = Sale siendo socio, la respuesta es el elemento 12 de (I — Q)-1R = 0.50.

3. Como t3 = Socio, buscamos el número esperado de años que pasa en t3, dado que
comenzamos en t3. Este es justamente el elemento 33 de (I — Q)-1R = 20 años. Es
razonable, porque durante cada año hay una probabilidad en 20 que un socio deje el
bufete y, por lo tanto, debe tardar un promedio de 20 años en dejar la empresa.

PROBLEMAS
GRUPO A 50 dólares, el 20% se venden a 30 dólares, y el 30%
permanecen en el bosque.
1. El departamento de admisión del colegio estatal ha (a) ¿Cuál es la probabilidad de que muera un
modelado la trayectoria de un estudiante en esa árbol de 0 a 1.50 m antes de venderse?
institución como cadena de Markov: (b) Si se planta un árbol de menos de 1.50 m,
¿cuál es el ingreso esperado que se va a tener
con ese árbol?
4. Las cadenas absorbentes de Markov se usan en
ventas para modelar la probabilidad de que un
1er 2o 3er 4o Sal Ter cliente que se localiza por teléfono compre
finalmente algún producto. Considere un cliente
1er año .10 .80 0 0 .10 0 posible a quien nunca le ha llamado acerca de
2o año
3er año
4o año
Sale
Termina
[ 0 .10 .85 0 .05 0
0 0 .15 .80 .05 0
0 0 0 .10 .05 . 85
0 0 0 0 1 0
0 0 0 0 0 1
Se observa el estado de cada estudiante al
]
principio de cada semestre de otoño. Por ejemplo,
comprar un producto. Después de una llamada,
hay una probabilidad de 60% de que tenga poco
interés en el producto, de 30% que muestre un gran
interés en el producto, y 10% de que sea borrado
de la lista de los posibles clientes de la compañía.
Se tiene un cliente que actualmente tiene poco
interés en el producto. Después de otra llamada,
hay 30% de probabilidades de que compre el
si un estudiante es de 3er año al principio de este producto, 20% de probabilidades de que sea
semestre de otoño, habrá 80% de probabilidades borrado de la lista, 30% de que el cliente aún tenga
de que al principio del siguiente semestre de otoño poco interés y 20% de que exprese un interés alto.
sea de cuarto año, 15% de probabilidad de que aún Para un cliente que actualmente expresa alto
sea de 3er año y 5% de que salga. Suponemos que interés, después de otra llamada hay 50% de
una vez que sale un estudiante ya nunca vuelve a probabilidades de que compre el producto, 40% de
inscribirse. probabilidades de que siga teniendo gran interés y
(a) Sí un estudiante entra al colegio a primer año, 10% de probabilidades que tenga poco interés.
¿cuántos años se espera que pasen siendo (a) ¿Cuál es la probabilidad de que un nuevo
estudiante? posible cliente al final compre el producto?
(b) ¿Cuál es la probabilidad de que se gradúe un (b) ¿Cuál es la probabilidad de que un posible
estudiante de nuevo ingreso? cliente con poco interés sea borrado de la lista
finalmente?
2. El Herald Tribble obtuvo la siguiente información (c) En promedio, ¿cuántas veces habrá que
acerca de sus suscriptores: durante el primer año llamar por teléfono a un nuevo posible cliente
como suscriptores, el 20% cancelan sus para que compre el producto, o para que sea
suscripciones. De los que se han suscrito por un borrado de la lista?
año, el 10% cancelan durante el segundo año. De
los que se han suscrito por más de dos años, el 4% GRUPO B
cancelan durante cualquier año dado. En 5. En el problema de la ruina del jugador (Ejem. 1),
promedio, ¿cuánto tiempo se suscribe una persona suponga que p = 0.60.
al Herald Tribble? (a) ¿Qué probabilidad hay de que alcance a ganar
4 dólares?
3. Un bosque consta de dos tipos de árboles: los que (b) ¿Cuál es la probabilidad de que salga sin
tienen de 0 a 1.50 m de alto, y los que son más dinero?
altos. Cada año, muere el 40% de los árboles que (c) ¿Cuál es la duración esperada del juego?
tienen menos de 1.50 m, el 10% se venden a 20
dólares cada uno, 30% permanecen entre 0 y 1.50 6. En el cuidado de pacientes ancianos en un hospital
m, y el 20% crecen más de 1.50 m. Cada año, el psiquiátrico, una meta principal es la colocación
50% de los árboles de más de 1.50 m se venden a correcta de los pacientes en pensiones u
29

hospitales para ancianos. El movimiento de 8. Para una matriz Q que represente las transiciones
pacientes entre el hospital, los hogares externos y entre estados transitorios en una cadena
el estado absorbente (la muerte) se puede absorbente de Markov, se puede demostrar que
describir mediante la siguiente cadena de Markov. (I — Q)-1 = I + Q + Q2 + ... + Qn + ...
La unidad de tiempo es un mes: (a) Explique por qué es posible esta expresión de
Hosp Hog Muer (I — Q)-1.
(b) Defina a mij = número esperado de períodos
Hospital .991 .003 .006

Muerte 0[
Hogares .025 .969 .006
0 1 ]
Cada mes que pasa un paciente en el hospital
pasados en el estado transitorio tj antes de la
absorción, si se sabe que iniciamos en el
estado ti. Suponga que el periodo inicial se
pasa en el estado ti. Explicar por qué mij =
(probabilidad de que estemos al principio en el
cuesta 655 dólares al estado, y cada mes que pasa
estado ti) + (probabilidad que estemos en el
en una pensión le cuesta 226 dólares, también al
estado tj después de la primera transición) +
estado. Para mejorar la frecuencia de éxitos de
(probabilidad que estemos en el estado tj
colocación de pacientes, el estado recientemente
después de la segunda transición) + ... +
comenzó un "programa de resocialización
(probabilidad que estemos en el estado tj
geriátrica" (GRP) para preparar a los pacientes a
después de la n-ésima transición) + .
desempeñarse en las pensiones. Algunos
(c) Explique por qué la probabilidad de que
pacientes se colocan en el GRP y a continuación
estemos inicialmente en el estado tj =
pasan a pensiones. Es menos probable que estos
elemento ij-ésimo de la matriz identidad (s — m)
pacientes no se puedan ajustar a sus pensiones.
x (s — m). Explique por qué la probabilidad de
Otros pacientes continúan pasando en forma
que estemos en el estado ti después de la n-
directa del hospital a las pensiones sin haber
ésima transición = elemento ij-ésimo de Qn.
tomado parte en el (GRP). El estado paga 680
(d) Ahora explique por qué mij = elemento ij de (I
dólares cada mes lo que cuesta el paciente en el
— Q)-1.
GRP. El movimiento de los pacientes está
gobernado por la siguiente cadena de Markov: 9. Defina
GRP Hosp Pen.GRP Pensi Muer bij = probabilidad de terminar en un estado
absorbente aj dado que iniciamos en un
GRP .854 . 028 . 112 0 .006

[ ]
estado transitorio tj.
Hosp .013 . 978 0 .003 .006 rij = ij-ésimo elemento de R
Pen .GRP .025 0 . 969 0 .006 qik = ik-ésimo elemento de Q.
Pensi 0 . 025 0 .969 .006 B = matriz (s — m) x m cuyo ij-ésimo elemento es bij.
Suponga que iniciamos en el estado ti. En nuestra
Muerte 0 0 0 0 1 primera transición, pueden suceder tres tipos de
(a) El GRP, ¿ahorra fondos al estado? eventos:
(b) Bajo el sistema anterior y bajo el GRP, calcule Evento 1 Pasamos al estado absorbente aj, con
el número esperado de meses que pasa un probabilidad rij.
paciente en el hospital. Evento 2 Pasamos al estado absorbente que no es
7. Freezco, Inc., vende refrigeradores. La fábrica ∑
k≠ j ik kj .
q b
aj, con probabilidad
otorga una garantía en todos los refrigeradores que Evento 3 Pasamos al estado transitorio tk, con
especifica de cambio gratis de cualquier unidad probabilidad qik.
que se descomponga antes de tres años. Se nos (a) Explique por qué
da la siguiente información: (1) el 3% de todos los k=s−m
refrigeradores nuevos falla durante su primer año bij =r ij + ∑ qik b kj
de funcionamiento; (2) el 5% de todos los k=1
refrigeradores con 1 año de funcionamiento falla (b) Ahora demuestre que bij = ij-ésimo elemento
durante el segundo año de trabajo, y (3) el 7% de de (R + QB) y que B = R + QB.
todos los refrigeradores con dos años de (c) Demuestre que B = (I —Q)-1R y que bij = ij-
funcionamiento falla durante su tercer año. La ésimo elemento de B = (I — Q)-1R.
garantía no vale para el refrigerador de repuesto.
GRUPO C
(a) Use la teoría de cadenas de Markov para
predecir la fracción de todos los refrigeradores 9. General Motors tiene tres divisiones automotrices
que deberá cambiar Freezco. (división 1, división 2 y división 3). También tiene
(b) Suponga que a Freezco le cuesta 500 dólares una división de contabilidad y una de consultoría
cambiar un refrigerador y que vende 10,000 de administración. La pregunta es: ¿Qué fracción
refrigeradores al año. Si la fábrica redujera el del costo de las divisiones de contabilidad y de
plazo de garantía a dos años, ¿cuánto dinero consultoría de administración se debe cargar a
se ahorraría en costos de reemplazo? cada división automotriz? Suponemos que el costo
total de los departamentos de contabilidad y
consultoría se deben repartir entre las tres
30

divisiones automotrices. Durante un año contabilidad. Hay una probabilidad 0.20 de que
determinado, el trabajo de las divisiones de estos costos se asignen a cada división automotriz,
contabilidad y consultoría se asigna como se ve en probabilidad 0.30 de que se asigne a consultoría y
la Tabla 4. probabilidad 0.10 que se asigne a contabilidad. Si
Por ejemplo, contabilidad emplea el 10% de su el dólar se asigna a una división automotriz,
tiempo en problemas generados por el sabemos a qué división se debe cargar ese dólar.
departamento de contabilidad, 20% en trabajos Por ejemplo, si el dólar se carga a consultoría,
generados por la división 3, etc. Cada año, cuesta repetimos el proceso hasta que, por último, el dólar
63 millones de dólares la operación del se cargue a una división automotriz. Use el
departamento de contabilidad, y 210 millones de conocimiento de cadenas de Markov para
dólares la del departamento de consultoría de establecer como asignar los costos de
administración. ¿Qué fracción de esos costos se funcionamiento de los departamentos de
debe asignar a cada división automotriz? Imaginar contabilidad y asesoría entre las tres divisiones
1 dólar en costos incurridos en trabajos de automotrices.

Tabla 4
CONTABILIDAD CONSULTORIA DIVISION 2 DIVISION 3
DE ADMON
Contabilidad 10% 30% 20% 20% 20%
Administración 30% 20% 30% 0% 20%

1.7 MODELOS DE PLANEACIÓN DE PERSONAL


Muchas empresas, como por ejemplo Mason y Burger del Ejem. 6.2, emplean varias categorías de personal.
Con fines de planeación a largo plazo, a menudo es útil poder predecir el número de empleados de cada
categoría que, sí las tendencias actuales continúan, estarán disponibles en el estado estable. Se pueden
hacer esas predicciones a través de un análisis semejante al de la Secc. 1.5 de probabilidades de estado
estable para cadenas de Markov.

Más formalmente, se tiene una organización cuyos miembros se clasifican en cualquier punto en el tiempo
en uno de los s grupos (identificados como 1, 2,..., s). Durante cada periodo, una fracción pij de los que
inician un periodo en el grupo i, al siguiente periodo inician en un grupo j. También, durante cada periodo,
una fracción pis+1 de todos los miembros del grupo i dejan la organización. Sea P la matriz s x (s + 1) cuyo
elemento ij es pij. Al principio de cada periodo, la organización contrata Hi miembros del grupo i. Sea Ni(t) el
número de miembros del grupo i al principio del periodo t. Una pregunta de interés natural es si Ni(t) tiende a
un límite a medida que crece t, o no. Si existe el límite, lo llamaremos Ni. Si cada Ni(t) tiende a un límite,
llamamos a N = (N1, N2, ... ,Ns) el censo de estado estable de la organización.

Si existe censo de estado estable podemos encontrarlo al resolver un sistema de s ecuaciones que se
plantea como sigue: tan sólo nótese que para que exista ese estado, debe ser válido que, para i = 1, 2, ..., s
Número de personas que entran al grupo i durante cada periodo
= número de personas que salen del grupo i durante cada periodo (14)

Después de todo, si la ecuación (14) no fuera válida para todos los grupos, entonces el número de personas
en al menos un grupo se acumularía a medida que pasara el tiempo. Nótese que
Número de personas que entran al estado i durante ¿ H + N p
i ∑ k ki
cada período k≠i
Número de personas que salen del estado i durante ¿ N p
i ∑ ik
cada período k≠i

Entonces la ecuación que se usa para calcular el censo de estado estable es


31

H i + ∑ N k p ki=N i ∑ pik (i=1 , 2 , ⋯, s)


k ≠i k ≠i (14’)

Dados los valores de las pij y de las Hi, se puede usar la ecuación (14’) para despejar el censo de estado
estable. A la inversa, dadas las pij y un censo deseado de estado estable, se puede usar la ecuación (14’)
para determinar una política de contratación, especificada por los valores de H1, H2, ... ,Hs, que logre el censo
deseado de estado estable. Podrá ser imposible mantener algunos censos de estado estable a menos que
algunas Hi sean negativas, lo que equivale a despedir empleados.

Los dos ejemplos que siguen muestran el uso de la ecuación de censo de estado estable.

Ejemplo 7.1 Suponga que se puede clasificar a cada norteamericano en uno de tres grupos: niños,
adultos que trabajan, o retirados. Durante un periodo de un año, 0.959 de los niños aún son
niños, 0.04 de los niños pasan a ser adultos que trabajan y 0.001 de los niños mueren.
Durante cualquier año, 0.96 de los adultos que trabajan permanecen como tales, 0.03 pasan
a ser retirados y 0.01 mueren. También, 0.95 de los retirados permanecen retirados y 0.05 de
los retirados mueren. Nacen mil niños cada año.
1. Determine el censo de estado estable.
2. Cada persona retirada recibe una pensión de 5000 dólares por año. El
fondo de pensión se sufraga con pagos de los adultos que trabajan. ¿Cuánto dinero
debe aportar cada adulto que trabaja, al año, para el fondo de pensión?

Solución 1.Sea
Grupo 1 = niños
Grupo 2 = adultos que trabajan
Grupo 3 = retirados
Grupo 4 = muertos

Los datos son H1 = 1000, H2 =H3 = 0 y


0.959 0.040 0 0.001
P=
[ 0
0
0.960 0.030 0.010
0 0.950 0.050 ]
Entonces la ecuación (14) o la (14’) es:
Núm. que entra al grupo i cada año = Núm. que sale del grupo i cada año
1000 = (0.04 + 0.001)N1 (niños)
0.04N1 = (0.030 + 0.010)N2 (adultos que trabajan
0.03N2 = 0.050N3 (retirados)

Al resolver este sistema de ecuaciones nos encontramos con que N1 = N2 = 24390.24, y N3 =


14634.14.

2. Como en el estado estable hay 14634.14 personas retiradas, en el estado estable reciben
14634.14 x (5000) dólares al año. Por lo tanto, cada adulto que trabaja debe pagar
14634 .14×5000
=3000 dolares por año
24390 .24

Este resultado es razonable, porque en el estado estable hay 5/3 de adultos que, trabajan en
comparación con los retirados.
32

Ejemplo 7.2 Regresemos al bufete de abogados Mason y Burger (Ejem. 6.2). Supongamos que la meta a
largo plazo de ese bufete es tener 50 abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado estable, ¿cuántos abogados de cada tipo deben
contratar cada año?

Solución Sean
Grupo 1 = abogados principiantes
Grupo 2 = abogados con experiencia
Grupo 3 = socios
Grupo 4 = abogados que salen del bufete

Mason y Burger desean obtener N1 = 50, N2 = 30 y N3 = 10. Recuérdese que en el Ejem. 6.2
0.80 0.15 0 0.05

[
P= 0 0.70 0.20 0.10
0 0 0.95 0.05 ]
Entonces la ecuación (14) o la (14’) es
Núm. que entra al grupo i = Núm. que sale del grupo i
H1 = (0.15 + 0.05)50 (abogados principiantes)
(0.15)50 + H2 = (0.20 + 0.10)30 (abogados con experiencia)
(0.20)30 + H3 = (0.05)10 (asociados)

La solución única de este sistema de ecuaciones es H1 = 10, H2 = 1.5, H3 = -5.5. Esto significa
que para mantener el censo deseado de estado estable, Mason y Burger deben despedir 5.5
socios cada año. Esto es razonable, porque cada año hay 0.20(30) = 6 abogados con
experiencia que pasan a ser socios, y una vez que lo hacen, permanecen en ese puesto un
promedio de 20 años. Esto muestra que para mantener el número de asociados en 10,
deben despedirse algunos de ellos. Otra solución podría ser reducir, a menos de su valor
actual de 0.20, la fracción de abogados con experiencia que pasan a ser socios cada año.

Para mayor información acerca de los modelos de planeación de personal, se aconseja consultar el
excelente libro de Grinold y Marshall (1977).

PROBLEMAS

GRUPO A 1/3 permanece en Nueva York. También


1. Este problema es acerca del Prob. 1 de la Secc. diariamente, 1/3 de la contaminación de Jersey City
19.6. Supongamos que cada año el colegio estatal es llevada por el viento a Nueva York, 1/3
admite 7,000 estudiantes de nuevo ingreso, 500 de permanece en Jersey City y 1/3 pasa a Newark. Y
segundo año y 500 de tercer año. A largo plazo, por último, 1/3 de la contaminación de Newark
¿cuál será la composición del estudiantado en ese permanece allí y el resto pasa a Jersey City. En un
colegio? día normal, ¿cuál ciudad será la más
contaminada?
2. En el Ejem. 9, suponga que el progreso de la
medicina ha reducido la tasa anual de mortalidad 4. Circula dinero entre los tres planetas "capitales" de
de retirados de 5% a 3%. ¿Cuánto aumenta la la federación: Vulcano, Fobos y Marte. En forma
contribución anual para pensiones, debido a esto, ideal, a la federación le gustaría tener 5 mil
que pagan los adultos que trabajan? millones de dólares en circulación en cada planeta.
Cada mes 1/3 de todo el dinero de Vulcano sale de
3. La ciudad de Nueva York produce 1,000 ton de circulación, 1/3 permanece allí y 1/3 termina en
contaminación al día, Jersey City 100, y Newark 50. Fobos. Cada mes, 1/3 del dinero en Marte
Cada día 1/3 de la contaminación de Nueva York permanece allí, 1/3 pasa a Fobos y 1/3 pasa a
es llevada por el viento a Newark, 1/3 se disipa y Vulcano. También cada mes, 2/3 del dinero de
33

Fobos pasa a Marte y 1/3 permanece allí. La transfusiones de sangre (véase tabla 5). Por
federación inyecta dinero al sistema en Vulcano. ejemplo, según la política 1, la sangre tiene un 10%
¿Hay algún modo de tener un nivel de estado de probabilidades de usarse en transfusión durante
estable de 5 mil millones de dólares en circulación su primer día en el hospital. Según la política 2, la
en cada planeta? sangre con cuatro días de antigüedad tiene el 10%
de probabilidad de ser usada.
GRUPO B
Tabla 5
5. Todos los profesores de la Facultad de Comercio
de una universidad se clasifican como de tiempo EDAD DE LA SANGRE
completo y de tiempo parcial. Cada año el 10% de (al inicio del día)
los de tiempo parcial pasan a ser de tiempo Probabilidad de uso
0 1 2 3 4
completo y el 10% salen de la Facultad; el 95% de en transfusiones
los de tiempo completo permanecen y el 5% salen. Política 1 .10 .20 .30 .40 .50
La Facultad de Comercio desea mantener un Política 2 .50 .40 .30 .20 .10
profesorado de 100 miembros, de los cuales el x%
(a) La política FIFO (First-in, First-out), primeras
son de tiempo parcial. Determine una política de
entradas primeras salidas, usa primero la
contratación que logre esta meta. ¿Para qué
sangre "vieja", mientras que la política LIFO
valores de x se necesita despedir profesores de
(Last-in, First out) últimas entradas primeras
tiempo completo, de acuerdo con la política de
salidas emplea primero la sangre "nueva".
contratación? Describa una política que mantenga
¿Cuál política es LIFO y cuál FIFO?
un 10% de tiempo parcial. Describa una política de
(b) Para cada política, determine la probabilidad
contratación que mantenga 40% del profesorado
de que se eche a perder un medio litro de
de tiempo parcial?
sangre recién llegada al hospital.
GRUPO C (c) Para cada política, determine el número
6. Por simplicidad, supongamos que la sangre fresca promedio de medios litros de sangre en
que obtiene un hospital se echa a perder si no se inventario.
utiliza en 5 días. El hospital recibe 100 medios (d) Para cada política, determine la edad
litros de sangre fresca diariamente de un banco de promedio de la sangre que se usa en
sangre local. Son posibles dos políticas para transfusiones.
determinar el orden en el que se hacen (e) Haga comentarios de los méritos relativos de
las políticas FIFO y LIFO.

1.8 DISTRIBUCIÓN EXPONENCIAL


En esta sección nos dedicaremos al estudio de una distribución de probabilidad que es de gran importancia
en el estudio de las cadenas de Markov de tiempo continuo, la distribución exponencial.

Una distribución exponencial con parámetro  tiene una función de densidad


− λt
f (t )= λe si t≥0
{ 0 si t<0 . (15)

En la Fig. 2 se muestra la función de densidad para la distribución exponencial. Aquí se observa que f(t)
disminuye rápidamente a medida que t crece. Esto indica que son poco probables valores muy grandes de la
variable y por lo tanto
P [ 0≤T ≤Δt ] >P [ t≤T ≤t+Δt ]

Figura 9
Función de densidad
para una variable
aleatoria X con
distribución
exponencial
34

Se puede demostrar que la función de densidad acumulada para una variable X que tenga distribución de
probabilidad exponencial esta dada por
0 si x <0
F( X )=P( X≤x )= {
1−e λx si x≥0 . (16)

Igualmente, e integrando por partes, podemos demostrar que el promedio de una variable aleatoria X con
distribución exponencial, E(X), está dado por
1
E( X )=
λ . (17)

A su vez, la varianza de esta misma variable es


1
Var X=
λ2 (18)

PROPIEDAD DE AMNESIA DE LA DISTRIBUCION EXPONENCIAL.


La razón por la cual es importante la distribución exponencial para el estudio de las cadenas de Markov de
tiempo continuo se encuentra en el siguiente, lema:

LEMA 1 Si T tiene distribución exponencial, entonces para todo valor no negativo de t y s,


P [ T >t+ s|T >s ] =P(T >t ) (19)

Demostración Notaremos primero que,


∞ ∞
P [ T >t ] =∫t λe−λx dx=[−e− λx ]t =e− λt
(20)
Entonces
P [ T >t +s ∩ T > s ]
P [ T >t + s|T ≥s ] =
P [T > s]
De la Ecc. (20),
P [ T >t+ s ∩ T > s ]=e−λ ( t+s) y P [ T >s ] =e− λs
Así,
e− λ( t+s ) − λt
P [ T >t + s|T >s ] = =e =P [ T >t ]
e−λs

Se puede demostrar que no hay otra función de densidad que satisfaga la Ecc. (19) (véase Feller (1957)).
Por razones que se hacen evidentes, se dice que una función de densidad que satisfaga la Ecc. (19) tiene la
propiedad de amnesia, o de no memoria. Suponga que sabemos que un sistema no ha cambiado de
estado durante las últimas s horas, lo que equivale a que nos digan que T > s y que nos pregunten cuál es la
probabilidad que no cambie de estado durante las siguientes t horas, es decir T > t + s. Entonces, la Ecc. (19)
quiere decir que esta probabilidad no depende del valor de s, y que para todos los valores de s esta
probabilidad es igual a P[T > t]. En resumen, si conocemos que han pasado al menos s unidades de tiempo
durante las cuales el sistema se encuentra en un determinado estado, entonces la distribución del tiempo
que queda para que el sistema cambie de estado, t, no depende de s. Por ejemplo, si t = 4, entonces la Ecc.
(19) produce, para s = 5, s = 3, s = 2 y s = 0,
P [ T >4 +5|T ≥5 ] =P [ T > 4+3|T ≥3 ] =P [ T >4 +2|T >2 ] =P [ T > 4+ 0|T >0 ] =P [ T > 4 ]

La propiedad de amnesia de la distribución exponencial es importante porque establece que la distribución


de probabilidad del tiempo que falta para que el sistema cambie de estado, es independiente del tiempo
35

haya transcurrido desde el último cambio de estado. Para decirlo en términos concretos, suponga que
nuestro sistema es un banco en donde el estado del sistema esta dado por el número de clientes que hay
dentro de él y que el estado del sistema cambia cuando entra o sale un cliente del banco. Para simplificar
consideremos solo la entrada de clientes al banco y supóngase que los tiempos entre llegadas se distribuyen
exponencialmente con  = 6. Entonces la propiedad de amnesia significa que no importa cuánto tiempo haya
pasado desde la última llegada, la distribución de probabilidades que rige el tiempo para la siguiente llegada
tiene la función de densidad 6e-6t. Esto significa que para predecir los comportamientos de las llegadas
futuras no necesitamos mantener registro de cuánto tiempo haya pasado desde la última llegada. Esta
observación puede simplificar mucho el análisis de un sistema.

RELACIÓN ENTRE LA DISTRIBUCIÓN DE POISSON Y LA DISTRIBUCIÓN EXPONENCIAL


Si los tiempos entre la ocurrencia de un mismo tipo de evento son exponenciales, la distribución de
probabilidad del número de eventos que ocurren en cualquier intervalo de tiempo t está dada por el siguiente
teorema importante:

TEOREMA 1 Los tiempos entre ocurrencia de un mismo tipo eventos son exponenciales con parámetro
 si y sólo si el número de eventos que suceden en un intervalo t sigue una distribución
de Poisson con parámetro t.

Una variable aleatoria discreta N tiene una distribución de Poisson con parámetro  si, para n = 0, 1, 2, ,
e− λ λ n
P( N=n )= (n=0 , 1 , 2 , …)
n! (21)

Si N es una variable aleatoria de Poisson, se puede demostrar que E(N) = VarN = . Si hacemos que Nt sea
el número de ocurrencias de eventos de un mismo tipo durante cualquier intervalo de tiempo de longitud t, el
Teorema 1 establece que
−λt n
e ( λt )
P( N t =n )= (n=0 , 1 , 2, …)
n!

Como Nt, es de Poisson con parámetro t, E(Nt) = Varna = t. Un promedio de t llegadas se suceden durante
un intervalo de tiempo de longitud t y, entonces se puede pensar que  es el número promedio de llegadas
por unidad de tiempo, o rapidez de llegadas.

¿Qué hipótesis se necesitan para que los tiempos entre ocurrencias de un mismo tipo de eventos sean
exponenciales? El Teorema 2, más adelante, nos da una respuesta parcial. Veamos las dos hipótesis
siguientes:
1. Las ocurrencias de eventos del mismo tipo definidas en intervalos de tiempo que no se traslapan son
independientes (por ejemplo, el número de llegadas que se tiene entre los tiempos 1 y 10 no nos da
información alguna acerca del número de llegadas entre los tiempos 30 y 50).
2. Para t pequeño, y cualquier valor de t, la probabilidad de que se tenga la ocurrencia de un evento entre
los tiempos t y t + t es t + (t), donde (t) es cualquier cantidad que satisfaga
σ ( Δt )
lim =0
Δt→ 0 Δt

También, la probabilidad de que no ocurra el evento durante el intervalo entre t y t + t es 1 - t + (t) y la


probabilidad que ocurre más de un evento en ese intervalo es (t).

TEOREMA 2 Si son válidas las hipótesis 1 y 2, entonces N, sigue una distribución de Poisson con
parámetro t, y los tiempos entre llegadas son exponenciales con parámetro . Esto es,
f(t) = e-t.
36

En esencia, el Teorema 2 establece que si la rapidez de ocurrencia de eventos es estable, es decir, si no


pueden tenerse ocurrencia de eventos en masa y si los eventos ocurridos en el pasado no afectan los que
ocurrirán en el futuro, entonces los tiempos entre ocurrencia de eventos del mismo tipo seguirán una
distribución exponencial con parámetro  y el número de eventos ocurridos en cualquier intervalo de longitud
t es de Poisson con parámetro t. Las hipótesis del Teorema 2 pueden parecer demasiado restrictivas, pero
con frecuencia los tiempos entre ocurrencias de eventos del mismo tipo son exponenciales aun cuando no
se satisfagan las hipótesis del Teorema 2 (véase Denardo (1982)). Sucede que en muchas aplicaciones, la
hipótesis de tiempos exponenciales entre ocurrencia de eventos del mismo tipo es una muy buena
aproximación a la realidad.

El Ejem. 8.1 ilustra la relación entre la distribución exponencial y la de Poisson

EJEMPLO 8.1 El número de tarros de cerveza pedidos en el Dick’s Pub sigue una distribución de Poisson
con promedio de 30 cervezas por hora.
1. Calcule la probabilidad de que se pidan exactamente 60 cervezas entre las 10 p.m. y las
12 de la noche.
2. Determine el promedio y la desviación estándar del número de cervezas pedidas entre
las 9 p.m. y la 1 a.m.
3. Calcule la probabilidad de que el tiempo entre dos pedidos consecutivos sea entre 1 y 3
minutos.

Solución 1. El número de cervezas pedido entre las 10 p.m. y las 12 de la noche sigue una
distribución de Poisson con parámetro 2(30) = 60. De la Ecc. (19), la probabilidad de que se
pidan 60 cervezas entre las 10 p.m. y la medianoche es
60 60
e 60
60 !

2.  = 30 cervezas por hora; t = 4 horas. Entonces, el número promedio de cervezas


pedidas entre las 9 p.m. y la 1 a.m. es 4(30) = 120 cervezas. La desviación estándar del
número de cervezas pedido entre las 10 p.m. y la 1 a.m. es (120)1/2 = 10.95.

3. Sea T el tiempo en minutos entre pedidos sucesivos de cerveza. El número


30
promedio de pedidos por minuto es exponencial con parámetro, o razón 60
=0 . 5
cervezas por minuto. Entonces la función de densidad de probabilidad entre pedidos de
cerveza es 0.5e-0.5t. Entonces
3 −0 .5 t −0 .5 −1. 5
P(1≤T ≤3 )=∫1 (0 .5e )dt=e −e =0 . 38

PROBLEMAS
GRUPO A
1. El tiempo entre llegadas de autobuses sigue una dos autobuses lleguen durante las siguientes 2
distribución exponencial con promedio de 60 horas?
minutos.
(a) ¿Cuál es la probabilidad de que lleguen (c) ¿Cuál es la probabilidad de que no lleguen
exactamente cuatro autobuses durante las autobuses durante las próximas 2 horas?
siguientes 2 horas? (d) Acaba de llegar un autobús. ¿Cuál es la
(b) ¿Cuál es la probabilidad de que por lo menos probabilidad de que pasen entre 30 y 90
minutos para que llegue el siguiente?

1.9 CADENAS DE MARKOV DE TIEMPO CONTINUO


Todas las secciones anteriores hacen la suposición de que el parámetro t del tiempo es discreto (es decir; t =
0, 1, 2, ...). Tal suposición es adecuada para muchos problemas, pero existen ciertos casos (como en
37

algunos modelos de líneas de espera) en los que se requiere un parámetro (llamado t’) de tiempo continuo,
debido a que la evolución del proceso se está observando de manera continua a través del tiempo. La
definición de una cadena de Markov dada en la sección 2 también se extiende a esos procesos continuos.
Esta sección está dedicada a la descripción de estas cadenas de Markov de tiempo continuo y sus
propiedades.

Para modelar este este tipo de de procesos, como antes, se etiquetan los estados posibles del sistema como
1, , s. Comenzando en el tiempo 0 y dejando que el parámetro t’ corra continuamente, para t’  0 sea la
variable aleatoria X(t’) el estado del sistema en el tiempo t’. Entonces X(t’) tomará uno de sus s valores
posibles en un intervalo 0  t’ < t1, después saltará a otro valor en el siguiente intervalo t1  t’ < t2 y así
sucesivamente, donde los puntos de tránsito t1, t2, … son puntos aleatorios en el tiempo (no necesariamente
enteros), tal como se ilustra en la Figura 10.

Figura 10

Estados tomados por


un sistema en
diferentes puntos del
tiempo cuando este
corre de manera
continua

Ahora consideremos los siguientes tres puntos en el tiempo:

1. t’ = r ( donde r  0),

2. t’ = s (donde s > r) y

3. t’ = s + t ( donde t> 0),

interpretados como sigue:

t’ = r es un tiempo pasado,

t’ = s es el tiempo presente,
t’ = s + t es t unidades hacia el futuro.

Por lo tanto, el estado del sistema se ha observado en los tiempos t’ = s y t’ = r. Estos estados se etiquetan
como
X(s)=i y X(r)=x(r).

Dada esta información, el paso natural es buscar la distribución de probabilidad del estado del sistema en el
tiempo t’ = s + t. En otras palabras, determinar el valor de
P[X(s+t) = j | X(s) = i y X(r) = x(r)], para cada j = 0,1,..., s.

Con frecuencia es muy difícil derivar estas probabilidades condicionales. Sin embargo, esta tarea se
simplifica considerablemente si el proceso estocástico involucrado posee la siguiente propiedad clave.
38

PROPIEDAD MARKOVIANA

Un proceso estocástico de tiempo continuo {X(t’); t’> 0} tiene la propiedad markoviana si


P[X(t+s) = j | X(s)=i y X(r) = x(r)] = P[X(t+s) = j |X(s) = i]

Para toda i,j = 0, 1,, s y para toda r > 0, s > r y t>0.

Observe que P[X(t+s) = j | X(s) = i] es una probabilidad de transición, igual a las probabilidades de transición
de las cadenas de Markov de tiempo discreto que se estudiaron en las secciones anteriores, donde la única
diferencia es que ahora no es necesario que t sea entero.

DEFINICIÓN

Si las probabilidades de transición son independientes de s, de manera que

P[X(t+s) = j | X(s) = i] = P[X(t) = j | X(0) = i]

para toda s > 0, se dice que las probabilidades de transición son estacionarias.

Para simplificar la notación se denotarán estas probabilidades estacionarias por

Pij(t) = P{X(t) = j | X(0) = i}

en donde se hará referencia a Pij(t) como la función de probabilidad de transición de tiempo continuo. Se
supone que

lim Pij (t)=¿ {1 , si i=j¿¿¿¿


t →0

Así, un proceso estocástico de tiempo continuo {X(t’); t’> 0} es una cadena de Markov de tiempo continuo si
cumple la propiedad markoviana.

Aquí se restringirá el estudio a las cadenas de Markov de tiempo continuo a aquellas con un número finito de
estados y el donde las probabilidades de transición sean estacionarias.

ALGUNAS VARIABLES ALEATORIAS IMPORTANTES


En el análisis de las cadenas de Markov de tiempo continuo, un conjunto importante de variables aleatorias
es el siguiente.

TIEMPO DE PERMANENCIA EN EL ESTADO i


Cada vez que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes
de moverse a uno diferente es una variable aleatoria Ti, donde i = 0, 1, , s.

Suponga que el proceso entra en el estado i en el tiempo t’ = s. Entonces, para cualquier cantidad de
tiempo fija t > 0, observe que Ti > t si y sólo si X(t’) = i para toda t’ en el intervalo s  t’  s + t. Por lo tanto, la
propiedad markoviana (con probabilidades de transición estacionarias) implica que
39

P[Ti > t+s | Ti > s] = P[Ti > t].

Ésta no es más que la propiedad de amnesia exhibida por la distribución de probabilidad exponencial, la cual
significa que la distribución de probabilidad del tiempo que falta para que el proceso haga una transición
fuera de un estado dado siempre es la misma, independientemente del valor s, es decir, del tiempo haya
pasado el proceso en ese estado.

Este resultado lleva a una forma equivalente de definir una cadena de Markov de tiempo continuo:

1
1. La variable aleatoria Ti tiene una distribución exponencial con media λi .

2. Cuando sale de un estado i, el proceso se mueve a otro estado j, con probabilidad pij en donde pij
satisface las condiciones

pii=0 , para toda i ,

S
∑ pij =1 para toda i.
j=0
3. El siguiente estado que se visita después del estado i es independiente del tiempo que pasó en el
estado i.

Igual que las probabilidades de transición de un paso jugaron un papel primordial al describir una cadena de
Markov de tiempo discreto, el papel análogo para la cadena de Markov de tiempo continuo lo tienen las
intensidades de transición.

Las intensidades de transición son

d 1−p ii (t )
λi =− p ii (0 )=lim , para i=1 , 2, ⋯, s
dt t →0 t

d p (t )
λij = p ij ( 0)=lim ij = λi p ij , para toda j≠i
dt t →0 t
donde pij(t) es la función de probabilidad de transición de tiempo continuo introducida al principio de la
sección y pij es la probabilidad descrita en la propiedad 2 el párrafo anterior. Más aún, i según se definió
aquí, resulta ser también el parámetro de la distribución exponencial para Ti (vea la propiedad 1 del párrafo
anterior).

La interpretación intuitiva de i y ij es que son tasas de transición. En particular, i es la tasa de transición
hacia afuera del estado i en el sentido de que i es el número esperado de veces en las que el proceso deja
el estado i por unidad de tiempo que pasa en el estado i. Así, i es el recíproco del tiempo esperado de
permanencia en el estado i cada vez que este estado es visitado; es decir,
40

1
λi =
E (T i ) . (22)

De manera similar, ij es la tasa de transición del estado i al estado j en el sentido de que ij es el número
esperado de veces que el proceso transita directamente del estado i al estado j por unidad de tiempo que
pasa en el estado i. Así,

λi =∑ λij
j≠i (23)
Igual que i es el parámetro de la distribución exponencial para Ti, cada ij es el parámetro de una
distribución exponencial para una variable aleatoria relacionada que se describe en seguida.

Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasará en el estado i antes de que
ocurra una transición directa al estado j es una variable aleatoria Tij donde i, j = 0,1,, s y j  i. Las Tij, son
variables aleatorias independientes, donde cada Tij tiene una distribución exponencial con parámetro ij, de
manera que

1
E(T ij )=
λij . (24)

El tiempo que pasa en el estado i hasta que ocurre una transición (Ti) es el mínimo (sobre j  i) de las Tij.
Cuando ocurre la transición, la probabilidad de que sea al estado j es
λ ij
pij=
λi . (25)

PROBABILIDADES DE ESTADO ESTABLE

Igual que las probabilidades de transición de una cadena de Markov de tiempo discreto satisfacen las
ecuaciones de Chapman-Kolmogorov, la función de probabilidad de transición de tiempo continuo satisface
estas ecuaciones. Entonces, para cualesquiera estados i y j, y números no negativos t y s (0  s  t),
S
pij (t )= ∑ pik (s ) pkj (t−s )
k=1 (26)

Se dice que un par de estados i y j se comunican si existen tiempos t1 y t2 tales que pij(t1) > 0 y pij(t2) > 0. Se
dice que todos los estados que se comunican forman una clase. Si todos los estados en una cadena forman
una sola clase, es decir, si la cadena de Markov es irreducible (lo que se supondrá de aquí en adelante),
entonces, pij(t)> 0, para toda t > 0 y todos los estados i y j. Más aún,

lim p ij ( t )=π j
t →∞

siempre existe y es independiente del estado inicial de la cadena de Markov, para j = 0, 1. , s. Estas
probabilidades se conocen comúnmente como las probabilidades de estado estable (o probabilidades
estacionarias) de la cadena de Markov.

Las j satisfacen las ecuaciones


41

s
π j = ∑ π k p kj (t ) para j=1, 2 ,⋯, s y para toda t≥0
k =1 . (27)

Restando a ambos miembros de la Ecc. 27 jpjj(t), se tiene:

π j ( 1− p jj (t ))= ∑ π k pkj (t )
k≠ j .

Dividiendo cada término de la anterior igualdad por t y calculando el límite cuando t tiende a cero se obtiene:

( 1− p jj (t ) ) pkj (t )
π j lim = ∑ π k lim
t→ 0 t k≠ j t→0 t
π j λ j =∑ π k λ kj , para j=1, 2 , ⋯, s
k≠j (28)

Este nuevo conjunto de s ecuaciones es más útil para el cálculo de las probabilidades de estado estable,
que el obtenido en las Eccs. 27. Nuevamente el conjunto de Ecc. 28 no es linealmente independiente, ya
que se obtiene del conjunto de Eccs. 27 que tampoco lo es, y por lo tanto debe eliminarse una cualquiera de
sus ecuaciones y reemplazarse por
s
∑ π j=1 .
k =0 (29)

El conjunto de Eccs. 28 tiene una interpretación intuitiva. El lado izquierdo (j j) es la tasa a la que el
proceso deja el estado j, ya que j es la probabilidad (de estado estable) de que el proceso esté en el estado
j y j es la tasa de transición hacia afuera del estado j dado que el proceso se encuentra en el estado j. De
manera similar, cada término de lado derecho (k kj) es la tasa a la que el proceso entra al estado j desde el
estado k, ya que kj es la tasa de transición del estado k al j dado que el proceso se encuentra en el estado k.
Sumando sobre toda k  j, todo el lado derecho proporciona la tasa a la que el proceso entra al estado j
desde cualquier estado. Por eso la ecuación global establece que la tasa a la cual el proceso deja el estado j
debe ser igual a la tasa en la que el proceso entra al estado j.

Como cada una de las primeras s ecuaciones de estado estable requiere que las dos tasas estén
balanceadas (sean iguales), a veces estas ecuaciones se llaman ecuaciones de balance.

EJEMPLO 9.1 Un taller tiene dos máquinas idénticas que operan continuamente excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con más alta prioridad
para una persona de mantenimiento que trabaja tiempo completo es repararlas en cuanto
lo necesiten. El tiempo requerido para reparar una máquina tiene distribución exponencial
1
con media de 2 día. Una vez que se termina la reparación, el tiempo que transcurre
hasta la siguiente descompostura tiene distribución exponencial con media de 1 día. Estas
distribuciones son independientes.

Solución Definamos la variable aleatoria X(t’) como

X(t’) = número de máquinas descompuestas en el tiempo t’,


de forma que los valores posibles de X(t’) son 0, 1, 2. Por lo tanto, si se corre el parámetro t’ de
manera continua desde el tiempo 0, el proceso estocástico de tiempo continuo {X(t’); t’ 
42

0} proporciona la evolución del número de máquinas descompuestas.

Como tanto el tiempo de reparación como el tiempo hasta la siguiente descompostura tienen
distribuciones exponenciales, {X(t’); t’  0} este proceso es una cadena de Markov de
tiempo continuo con estados 0, 1, 2. En consecuencia, se pueden usar las ecuaciones 28 y
29 para encontrar la distribución de probabilidad de estado estable del número de
máquinas descompuestas. Para hacer esto, se deben determinar todas las tasas de
transición, esto es, las j y kj para k, j = 0, 1, 2.

El estado (número de máquinas descompuestas) aumenta en 1 cuando ocurre una


descompostura y disminuye en 1 cuando se termina una reparación. Como tanto las
descomposturas como las reparaciones ocurren una a la vez, 02 20 = 0. El tiempo
1
esperado de reparación es 2 día, de manera que la tasa a la que se terminan las
reparaciones (cuando hay máquinas descompuestas) es 2 por día, lo que implica que 21 =
10 = 2. De igual forma, el tiempo esperado hasta que se descompone una máquina en
operación es 1 día, de manera que la tasa a la que se descompone (cuando está
operando) es 1 máquina por día; esto implica que 12 = 1. Durante los tiempos en los que
las dos máquinas operan, las descomposturas ocurren a una tasa de 1 + 1 = 2 máquinas
por día, así, 01 = 2. Estas tasas de transición se resumen en el diagrama de tasas que se
muestra en la figura 11.

Figura 11
Diagrama de tasas
para el ejemplo de
una cadena de
Harkov de tiempo
continuo

Se pueden usar estas tasas para calcular la tasa de transición total hacia afuera de cada
estado (Ecc. 20), así:
λ0 =λ 01+ λ02=2
λ1 =λ10 + λ 12=3
λ2 =λ 20+ λ21=2

Sustituyendo todas las tasas en las ecuaciones de estado estable (Eccs 18 y 19), se obtiene

Ecuación de balance para el estado 0: 20 = 21

Ecuación de balance para el estado 1: 31 = 20 + 22

Ecuación de balance para el estado 2: 22 = 1


Las probabilidades suman 1: 0 + 1 + 2 = 1

Cualquiera de las ecuaciones de balance (digamos, la segunda) se puede eliminar como


redundante, y la solución simultánea de las ecuaciones restantes da la distribución de
estado estable como
2 2 1
( π 0 , π 1 , π 2 ) =( 5 , 5 , 5 )
43

Entonces, a la larga, ambas máquinas estarán descompuestas simultáneamente 20% del tiempo
y estará descompuesta una máquina otro 40% del tiempo.

El siguiente capítulo (sobre teoría de colas) contiene muchos ejemplos de cadenas de Markov de tiempo
continuo. De hecho, la mayor parte de los modelos básicos de la teoría de colas caen dentro de esta
categoría. El ejemplo que se acaba de dar en realidad se ajusta a uno de estos modelos (la variación de
fuente de entrada finita al modelo M/M/s).

PROBEMAS
GRUPO A

1. Reconsidere el ejemplo presentado al final de esta trabajo, donde se permite un máximo de tres
sección. Suponga que ahora se agrega al taller una trabajos. Los trabajos llegan individualmente.
tercera máquina, idéntica a las dos primeras. La Siempre que hay menos de tres trabajos, el tiempo
persona de mantenimiento debe atender a todas que transcurre hasta la siguiente llegada tiene
las máquinas. distribución exponencial con media de de ½ día.
a) Desarrolle un diagrama de tasas para esta Los trabajos se procesan uno a la vez y dejan el
cadena de Markov. centro de inmediato. Los tiempos de procesado
b) Construya las ecuaciones de estado estable. tienen una distribución exponencial con media de ¼
c) Resuelva estas ecuaciones para obtener las de día.
probabilidades de estado estable. a) Construya el diagrama de tasas para esta
2. El estado de una cadena de Markov de tiempo cadena de Markov.
continuo está definido como el número de trabajos b) Escriba las ecuaciones de estado estable.
que hay en el momento actual en cierto centro de c) Resuelva estas ecuaciones para obtener las
probabilidades de estado estable.