Investigación Operativa

Escuela Politécnica Nacional

Tutorial de clase
2

Bibliografı́a

HILLIER, F. y LIEBERMAN G. (2010). Introducción a la Investigación

de Operaciones (9a edición). Mc. Graw Hill.

TAHA, H. (2012). Investigación de Operaciones. (9na edición). Prentice

Hall

WINSTON W. (2004). Operations Research Applications and Algo-

rithms. Thomson Brooks

CARTER, M., PRICE, C. y RABADI, G.(2019). Operations Research.

A practical Approach. CRC Press. Segunda Edición.
Capı́tulo 1

Cadenas de Markov

En muchas aplicaciones prácticas, se requiere tener una visión de lo que

sucederá en el futuro, basándose únicamente en la información disponible en
el presente. Una técnica que se utiliza es la construcción y análisis de Cadenas
de Markov.
Para tener una visión general iniciaremos con unos conceptos preliminares.

1.1. Procesos estocásticos

Algunos sistemas complejos tienen caracterı́sticas que evolucionan proba-
bilı́sticamente a través del tiempo.
Supongamos que se registra al inicio del dı́a el clima con el que amaneció la
ciudad de Quito, tendremos tres posibilidades: Soleado, Nublado o Lluvio-
so. Ese registro a través del tiempo será considerado un proceso estocástico.
Sin embargo, a pesar de que existe un registro, los modelos de Cadenas
de Markov, pueden “predecir” un estado futuro, basándose únicamente en
la información del clima actual. Esta propiedad es la caractéristica princi-
pal denominada falta de memoria. Formalmente podemos establecer lo
siguiente:
Definición 1 Un proceso estocástico es una colección de variables alea-
torias indexadas {Xt }, con t ∈ T definidas en un mismo espacio de pro-
babilidad. El conjunto T representa el tiempo, el cual puede ser descrito de
forma discreta o continua. De forma general se necesita tener información
del inicio del proceso (tiempo 0).

3
4 CAPÍTULO 1. CADENAS DE MARKOV

Ejemplo 1 El número de artı́culos al final del dı́a en un sistema de in-

ventarios, es una variable aleatoria. Si se conoce que hay cinco artı́culos en
inventario y se supone que el bodeguero anota al finalizar su turno el número
de artı́culos que permanecen en bodega podrı́amos tener una secuencia de la
siguiente forma: X0 = 5, X1 = 3, X2 = 3, X3 = 0, X4 = 5, X5 = 5, X6 =
2, X7 = 1, . . .

Ejemplo 2 Un ratón se encuentra en la entrada de una casa y se conoce

que puede ir a la sala, la habitación o la cocina. Se ha llevado un registro de
las dependencias visitadas por el ratón en cada minuto y se tiene la siguien-
te secuencia: X0 = entrada, X1 = entrada, X2 = sala, X3 = cocina, X4 =
sala, X5 = habitación, X6 = habitación

Ejemplo 3 Juan es un estudiante de Técnicas de Decisión Estocástica. El

estado de ánimo de Juan es cambiante; a veces puede estar feliz o triste.
Sus compañeros han notado que de forma general el dı́a Lunes está feliz y
su ánimo va cambiando durante los otros dı́as de la semana. En una se-
mana particular anotaron el ánimo con el cual Juan empieza el dı́a: X0 =
feliz, X1 = triste, X2 = feliz, X3 = feliz, X4 = triste

Las variables aleatorias recolectadas en los procesos estocásticos pueden ser

de naturaleza discreta o continua, ası́ también como el subı́ndice que las
acompaña.

1.1.1. Estados de un proceso estocástico

Se dice estado de un proceso estocástico a cada una de las M + 1 cate-
gorı́as mutuamente excluyentes etiquetadas 0, 1, . . . M . Es importante resal-
tar que un proceso estocástico puede tener un número de estados finitos o
infinitos. En nuestro curso nos concentraremos en procesos estocásticos con
número de estados finitos.
Ejemplo 4 En el problema del ratón, ejemplo 2, se pueden etiquetar los
estados de la siguiente manera:
0 : sala
1 : entrada
2 : cocina
3 : habitación
1.2. CADENAS DE MARKOV 5

El proceso estocástico puede escribirse de la siguiente manera: {Xt }, t =

0, . . . 6 , X0 = 1, X1 = 1, X2 = 0, X3 = 2, X4 = 0, X5 = 3, X6 = 3

Ejemplo 5 Para el ejemplo del ánimo de Juan, podrı́amos determinar dos

categorı́as mutuamente excluyentes o estados y etiquetarlos con números, ası́

0 : f eliz

1 : triste
El proceso estocástico {Xt }, t = 0, . . . 4 serı́a X0 = 0, X1 = 1, X2 = 0, X3 =
0, X4 = 1

1.2. Cadenas de Markov

Definición 2 Una cadena de Markov es un proceso estocástico con la
propiedad markoviana o de falta de memoria, esto es, el proceso únicamente
necesita información del presente para poder analizar los estados futuros del
mismo.

Las cadenas de Markov son modelos probabilı́sticos que se usan para predecir
la evolución y comportamiento de un sistema, ya sea a corto o largo plazo.
Por ejemplo, nos puede interesar conocer la repartición del mercado por parte
de marcas competidoras, la evolución de una enfermedad, el estado de la
Economı́a, entre otros aspectos.
Para las definiciones posteriores, se considerarán a i e j, estados determinados
de un proceso estocástico.

Definición 3 La propiedad markoviana o de falta de memoria se

establece como una probabilidad condicional, ası́: P {Xt+1 = j|X0 = k0 , X1 =
k1 , . . . , Xt−1 = kt−1 , . . . , Xt = i} = P {Xt+1 = j|Xt = i} para toda sucesión
de estados i, j, k0 , k1 , . . . , kt−1 . Esta propiedad precisamente se interpreta de
la siguiente forma: No importa la sucesión de estados por los cuales el proceso
ha pasado, lo único relevante para saber qué va a pasar en el tiempo t +
1 (futuro) es el estado en el cual se encuentra el proceso en el tiempo t
(presente).

La propiedad markoviana es una caractéristica que hace que las cadenas

de Markov sean de utilidad en aplicaciones prácticas, puesto que muchas
6 CAPÍTULO 1. CADENAS DE MARKOV

veces mantener un historial de la ocurrencia de ciertas variables aleatorias es

demasiado complicado.
Por facilidad de notación de aquı́ en adelante notaremos:

P {Xt+1 = j|Xt = i} = pij

Debido a que la distancia en tiempo desde t hasta t + 1 es precisamente una

unidad, a las probabilidades pij se las denomina probabilidades condicio-
nales de transición del estado i al estado j. Se entiende entonces con
esta notación que el estado i es el estado actual o presente y el estado j es el
estado al que se realiza la transición (futuro).
También es posible utilizar la noción antes presentada para describir las pro-
babilidades condicionales de transición a n pasos desde el estado i
al estado j, ası́:
(n)
P {Xt+n = j|Xt = i} = pij
Las probabilidades condicionales de transición tienen la propiedad de ser es-
tacionarias, lo cual significa que las probabilidades se mantienen constantes
a iguales intervalos de tiempo, es decir,

P {Xt+1 = j|Xt = i} = P {X1 = j|X0 = i}

y de igual manera,

P {Xt+n = j|Xt = i} = P {Xn = j|X0 = i}

1.2.1. Matrices de transición

Toda cadena de Markov tiene asociada una representación matricial, en
la cual se puede saber las probabilidades condicionales de transición entre
sus estados correspondientes, esta matriz se denomina matriz de transición.

Definición 4 Una matriz de transición a n pasos, T (n) para una cadena

de Markokv con número de estados finitos, tiene dimensión M + 1 × M + 1 y
es tal que en cada entrada se representa las probabilidades condicionales de
transición del estado fila al estado columna a n pasos.
(n)
(tij )M +1×M +1 = pij
1.3. EJERCICIOS: CONSTRUCCIÓN DE MATRICES DE TRANSICIÓN7

Una matriz de transición es una matriz estocástica, puesto que tiene como
caracterı́stica que para cada fila, la sumatoria de sus elementos es igual a 1.
Es decir, en toda matriz de transición a n pasos se satisfacen las siguientes
condiciones:
(n)
pij ≥ 0
PM +1 (n)
j=0 pij = 1. Para todo i = 0, . . . , M + 1

De forma general, la base para describir una cadena de Markov es su matriz

de transición T a un paso.
A continuación proponemos algunos ejercicios en los cuales se debe describir
una matriz de transición a un paso asociado a cada problema.

1.3. Ejercicios: construcción de matrices de

transición
1. En un pueblo el 90 % de dı́as soleados son seguidos por dı́as soleados
y el 80 % de dı́as nublados son seguidos por dı́as nublados. Use esta
información para modelar el clima del pueblo como una cadena de
Markov.Si se supone que el primer dı́a de observación el clima estaba
soleado:

a) ¿Cuál es la probabilidad de que luego de dos dı́as el clima siga

soleado?
b) ¿Cuál es la probabilidad de que luego de cinco dı̀as el clima esté
nublado?
c) ¿Cuál es la probabilidad incondicional de que luego de cinco dı́as
el clima esté nublado?
d ) Si se supone que al inicio el clima estaba soleado o nublado con la
misma probabilidad. Determine la probabilidad incondicional de
que luego de cinco dı́as el cllima esté nublado.

2. En ocasiones, se puede usar el historial de eventos para describir Ca-

denas de Markov, las cuales a pesar de tener la propiedad markoviana,
pueden tomar en cuenta información de eventos pasados mediante la
inclusion de un número mayor de estados. Esto se puede observar en
8 CAPÍTULO 1. CADENAS DE MARKOV

el siguiente ejercicio: Suponga que en el pueblo del ejercicio anterior

el clima de mañana depende de los dos dı́as anteriores de la siguiente
manera. Si los dos últimos dias han sido soleados, entonces el 95 % de
las veces el dı́a siguiente será soleado. Si ayer estuvo nublado y hoy es-
ta soleado, entonces con un 70 % de probabilidad mañana será soleado.
Si ayer estuvo soleado y hoy esta nublado, entonces con un 60 % de
certeza mañana será nublado. Finalmente, si los dos últimos dı́as han
sido nublados, entonces con una probabilidad del 80 % mañana será
nublado.

a) Defina los estados correspondientes y escriba la matriz de transición

asociada al problema.
b) Si el clima del pueblo depende de la información de los últimos
tres dı́as. ¿Cuántos estados se necesitarán para modelar el clima
de este pueblo?.

3. Considere un sistema de inventarios en el cual la secuencia de eventos

durante cada perı́odo es como sigue:

a) Se chequea el nivel de inventario(al que lo llamaremos i) al inicio

del perı́odo.
b) Si i ≤ 1, se ordenan 4 − i ı́tems. Si i ≥ 2, se ordenan 0 ı́tems. La
entrega de una orden es inmediata.
c) Con probabilidad 31 , 0 ı́tems son solicitados durante el perı́odo;
con probabilidad 13 , 1 item es solicitado durante el perı́odo y con
probabilidad 13 , 2 ı́tems son solicitados durante el perı́odo.
d ) Se observa el nivel de inventario al inicio del siguiente perı́odo.

Determine la matriz de transición que podrı́a ser propuesta para mo-

delar este sistema de inventarios como una cadena de Markov.

4. Un jugador participa en un juego en el cual en cada intento puede

ganar un dólar con probabilidad p o perderlo con probabilidad 1 − p.
Si se asume que el jugador tiene como capital inicial 1 dólar. El juego
termina cuando el jugador ha reunido 3 dólares o ha quedado arruinado
(0 dólares).
1.3. EJERCICIOS: CONSTRUCCIÓN DE MATRICES DE TRANSICIÓN9

5. En el problema anterior suponga que p = 0,5. ¿Cuál es la probabilidad

de que luego de dos jugadas el jugador tenga 2 dólares?y ¿cuál es la
probabilidad de que esté arruinado luego de seis jugadas?

6. A continuación se describe un juego de dos jugadores: El jugador A

extrae una carta de una baraja de tres cartas. La baraja contiene dos
cartas marcadas W y una carta marcada L. Si el jugador A extrae una
carta L, entonces debe pagar al jugador B $1dólar, pero si extrae una
carta marcada W entonces recibe $1 dólar del jugador B. Inicialmente
se conoce que el jugador A tiene 1 dólar y el jugador B tiene 3 dólares.
El juego termina cuando uno de los jugadores ha ganado todo el dinero
del contrincante. Describa la matriz de transicion asociada a este juego.

7. Una compañı́a tiene tres máquinas. Durante cualquier dı́a, cada máqui-
na que está trabajando al inicio del dı́a, tiene 31 de probabilidad de
dañarse. Si la máquina falla durante el dı́a, se la envı́a al departamen-
to de reparación y estará nuevamente trabajando dos dı́as despues de
su falla.(Por ejemplo si una máquina se daña durante el dı́a 3, estará
trabajando denuevo al inicio del dı́a 5). Siendo el estado del sistema el
número de máquinas trabajando al inicio de un dı́a, formule una matriz
de transición para esta situación.

8. Tres monos se mueven entre dos árboles. Durante cada perı́odo un mono
se mueve de manera aleatoria al árbol contiguo. Construya la matriz
de transición para este problema. (Sugerencia: un árbol puede contener
en cualquier momento 0,1,2 o 3 monos).

9. Las notas de un grupo de estudiantes pueden ser buenas o malas. Su-

ponga que la nota que obtendrá un estudiante en el examen final de-
pende de las notas de las dos pruebas anteriores, ası́, si sus dos últimas
notas han sido buenas, la probabilidad de que su nota en el examen final
sea buena es del 80 %. Por otro lado, si sus dos últimas notas han sido
malas, la probabilidad de que obtenga una mala nota en el examen final
es del 75 %. También si sus últimas notas han sido la primera buena y
la segunda mala, la probabilidad de que su siguiente nota sea buena es
del 55 %, mientras que si su primera prueba ha sido mala y la segunda
buena, hay un 60 % de probabilidad de que la nota de su examen final
sea buena. Construya la matriz de transición que describa el proceso
10 CAPÍTULO 1. CADENAS DE MARKOV

de obtención de notas de los estudiantes basándose en las notas de sus

dos últimas pruebas.

1.3.1. Ecuaciones de Chapman-Kolmogorov

Las ecuaciones de Chapman-Kolmogorov nos ayudarán a encontrar proba-
bilidades de transición a n pasos y a construir matrices de transición también
a n pasos.
Partiremos de la siguiente idea:
Para alcanzar un estado j en n transiciones desde algún estado i en el con-
junto de estados admisibles de una cadena de Markov, se tiene que haber
visitado algún estado k en m < n transiciones, y luego , en n − m transicio-
nes alcanzar el estado j.
Si escribimos esto como un conjunto de ecuaciones tendremos
M
X
(n) (m) (n−m)
pij = pik pkj para toda i, j = 0, 2, . . . , M m = 1, 2, . . . , n−1 n = m+1, m+2, . . .
k=0

Las ecuaciones arriba descritas se denominan de Chapman-Kolmogorov.

La solución al conjunto de ecuaciones nos proporciona las entradas de la
matriz de transición a n pasos. Consideremos el caso especial en el cual m=1
M
X
(n) (n−1)
pij = pik pkj = T T n−1
k=0

y el caso en el cual m = n − 1
M
X
(n) (n−1)
pij = pik pkj = T n−1 T
k=0

En particular si n = 2 y m = 1 se tiene
M
X
(2)
pij = pik pkj = T T
k=0

Nótese que también para n = 2 y m = n − 1

M
X
(2)
pij = pik pkj = T T
k=0
1.3. EJERCICIOS: CONSTRUCCIÓN DE MATRICES DE TRANSICIÓN11

1.3.2. Probabilidades incondicionales de estado

En ocasiones se desea conocer las probabilidades incondicionales de que
luego de n transiciones el proceso alcance algún estado j, independiente-
mente de la condición del proceso en el pasado. Esta probabilidad se dice
que es incondicional y podemos describirla a partir del conocimiento de la
distribución de probabilidad de estado inicial.

(n) (n) (n)

P {Xn = j} = P {X0 = 0}p0j + P {X0 = 1}p1j + . . . + P {X0 = M }pM j

1.3.3. Clasificación de estados de una cadena de Mar-

kov
Para comprender las propiedades a largo plazo de una cadena de Mar-
kov, es necesario establecer algunas propiedades que tienen estos modelos
probabilı́sticos, en función de sus probabilidades de transición.
Definición 5 Suponga que se tiene una cadena de Markov con M +1 estados.
Un estado j, se dice accesible desde un estado i, si se puede alcanzar el
estado j a partir del estado i en un número determinado de transiciones,
(n)
esto es, si existe algún valor de n ≥ 1 tal que pij > 0.

Definición 6 Dos estados i e j se comunican entre sı́, si i es accesi-

ble desde j y visceversa. La propiedad de comunicación determina clases
ajenas de estados en una cadena de Markov, dos o más estados que se co-
munican entre sı́ pertenecen a una misma clase.

De forma general la propiedad de comunicación define una relación de equi-

valencia, puesto que cumple con las siguientes caracterı́sticas:
1. Todo estado i se comunica consigo mismo (Propiedad reflexiva).
2. Si un estado i se comunica con un estado j, entonces el estado j se
comunica con el estado i (Simetrı́a).
3. Si un estado i se comunica con un estado j y a la vez, éste se comunica
con un estado k, entonces el estado i se comunica con el estado k.

Definición 7 Si todos los estados de una cadena de Markov se comunican

entre sı́, se dice que la cadena es irreducible.
12 CAPÍTULO 1. CADENAS DE MARKOV

Transitividad, recurrencia y periodicidad

Definición 8 Un estado i se dice transitorio si es accesible desde un estado
j, pero el estado j no es accesible desde el estado i.

Un estado se dice transitorio si, luego de haber ingresado a este estado, el

proceso nunca regresa a él.

Definición 9 Un estado se dice recurrente, si el proceso puede regresar

a él un número infinito de veces luego de una o varias transiciones. Por lo
tanto, un estado se dice recurrente si y solo sı́ no es transitorio.
(n)
Un tipo especial de estado recurrente se dice absorbente si y solo sı́ pii = 1
y además ningún otro estado es accesible desde él.

Definición 10 El perı́odo de un estado i se define como el entero t > 1

tal que pii = 0 para todos los valores de n distintos de t, 2t, 37, . . . y t es el
menor entero con esa propiedad.

Ejemplo 6 Considere el caso del problema de la ruina del jugador de casino

con p = 0,5
 
1 0 0 0
0,5 0 0,5 0 
T =  0 0,5 0 0,5


0 0 0 1
Ahora fı́jese en la matriz de transición a 2 pasos
 
1 0 0 0
 0,5 0,25 0 0,25
T2 = 0,25 0 0,25 0,5 


0 0 0 1

Luego tenemos la matriz de transición a 3 pasos

 
1 0 0 0
0,625 0 0,125 0,25 
T3 =  0,25 0,125

0 0,625
0 0 0 1
1.3. EJERCICIOS: CONSTRUCCIÓN DE MATRICES DE TRANSICIÓN13

Y la matriz de transición a 4 pasos

 
1 0 0 0
 0,625 0,0625 0 0,3125
T4 = 
0,3125

0 0,0625 0,625 
0 0 0 1

Se observa que para la clase de estados conformada por los estados 1 y 2, el

(n)
proceso tiene probabilidades positivas pii en tiempos t = 2, 4, . . . por lo tanto
esa clase de estados tiene periodicidad 2.

Si existen dos números enteros consecutivos s y s+1 tal que el proceso puede
encontrarse en el estado i en los tiempos s y s + 1, entonces el estado i se
dice aperiódico.

Definición 11 Una cadena de markov irreducible con todos sus estados ape-
riódicos, se dice ergódica.

1.3.4. Ejercicios
En las siguientes matrices de transición determine las clases, el tipo de
estados (transitorios o recurrentes) y la periodicidad si existiera. Defina cuál
o cuáles de las siguientes matrices representan cadenas de Markov ergódicas.

1.  
0,4 0,6 0
T = 0,2 0,8 0 
0,3 0,2 0,5

2.  
0 1 0
T = 0,25 0,25 0,5 
0 0,25 0,75

3.  
1 0 0
T = 0 1 0
1 0 0
14 CAPÍTULO 1. CADENAS DE MARKOV

4.  
0,4 0,1 0,5 0
0 0,5 0,2 0,3
T =
0,4

0,2 0 0,4
0,5 0,1 0,3 0,1

5.  
0 0,5 0 0,5
0 0 1 0 
T =
1 0 0 0 


0 0 1 0

1.3.5. Propiedades a largo plazo de las Cadenas de

Markov
Si analizamos el ejemplo del clima, en el cual la matriz de transición a un
paso era tal que  
0,8 0,2
T =
0,1 0,9
y se conoce que la cadena de Markov es ergódica. Si consideramos la matriz
de transición a 50 pasos (largo plazo) tenemos
 
50 0,33333 0,66667
T =
0,33333 0,66667

Observamos que sus filas son iguales, lo cual nos da una idea que la pro-
babilidad de transición condicional de un estado i a un estado j va a ser
independiente del estado inicial.
(n)
Definición 12 Para n lo suficientemente grande lı́mn→∞ pij existe y es in-
(n)
dependiente del estado inicial i, se notará por lı́mn→∞ pij = πj > 0 y los
valores πj satisfacen las ecuaciones de estado estable

1. πj = M
P
i=0 πi pij , j = 0, . . . , M
PM
2. j=0 πj = 1

Los valores πj se denominan probabilidades de estado estable de una

Cadena de Markov
1.3. EJERCICIOS: CONSTRUCCIÓN DE MATRICES DE TRANSICIÓN15

Costo esperado y probabilidades de estado estable

El siguiente ejemplo considera las probabilidades de estado estable para
determinar el costo esperado de un proceso.
Una compañı́a de seguros cobra primas a sus clientes de acuerdo con su his-
torial de accidentes. A un cliente que no ha tenido ningún accidente durante
los dos últimos años le cobra 100 dólares de prima anual. Si un cliente ha
tenido un accidente durante cada uno de los últimos dos años, la prima que
se le cobra es de 400 dólares por año. Un cliente que ha tenido un accidente
durante solo uno de los dos años anteriores, paga una prima de 300 dólares
anuales. Un cliente que ha tenido un accidente durante el año pasado, tiene
el 10 % de probabilidad de tener un accidente durante el año actual. Si un
cliente no ha tenido un accidente durante el último año, existe únicamente
un 3 % de probabilidad de que el año actual tenga un accidente. Durante
cualquier año ¿Cúal es la prima promedio que paga un cliente de la asegu-
radora? Sugerencia: Construya con la información proporcionada una matriz
de transición a un paso de una cadena de Markov ergódica con cuatro estados
y calcule el pago esperado utilizando las probabilidades de estado estable.

1.3.6. Ejercicios
1. Un agente comercial realiza su trabajo en tres ciudades A, B y C.
Para evitar desplazamientos innecesarios está todo el dı́a en la misma
ciudad y allı́ pernocta, desplazándose a otra ciudad al dı́a siguiente, si
no tiene suficiente trabajo. Después de estar trabajando un dı́a en C,
la probabilidad de tener que seguir trabajando en ella al dı́a siguiente
es 0,4, la de tener que viajar a B es 0,4 y la de tener que ir a A es 0,2.
Si el agente duerme un dı́a en B, con probabilidad de un 20 % tendrá
que seguir trabajando en la misma ciudad al dı́a siguiente, en el 60 %
de los casos viajará a C, mientras que irá a A con probabilidad 0,2. Por
último si el agente comercial trabaja todo un dı́a en A, permanecerá
en esa misma ciudad, al dı́a siguiente, con una probabilidad 0,1, irá a
B con una probabilidad de 0,3 y a C con una probabilidad de 0,6.

a) Si hoy el agente está en C, ¿cuál es la probabilidad de que también

tenga que trabajar en C al cabo de cuatro dı́as?
b) ¿Cuáles son los porcentajes de dı́as en los que el agente comercial
está en cada una de las tres ciudades?
16 CAPÍTULO 1. CADENAS DE MARKOV

2. El ascensor de un edificio con planta baja y dos pisos realiza viajes de

uno a otro piso. El piso en el que finaliza el viaje n-ésimo del ascensor
puede ser representado como una cadena de Markov. Se sabe que la
mitad de los viajes que parten del bajo se dirigen a cada uno de los
otros dos pisos, mientras que si un viaje comienza en el primer piso, sólo
el 25 % de las veces finaliza en el segundo. Por último, si un trayecto
comienza en el segundo piso, siempre finaliza en el bajo. Se pide:

a) Calcular la matriz de probabilidades de transición de la cadena.

b) Dibujar el grafo asociado al proceso.
c) Clasifique los estados de la cadena de Markov.
d ) Encuentre la matriz de transición a 2 pasos, a 6 pasos, a 10 pasos.
e) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se en-
cuentre en cada uno de los tres pisos.
f ) Si el ascensor inicialmente se encuentra en la planta baja. ¿Cuánto
tiempo en promedio transcurrirá hasta llegar por primera vez al
segundo piso?

3. (Este ejercicio es un caso especial del modelo de Difusión de Ehrenfest,

el cual se usa para modelar la difusión en una membrana en Biologı́a).
Tres bolas se divienen en dos contenedores. Durante cada peróodo una
bola se elige al azar y se traslada al otro contenedor.

a) ¿Es una cadena de markov ergódica?¿Cómo se clasifican sus esta-

dos y que caracterı́sticas tienen (recurrentes, transitorios)?¿Tienen
periodicidad?

4. Dos tipos de ardillas (grises y negras) se han detectado en el Valle de

los Chillos. Al inicio de cada año se determina cuál de las siguientes
afirmaciones es cierta:
Existen sólo ardillas grises en el Valle de los Chillos.(Estado 0)
Existen sólo ardillas negras en el Valle de los Chillos.(Estado 1)
Existen tanto ardillas grises como negras en el Valle de los Chillos.(Estado
2)
No existen ardillas en el Valle de los Chillos.(Estado 3)
Con el paso de los años se ha estimado que la matriz de transición es
1.3. EJERCICIOS: CONSTRUCCIÓN DE MATRICES DE TRANSICIÓN17

la siguiente:
 
0,7 0,2 0,05 0,05
 0,2 0,6 0,1 0,1 
 
 0,1 0,1 0,8 0 
0,05 0,05 0,1 0,8
a) ¿Qué proporción de tiempo vivirán las ardillas grises en el Valle
de los Chillos?
b) ¿Qué proporción de tiempo vivirán las ardillas negras en el Valle
de los Chillos?

1.3.7. Tiempos de primera pasada

Con mucha frecuencia es importante poder hacer afirmaciones en términos
de probabilidad sobre el número de transiciones que hace el proceso al ir del
estado i al estado j por primera vez. Este lapso recibe el nombre de tiempo
de primera pasada al ir del estado i al estado j. Cuandoj = i, este tiempo
de primera pasada se denomina tiempo de recurrencia para el estado i.
sección por redactarse, ver libro de Hillier Lieberman

1.3.8. Ejercicios de Recapitulación

1. En un hospital, cada paciente se clasifica dentro de una de las siguientes
categorı́as: crı́tico, grave o estable. Estas clasificaciones se actualizan
cada mañana cuando reciben la visita de su médico. Las probabilidades
de que cada paciente se encuentre dentro de una de las tres categorı́as y
se haya trasladado a alguna de las otras dos, se presenta en la siguiente
tabla:

Crı́tico Grave Estable

Crı́tico 0.5 0.3 0.2
Grave 0.4 0.3 0.3
Estable 0.1 0.4 0.5

a) ¿Cuál es la probabilidad de que un paciente que ha estado en

condición crı́tica el Martes esté en condición estable el siguiente
Viernes?
18 CAPÍTULO 1. CADENAS DE MARKOV

b) Si un paciente se encontraba al inicio del proceso en cualquiera de

las categorı́as con la misma probabilidad, ¿Cuál es la probabilidad
incondicional de que un paciente se encuentre en condición estable,
luego de cuatro dı́as?
c) ¿Qué porporción de habitaciones del hospital deberı́an ser di-
señadas y equipadas para pacientes en condiciones crı́ticas, graves
y estables respectivamente?
d ) ¿Cuántos dı́as, en promedio, transcurrirán hasta que un paciente
en condición grave, sea clasificado como estable por primera vez?
e) ¿Cuántos dı́as transcurrirán en promedio para que un paciente
que ha estado en condición crı́tica, vuelva a estar en la misma
condición?

2. Un proceso de producción incluye una máquina que se deteriora con

rapidez tanto en la calidad como en la cantidad de producción con el
trabajo pesado, por lo que se inspecciona al final de cada dı́a. Después
de la inspección se clasifica la condición de la máquina en uno de cuatro
estados posibles:
Estado Condición
0 Tan buena como nueva
1 Operable: deterioro mı́nimo El
2 Operable: deterioro mayor
3 Inoperable y reemplazada por una tan buena como nueva
proceso puede modelarse como una cadena de Markov con una matriz
de transición de la siguiente forma:
 
0 7/8 1/16 1/16
0 3/4 1/8 1/8 
T = 0 0

1/2 1/2 
1 0 0 0
a) Encuentre las probabilidades de estado estable. (Escriba el sistema
de ecuaciones de estado estable y presente una solución).
b) Si los costos respectivos por estar en los estados 0, 1, 2, 3 son 0,
1000, 3000 y 6000. ¿Cuál es el costo diario esperado a la larga?
c) Si inicialmente la máquina se encontraba en perfecto estado (tan
buena como nueva), ¿qué tiempo transcurrirá en promedio para
que la máquina se encuentre con deterioro mayor por primera vez?
1.3. EJERCICIOS: CONSTRUCCIÓN DE MATRICES DE TRANSICIÓN19

d ) Con la información de estado inicial del inciso anterior, encuentre

la probabilidad incondicional de que la máquina se vuelva inope-
rable y deba ser reemplazada luego de 3 perı́odos.
e) Encuentre el tiempo esperado que una máquina se puede usar sin
tener que reemplazarla.