INGENIERIA INDUSTRIAL INVESTIGACION DE OPERACIONES II IND 643

GUIA 9 CADENAS DE MARKOV 26/11/2021

1.DEFINICIONES

Variable Estocástica: Son variables que toman un determinado valor con una cierta
probabilidad. Entonces, una variable estocástica X viene definida por el conjunto de
posibles valores que puede tener (rango, conjunto de estados, espacio muestral, o espacio
fásico) y una distribución de probabilidad sobre este conjunto.

Proceso Estocástico: Un proceso estocástico es un conjunto de variables aleatorias que

depende de un parámetro o de un argumento, generalmente ese parámetro es tiempo. En
términos mucho más sencillos, un proceso estocástico es aquel que no se puede predecir,
se mueve al azar.

Cadena de Márkov: Sea Xi una variable aleatoria que caracteriza el estado del sistema
en puntos discretos en el tiempo t =1, 2…. La familia variables aleatorias (Xi) forma un
proceso estocástico con una cantidad finita o infinita de estados.

Propiedad de Márkov: Conocido el estado del proceso en un momento dado, su

comportamiento futuro no depende del pasado, dicho de otro modo; dado el presente el
futuro es independiente del pasado.

Diagrama de transición de estados: Es un grafo dirigido cuyos nodos son los estados de
la cadena de Márkov y cuyos arcos se etiquetan con la probabilidad de transición entre los
estados que unen. Si dicha probabilidad es nula, no se pone el arco.

Pij
i j

Estado Transitorio: Es un estado que sirve de paso o es recorrido un numero finito de veces.

Estado Recurrente: Es un estado que permanece en un conjunto cerrado.

Estado Absorbente: Es un estado donde existe una o mas llegadas, pero no una salida.

AUX. UNIV. KATHERINE N. GONZALES QUISBERT Página | 1

INGENIERIA INDUSTRIAL INVESTIGACION DE OPERACIONES II IND 643

2.FORMULARIO

MATRIZ DE TRANSICION (P)

Estado de Llegada

Estado de Salida
e1 e2 e3 …... en
e1 p11 p12 p13 …... p1n 1
e2 p21 p22 p23 …... p2n 1
e3 p31 p32 p33 …... p3n 1
: : : : :
en pn1 pn2 pn3 …... pnn 1

• La suma de las probabilidades de los estados debe ser igual a 1

• La matriz de transición debe ser cuadrada, es decir, debe tener el mismo número
de filas y columnas.
• Las probabilidades de transición deben estar entre 0 y 1.

PROBABILIDAD DE TRANSICION EN UNA ETAPA

𝑃(𝑋𝑡+1 = 𝑗 | 𝑋𝑡 = 𝑖 )

𝑃(𝑋𝑡+1 = 𝑗 | 𝑋𝑡 = 𝑖 ) = 𝑝𝑖𝑗

Solo trabajamos con cadenas de Márkov Homogéneas, donde Pij se llama probabilidad de
transición en una etapa desde el estado i hasta el estado j.

PROYECCION
𝑉 𝑛 𝑖 = 𝑉 𝑛−1 𝑖 ∗ 𝑃𝑛

𝑉 𝑛 𝑖 = 𝑉 1 𝑖 ∗ 𝑃𝑛−1

En términos prácticos un estado futuro se proyecta elevando la matriz a una potencia igual
a tiempo n

𝑃𝑛
ESTADO ESTABLE DE UNA CADENA DE MARKOV
La determinación de un estado estable en una cadena de Márkov está definida por:

𝜋 =𝜋∗𝑃

∑ 𝜋𝑖 = 1

AUX. UNIV. KATHERINE N. GONZALES QUISBERT Página | 2

INGENIERIA INDUSTRIAL INVESTIGACION DE OPERACIONES II IND 643

ANALISIS DE ESTADOS ABSORBENTES

El análisis de las cadenas de Márkov con estados absorbentes puede realizarse de forma
conveniente con matrices primer lugar, la cadena de Márkov se particiona como sigue:

No Absorbentes Absorbentes N A
P= P=
Nula Identidad 0 1

Tiempo Esperado para la Absorción: (1 − 𝑁)−1

Probabilidad de la Absorción: (1 − 𝑁)−1 ∗ 𝐴

Una CADENA DE MARKOV ES ABSORBENTE cuando:

• Tiene al menos un estado absorbente

• Es posible ir desde cada estado no absorbente hasta al menos a UN estado
absorbente, esto puede ser en más de un paso No es necesario ir a todos los EA
(suficiente a uno)

3.EJERCICIOS DE CLASE

1. En una cierta región el tiempo atmosférico sigue la siguiente secuencia: Un día se

denomina soleado (S) si el sol luce más de la mitad del día, y se denomina nublado (N), si
lo hace menos. Por experiencia, se sabe que, si hay un día nublado, hay una probabilidad
de 3/4 que el día siguiente sea también nublado. Si el día es soleado hay una probabilidad
de 2/3 de que sea también soleado.

a) Construye la matriz de transición T de este proceso.

b) Si hoy está nublado, ¿cuál es la probabilidad de que dentro de tres días esté también
nublado? ¿y de que esté soleado?

2.En una industria automotriz hay 3 estaciones de trabajo para ensamblar automóviles (E1,
E2, E3) existe la movilidad de un automóvil de una a otra estación, según se requiera
ensamblar los componentes. El 6 de julio se sabe que, ¼ de los automóviles están en E1, 1/3
en E2 y 5/12 en la E3. Cada SEMANA la E1 retiene el 85% de los automóviles y despacha el
15% que se va al E2. Se estableció que la E2 retiene el 10% y despacha el 80% que va a E1
y el resto se va a E3. La estación E3 retiene el 40%, y despacha el 40% que va a la E1 y el 20%
va al E2.

a) Establecer la matriz de transición

b) Si existen 100 vehículos en producción el 6 de julio, ¿Cuál es cantidad de
automóviles en cada estación?

AUX. UNIV. KATHERINE N. GONZALES QUISBERT Página | 3

INGENIERIA INDUSTRIAL INVESTIGACION DE OPERACIONES II IND 643

c) ¿Cuál es la proporción de automóviles en cada estación el 20 de julio?

d) Hallar el vector de probabilidad estable.

3.En la matriz P a continuación, calculé:

E1 E2 E3 E4 E5
E1 0.00 0.00 0.30 0.30
E2 0.10 0.20 0.50 0.00
E3 0.00 0.00 0.00 0.00
E4 0.00 0.00 0.00 0.00
E5 0.20 0.40 0.20 0.10

a) Complete la matriz de transición

b) La matriz ordenada
c) El Número de pasos antes de la absorción de cada ENA dado.
d) La probabilidad de ser absorbido por cada EA dado.

4.Según el cuento, en la Tierra de Oz nunca hay dos días buenos (soleado) en sucesión.
Después de un día con buen clima, le sigue (con igual probabilidad) un día con lluvia o
nieve. Del mismo modo, si nieva (o llueve), el día siguiente nevara (o lloverá) con igual
probabilidad, pero si cambia el clima solo la mitad de las veces será a un buen día.

a) Establecer la matriz de transición

b) Si hoy lunes llovió, cual es la probabilidad que el siguiente lunes se tenga un buen
día
c) Hallar el vector de probabilidad estable (Tres decimales)

5.En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un cliente de
uno a otro. El 1 de ENERO se sabe que, ¼ de los clientes va al S1, 1/3 al S2 y 5/12 al S3. Cada
mes el S1 retiene el 85% de sus clientes y pierde el 15% que se va al S2. Se averiguó que el
S2 solo retiene el 10% y pierde el 80% que va a S1 y el resto se va a S3, el S3 retiene solo el
40%, pierde el 40% que va al S1 y el 20% va al S2.

a) Establecer la matriz de transición

b) ¿Cuál es la proporción de clientes para los supermercados el 1 de MAYO?
c) Hallar el vector de probabilidad estable.

6.Según el proceso de producción de confección textil, se tienen cuatro procesos: Corte

de Tela, Costura de Confección, Colocado de Accesorios y Empaque. El corte tiene una
sola estación, en tanto que existen 3 confeccionistas, 2 maquinas para accesorios y 1 centro
de empaque. Se sabe que existe igual proporción de entregar producto cortado a los
confeccionistas, los que devuelven para corregir el corte el 2%. Una de las estaciones de
accesorios es automática y recibe el 80% del producto confeccionado y 18% de forma
manual. La maquina automática rechaza 10% del producto que retorna de las etapas de
accesorios por errores de confección en igual proporción. Similar, el otro centro manual de
accesorios solo detecta 5% de fallados. En la etapa de empaque también se realiza el
control de calidad y se devuelve 10% a confección detectando el origen en la proporción

AUX. UNIV. KATHERINE N. GONZALES QUISBERT Página | 4

INGENIERIA INDUSTRIAL INVESTIGACION DE OPERACIONES II IND 643

(5%, 3% y 2% respectivamente), otro 15% es devuelto al proceso manual de accesorios. El

resto va al Almacén de producto.

a) Establecer la matriz de transición

7.En la matriz P a continuación, calculé:

E1 E2 E3 E4 E5
E1 0 0.4 0.1 0.3
E2 1
E3 0.1 0.2 0.5 0.2 0
E4 1
E5 0.2 0.1 0.4 0.1

a) Complete la matriz de transición

b) La matriz ordenada
c) El Número de pasos antes de la absorción de cada ENA dado.
d) La probabilidad de ser absorbido por cada EA dado.

AUX. UNIV. KATHERINE N. GONZALES QUISBERT Página | 5