INVESTIGACIÓN DE OPERACIONES 2

UNIDAD 1

Cadenas de Markov
Contenido
1. Introducción
2. Aplicaciones
3. Concepto
4. Propiedades.
5. Matriz de probabilidades de transición entre estados
6. Diagrama de transición entre estados
7. Matriz de probabilidades de transición entre estados de n pasos o períodos
8. Probabilidad de estado inicial
9. Intersección entre estados
10. Probabilidad de estado estable
 LOGRO DE LA SESIÓN

Mediante los modelos de Markov, el estudiante podrá

determinar la evolución de los sistemas, a lo largo de ensayos
repetidos en lapsos sucesivos, en los que el estado del sistema
en cualquier período particular, no se puede determinar con
certeza. El supuesto básico es que probabilidad de ocurrencia
de un evento, depende sólo del evento inmediato anterior.
1. Introducción
Cadenas de Markov o modelo de Markov es un tipo especial
de proceso estocástico discreto en el que la probabilidad de
que ocurra un evento depende solamente de evento
inmediatamente anterior.

Esta característica de falta de memoria recibe el nombre de

propiedad de Markov.

Recibe su nombre del matemático ruso Andréi Markov

(1856 -1922), que lo introdujo en 1907.

Este modelo cuenta con un gran número de aplicaciones. Se

debe entender los procesos de Markov y sus principales
aplicaciones en el campo de la Ingeniería y aplicar las
Cadenas de Markov a distintos casos de Ingeniería.
2. Aplicaciones

Los procesos de decisión de Markov

son frecuentemente utilizados por
científicos e ingenieros para los
siguientes casos de negocio:

 Investigación de operaciones.
 Predicción y optimización de marca.
 Predicciones meteorológicas.
 Optimizar precios de productos y
servicios.
 Marketing.
• Análisis de ciclo de negocio.
• Análisis de producto.
• Optimización de los modelos de
planificación de plantillas.
• Optimización de calidad de servicio
al cliente.
• Predicción del comportamiento de
los consumidores.
• Optimización de las relaciones con
clientes.
• Optimización del rendimiento de los
trabajadores.
• Optimización de la ubicación de los
almacenes.
• Determinar la probabilidad de
morosidad.
• Optimización de financieros,
inventarios, bienes y capital
humano.
3. Concepto

Una cadena de Markov es una

sucesión de ensayos similares u
observaciones en la cual cada ensayo
tiene el mismo número finito de
resultados posibles y en donde la
probabilidad de cada resultado para
un ensayo dado depende solo del
resultado del ensayo inmediatamente
precedente y no de cualquier
resultado previo.
4. Propiedades
5. Matriz de probabilidades de transición entre estados

Las probabilidades 𝑷(𝑿𝒏+𝟏= 𝒋/𝑿𝒏= 𝒊) = 𝑷𝒊𝒋 se pueden representar en una

matriz, denominada matriz de probabilidades de transición entre
estados de un periodo o paso.

Forma (𝑛, 𝑛+1)

simplificada 𝑃 𝑖𝑗 =𝑃 𝑖𝑗
Ejemplo

Dada la siguiente matriz de probabilidades de transición

entre estados P, con S = {1,2}

𝑷=
[ 𝟏/ 𝟒
𝟏 /𝟑
𝟑/ 𝟒
𝟐 /𝟑 ]
Halle:
a. P(X1 = 1 / Xo = 1) ¿ 𝟏/𝟒 𝑷(𝑿𝒏+𝟏=𝒋/𝑿𝒏=𝒊) = 𝑷𝒊𝒋
b. P(X4 = 1 / X3 = 1) ¿ 𝟏/𝟒
¿ 𝟐/𝟑
6. Diagrama de transición entre estados
Es la representación de la matriz P mediante un diagrama en el que los círculos
(nodos) representan a los estados y los arcos (flechas) las probabilidades entre
estados.

𝑷= [ 𝟏/ 𝟒
𝟏 /𝟑
𝟑/ 𝟒
𝟐 /𝟑 ]
1/3

1/4 1 2 2/3

3/4
7. Matriz de probabilidades de transición entre estados de n
pasos o periodos
Las probabilidades P(Xn+m = j / Xm = i) = Pnij se puede representar en una
matriz, denominada matriz de probabilidades de transición entre estados
de n periodos o pasos.
Ejemplo
Dada la siguiente matriz de probabilidades de transición entre estados P,
con S = {1,2}
P= 0.25 0.75
𝑷=
[ 𝟏/ 𝟒
𝟏 /𝟑
𝟑/ 𝟒
𝟐 /𝟑 ] P2 =
0.33333
0.3125
0.66667
0.6875
0.30556 0.69444
Halle: P3 = 0.30729 0.69271
a. P2 0.30787 0.69213
b. P3
c. P(X5 = 1 / X3 = 1) = 0.3125
𝑷(𝑿𝒏+m=𝒋/𝑿m=𝒊) = 𝑷n𝒊𝒋
8. Probabilidad de estado inicial

Si se tiene S = {1, 2, …, n} la probabilidad de cada estado al inicio del

estudio del proceso, se representa por una matriz o vector fila:

p(0) = [p1(0), p2(0), …, pn(0)]

La probabilidad de los estados en el paso m se representa por:

p(m) = [p1(m), p2(m), …, pn(m)]

Se calcula por: p(m) = p(m-1)P = p(0)Pm

9. Intersección entre estados

Si se tiene S = {1, 2, …, n} entonces la siguiente probabilidad:

P(X0 = 1, X1 = 2, X2 = 3 … Xm = n)

Se calcula mediante:

P(X0 = 1). P(X1 = 2 / X0 = 1).P(X2 = 3 / X1 = 2) … P(Xm = n / Xm-1 =(n-1))

Ejemplo
Dada la siguiente matriz de probabilidades de transición
entre estados P, con S = {1,2}, 𝝅𝟎= [𝟎.𝟓,𝟎.𝟓]

𝑷=
[ 𝟏/ 𝟒
𝟏 /𝟑
𝟑/ 𝟒
𝟐 /𝟑 ]
Halle:
Se deben
a. P(X0 = 2, X1 = 1, X2 = 2) ordenar con
b. P(X0 = 2, X1 = 1, X3 = 2) respecto a T

c. P(X3 = 2, X2 = 2, X1 = 1)
Halle:
a. P(X0 = 2, X1 = 1, X2 = 2) = 1/3) * (3/4) = 0.25
[
𝑷 = 𝟏/ 𝟒
𝟏 /𝟑
𝟑/ 𝟒
𝟐 /𝟑 ]
𝟏/𝟑 𝟑/𝟒
2 1 2
(3/4) * (2/3) = 0.5
0 1 2

b. P(X0 = 2, X1 = 1, X3 = 2) = 1/3) * (1/4) * (3/4) + (1/3) * (3/4) * (2/3) = 0.2291

𝟏/𝟑 𝟏/𝟒 𝟑/𝟒

2 1 1 2

0 1 2 3
𝟏/𝟑 𝟑/𝟒 𝟐/𝟑
2 1 2 2

0 1 2 3
 𝑷=
[ 𝟏/ 𝟒
𝟏 /𝟑
𝟑/ 𝟒
𝟐 /𝟑 ]
c. P(X3 = 2, X2 = 2, X1 = 1)

ordenando estados con respecto al tiempo

P(X1 = 1, X2 = 2, X3 = 2) = (3/4) * (2/3) = 0.5

𝟑/𝟒 𝟐/𝟑
1 2 2

1 2 3
10. Probabilidad de estado estable
Si se tiene S = {1, 2, …, m} entonces la probabilidad de los
estados tiende a estabilizarse cuando n es muy grande
(tiene a infinito), entonces la probabilidad de cada estado
puede hallarse mediante el siguiente sistema:

Sea la probabilidad del estado estable p = (p1, p2, …, pm)

p = p.P
El sistema de
ecuaciones tiene
(m+1) ecuaciones
Ejemplo

Dada la siguiente matriz de probabilidades de transición entre

estados P, con S = {1,2}

𝑷=
[ 𝟏/ 𝟒
𝟏 /𝟑
𝟑/ 𝟒
𝟐 /𝟑 ]
Halle las probabilidades de estado estable o de largo recorrido
=

𝝅 𝟏+ 𝝅 𝟐=1
 BIBLIOGRAFÍA

• https://www.youtube.com/watch?v=6zBrnP6-w8Y

• https://www.youtube.com/watch?v=jk57_m_Jk28

• https://www.gestiondeoperaciones.net/cadenas-de-markov/cadenas-de-markov-e
jercicios-resueltos/
¡MUCHAS GRACIAS !