Introducción a los Modelos

Estocásticos
2020-1
Cadenas de Markov

Introducción

Desarrollo

Ejercicios resueltos

Ejercicios propuestos

Conclusiones
Objetivo

Entender los procesos de Markov y sus

principales aplicaciones en el campo de la
ingeniería.
Aplicar las cadenas de Markov a distintos
casos de ingeniería.
Cadena de Markov
Temas

01 Definición, Propiedades

Probabilidades y Diagramas de transición entre Estados.

02
Probabilidades de los Estados. Probabilidad de estado inicial.
Probabilidad de una cadena (intersección)
03
Probabilidad de Estado transitorio en el paso “m” y a largo
plazo (prob.estable).
Clasificación de Estados y de Cadenas. Cadenas absorbentes
Introducción
Modelos Markovianos:
una sucesión de eventos aleatorios

Si fuesemos una empresa de

telefonía; por ejemplo Movistar,
observaríamos la decisión de uno
de nuestros clientes en renovar
su contrato con nosotros o
migrar a la competencia como un
“evento aleatorio”, el cual se
repite cada cierto período
(anual), convirtiéndose así en
una “secuencia de eventos
aleatorios”, aparentemente
infinita.
Representación matemática del caso telefonía
como una secuencia de eventos aleatorios.
“Xn” es la variable
aleatoria
Toda vez que la decisión de “saltar o no
de estado” es un resultado aleatorio.
Podríamos representar que en el
período “n” el cliente estará en el
... ?
estado “Xn”,

Si consideramos a las 4 opciones de

telefonía como “estados”. Al conjunto S= {Movistar, Claro, Entel, Bitel};
formado por todos los estados posibles Xn € S
lo podemos llamar S.
Es un Proceso
estocástico con
Al conjunto formado por todos los T = {0, 1, 2, 3, ...}, “S” discreto y
períodos posibles lo podemos llamar T. n€T “T” discreto:
CADENA
 El salto o transición entre estados
Bitel (E4)
[Siguiendo el caso de telefonía].
X3 En esta gráfica estamos
Entel (E3)
representando a un cliente que
Xn+1 inicio [n=0] contratando a
X1 X2
Claro Movistar [X0=E1], luego en el
(E2)
periodo 1 [n=1] hizo un salto
Xn (transición) a Claro [X1=E2],
Movistar
(E1) X0 luego [n=3] continuó en Claro
[X2=2], y así hasta llegar al
período “n”, donde el estado
0 1 2 3 ... n n+1 (desconocido) es Xn.

Xo es el estado inicial.
 Otro ejemplo de secuencia de transición de eventos aleatorios
Para un observador, el sesgo político del
gobierno americano, tiene una transición
entre “demócratas y republicanos”, desde el
año 1853.

X1 X2 Xn+1 Sea; S= {Republicanos, Demócratas}; en

este ejemplo son “dos estados”.

y, “T” es el paramétrico del tiempo, en este

ejemplo “cada 4 años”; T= {0, 1, 2, 3, ...}.
X0
X3 Xn Además “Xn” es la variable aleatoria, en
este caso discreta tanto en el valor de “X”
0 1 2 3 ... n n+1 como el valor de “n”; de tal manera que:

“X” adopta valores de “S”; ósea X puede ser

o: Republicano o Demócrata; y “n” pertenece
Para este ejemplo podríamos asumir que n = 0, representa al año 1853, y que el a “T”.
Xo (estado inicial) es igual “Demócrata” (Presidente Pierce, F.). Fuente:
https://www.eleconomista.es/especiales/elecciones-estados-unidos/presidentes.php
Otro ejemplo de secuencia de transición de eventos aleatorios
(representación gráfica)
En este ejemplo donde se representa gráficamente la
transición entre “estados civiles”, las flechas expresan
el sentido posible de la transición.

Aquí, por ejemplo, desde el estado soltero se puede o

quedar en el mismo o saltar al estado “casado”. En
tanto que del estado “casado”, se puede ir a cualquiera
CASADO
SOLTERO de los otros estados, menos regresar al estado
“soltero”.

S= {soltero, casado, divorciado, viudo};

y, “T” es el paramétrico del tiempo, en este ejemplo

DIVOR
podría ser cada año”; T= {0, 1, 2, 3, ...}.
CIADO VIUDO

“Xn” es la variable aleatoria, en este caso discreta

tanto en el valor de “X” como el valor de “n”; de tal
manera que “X” adopta valores de “S”; es decir X
puede ser o: soltero, casado, divorciado o viudo; y “n”
pertenece a “T”.
¡Practica!
Asintom
ático

Los estados por los que pasa una

persona infectada con el nuevo
coronavirus son los siguientes.
Síntomas
Muerte
S={asintomático, síntomas leves, Leves

síntomas críticos, recuperado, muerte}

Represente gráficamente la secuencia

de transición de eventos aleatorios.
Síntomas Recupe
críticos rado
Guarde cuidado con el sentido de la
transición (sentido de las flechas).

¿Qué ocurre en el estado “muerte”?

Cadena de Markov
Se conoce como cadena de Márkov o modelo de Márkov a un
tipo especial de proceso estocástico discreto en el que la
probabilidad de que ocurra un evento depende solamente del
evento inmediatamente anterior. Esta característica de falta
de memoria recibe el nombre de propiedad de Markov.
Recibe su nombre del matemático ruso Andréi Márkov
(1856-1922), que lo introdujo en 1907.
Este modelo cuenta con un gran número de aplicaciones
reales.
¿En qué se aplica?
APLICACIONES
Los procesos de decisión de
Markov son frecuentemente
utilizados por científicos e
ingenieros para los siguientes
casos de negocio:
Investigación de operaciones
Predicción y optimización de marca
Predicciones meteorológicas
Optimización de precios de productos y servicios
Marketing
Análisis de ciclo de negocio
Análisis de producto
Optimización de modelos de planificación de plantillas
Optimización de calidad de servicio al cliente
Predicción del comportamiento del consumidor
Optimización de las relaciones con clientes
Optimización del rendimiento de los trabajadores
Optimización de la ubicación de los almacenes
Determinar probabilidades de morosidad e impagos
Optimización de activos financieros, inventarios y bienes
Definición
Cadena de Markov: definición
Una cadena de Markov es una sucesión de ensayos
similares u observaciones en la cual cada ensayo
tiene el mismo número finito de resultados
posibles (estados) y en donde la probabilidad de
cada resultado para un ensayo dado, depende sólo
del resultado del ensayo inmediatamente
precedente y no de cualquier resultado previo.

video: https://www.youtube.com/watch?v=Trf9P7DnOHQ
Propiedades
Una cadena de Markov CUMPLE las siguientes propiedades:
1) Proceso de Estados Discretos si
S={1, 2, 3, …}, {Xn, n∈T}
2) Proceso de Tiempo Discreto si
T={0, 1, 2, …}, {Xn, n=0, 1, 2, …}
3) Cumple la Propiedad Markoviana
P(Xn+1 = j / X0=i0,X1=i1,… Xn-1=in-1,Xn = i ) = P(Xn+1 = j /Xn=i)

Sólo
La probabilidad
depende del Estado Y no del Pasado
del Estado Futuro
presente (n) 0, 1, …, (n-1)
(n+1)
Transición de Estados:
Probabilidades y
Diagrama
Probabilidad de transición entre estados
Las probabilidades 𝑷(𝑿𝒏+𝟏 = 𝒋/𝑿𝒏 =𝒊) = pij se pueden representar en una matriz,
denominada matriz de probabilidades de transición entre estados de un periodo o
paso.
Esta matriz tiene la siguiente
propiedad;
 𝒔
∑ 𝒑 𝒊𝒋=𝟏 ;𝒊=𝟏 , …, 𝒔
𝒋=𝟏
La suma por filas es igual a uno.

Forma  
simplificada
Matriz de probabilidades de Transición: Construcción

Según un reporte de portabilidad

Empresa Empresa destino
telefónica de Osiptel (Octubre, origen
2018); 882,554 clientes Movistar Claro Entel Bitel
continuaron en movistar; 43,578
clientes que antes fueron de Movistar 882,554* 43,578 43,806 30,062
Movistar saltaron a Claro; Claro 107,100 606,066* 54,651 32,183
43,806 a Entel; ...
Entel 49,159 53,885 300,000* 29,765

Esta tabla contiene datos reales Bitel 33,973 49,227 25,247 200,000*
que nos pueden servir para
elaborar la matriz y el diagrama
https://www.osiptel.gob.pe/documentos/indicador-portabilidad-n
de probabilidad de transición de umerica
estados. (excepto los indicados con *)
Matriz de Probabilidad de Transición de estados (Matriz “P”)

Para poder elaborar la matriz de Empresa Empresa destino

probabilidad, primero debemos saber origen
Movistar Claro Entel Bitel Total %
¿cuántos usuarios se encontraban en cada
uno de los estados al inicio? Por ejemplo,
para Movistar el número fue de 1’000,000 Movistar 88,26% 4,36% 4 38% 3,00% 100,0%
(882,554 + 43,578 + 43,806 +
Claro 13,39% 75,76% ... ... 100,0%
30,062).
Entel ... ... ... ... ...
Luego, la probabilidad de que un cliente se
Bitel ... ... ... ... ...
quede en Movistar es igual a 88,86%
(888,554/1’000,000), y la probabilidad de
que un cliente de Movistar se traslade a Completar ….
Entel es de 4,36% (43,578 / 1’000,000).
Caso: Personalidad ¿Estructurado o Espontáneo?

Nota curiosa: El test MBTI (Meyers Bricks), es uno de los más usados
para identificar las personalidad, el mismo que los subdivide en 4 tipos.
 Esquema longitudinal de la variable aleatoria

X1 X2 Xn+1
Estado2

Estado1
X0
X3 Xn

0 1 2 3 ... n n+1

Donde Xo es el estado inicial.

¿Estructurado o espontáneo?
Dada la siguiente matriz de probabilidades de transición entre estados P,
con S={1,2} (donde 1=Estructurado y 2=Espontáneo)

S 1 2
Matriz de
  𝟏/ 𝟒 𝟑/ 𝟒
1

2
1/4

1/3
3/4

2/3
ó 𝑷=
[ 𝟏/ 𝟑 𝟐/ 𝟑 ] Probabilidad de
Transición de
entre estados

Respuestas:
Hallar:
a) P(X1=1/X0=1) a) 1/4
P(Xn+1 = j /Xn=i) = pij b) 1/4
b) P(X4=1/X3=1)
(90,91) c) 2/3
c)
P
  22
Diagrama de transición entre estados
3/4

Es la representación de la matriz P mediante un gráfico en el que 1/4 1 2 2/3

los círculos (nodos) representan a los estados y los arcos
(flechas) las probabilidades entre estados. 1/3

3/4

  𝟏/ 𝟒 𝟑/ 𝟒
Estado Estado
𝑷= [ 𝟏/ 𝟑 𝟐/ 𝟑 ]
1 2 2/3
1/4 “Estruct “Espont
urado” áneo”
Si la
probabilidad
es nula, NO
se dibuja el
1/3 arco
¡Practica!
Completar ….

Empresa destino
Empresa
origen Movistar Claro Entel Bitel
Movistar 88.26% 4.36% 4.38% 3.01%
Claro 13.39% 75.76% 6.83% 4.02%
Entel 11.36% 12.45% 69.31% 6.88%
Bitel 11.01% 15.96% 8.19% 64.84%
Probabilidades de transición de n pasos o períodos
Sea   la “probabilidad de que partiendo del estado i se llegue al estado j
en n períodos”. Se representa en una matriz de probabilidades de transición entre estados de n
períodos o pasos.
Esta matriz también cumple la propiedad:
𝒔
… …  
⁞ … … … ⁞
∑ 𝒑 𝒏𝒊𝒋 =𝟏; 𝒊=𝟏 , … , 𝒔
𝒋=𝟏
(la suma por filas es igual a uno).
𝑷
 
(𝒏 )
= 𝑷 =¿
𝒏 … …
⁞⁞ …
… …
… …
… ⁞⁞ Cálculo de la matriz de transición a n pasos:
…
… …
…  

...
Forma   𝒏 𝒏−𝟏
𝑷 =𝑷.𝑷.𝑷…𝑷=𝑷 .𝑷
 
simplificada n veces
Practica…
Dada la siguiente matriz de probabilidades de transición entre estados
P, con S={1,2} (donde 1=Estructurado y 2=Espontáneo)

  𝟏/ 𝟒 𝟑/ 𝟒
𝑷=
[ 𝟏/ 𝟑 𝟐/ 𝟑 ]
Hallar:   ¿ 𝒑𝟏𝟏 ?
𝟐 𝟐
¿ 𝒑𝟏 𝟐 ?   ¿ 𝒑𝟏𝟏 ?
𝟑 𝟑
¿ 𝒑𝟏 𝟐 ?
a) P²
b) P³
𝑷 = 𝟐
𝟐
¿ 𝒑 𝟐𝟏 ?[ 𝟐
¿ 𝒑𝟐𝟐 ? ] 𝑷 =
𝟑
[
¿ 𝒑 𝟑𝟐𝟏 ? ¿ 𝒑 𝟑𝟐𝟐 ? ]
c) P(X5=1/X3=1)
 
  (90,93)
P
d) 22
Probabilidades de Estado y
de trayectorias
Probabilidad de Estados
Luego de establecer los estados del sistema (recordar que en el análisis de Markov los estados
son colectivamente exhaustivos y mutuamente excluyentes), es posible identificar la
probabilidad de que el sistema esté en dichos estados. A diferencia de las probabilidades de
transición entre estados (de uno o n pasos), que son condicionales, la probabilidad de Estado
es incondicional. Si se tiene S={1,2,…, s} la probabilidad de un estado “j” en particular para
el período “m” se denota P(Xm=j). La información completa de todos los estados se coloca en
un vector de probabilidades de estado: 𝝅  𝒎=[𝑷 ( 𝑿 𝒎=𝟏 ) , 𝑷 ( 𝑿 𝒎=𝟐 ) , … , 𝑷 ( 𝑿 𝒎=𝒔 ) ]

En nuestro ejemplo de rasgos de personalidad, representar simbólicamente:

a) Probabilidad de en el período 5 que nuestro personaje asuma una personalidad
“espontánea”? Rpta: ¿P(X5=2)?
b) Distribución de las probabilidades de estados en el período 7
Rpta: ¿π7? donde π7= [P(X7=1), P(X7=2)] por ejemplo π7= [0.33,0.67]
Probabilidad de Estado y Estado inicial
Para calcular las probabilidades de estado en el paso “m”, es necesario especificar la
distribución de probabilidades en el período base, es decir las probabilidades de estado inicial:

𝝅  𝟎=[𝑷 ( 𝑿 𝟎=𝟏 ) , 𝑷 ( 𝑿 𝟎 =𝟐 ) , … , 𝑷 ( 𝑿 𝟎 =𝒔 ) ]

Luego el cálculo de las probabilidades de 𝒎 Multiplicación de

estado para el período “m” se haría así: 𝝅 𝒎=𝝅 (𝒎− 𝟏) .𝑷=𝝅 𝟎 .𝑷
 
un vector por una
matriz

Puedo calcular la probabilidad que tendrá en el período m un estado en específico, P(Xm=j):

𝑚 𝑚 𝑚
𝑷
  ( 𝑿 𝒎= 𝒋 ) = 𝑃 ( 𝑋 0 =0 ) . 𝑝 0 𝑗 + 𝑃 ( 𝑋 0=1 ) . 𝑝1 𝑗 +…+ 𝑃 ( 𝑋 0= 𝑠 ) . 𝑝 𝑠 𝑗

Multiplicación de vectores
Probabilidad de Estado estable
Si se tiene S={1,2,…,s} entonces la probabilidad de los estados tiende a estabilizarse cuando
m es muy grande (tiende a infinito), entonces la probabilidad de cada estado puede hallarse
mediante el siguiente sistema:
 

Donde:
X=[X1,X2,…,Xs] Xj son las probabilidades de cada estado j y el vector
resultante X corresponde al πequilibrio.
Probabilidad estable o equilibrio (periodo infinito)
Respuesta.

X1=

X2=
Probabilidad de una cadena o trayectoria
Origen
Probabilidad de un estado en el origen, y luego en la transición “m”

“m”
verde rojo amar claro celes

verde

rojo

amar

claro

celes

Origen “m”
transición
Clasificación de
Estados
Clasificación de estados de una Cadena de Markov
●● Los  estados de las cadenas de Markov se clasifican de acuerdo a las propiedades de sus
probabilidades de transición.
● Se dice que el estado j es accesible o alcanzable desde el estado i si , para alguna n≥0 es decir
hay una probabilidad positiva de pasar de i a j en algún número de pasos. También se dice que
i se comunica por j y esta relación se denota por i→j
● Cuando dos estados i y j son mutuamente accesibles, se dice que están comunicados o son
estados comunicantes, es decir, existen enteros no negativos n
● Un estado se llama transitorio si, después de haber entrado a este estado, el proceso nunca
regresa a él, es decir un estado es transitorio si y solo si existe un estado j (j≠i) que es
accesible desde el estado i, pero no viceversa, esto es, el estado i no es accesible desde el
estado j.
Clasificación de estados de una Cadena de Markov
● Se dice que un estado es recurrente si, después de haber entrado a este estado, el proceso
definitivamente regresará a ese estado. Un estado es recurrente si y solo si no es transitorio.
● Un tipo especial de estado recurrente es aquel estado al cual el proceso una vez que entró en
él nunca saldrá de este estado, este tipo de estado se dice absorbente. Por lo tanto, el estado i
es absorbente si y solo si pii=1
 Estado Estado
Recurrente

Recurrente
Todos los estados conducen a él...
 Estados
Absorbentes
Una vez que caes en él, ¡no
podrás salir!
 Estado
Transitorio
Sólo sirve de “paso”
 Estado
Periódico
Se regresa a él después de pasar
por uno o más estados diferentes.
Transición de estados

OPERA FALLO
TIVO TÉCNICO

FALLO
FUNCI-
ONAL

NUEVO

Hay estados en los INOPERA Hay estados a los

que sales y no TIVO que llegas y no
vuelves a regresar vuelves a salir
Ejemplos
Caso cambios
comportamentales
Ejercicio B
Solución
NF FP FM

NF 0.93 0.05 0.02

FP 0.10 0.80 0.10

FM 0.05 0.10 0.85

Caso : Operador
Telefónico
Ejemplo
Las personas realizan la renovación (o cambio) de contrato de telefonía aproximadamente cada
año. En ese momento escogen entre 3 ofertas (Entel, Claro, Movistar). Un estudio de
investigación muestra que si el modelo actual es Entel, la siguiente compañía puede ser Claro
con probabilidad 0.2, o Movistar con probabilidad 0.15. Si el modelo actual es Claro, las
probabilidades de cambiar a Entel y Movistar son 0.6 y 0.25, respectivamente. Pero si el
modelo actual es Movistar, entonces las probabilidades de cambiar comprar a Entel y Claro son
0.5 y 0.1, respectivamente. Represente la situación como una cadena de Markov.

Asimismo se sabe que al inicio del estudio en el mercado existen 500,000 contratos, repartidos
de la siguiente manera: Entel =300,000, Claro=125,000, Movistar=75,000.
 Transición entre estados
X3

Estado 3

X1 X2 Xn+1
Estado 2

Estado 1
X0
Xn

0 1 2 3 ... n n+1

Donde Xo es el estado inicial.

Ejemplo 2
E=1 E=2 E=3 Preguntas:

E=1 0.65 0.20 0.15 - ¿Cuál es la probabilidad que en el

periodo 3, se tenga contratado a
E=2 0.60 0.15 0.25 Movistar?

E=3 0.50 0.10 0.40 Rpta= 0.22

- A largo plazo, cuál es la probabilidad

Π0 = P(X0 = 1) = 0.60; que esté contratado Claro

P(X0=2)=0.25; y Rpta = 0.17

P(X0=3)=0.15.
Caso:
Probabilidad de
cadenas
Ejemplo 2.b
E=1 E=2 E=3
Hallar
E=1 1/4 1/2 1/4 - P (X2=3,X1=2,X0=1); para una
probabilidad de estado inicial de
E=2 1/3 1/3 1/3
P(X0=1) = 0.6
E=3 2/3 1/6 1/6
Rpta

= P (X2=3/X1=2) * P (X1=2/X0=1) *
otro más P(X0 = 1)

P(Xo=1;X1=1;X2=1) =? = ⅓ * ½ * 0.60 = 0.10

Ejemplo 2.c
E=1 E=2 E=3 Hallar

- P (X2=2); para una probabilidad de estado

E=1 1/4 1/2 1/4
inicial de P(X0 = 1) = 0.60, P(X0=2)=0.25,
y P(X0=3)=0.15.
E=2 1/3 1/3 1/3
Rpta
E=3 2/3 1/6 1/6
P (X1=2/X0=1)*P(X0=1) +

P (X1=2/X0=2)*P(X0=2) +

otro más P (X1=2/X0=3)*P(X0=3)

P(X2=2) =?
https://youtu.be/dLADH-eBo9U
Ejemplo 2c. X0 = 1
P(X1 = 2/X0 = 1)

P(X1 = 2/X0 = 2)
X0 = 2

=3 P(X1 = 2/X0 = 3)
X0
Ejemplo 2.c
E=1 E=2 E=3 Hallar

- P (X2=2); para una probabilidad de estado

E=1 1/4 1/2 1/4
inicial de P(X0 = 1) = 0.60, P(X0=2)=0.25,
y P(X0=3)=0.15.
E=2 1/3 1/3 1/3
Rpta
E=3 2/3 1/6 1/6

otro más

P(X20=2) =?
Caso fallo de
equipos
Caso: Sistema de
comunicaciones
Se sabe que un sistema de
comunicaciones falla o no
dependiendo si ha fallado o no el
día anterior. La probabilidad que
falle un día sabiendo que ha fallado
el día anterior es de 0,6; pero si no
ha fallado el día anterior es de 0,4. Π
a) Elaborar la matriz de
transición de la cadena, y
responda:
Caso: Sistema de
comunicaciones
¿Cuál es la probabilidad que el Probabilidad de estado de origen
sistema falle el cuarto día
Π0 = {0.30 0.70}
sabiendo [T=4], y que inicialmente
la probabilidad de fallar es de 0,3
Probabilidad de estado en el salto “m=4”
y la de no fallar es de 0,7?.
Rpta: 0,49968 Π 4 = Π 0 x Π4

Π4 = {0,49968 0,50032}
Ejercicio E
A largo plazo, ¿Cuál es la probabilidad
de equilibrio?. Rpta: (0,50 0,50)
(se identifica llegando a la 13ava
transición)

Otra forma de hallarlo es resolviendo

la siguiente matriz

luego X y Y son igual a 0,50

https://www.youtube.com/watch?v=5bNooxRm960
Caso introducciòn
al mercado
Ejercicio A
El departamento de estudios de una tienda estima
que el 20% de personas que compran un producto
un mes, no lo comprarà el mes siguiente.
No
Comprar
comprar
Ademàs, el 30% de quienes no lo compren un
mes, lo adquiriràn el mes siguiente.

Se sabe que de una poblaciòn de 1000 personas,

100 compraron el producto el primer.

- Elaborar el diagrama de transiciòn C NC

- Elaborar la matriz de transiciòn
C

NC
Soluciòn A

No
Comprar
comprar

- La probabilidad de compra en el

paso 1 (T = 1)

- La probabilidad de compra en el
C NC
paso 2 (T = 2)
C 0.8 0.2

NC 0.3 0.7 - La probabilidad de compra

esperada, al estabilizarse la cadena.

Solución
Estados
Absorbentes
Cadenas absorbentes de Markov

► Se le conoce a una cadena de Markov como absorbente cuando esta

posee un estado a partir de la cual existe cero probabilidad de salir del
mismo.

► En este tipo de cadenas, los estados no absorbentes tenderán a llegar a

los estados absorbentes con el paso del tiempo de los cuales no se puede
salir.

► La probabilidad de que se pase de un estado absorbente a otro es de 0;

por ende, la probabilidad de permanecer en ese estado es de 1.
Cadenas absorbentes de Markov

En
En este
este caso
caso el
el
3 estado
estado 33 es
es el
el
absorbente
absorbente

1 2
Formula de cadena absorbente

► Si “i” es el estado inicial y “j” es el estado final, se dice que un

estado es absorbente cuando:

1. P(i,i) = 0 (donde i es diferente a j)

2. P(i,j) = 1 (donde i es diferente a j)

Ejercicio 1
► Se sabe que un cliente entra a una tienda y se dirige a la sección A el 30% de las
veces, mientras que el resto de veces ingresa a la sección B. En los próximos 5
minutos, una vez que está en A, existe un 40% de que se quede en A, un 20% de
que se dirija a B, mientras que el resto corresponde a dirigirse a la caja para pagar
y retirarse de la tienda. Asimismo en los próximos 5 minutos, se sabe que un
cliente en la sección B se dirige a la sección A un 30% de las veces, un 20% de
que se quede en B y el otro 50% se dirige a la caja para pagar y retirarse.
► Identifique cuál es el estado absorbente
► Elabore el gráfico que represente la transición
► Elabore la matriz de transición
► Determinar donde que pasará en los próximos 10 minutos si se sabe la
distribución de entrada a la tienda de un cliente.
Los estados presentes en este problema son los siguientes:

► Sección A
► Sección B
► Caja y Salida

Ante esto observamos que el cliente paga y se retira por ende al ya no regresar a
alguna sección de la tienda nos damos cuenta de que ese es el estado absorbente,
donde la probabilidad de pasar a otro estado es 0.
Gráfico de la transición
1

En
En este
este caso
caso el
el
CAJA estado
estado Caja
Caja es
es el
el
absorbente
absorbente

0,5
0,4

0,3
A B
0,2

0,4
0,2
La matriz de transición de estados

Sección A Sección B Caja y Salida

Sección A 0,4 0,2 0,4
Sección B 0,3 0,2 0,5
Caja y Salida 0 0 1

Además al inicio la distribución es la siguiente:

Sección A Sección B Caja y Salida

Minuto 0 0,3 0,7 0
Después de 5 minutos multiplicamos la matriz inicial con la matriz de transición de
estados

Minuto 5 Sección A Sección B Caja y Salida

Sección A 0,33 0,2 0,47

Después de 10 minutos multiplicamos la matriz anterior con la matriz de transición

de estados

Minuto 10 Sección A Sección B Caja y Salida

Sección A 0,192 0,106 0,702
Ejercicio 2

► En la USIL, el curso de introducción a los modelos estocásticos es bastante difícil,

por lo cual la probabilidad de que un alumno pase a la primera vez el curso es del
50%. Si éste no pasa se va a la Bika con más poder, donde la probabilidad de que
pase su bika es de un 70%. Además, se sabe que como la trika es sabiduría, la
probabilidad de que pase el curso es del 90%. Si éste no pasa el curso es
expulsado de la carrera.
► Elabore la matriz de transición de estados.
► Los estados absorbentes son Expulsado y Aprobado, donde la
probabilidad de pasar a otro estado es 0.

► La matriz de transición de estados

Primera vez Bika Trika Expulsado Aprobado
Primera vez 0 0,5 0 0 0,5
Bika 0 0 0,3 0 0,7
Trika 0 0 0 0,1 0,9
Expulsado 0 0 0 1 0
Aprobado 0 0 0 0 1
Ejercicio 3

► En una granja cada mes se tienen terneros, de los cuales se sabe que
un 20% muere, otro 20% aún no se ha desarrollado por completo y
sigue siendo ternero, el 10% es vendido y un 50% crece
convirtiéndose en adulto. Asimismo, el 20% de los adultos se
quedan en la granja, el 70% es vendido y el 10% muere.

► Determine la matriz de transición

► Los estados absorbentes son Vende y Muere, donde la probabilidad
de pasar a otro estado es 0.

► La matriz de transición de estados

Ternero Adulto Vende Muere
Ternero 0,2 0,5 0,1 0,2
Adulto 0 0,2 0,7 0,1
Vende 0 0 1 0
Muere 0 0 0 1
Solución de estados
absorbentes
Generalmente nos interesa:

Número esperado de periodos que pasa

en el estado transitorio antes de pasar
al estados absorbente

Si una cadena empieza en un estado

transitorio, ¿cuál es la probabilidad de
terminar en cada uno de los estados
absorbentes?
Solución de estados
absorbentes
Las respuestas son:

1)0,45

2) 1 año y 3 meses.

3) 0,27 y 0,28 respectivamente.

4) 14,4 dólares por árbol plantado.

https://www.youtube.com/watch?v=0VGMn60-f_4
Conclusiones
REFERENCIAS

TAHA, HAMDY A. (2012). Investigación de operaciones. Novena edición.

PEARSON EDUCACIÓN, México.

EPPEN, G. D. (2000). Investigación de Operaciones en la Ciencia Administrativa.

PRENTICE-HALL, México.

Gallager, Robert G. (2013). Stochastic processes: theory for applications.

Cambridge University Press, United Kingdom.