INVESTIGACIÓN DE

OPERACIONES II

CADENAS DE MARKOV
Parte I
Ing. Esp. Carlos Miguel Rodriguez Moreno
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

¿Qué es un Proceso Estocástico?

Suponiendo que se Ejemplos
observan algunas 1. En el tiempo 0, tengo $2. En los tiempos 1, 2, …, participo en
características de un un juego en el que apuesto $1. Con probabilidad p, gano el
sistema en puntos juego, y con probabilidad 1-p, pierdo el juego. Mi objetivo es
discretos en el tiempo, incrementar mi capital hasta $4, y cuando lo logre el juego se
un proceso estocástico termina. El juego también se termina si mi capital se reduce a
discreto en el tiempo $0.
es simplemente una 2. Una urna tiene 2 bolas sin pintar. Se elige una bola al azar y
descripción de la se lanza una moneda. Si la bola elegida no esta pintada y resulta
relación entre las cara en la moneda, se pinta de rojo la bola, si resulta cruz, se
variables aleatorias que pinta de negro la bola. Si la bola ya está pintada, entonces sea
componen dicho cual sea el resultado de la moneda, se cambia el color de la bola
proceso. (de rojo a negro, o de negro a rojo).
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

¿Qué es una Cadena de Markov?

Un tipo especial de ! "#$% = ' "# = ( = )*+
proceso discreto en el
Donde )*+ es la probabilidad de que el sistema
tiempo se llama Cadena
de Markov, en el que estará en el estado ' en el tiempo , + 1, dado que
en cualquier instante de está en el estado ( en el timepo ,.
tiempo, dicho proceso
estocástico discreto Si el sistema se mueve del estado ( durante un
puede estar en un periodo al estado ' durante el siguiente periodo,
número finito de se dice que ocurrió una transición de ( a '.
estados, y existe una
probabilidad de cambio Probabilidades de
)*+
de estado o mantenerse transición
en el mismo.
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Definiciones esenciales
1. !" es la probabilidad de que 2. Las probabilidades de transición de los
la cadena se encunetre en el cambios de estado se representan en una
estado # en el tiempo 0 Matriz de probabilidad de transición o
($ %& = # = !" ). Matriz de transición $ de orden - . -, de la
siguiente manera:
Por tanto se conoce como
distribución de probabilidad 0)) 0)* … 0),
inicial para la cadena de 0*) 0** … 0*,
/= ⋮ ⋮ ⋱ ⋮
Markov al vector:
0,) 0,* … 0,,
( = !) !* … !, ,

3 0"4 = 1 ∀ # = 1, 2, … , -
45)
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Probabilidades de transición en la n-ésima

etapa
!"# $ = &' − é*&+, -.-+-$/, 0- 12

Ejemplo
Suponga que toda la industria de bebidas de cola produce solo dos tipos. Dado que una
persona la última vez compró cola 1, hay un 90% de probabilidades de que su siguiente
compra sea cola 1. Dado que la última compra de una persona fue cola 2, hay 80% de
probabilidades de que su siguiente compra sea cola 2.

1. Si una persona en la actualidad es comprador de cola 2, ¿Cuál es la probabilidad de

que compre cola 1 en su segunda compra a partir de ahora?
2. Si una persona en la actualidad es comprador de cola 1, ¿Cuál es la probabilidad de
que compre cola 1 en su tercera compra a partir de ahora?
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Probabilidades de transición en la n-ésima

etapa
!"#$%$&'&(%( () )*+%" ), )' )*+%(# - ), )' +&)./# , = 1(3#'4.,% - () !5 )

Ejemplo

Suponga que el 60% de las personas en la actualidad beben cola

1 y el restante cola 2, en la tercera compra a partir de ahora,
¿Qué fracción de los compradores estará bebiendo cola 1?
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Clasificación de los estados en una cadena

de Markov
0,4 0,6 0 0 0
0,5 0,5 0 0 0
!= 0 0 0,3 0,7 0
0 0 0,5 0,4 0,1
0 0 0 0,8 0,2

Trayectoria, para dos estados - y ., es una secuencia de transiciones

que comienza en - y termina en ., tal que cada transición en la secuencia
tiene una probabilidad positiva de ocurrir.
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Clasificación de los estados en una cadena

de Markov
Un estado ! es alcanzable desde el estado " si hay una trayectoria que
conduzca de " a !.

Se dice que dos estados " y ! se comunican si ! es alcanzable desde ", e

" es alcanzable desde !.

Un conjunto de estados # en una cadena de Markov es un conjunto

cerrado si ningún estado fuera de # es alcanzable desde algún estado
en #.

Un estado " es un estado absorbente si $%% = 1.

 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Clasificación de los estados en una cadena

de Markov
Un estado ! es un estado transitorio si existe un estado " que es alcanzable
desde !, pero el estado ! no es alcanzable desde el estado ".

Si un estado no es transitorio, se llama estado recurrente.

Un estado ! es periódico con periodo # > 1 si # es el número más pequeño tal

que las trayectorias que conducen del estado ! de regreso al estado ! tienen una
longitud que es un multiplo de #. Si un estado recurrente no es periódico, se
conoce como aperiódico.
0 1 0
&= 0 0 1
1 0 0
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Clasificación de los estados en una cadena

de Markov
Si los estados en una cadena son recurrentes, aperiódicos y se
comunican entre sí, se dice que la cadena es ergódica.

" "
" % % % 0 0 " " "
0 " "
$ $ 0 0 ' % '
" " % % % "
!" = 0 !% = % " !$ = 0
% % $ $
" $ 0 0 $ $ % "
0 " $ 0
' ' 0 0 $ $
' '
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Probabilidades de estado estable y tiempos

promedio de primer paso
! = !# !$ + !& + ⋯ + !( = 1

Determinar las probabilidades de estado estable para el ejemplo de la fabrica de

producción de bebidas de cola.

Luego, suponga que cada cliente realiza una compra de refresco de cola durante
cualquier semana (52 semanas = 1 año). Suponga que hay 100 millones de clientes
que consumen refresco de cola. A la compañía le cuesta $1 producir un refresco de
cola y lo vende en $2. Por $500 millones al año, una empresa publicitaria garantiza
disminuir de 10 a 5% la fracción de clientes de cola 1 que cambian a cola 2 después
de una compra. ¿Debe la compañía que fabrica cola 1 contratar a la empresa
publicitaria?
 CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

Probabilidades de estado estable y tiempos

promedio de primer paso

1
!"# = 1 + ' *"( !(# !"" =
( )# +"

Determinar los tiempos promedios de primer paso

para el ejemplo de la fabrica de producción de
bebidas de cola.
CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II

¡MUCHAS GRACIAS!