Instituto Tecnológico Superior de

Centla

INSTITUTO TECNOLÓGICO SUPERIOR DE CENTLA

UNIDAD 4: CADENAS DE MARKOV

CARRERA:
INGENIERÍA INDUSTRIAL
Materia:
INVESTIGACIÓN DE OPERACIONES II
Clave de la asignatura:
INC-1019
Catedrático:
ING. MARÍA DEL ROCÍO CRUZ TORRES
Alumnos:
KARLA GUADALUPE CARRILLO POZO 18E50020

MARLENE DE LA CRUZ GARCIA 18E50023

DEISY VERÓNICA HERNÁNDEZ CARRILLO 18E50030

ROCÍO HERNÁNDEZ DE LA CRUZ 18E50031

JESÚS HERNÁNDEZ VELÁZQUEZ 18E50035

SEMESTRE Y GRUPO:
5° “A”
Fecha de Entrega:
3/11/2020

0
 Instituto Tecnológico Superior de
Centla

INTRODUCCIÓN

En este tema hablaremos de las cadenas de Markov, nos dice que estos son un tipo
de proceso estocástico introducido en 1906 por el matemático Andréi Markov, de
quien reciben su nombre, específicamente, al igual nos dice que una cadena de
Markov es un proceso estocástico de espacio de estados discreto en el que la
evolución futura del proceso solo depende de su estado presente y es independiente
de la evolución pasada del proceso, es decir, es un proceso que cumple con la
propiedad de no memoria, se tal manera que presentaremos en este tema la
caracterización de las cadenas de Markov de acuerdo a la temporalidad del
proceso estocástico. Nos dice que Sea T ⊂ R y (Ω, F, P) un espacio de probabilidad.
Un proceso aleatorio es una función

X:T×Ω→R

Tal que para cada t ∈ T, X(t, ·) es una variable aleatoria. Si fijamos ω ∈ Ω obtenemos
una función X(·, ω) : T → R que se conoce como una trayectoria del proceso.

En general interpretamos el parámetro t como el tiempo aunque también se pueden

considerar procesos con índices en espacios más generales. En este curso T será
un subconjunto de R. Los casos más comunes serán

o T discreto (Procesos a tiempo discreto): T = N, T = {0, 1, 2, . . . }, T = Z.

o T continuo (Procesos a tiempo continuo): T = [0, 1], T = [0, ∞), T = R.

En cuanto a los valores del proceso llamaremos E al espacio de estados y

consideraremos también dos casos:

o Valores discretos, por ejemplo E = {0, 1, 2, . . . }, E = N o E = Z

o Valores continuos, por ejemplo E = [0, ∞), E = R, etc.

1
 Instituto Tecnológico Superior de
Centla

CADENAS DE MARKOV

En este tema nos dice que es un proceso estocástico donde la posibilidad de que
un evento ocurra depende del evento anterior, ya que básicamente, una cadena es
un proceso en tiempo discreto, al igual nos dice que también se puede suponer su
continuidad, pero esta tarea sobrepasa el ámbito en el que se enmarca esta
publicación en el que una variable aleatoria va cambiando de estado con el paso
del tiempo, al igual en otras palabras, nos dice que una cadena representa un
sistema que varía su estado a lo largo del tiempo, nos dice que un estado es una
caracterización de la situación en la que se halla un determinado sistema en un
instante dado, y puede ser tanto cuantitativo como cualitativo, en términos
coloquiales.

Las cadenas de markov son modelos probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas a
continuación damos unos ejemplos los cuales son reparto del mercado entre
marcas; dinámica de las averías de máquinas para decidir política
de mantenimiento; evolución de una enfermedad,
Una Cadena de Markov (CM) nos dice que son:
Un proceso estocástico
Con un número finito de estados (M)
Con probabilidades de transición estacionarias
Que tiene la propiedad markoviana.

PROCESO ESTOCÁSTICO
Este es un conjunto de variables aleatorias: {X (t) CG} definidas en un mismo
espacio de probabilidad, normalmente el índice t representa un tiempo y X(t) el
estado del proceso estocástico en el instante t, el proceso puede ser de tiempo
discreto o continuo si G es discreto o continuo, si el proceso es de tiempo discreto,
usamos enteros para representar el índice: {X1, X2,...}

2
 Instituto Tecnológico Superior de
Centla

Al igual nos dio a conocer unos ejemplos de procesos estocásticos los cuales son
Serie mensual de ventas de un producto
Estado de una máquina al final de cada semana (funciona/averiada)
Nº de clientes esperando en una cola cada 30 segundos
Marca de detergente que compra un consumidor cada vez que hace la
compra, ya que se supone que existen 7 marcas diferentes
Nº de unidades en almacén al finalizar la semana

ELEMENTOS DE UNA CADENA DE MARKOV

Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes

(ejemplo: estados de la enfermedad)
Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para
examinar las transiciones entre estados (ejemplo, un mes)
Probabilidades de transición entre estados, en un ciclo (matriz P)
Distribución inicial del sistema entre los M estados posibles

CADENAS DE MARKOV CON ESTADOS RECURRENTES

Nos dio a conocer este tema que en esta clase de estados, habrá una distribución
de suma de probabilidades que al correr del tiempo llegarán a un estado en el cual
no sufrirá más modificaciones, es decir, se llegará a un estado estable, para tener
una idea más clara sobre éste concepto, se muestra el siguiente ejemplo:

Tres laboratorios farmacéuticos (A, B y C) que compiten en un principio activo

mismo conjunto homogéneo en la orden de precios de referencia, hoy sus cuotas
de mercado son 30%, 20% y 50% respectivamente:

3
 Instituto Tecnológico Superior de
Centla

Este es un ejemplo de cadena de Markov irreductible y ergódica, todos los estados

son recurrentes y están comunicados entre sí, formando una sola clase, ya que
hay solución de estado estable reparto del mercado a largo plazo, independiente de
la situación inicial.

En principio se debe tener presente a la matriz Po o la actual:

Siendo 0.3 la de A, 0.2 la de B y 0.5 la de C

Existe otra forma de resolver esta clase de estados, llegando simplemente a la

matriz estable, sin tener que hallar los demás Pn.

Haciendo L=[x y z]
LT=L

Nos quedaría el siguiente sistema de ecuaciones

0.8x + 0.15y + 0.13z = x

0.1x + 0.82y + 0.12z = y
0.1x + 0.03 y + 0.75z = z
x+y+z=1

4
 Instituto Tecnológico Superior de
Centla

Ésta última ecuación se coloca debido a que se debe complicar que la suma de las
probabilidades debes ser exactamente igual a 1, ya que al resolver este sistema de
ecuaciones por el método que más le guste, obtendrá los mismos resultados de la
matriz estable, es decir:
x=0.4165
y=0.3722
z=0.21131
Por lo que este método es práctico para los resultados a largo plazo.

CADENAS DE MARKOV CON ESTADOS ABSORBENTES

Nos dice que a diferencia de los estados recurrentes, los estados absorbentes
tendrás sumas de probabilidades que con el correr del tiempo llegarán a ser cero,
todo esto debido a que hay estados que tiene probabilidad 1 y por ende los demás
estados tenderán a llegar a esta clase de estados .
Para tener una idea más clara sobre éste concepto, se muestra el siguiente ejemplo:

La empresa jurídica Angie Montero, emplea 3 tipos de abogados: subalternos,

superiores y socios. Durante cierto año el 10% de los subalternos ascienden a
superiores y a un 10% se les pide que abandonen la empresa. Durante un año
cualquiera un 5% de los superiores ascienden a socios y a un 13% se les pide la
renuncia. Los abogados subalternos deben ascender a superiores antes de llegar a
socios. Los abogados que no se desempeñan adecuadamente, jamás descienden
de categoría.
A. Forme la matriz de transición T
B. Determine si T es regular, absorbente o ninguna de las 2.
C. Calcule la probabilidad de que un abogado subalterno llegue a socio
D. ¿Cuánto tiempo deberá permanecer en su categoría un abogado
subalterno recién contratado?
E. ¿Cuánto tiempo deberá permanecer en la empresa un abogado
subalterno recién contratado?

5
 Instituto Tecnológico Superior de
Centla

a) Calcule la probabilidad de que un abogado superior llegue a socio.

b) Se hace la matriz T y nos queda:

c)
b) Nótese que la parte azul cielo tiene probabilidades iguales a 1, por lo tanto esta
es la parte absorbente de la matriz. Por esta razón es una matriz absorbente.
Ahora se procede a restar la matriz normal de la identidad y se halla la inversa para
ver los tiempos entre estados, para posteriormente esta última ser multiplicada por
la matriz absorbente y saber las probabilidades de cambios de estado.

c) Al multiplicar la matriz inversa por la Absorbente se puede hallar dicha

probabilidad, esta es 0.14

6
 Instituto Tecnológico Superior de
Centla

d) Al simplemente hallar la matriz inversa se es posible hallar el tiempo en años que

debería permanecer normalmente un abogado subalterno en su compañía, serían
5 años.

e) Cuando piden el tiempo que debería permanecer un abogado subalterno pero

durante la empresa sería sumar el tiempo en que se queda como subalterno con el
tiempo en que permanece como superior: esto es, 5+2.77= 7.77 años.

f) Por último la probabilidad de que pase de subalterno a socio es mostrado en la

última matriz, sería 0,28.

Las cadenas de Márkov nos dice que tienen la propiedad de que la probabilidad de
que la variable aleatoria en cuestión se encuentre en un estado j en el instante t solo
depende del estado en que se encontraba el sistema en el instante t-1, y no de los
anteriores a este último, ya que en este sentido, las cadenas de Márkov tienen
memoria, si bien dicha memoria está restringida al último estado de la variable.

A modo de ejemplo, la probabilidad de que el valor de una acción bursátil evolucione

al alza, a la baja o repita en una determinada sesión bursátil depende únicamente
de si subió, bajó o permaneció constante en la sesión precedente, nos dice que las
cadenas de Márkov han sido ampliamente utilizadas en numerosos campos de la
ciencia y, en particular, en el de las Ciencias Sociales, retomando la terminología
formal, considérese una sucesión de variables aleatorias {Xt}, t = 0, 1, 2, ..., n-2, n-
1, n, ...

Pues bien, dicha sucesión de variables aleatorias constituirá una cadena de Márkov
si se verifica que:

P (Xn = j/X0 = i0, X1 = i1,...., Xn-1 = ii-1)= P (Xn= j/Xn-1 = ii-1)

En caso de que P (Xn = j/X0 = i0, X1 = i1, ..., X n-1 = ii-1, Xn-2 = ii-2) la cadena se
denominaría de segundo orden, es decir, en el ejemplo utilizado anteriormente, si la
probabilidad de evolución al alza, a la baja o de mantenimiento del valor de una
acción bursátil dependiese únicamente de si dicha acción subió o bajó o repitió valor

7
 Instituto Tecnológico Superior de
Centla

en las dos sesiones precedentes, de manera análoga se definirían las cadenas de

Márkov de tercer, cuarto,orden.

Por otra parte, una cadena de Márkov se califica de homogénea si las

probabilidades de paso de un estado a otro no dependen del instante temporal que
se considere.

P(Xn = j/ Xn-1 = ii-1) Pij ∀n

A ellas nos ceñiremos en lo que resta de exposición, en el ejemplo que se viene

arrastrando, la probabilidad de que el valor de una determinada acción bursátil
evolucione al alza, a la baja o permanezca igual en una determinada sesión bursátil
depende únicamente de si subió o bajó o se mantuvo constante en la sesión
precedente, y ello independientemente del instante de tiempo en el que se pretende
calcular dicha probabilidad.

Las probabilidades de paso de un estado i a otro j (Pij), se denominan

probabilidades de transición, en caso de que Pij > 0, se dice que el estado Ei puede
comunicar con el estado Ei, la comunicación se dice que es mutua si Pij > 0.

Si se consideran m posibles estados, E1, E2, ..., Em mutuamente excluyentes, para

cada i fijo, el conjunto de probabilidades Pij, J = 1, 2, ..., m, define una distribución
de probabilidad, puesto que en cualquier eslabón de la cadena tiene que darse uno
de los estados E1, E2, ..., Em. Esto es:

En el ejemplo que se viene utilizando, supóngase que el valor bursátil en cuestión

subió en una determinada sesión, pues bien, lógicamente, dada esta condición, la
suma de las probabilidades de que en la sesión siguiente el valor suba, baje o se
mantenga, es la unidad, puesto que los estados considerados son todos los posibles
y además son mutuamente excluyentes, en otros términos, es seguro que alguna
de las tres situaciones se tiene que dar.

8
 Instituto Tecnológico Superior de
Centla

La matriz que contiene las probabilidades de transición de un estado a otro en una

cadena homogénea se denomina matriz de transición y viene dada por como puede
observarse, se trata de una matriz cuadrada con tantas filas y columnas como
estados tiene el sistema, los elementos de la matriz representan la probabilidad de
que el siguiente estado sea el correspondiente a la columna si el estado actual es
el correspondiente a la fila.

En el caso en que, Pij = Poj, ij = 1, 2, ..., m, es decir, en el caso en que las

probabilidades de transición de un estado a otro fuesen independientes del estado
de partida, la cadena recibe el calificativo de ergódica. Otra probabilidad ciertamente
relevante en el contexto de las cadenas de Márkov es la probabilidad de alcanzar
un determinado estado Ej en n pasos o etapas, nótese que se desconoce el estado
inicial en el que se encontraba el sistema.

Denomínese Pi(0), i = 1, 2, ..., m, la probabilidad de que el sistema ocupe

inicialmente el i-ésimo estado (y resulta evidente que alguno de ellos tiene que estar
ocupando inicialmente, por lo que la suma de dichas probabilidades es la unidad).
Denomínese Pj(1) la probabilidad de que se alcance el estado Ej en un solo paso.
Por el Teorema de la Probabilidad Total,

De aquí, resulta evidente que:

Esto es, en notación matricial:

P(1) = p(0) T

Procediendo de forma recursiva se tiene que:

Donde Tn es denominada matriz de transición en n etapas.

Por tanto, generalizando las expresiones anteriores, se puede concluir que:

p(n + r) = p(r) Tn

Si existe límite para la distribución p(n) cuando el número de transiciones tiende a

infinito, se dice que el sistema se encuentra en régimen permanente o de equilibrio,
si no es así, el sistema se encontrará en régimen transitorio.

9
 Instituto Tecnológico Superior de
Centla

Por otra parte, si Tk se hace tender k a infinito y existe límite:

La cadena recibe el calificativo de asintóticamente ergódica.

¿Cómo se calculan en este caso las probabilidades Pi? En una cadena ergódica se
verifica que:

y dado que T(k) = T(k)

T(k+1) = Tk+1 = TkT

En el límite se tiene que Ω = ΩT, es decir, (T - I) Ω = 0, ecuación matricial de donde

se obtienen fácilmente las probabilidades deseadas.

Si se conociese de antemano el estado inicial en el que se encontraba el sistema,

entonces cobra relevancia la probabilidad pij(n) = pij(n) = P(Xn = j/X0 = i), que
representa la probabilidad de que la cadena esté en el j-ésimo estado tras haber
empezado en el i-ésimo estado y haber transcurrido n pasos o etapas.

Si el paso del estado inicial i al estado final j se efectuase en dos pasos o

transiciones, tomando como apoyo la conocida relación entre sucesos, P (A [cap ]
B/ C) = P (A/B [cap ] C) P (B / C) y haciendo

A → X2j

B → X1k

C → X0i

Se tiene que:

De manera análoga, si el paso del estado (conocido) i-ésimo al estado j-ésimo se

realiza en tres etapas, se tendría:

En general, si el paso se realiza en n etapas, se tiene que:

Relación que es conocida como Ecuación de Chapman-Kolmogorov.

Puede apreciarse que las matrices de transición son de la forma.

10
 Instituto Tecnológico Superior de
Centla

EJERCICIOS RESUELTOS DE CADENAS DE MARKOV

Ejercicio N°1: Una empresa está considerando utilizar Cadenas de Markov para
analizar los cambios en las preferencias de los usuarios por tres marcas distintas
de un determinado producto. El estudio ha arrojado la siguiente estimación de la
matriz de probabilidades de cambiarse de una marca a otra cada mes:

Si en la actualidad la participación de mercado es de 45%, 25% y 30%,

respectivamente. ¿Cuáles serán las participaciones de mercado de cada marca
en dos meses más?
En primer lugar definimos la variable aleatoria que representa la marca que
adquiere un cliente cualquiera en el mes n. Dicha variable aleatoria puede adoptar
los valores 1, 2,3 en el mes n=0, 1, 2,3,..

Adicionalmente conocemos cuál es la distribución inicial y la matriz de

probabilidades de transición en una etapa tal como se observa a continuación:

Luego para conocer la distribución de las participaciones de mercado al cabo de 2

meses (2 etapas) podemos utilizar la fórmula :

11
 Instituto Tecnológico Superior de
Centla

Se concluye que las cuotas de mercado (participaciones de mercado) en dos meses

ha cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un
25.50%, para las marcas 1,2 y 3 respectivamente.

Es necesario hacer algunos supuestos sobre la distribución conjunta de X 0, X1, . . .

para obtener resultados analíticos, un supuesto que conduce al manejo analítico es
que el proceso estocástico es una cadena de Markov, que tiene la siguiente
propiedad esencial:

Se dice que un proceso estocástico {Xt} tiene la propiedad markoviana si P{Xt11 =

j|X0 = k0,
X1 = k1, . . ., Xt–1 = kt–1, Xt = i} = P{Xt11 = j|Xt = i}, para t = 0, 1, . . . y toda sucesión
i, j, k0,
k1, . . ., kt–1.

En palabras, esta propiedad markoviana establece que la probabilidad condicional

de cualquier “evento” futuro dados cualquier “evento” pasado y el estado actual Xt =
i, es independiente de los eventos pasados y sólo depende del estado actual del
proceso. Un proceso estocástico {Xt} (t = 0, 1, . . .) es una cadena de Markov si
presenta la propiedad markoviana.

Las probabilidades condicionales P{Xt+1 = j=|Xt = i} de una cadena de Markov se

llaman probabilidades de transición (de un paso). Si para cada i y j,

P{Xt_1 = j⏐Xt = i} = P{X1 =j⏐X0 = i}, para toda t = 1, 2, . . . ,

12
 Instituto Tecnológico Superior de
Centla

Entonces se dice que las probabilidades de transición de un paso son estacionarias.

Así, tener probabilidades de transición estacionarias implica que las probabilidades
de transición no cambian con el tiempo, la existencia de probabilidades de transición
(de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2, . . .)

P{Xt_n = j⏐Xt = i} _ P{Xn = j⏐X0 = i}

Para toda t = 0, 1, . . . Estas probabilidades condicionales se llaman probabilidades

de transición de n pasos.

Para simplificar la notación de las probabilidades de transición estacionarias, sea

pij = P{Xt_1 = j⏐Xt = i},

pij (n) =P{Xt_n = j⏐Xt = i}.

Así, las probabilidades de transición de n pasos pij(n) son simplemente la

probabilidad condicional de que el sistema se encuentre en el estado j exactamente
después de n pasos (unidades de tiempo), dado que comenzó en el estado i en
cualquier tiempo t. Cuando n = 1 observe que pij(1) 5 pij.1
Como las pij(n) son probabilidades condicionales, deben ser no negativas y, como el
proceso debe hacer una transición a algún estado, deben satisfacer las
propiedades.

Una notación conveniente para representar las probabilidades de transición de n

pasos es la matriz de transición de n pasos

13
 Instituto Tecnológico Superior de
Centla

Observe que la probabilidad de transición en un renglón y columna dados es la de

la transición del estado en ese renglón al estado en la columna. Cuando n =1, el
superíndice n no se escribe y se hace referencia a ésta como una matriz de
transición.

Las cadenas de Markov que se estudian en este capítulo tienen las siguientes
propiedades:

1. Un número fi nito de estados.

2. Probabilidades de transición estacionarias.

También se supondrá que se conocen las probabilidades iniciales P{X0 = i} para

toda i.

14
 Instituto Tecnológico Superior de
Centla

CONCLUSION
Llegamos a la conclusión de que conocimos en este tema los procesos y elementos

de una cadena de Markov, nos dice que una cadena de Markov describe el

comportamiento de transición de un sistema en intervalos de tiempo igual mete

espaciados, al igual nos dice que el modelo de Cadena de Markov formulado como

resultado de este trabajo, y su divulgación, puede impulsar investigaciones

similares, puesto que la utilización de técnicas de Investigación de Operaciones,

específicamente las Cadenas de Markov, ofrecen una asombrosa aplicabilidad,

debido a que esta técnica es potencialmente ajustable casi a cualquier dominio

aleatorio que evolucione en el tiempo, el modelo de Markov potencia su aplicabilidad

en entornos de servicio o manufactura, por cuando las cadenas de Markov, permiten

expresar con probabilidades, el comportamiento dinámico de los sistemas de

producción a lo largo del tiempo, en estema igual nos dio a conocer que la cadena

de Markov estas se pueden aplicar en áreas como la educación, comercialización,

servicios de salud, finanzas, contabilidad y producción.

15
 Instituto Tecnológico Superior de
Centla

BIBLIOGRAFÍA

 Norris J.R. (1997). Markov Chains. Cambridge Series in Statistical and

Probabilistic Mathematics. Cambridge University Press.

 Rogerson, P.A. (1979): Prediction: A Modified Markov Chain Approach,

Journal of Regional Science 19 (4), 469-478.

 Shamblin James, Stevens G. T. “Investigación de Operaciones. Un Enfoque

Fundamental. McGraw-Hill. México, 1975.

 Bartholomew, D.J. (1973): Stochastic Models for Social Processes, John

Wiley and Sons, Londres.

 Blumen, I., Kogan, M. Y Mccarthy, P.J. (1955): The Industrial Mobility of

Labour as a Probability Process. Cornell Studies of Industrial and Labour

Relations, Vol. VI. Cornell University

16