Cadenas de

Markov

Ing. Freddy Pilco

 • Estar en la capacidad de tomar decisiones óptimas
en problemas o aplicaciones donde se deban tener
en cuenta las probabilidades de cambio de un
estado a otro en un determinado proceso.
• Generar el diagrama de transición de una cadena
particular a partir de una formulación específica.
• Determinar las probabilidades condicionales de una
Objetivos cadena de Markov en un proceso específico.
• Saber proyectar las probabilidades condicionales
para cualquier periodo, a partir de las
probabilidades del primer periodo.
• Tomar decisiones a partir de los resultados
obtenidos
Conceptos básicos
Proceso estocástico: se define como un conjunto indexado de variables
aleatorias generalmente denotadas por Xt; en donde el subíndice t
pertenece a otro conjunto determinado. Por ejemplo, X puede
representar el nivel de inventario y t, el periodo de tiempo. Así, X1, X2y
X3 pueden indicar el inventario al final del mes 1 (enero), al final del
mes 2 (febrero)y al final del mes 3 (marzo), respectivamente.
Estados: se define como uno de los posibles valores que puede tener la
variable aleatoria en un momento dado. Así, con base en el ejemplo
anterior, un posible estado del inventario es que haya 7 unidades al
final del mes de enero.
Probabilidad de transición: es el valor asignado o determinado, en
términos de probabilidad, al porcentaje de posibilidad de cambio de un
estado a otro, en un periodo futuro. La expresión matemática es:

indica la probabilidad de que el proceso estocástico esté en el estado j,

dentro de n periodos, dado que hoy se encuentra en el estado i.
Diagrama de transición: es una
representación gráfica de los posibles cambios
de estado.
Por ejemplo, un automóvil puede estar
cualquier día en funcionamiento, en el taller
por mantenimiento preventivo o parado por
cumplimiento de la ley. Cada uno de estos
estados son mutuamente excluyente.
Entonces, se tienen definidos los siguientes
estados:» Estado 1. Vehículo en
funcionamiento.» Estado 2. Vehículo en
mantenimiento preventivo.» Estado 3.
Vehículo parado por cumplimiento de la ley.
Matriz de transición: está compuesta por todos los elementos o
probabilidades de transición de un determinado proceso. A
continuación, se muestra la matriz de transición que se conforma para
el ejemplo de los estados del vehículo.

Periodo de primera visita: se define como el tiempo que transcurre

hasta que el proceso alcanza, por primera vez, un estado determinado,
sabiéndose que hoy arranca en otro estado determinado.
Probabilidad de estado estable: como su nombre lo indica, en algún
momento el proceso se estabiliza. Independientemente del estado i en
el cual arranque; habrá la misma probabilidad de llegar a un estado j. A
esto también se le denomina condiciones de estado estable o
probabilidades de largo plazo.
Probabilidades de primera visita: se define como la probabilidad de
llegar, por primera vez, a un estado j en n periodos, cuando el proceso
inicia en el estado i. Estas probabilidades se calculan con base en las
siguientes fórmulas:
Cadenas regulares
La explicación de este tema se realiza con base en ejemplos aplicativos.
Matriz de transición a cualquier periodo futuro
Para realizar la proyección de las probabilidades de transición a
cualquier periodo futuro, tan solo es necesaria la aplicación de las
ecuaciones de Chapman-Kolmogorov, las cuales sencillamente son un
proceso de multiplicación de matrices, tal como se define en la
siguiente fórmula:
Ejemplo 1
Dos compañías (Alfa y Beta) se disputan el mercado de un único pro
ducto entre todos los compradores. Mediante la aplicación de una
encuesta entre una muestra de los clientes, se determinó que una
persona que hoy compró producto Alfa, tiene una probabilidad del 70
% que su próxima compra nuevamente sea el producto Alfa; mientras
que si una persona hoy compró producto Beta, tiene una probabilidad
del 80 % que su próxima compra sea nuevamente de producto Beta.
Con base en esta información establezca las probabilidades de cambio
para la próximas diez compras.
Solución:
Con base en lo anterior, la definición de estados para la cadena de
Markov es la siguiente:

Por lo tanto, la matriz de transición para la primera compra después de

hoy queda de la siguiente manera
Con base en la aplicación de las ecuaciones de Chapman-kolmogorov,
las probabilidades para la segunda compra después de hoy, quedan de
la siguiente manera:

Lo anterior indica que, si un cliente hoy compró producto Alfa, tiene un

55 % de probabilidad de que en la segunda compra, nuevamente
compre producto Alfa. Igual se puede interpretar para la empresa Beta
A continuación, se presentan las matrices de transición para las
compras tercera a doceava. Todos los resultados han sido
redondeados a tres decimales.
Tal como se puede observar, las probabilidades de cambio en la compra 11 son iguales a las
probabilidades de cambio en la compra doce, lo que significa que el proceso ya se estabilizó
y que ha adquirido las condiciones de estado estable o de largo plazo. Al interpretar estos
resultados, se puede decir que no importa qué tipo de producto adquiera hoy el cliente,
finalmente, el 40 % se irá con producto Alfa y el 60 % con producto Beta.
Probabilidades de transición absolutas y de n pasos
Ejemplo 2. Cada año, un jardinero realiza una prueba química para
verificar la condición de la tierra. Según el resultado de la prueba, la
productividad en la nueva temporada puede ser uno de tres estados:
(1) buena, (2) regular y (3) mala. A lo largo de los años, el jardinero ha
observado que la condición de la tierra del año anterior afecta la
productividad del año actual y que la situación se describe mediante la
siguiente cadena de Markov:

La condición inicial de la tierra es buena, es decir a(0) = (1,0,0).

Determine las probabilidades absolutas de los tres estados del sistema
después de 8 temporadas de siembra.
 Solución

Se interpreta que después de 8 temporadas la probabilidad de que la

tierra sea buena es de 10.18%, regular 52.55% y mala 37.27%
Ejemplo 2
Un estudiante esta cursando las asignaturas de algebra y calculo. Para
estudiar el estudiante decide seguir las siguientes reglas:
1. Si un día estudia algebra al día siguiente estudiara algebra con una
probabilidad de ½ y calculo con probabilidad de ½.
2. Si un día estudia calculo al día siguiente estudiara algebra con
probabilidad 2/3 y calculo con probabilidad 1/3.
Si el estudiante estudio calculo el lunes de una semana ¿Cuál es la
probabilidad de que estudie algebra el jueves la misma semana?
Caso 1
Caso 2
Caso 3