CADENAS DE MARKOV I N VE S TI G AC I Ó N DE OPERACIONES

UNIDAD 1 : INTRODUCCIÓN
Las cadenas de Markov fueron introducidas por el matemático ruso Andrey Markov alrededor de 1905. Su intención fue
crear un modelo probabilístico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios.
El éxito del modelo propuesto por Markov radica en que es lo suficientemente complejo como para describir ciertas
características no triviales de algunos sistemas, pero al mismo tiempo es lo suficientemente sencillo para ser analizado
matemáticamente.
3.1 PROCESO ESTOCÁSTICO
Considérese un sistema que evoluciona de un estado a otro a lo largo del tiempo de acuerdo con una cierta ley de
movimiento, y sea X t el estado del sistema en el instante de tiempo t . Si se considera que la forma en la que el sistema
evoluciona no es determinística (las mismas entradas o condiciones iniciales producirán invariablemente las mismas
salidas o resultados, no contemplándose la existencia de azar), sino provocada por algún mecanismo aleatorio,
entonces puede considerarse que X t es una variable aleatoria para cada valor de t . Esta colección de variables
aleatorias es lo que se denomina proceso estocástico. Los procesos estocásticos permiten modelar fenómenos
dinámicos en los que hay cierta aleatoriedad, como por ejemplo señales biomédicas, señales sísmicas, el índice bursátil,
la evolución de una población o la evolución de una enfermedad, el clima, etc.

Ejemplo
Supongamos que X t representa la cantidad de estudiantes que se graduaran en la Universidad del Magdalena en el año
t , con t  0,1,2,3, . Es claro que los valores de X t no dependen de eventos o fenómenos de naturaleza
determinística, si no por el contario sus valores dependen de eventos o fenómenos de naturaleza aleatoria o
probabilística. Por lo tanto X t es una variable aleatoria, en la cual:
X 0 representa la cantidad de estudiantes que se graduaran al inicio del proceso.
X 1 representa la cantidad de estudiantes que se graduaran el primer año.
X 2 representa la cantidad de estudiantes que se graduaran el segundo año.
X 3 representa la cantidad de estudiantes que se graduaran el tercer año.

X t representa la cantidad de estudiantes que se graduaran en el t  ésimo año.
En este caso la colección X 0 , X 1 , X 2 , X 3 , de variables aleatorias es un proceso estocástico a tiempo discreto.
Tal colección se simboliza de la siguiente manera X 0 , X 1 , X 2 , X 3 ,  X t t 0,1, 2,
Observación:
En caso tal que el proceso estocástico sea a tiempo continuo se simboliza como X t t 0
El conjunto de valores que el tiempo asume se llama Espacio Parametral, en este caso es T  0,1,2,3,
En caso tal que el proceso estocástico sea a tiempo continuo el espacio parametral es T  0, 
El conjunto de valores que las X t asumen se llama Espacio de Estados, en este caso podría ser E  0,1,2,3,
 Ejemplo
Supongamos que X t representa el promedio semestral de un estudiante de ingeniería en particular de la Universidad
del Magdalena en el semestre t , con t  1,2,3, . Es claro que los valores de X t no dependen de eventos o fenómenos
de naturaleza determinística, si no por el contario sus valores dependen de eventos o fenómenos de naturaleza aleatoria
o probabilística. Por lo tanto X t es una variable aleatoria, en la cual:
X 1 representa el promedio semestral en el primer semestre de estudio.
X 2 representa el promedio semestral en el segundo semestre de estudio.
X 3 representa el promedio semestral en el tercer semestre de estudio.

X t representa el promedio semestral en el t  ésimo semestre de estudio.

En este caso la colección X 1 , X 2 , X 3 , de variables aleatorias es un proceso estocástico a tiempo discreto. Tal
colección se simboliza de la siguiente manera X t t 1, 2,3,
Observación:
En este caso el espacio parametral es T  1,2,3,
En este caso el espacio de estados es E  0,1,2,3,,498,499,500
Formalmente tenemos que:
Un proceso estocástico es una colección de variables aleatorias X t tT parametrizadas por un conjunto T ,
llamado espacio parametral, en donde las variables toman valores en un conjunto E llamado espacio de
estados.
Los estados son categorías mutuamente excluyentes. El conjunto de estados E puede ser finito o infinito. En los casos
más sencillos se toma como espacio parametral el conjunto discreto T  0,1,2,. Estos números se interpretan
como tiempos. En este caso se dice que el proceso es a tiempo discreto, el cual se denotara por X t t 0,1 . De esta
manera para cada t , X t es el valor del proceso o estado del sistema en el tiempo t . El espacio parametral puede
también tomarse como el conjunto continuo T  0,  . Se dice entonces que el proceso es a tiempo continuo, y se
denotará por X t t 0 . Son tipos de procesos estocásticos los siguientes:
1. Caminatas Aleatorias. 8. Procesos de Feller.
2. Procesos de nacimiento y muerte. 9. Procesos de Levy.
3. Cadenas de Markov. 10. Procesos de Wiener.
4. Procesos de Galton-Watson. 11. Procesos de Cox.
5. Procesos de Poisson. 12. Procesos de renovación.
6. Procesos de Bernoulli. 13. Martingalas.
7. Procesos de Gauss. 14. Movimiento Browniano.
 Ilustración de un proceso estocástico a tiempo discreto. Ilustración de un proceso estocástico a tiempo continúo.

Ejemplo No. 18
La ruina del jugador: Al inicio (tiempo 0 ) se tiene $2 . En los tiempos 1,2,3, se participa en un juego en el que se
apuesta $1 , dicho juego se gana con probabilidad p y se pierde con probabilidad 1  p . El objetivo es incrementar el
capital a $4 y cuando eso ocurra se termina el juego. El juego también se termina si el capital se reduce a $0 . En este
caso el espacio parametral es T  0,1,2, y el espacio de estados es E  $0,$1,$2,$3,$4. El comportamiento
del sistema se observa en el siguiente diagrama de estados.
t 0
1 p  p p

$0 $1 $2 $3 $4
1 p 1 p 1 p 1

Sea X t el capital del jugador en la t  ésima jugada, entonces X 0 , X 1 ,, X t  es un proceso estocástico a tiempo
discreto en el tiempo t , en el cual:
X 0  $2 con probabilidad 1 , es decir es una constante conocida, pero X 1 , X 2 , X 3 , son variables aleatorias.
$3 con probabilid ad p
X1  
$1 con probabilid ad 1  p
En esta unidad se estudiara un tipo de proceso estocástico a tiempo discreto conocido como Cadenas de Markov.