Procesos

estocásticos y
Cadenas de Markov
¿Qué es el Azar?, ¿es un concepto intrínseco u ontológico ligado
a ciertos fenómenos o sólo es una invención para justificar
nuestra incapacidad de encontrar una causa que explique los
resultados?

Cuando lanzamos un dado y atribuimos al Azar el resultado, ¿lo

hacemos porque hay una imposibilidad lógica o física de prever
su resultado, como la Física cuántica supone en la determinación
de la energía y localización del electrón?, o bien ¿se debe a que
todavía no hemos sido capaces de lograr un modelo de Mecánica
newtoniana capaz de predecir qué número saldrá?
Cuestiones filosóficas como estas siguen desafiando nuestra
comprensión de los fenómenos que denominamos aleatorios, a
pesar de que sus nociones y la práctica de los juegos de Azar y de
adivinación han acompañado al hombre desde su origen.

Parece como si la mente humana, acostumbrada a buscar

patrones, tuviera grandes dificultades para intuir las propiedades
de los procesos aleatorios y, de hecho, aunque los primeros
intentos de analizar matemáticamente los juegos de Azar se
remontan al siglo XVI, con CARDANO, o al XVII, con FERMAT y
PASCAL, no se ha logrado una teoría matemática de los
fenómenos aleatorios hasta 1933, gracias a los trabajos de A. N.
KOLMOGOROV.
Ideas preliminares
Series temporales

Serie temporal o Ejemplo

cronológica Registro de la temperatura
máxima diaria en una ciudad
durante un mes.
- sucesión de valores
de una variable
observada durante un
periodo de tiempo.
Ideas preliminares
Series temporales

Importancia
Conocer la evolución de Predecir el
los valores de la variable comportamiento
de los fenómenos.
tratada en el tiempo.
Ideas preliminares
Procesos estocásticos

Variable aleatoria a
lo largo del tiempo Proceso estocástico

Objetivo
Ajustar un modelo con el fin
de hacer predicciones sobre
el comportamiento futuro.
Procesos estocásticos (aleatorios)
Definición formal

Estados: espacio de estados

discreto
Posibles
valores que
puede tomar espacio de estados
continuo
la variable
aleatoria
Además la variable tiempo puede ser
de tipo discreto o de tipo continuo
 Procesos estocásticos (aleatorios)
Definición formal

Un proceso estocástico se define como una colección indexada de variables aleatorias

{Xt}, donde el índice t toma valores de un conjunto T dado.

Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xt

representa una característica de interés cuantificable en el tiempo t.

Por ejemplo, Xt puede representar los niveles de inventario al final de la semana t.

Los procesos estocásticos son de interés para describir el comportamiento de un

sistema en operación durante algunos periodos. Un proceso estocástico tiene la
siguiente estructura…
 Procesos estocásticos (aleatorios)
Definición formal

La condición actual del sistema puede estar en una de M + 1 categorías mutuamente

excluyentes llamadas estados.

Por conveniencia en la notación, estos estados se etiquetan 0, 1, 2, . . ., M.

La variable aleatoria Xt representa el estado del sistema en el tiempo t, de manera que

sus únicos valores posibles son 0, 1, . . ., M. El sistema se observa en puntos del tiempo
dados, etiquetados t = 0, 1, 2, . . .

De esta forma, los procesos estocásticos {Xt} = {X0, X1, X2, . . .} proporcionan una
representación matemática de la forma en que evoluciona la condición del sistema
físico a través del tiempo.
 Procesos estocásticos (aleatorios)
Definición formal

Este tipo de procesos se conocen como procesos estocásticos de

tiempo discreto con espacio de estados finito.

Entonces…
Sea Xi una variable aleatoria que caracteriza el estado del
sistema en puntos discretos en el tiempo t = 1, 2… . La
familia de variables aleatorias {Xi} forma un proceso
estocástico con una cantidad finita o infinita de estados.
 Procesos estocásticos (aleatorios)
Definición formal

Un proceso estocástico Para cada t

puede considerarse
también como un función
de dos variables.
es una variable aleatoria.

De manera que a la pareja

Para cada

se le asocia el estado

es una trayectoria del

o
proceso.
Procesos estocásticos

Si el conjunto T es... La v. a. Xt es...

continuo proceso estocástico de

parámetro continuo
discreto proceso estocástico de
parámetro discreto

Si para instante t el proceso estocástico es..

Xt es continua de estado continuo

Xt es discreta de estado discreto

Procesos estocásticos
Caso sencillo tiempo discreto

Supongamos el espacio Entonces para cada n, Xn

parametral: es el valor del proceso o
estado del sistema al
tiempo n.
(Discreto)

que interpretamos como

tiempos.

Entonces habrá:

variables aleatorias
Procesos estocásticos
Caso tiempo continuo

El espacio parametral también

puede ser un conjunto continuo

Entonces el proceso es a
tiempo continuo y se denota:
Convención:
si el subíndice es n, entonces los
tiempos son discretos, y si el
subíndice es t, el tiempo se mide
de manera continua
Procesos estocásticos
Ejemplo de clima
El clima en Pto Montt puede cambiar con rapidez de un día a otro. Sin embargo, las
posibilidades de tener clima sin lluvia mañana es de alguna forma mayor si hoy no
llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está
seco, pero es de sólo 0.6 si hoy llueve.
Estas probabilidades no cambian si se considera la información acerca del clima en los
días anteriores a hoy.
La evolución del clima día tras día en Pto Montt es un proceso estocástico. Si se
comienza en algún día inicial (etiquetado como día 0), el clima se observa cada día t,
para t = 0, 1, 2, . . . El estado del sistema en el día t puede ser:
• Estado 0 = El día t es seco
• Estado 1 = El día t es lluvioso
Así, para t = 0, 1, 2, . . ., la variable aleatoria Xt toma los valores,
0 si día t es seco
Xt
1 si día t es lluvioso
El proceso estocástico {Xt} = {X0, X1, X2, . . .} proporciona una representación
matemática de la forma en que evoluciona el clima en Pto. Montt a través del tiempo.
 Procesos estocásticos
Cadena - Ejemplo máquina en una fábrica

Los posibles estados para la máquina son que esté

operando o que esté fuera de funcionamiento.
La verificación se realizará al principio
de cada día siendo los estados:

"fuera de operación" con el valor 0

"en operación" con el valor 1.

Posible secuencia de
cambios de estado a
0 través del tiempo
para esa máquina.
Procesos estocásticos
Procesos de estado discreto

Una secuencia de variables que indique el valor del

proceso en instantes sucesivos suele representarse de la
siguiente manera:

en la que cada variable Xi , i = 0, ..., n, tiene una distribución

de probabilidades, en general, distinta de las otras
variables.
 Procesos estocásticos
Procesos de estado discreto

Principal interés en el Si en el instante n−1 se está

caso discreto:
Cálculo de probabilidades
de ocupación de cada
estado a partir de las
probabilidades de cambio de
estado.
en el estado xn−1 ¿con qué
probabilidad se estará en el
estado xn en el siguiente n?
Esta probabilidad se denotará
con

probabilidad de transición
o de cambio de estado.
Procesos estocásticos
Procesos de estado discreto

Probabilidades de Probabilidades de
ocupación de estado transición o de cambio de
estado.

Otra notación
 Procesos estocásticos
Procesos de estado discreto

Otra probabilidad de interés es la de ocupar un cierto estado en un instante

n, dado que en todos los instantes anteriores, desde n=0 hasta n−1, se
conoce en qué estados estuvo el proceso. Esto se puede escribir como:

Nótese que esta probabilidad

depende de toda la historia
pasada del proceso, mientras
que la probabilidad de transición
depende únicamente del estado
actual que ocupe el proceso.
Procesos estocásticos
Procesos de estado discreto

Procesos de Markov
Propiedad de Markov.
Son procesos donde, suponiendo
conocido el estado presente del
sistema, los estados anteriores no
tienen influencia en los estados
futuros del sistema.
 Procesos estocásticos
Cadenas de Markov

Algunas veces estamos interesados en cómo cambia una variable aleatoria

con el tiempo. Por ejemplo, es posible que se desee saber cómo
evoluciona el precio de una parte de las acciones o la participación en el
mercado de una empresa.
El estudio de cómo una variable aleatoria cambia con el tiempo incluye
procesos estocásticos.
En particular, se fija la atención en un tipo de proceso estocástico
conocido como cadena de Markov.
Las cadenas de Markov se han aplicado en áreas como educación,
comercialización, servicios de salud, finanzas, contabilidad y producción.
En matemáticas, se define como un proceso estocástico discreto que cumple con la
propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante
actual, su estado presente resume toda la información relevante para describir en
probabilidad su estado futuro.

Una cadena de Markov es una secuencia X1, X2, X3,... de variables aleatorias. El rango
de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en
el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados
es una función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la

propiedad de Markov.
En resumen…
Proceso de Markov. Un proceso estocástico es un proceso de Markov si
un estado futuro depende sólo del estado inmediatamente anterior. Esto
significa que dados los tiempos cronológicos t0, t1,…, tn, la familia de
variables aleatorias {Xtn} = {x1, x2,... , xn} es un proceso de Markov si…
 Andrei Andreyevich Markov

Andréi Andréyevich Márkov (Андре́й Андре́евич

Ма́рков) (14 de junio de 1856-20 de julio de 1922) fue un
matemático ruso conocido por sus trabajos en la teoría de
los números y la teoría de probabilidades.
Aplicaciones Cadenas de Markov
•Física: Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física
estadística.
•Meteorología: Si consideramos el clima de una región a través de distintos días, es claro que el
estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden
usar cadenas de Markov para formular modelos climatológicos básicos.
•Modelos epidemiológicos: Una importante aplicación se encuentra en el proceso Galton-Watson
(para modelar el desarrollo de una epidemia).
•Internet: El pagerank de una página web se define a través de una cadena de Markov.
•Simulación: para proveer una solución analítica a ciertos problemas de simulación (Modelo M/M/1).
•Juegos de azar: Son muchos los juegos de azar que se pueden modelar a través de una cadena de
Markov.
•Economía y Finanzas: en modelos simples de valuación de opciones para determinar cuándo existe
oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para
determinar la volatilidad de precios. En los negocios, para analizar los patrones de compra de los
deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.
•Música: Diversos algoritmos de composición musical usan cadenas de Markov, por ejemplo el
software Csound o Max.
Clasificación de los estados de una cadena de Markov

• Estado Alcanzable: un estado j es alcanzable desde el estado i si hay una trayectoria

que conduzca de i a j.

• Estados que se Comunican: se dice que dos estados i y j se comunican si j es

alcanzable desde i, e i es alcanzable desde j.

• Estado Cerrado: un conjunto de estados S en una cadena de Markov es un conjunto

cerrado si ningún estado fuera S es alcanzable desde algún estado en S.

• Estado Absorbente: un estado i es absorbente que cuando j llega ahí no puede salir
de él.
Clasificación de los estados de una cadena de Markov

• Estado Transitorio: un estado i es un estado transitorio si existe un estado j que es

alcanzable desde i, pero el estado i no es alcanzable desde el estado j.

• Estado Recurrente: siempre que parta del estado i será un estado recurrente si se
pueda volver al mismo estado i.

• Estado Periódico: un estado i es periódico con periodo k > 1 si k es el número más

pequeño tal que las trayectorias que conducen del estado i de regreso al estado i
tienen una longitud que es múltiplo de k. Si un estado recurrente no es periódico,
se conoce como aperiódico .

• Cadena Ergodica: si los estados en una cadena son recurrentes, aperiódicos y se

comunican entre si, se dice que la cadena es ergódica.
 Diagrama de proceso o transición
Estado transitorio
Estados
Estados que absorbente
se
comunican
Procesos estocásticos
Procesos de estado discreto

Cadenas de Markov
Aquellas Cadenas que cumplen la propiedad de
Markov se llaman Cadenas de Markov.
 Procesos estocásticos
Procesos de estado discreto

Cadenas de Markov

Considere una máquina que será

revisado al inicio de cada día para
verificar si está operativa o si está
dañada.

diagrama de estados
 Ejemplo
El clima en la Tierra de Oz

Según el cuento, en la Tierra de Oz

nunca hay dos días buenos en
sucesión. Después de un día con
buen tiempo, le sigue (con igual
probabilidad) un día con lluvia o
nieve. Del mismo modo, si nieva (o
llueve), el día siguiente nevará (o
lloverá) con probabilidad 1/2, pero si
cambia el tiempo, solo la mitad de las
veces será un lindo día.
 Ejemplo
El clima en la Tierra de Oz

Primero encontremos la probabilidades de transición, es decir las

probabilidades de que teniendo cierto clima un día, al día siguiente se tenga
otro clima.
Indiquemos con b un día bueno, con una l uno lluvioso y n si nieva.
Ejemplo
El clima en la Tierra de Oz
0.0 0.5

0.5

Bueno Lluvia

0.25
0.5 0.25

0.25 0.25

Nieve

0.5
Ejemplo
El clima en la Tierra de Oz
Resumiendo:
Se le llama matriz de
transición (o transiciones).
Vemos que:
● Los coeficientes son
positivos.
● Si sumamos una fila
el resultado es 1.
Cuando la matriz cumple
estas dos características se
le llama matriz estocástica
En cambio la suma por
columnas no da 1.
Ejemplo
El clima en la Tierra de Oz
Este es un ejemplo de una
cadena de Markov
Hay ciertos estados: b,l y n.
En cada momento estamos en
alguno de esos estados.
En el siguiente momento
volveremos a ese estado o a
otro.
Pasaremos de un estado a
otro con cierta probabilidad.
Solo depende del estado
inmediato anterior.
La probabilidad no cambia
con el transcurso del tiempo.
Procesos estocásticos
Cadenas de Markov

La matriz de transición pij es la probabilidad de

estar en el estado j dado
que está en el estado i.

En cualquier paso puede

ocurrir alguno de los
sucesos E1 , E2 , . . . , Em y
Con la condición (matriz
estocàstica.
Procesos estocásticos
Cadenas de Markov - Ejemplo 1
Ejemplo
Cadenas de Markov

Las siguientes matrices son estocásticas?

Procesos estocásticos
Cadenas de Markov - Ejemplo 2

Paseante
La zona urbana de mi pueblo tiene 6
cuadras de largo, que van de norte a
sur.
Estoy con ganas de deambular y pasar
el tiempo, y como tengo una moneda, se
me ocurre tirarla y caminar una cuadra
hacia el norte si sale cara o una cuadra
hacia el sur si sale sello. Y continúo este
juego hasta salir de la zona urbana, ya
sea hacia el norte o hacia el sur.
Procesos estocásticos
Cadenas de Markov - Ejemplo 2

Podemos pensar que los estados son 0,1,...,5,6, donde

0 es la esquina sur donde empieza la zona urbana, 6 la
esquina norte.
La matriz de transición puede escribirse entonces
como:
Al llegar al estado 0 o 6
el "juego" se termina,
por lo que ponemos un
1 en la entrada
correspondiente
indicando que ya nos
quedamos para siempre
en esa posición.
Procesos estocásticos
Cadenas de Markov - Dos pasos, ejemplo.

Supongamos que estando En cada camino

en un estado i lleguemos multiplicamos las
en dos pasos al estado j. probabilidades, y
después sumamos
los caminos
Evidentemente en el
primer paso estaremos
en algún estado
intermedio k (que puede
ser i o j) y después
pasar de k a j
Procesos estocásticos
Cadenas de Markov - Dos pasos, ejemplo.
 Procesos estocásticos
Cadenas de Markov - Dos pasos, ejemplo.

Si el miércoles está nublado, para calcular la probabilidad de que el viernes

siguiente haga sol, se necesita calcular la matriz de transición en 2 pasos:

La probabilidad de que el viernes haya sol es de 0,66

 Procesos estocásticos
Formulación del ejemplo del clima como una cadena de Markov
En el ejemplo del clima sobre Pto. Montt la evolución del clima día tras día se ha
formulado como un proceso estocástico {Xt} (t = 0, 1, 2, . . .)
donde:
Diagrama de transición de estados del ejemplo del clima.

El diagrama de transición de estado de la figura presenta de manera grafica la misma

información que proporciona la matriz de transición. Los nodos (círculos) representan
los dos estados posibles del clima, mientras que las flechas muestran las transiciones
posibles de un día al siguiente (se incluye la opción de regresar al mismo estado). Cada
una de las probabilidades de transición se escribe a continuación de la flecha
correspondiente.
 Procesos estocásticos
Cadenas de Markov
Ecuaciones de Chapman-Kolmogorov
Procesos estocásticos
Cadenas de Markov
Procesos estocásticos
Cadenas de Markov
Estado estable…
Se puede decir que el estado estable es la distribución de
probabilidades que en cierto punto quedará fija para el vector a
y no presentará cambios en periodos posteriores.
Procesos estocásticos
Cadenas de Markov - Probabilidades iniciales
Procesos estocásticos
Cadenas de Markov - Probabilidades iniciales
Procesos estocásticos
Cadenas de Markov - Probabilidades iniciales
Procesos estocásticos
Cadenas de Markov - Probabilidades iniciales

v ; ;
Procesos estocásticos
Cadenas de Markov - Probabilidades iniciales
Procesos estocásticos
Cadenas de Markov - Probabilidades iniciales
Ejemplo
¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de
los tres pisos?
 TIEMPOS DE PRIMERA PASADA

Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades

sobre el número de transiciones que hace el proceso al ir del estado i al estado j por
primera vez.

Este lapso se llama tiempo de primera pasada al ir del estado i al estado j.

Cuando j = i, este tiempo de primera pasada es igual al número de transiciones hasta que el
proceso regresa al estado inicial i.

En este caso, el tiempo de primera pasada se llama tiempo de recurrencia del estado i.
En general, los tiempos de primera pasada son variables aleatorias.
Las distribuciones de probabilidad dependen de las probabilidades de transición del
proceso.
En particular, fij(n) denota la probabilidad de que el tiempo de primera pasada del estado i
al j sea igual a n.
Para n > 1, este tiempo de primera pasada es n si la primera transición es del estado i a
algún estado k (k ≠ j) y después el tiempo de primera pasada del estado k al estado j es
n – 1.
Por lo tanto, estas probabilidades satisfacen las siguientes relaciones recursivas:
En general podemos considerar a los tiempos de primera pasada como variables aleatorias,
por tanto con una distribución de probabilidad asociada a ellos.
Dichas distribuciones de probabilidad dependerán de las probabilidades de transición del
proceso.

fij(1)=pij(1)=pij
fij(2)=pij(2)-fij(1)pij
.............................................
fij(n)=pij(n)-fij(1)pij(n-1)-fij(2)pij(n-2)....-fij(n-1)pij
Entonces, la probabilidad de un tiempo de primera pasada del estado i al j en n pasos, se
puede calcular de manera recursiva a partir de las probabilidades de transición de un paso.
Para i y j fijas, las fij (n) son números no negativos tales que

Sin embargo, esta suma puede ser estrictamente menor que 1, lo que significa que un
proceso que al iniciar se encuentra en el estado i puede no alcanzar nunca el estado j.
Cuando la suma sí es igual a 1, las fij(n) (para n = 1, 2, . . .) pueden considerarse como una
distribución de probabilidad de la variable aleatoria, el tiempo de primera pasada.
Aunque puede ser tedioso calcular fij(n) para toda n, es relativamente sencillo obtener el
tiempo esperado de primera pasada del estado i al estado j.
Sea μij esta esperanza, que se define como
Siempre que

μij satisface, de manera única, la ecuación

Esta ecuación reconoce que la primera transición desde el estado i puede ser al estado j o a
algún otro estado k.
Si es al estado j, el tiempo de primera pasada es 1. Dado que la primera transición es a
algún estado k (k ≠ j), lo que ocurre con probabilidad pik, el tiempo esperado de primera
pasada condicional del estado i al estado j es 1 + μkj.
Cuando se combinan estos hechos, y se suman todas las posibilidades de la primera
transición, se llega a esta ecuación.
En el caso de μij con j = i, μii es el número esperado de transiciones hasta que el proceso
regresa al estado inicial i, y se llama tiempo esperado de recurrencia del estado i.
Después de obtener las probabilidades de estado estable (π0, π1, . . ., πM) los tiempos
esperados de recurrencia se calculan de inmediato como
Ejemplo
Para determinar la distribución de probabilidad de estado estable del problema del
jardinero con fertilizante, tenemos
La solución es
π1 = 0.1017
π2 = 0.5254
π3 = 0.3729;
es decir que a la larga, la condición de la tierra será buena 10% del tiempo, regular 52% del
tiempo, y mala 37% del tiempo.
Los tiempos medios del primer retorno se calculan como

Esto quiere decir que, en promedio, se requerirán aproximadamente 10 temporadas de

siembra para que la tierra regrese a un buen estado, 2 temporadas para que regrese al
estado regular, y 3 temporadas para que regrese a un estado malo
Ejemplo