CADENAS DE MARKOV

Piero Cuneo M.
CONCEPTOS BÁSICOS

• Espacio muestral: es el conjunto de posibles valores

• resultados de un experimento

• Probabilidad: es la posibilidad de ocurrencia de un evento

• Evento: subconjunto del espacio muestral

• Función de distribución: función que asigna a cada evento

• una probabilidad

• Variable aleatoria: una función que asigna valores reales a los resultados de un
experimento.
 ¿QUÉ ES UN PROCESO ESTOCÁSTICO?

• Es un proceso que se desarrolla de manera aleatoria en el tiempo.

Mutaciones de un virus
 ¿QUÉ ES UN PROCESO ESTOCÁSTICO?

• Es un proceso que se desarrolla de manera aleatoria en el tiempo.

• Los ingresos por ventas de una compañía

• El desarrollo del tráfico en una ciudad

• Cantidad de productos en inventario

• Índice de homicidios de una región

Otros ejemplos
• La demanda de la energía eléctrica.

• Estabilidad política de una región

• Asistentes a la universidad el día de parcial

DEFINICIÓN FORMAL

• Proceso estocástico: es una familia de variables aleatorias

{ 𝑋(𝑡 ) , 𝑡 ∈ 𝑇 } en donde t toma valores del conjunto T.
DESCRIPCIÓN DE UN PROCESO ESTOCÁSTICO

{ 𝑋(𝑡), 𝑡∈ 𝑇 }
• Para describir un proceso estocástico basta conocer la distribución de probabilidad
conjunta de dichas variables.

• Para cada t el sistema se encuentra en uno de un número finito de

• estados mutuamente excluyentes; 0, 1, 2, … , M

• Si T es finito se trata de un proceso discreto

• Si T es un subconjunto de los reales se trata de un proceso continuo

 Cadenas de Markov

• Una cadena de Markov es un proceso estocástico que cumple con la propiedad de

perdida de memoria.

• Los estados futuros del proceso dependen únicamente del presente, por lo mismo
son independientes del pasado.

• Las cadenas de Markov son modelos probabilísticos que se usan para predecir la
evolución y el comportamiento a corto y a largo plazo de determinados sistemas.
Cadenas de Markov

• Definición formal de un proceso markoviano:

• Considere el proceso ( 𝑋𝑛+1, 𝑋𝑛, 𝑋𝑛−1,…, 𝑋1, 𝑋0)

• Si 𝑋𝑛 = 𝑖→ el proceso se encuentra en el estado i en el tiempo

• o etapa n.

• Un proceso cumple con la propiedad markoviana si:

•
Presente Pasado

𝑃(𝑋𝑛+1 = 𝑗/𝑋𝑛 = 𝑖,𝑋𝑛−1 = 𝐾𝑛−1,…, 𝑋1 = 𝐾1, 𝑋0 =𝐾0)

= 𝑃(𝑋𝑛+1 = 𝑗/𝑋𝑛 =𝑖)

Cadenas de Markov

Probabilidad de transición

• La probabilidad 𝑃(𝑋𝑛+1 = 𝑗/𝑋𝑛 = 𝑖) se denomina probabilidad de transición.

Probabilidades estacionarias

• Se cumple: 0 ≤ 𝑃𝑖𝑗 𝑛 ≤ 1 𝑝𝑎𝑟𝑎 𝑡𝑜𝑑𝑜𝑖, 𝑗, 𝑛 = 0,1,2, …

Cadenas de Markov

• Matriz de transición de una etapa: matriz cuadrada formada por las

probabilidades de transición.

Resume todas las probabilidades de transición para los M estados

posibles del sistema.
Cadenas de Markov

• Representación gráfica de un proceso de Markov

1 −𝛼
𝛼
0 1
0 1
𝛼 1 −𝛼
𝑃= 0 𝛽
1 1 −𝛽 𝛽
1 −𝛽

• Un proceso de Markov puede representarse gráficamente si se conocen los M

estados posibles del sistema y las probabilidades de transición asociadas a
ellos.
PROBABILIDADES DE TRANSICIÓN A LA “n-ésima “ ETAPA
PROBABILIDADES DE TRANSICIÓN A LA “n-ésima “ ETAPA
 CLASIFICACIÓN DE ESTADO DE UNA CADENA DE MARKOV

• Diremos que un estado j es alcanzable desde el estado i, si existe una sucesión de arcos
(camino) que van desde i hasta j.

• Un estado j es absorbente si Pjj=1.Siempre que se ingresa a un estado absorbente nunca se

saldrá de el , es un conjunto cerrado que contiene un solo estado .

• Un estado i es un estado transitorio si existe un estado j que es alcanzable desde i , pero i no

es alcanzable desde j

• Si un estado no es transitorio , es un estado recurrente, se repite

• Un estado recurrente i es periódico si su trayectoria es k >1 y la trayectoria de regreso del

estado i al estado i es múltiplo de k .

• Un estado recurrente no es periódico, es aperiódico.

• Si todos loes estados de una cadena son recurrentes , aperiódicos y se comunican entre si ,
se dice que la cadena es ergodica.
CLASIFICACIÓN DE ESTADO DE UNA CADENA DE MARKOV

• Periodicidad:
• En la siguiente CM todos los estados son periódicos de periodo k=2:

• Cadenas ergodicas:
• Es posible avanzar desde un estado i hasta cualquier estado j , no es necesario que se logre
en un solo paso , pero debe ser posible para que cualquier resultado sea logrado. Deben de
ser recurrentes, aperiódicos y comunicados entre si.
PROBABILIDADES DE ESTADO ESTABLE

• Estado Estable:
• Se describe el comportamiento a largo plazo de las CM , refleja una probabilidad constante
luego de un largo periodo.
CADENAS ABSORBENTES

• Concepto:
• Sea X una CM cuyos estados son todos transitorios o absorbentes. En tal caso diremos que
X es absorbente

 Q' R 
P   
0 I

• I: Matriz Identidad
• Q: M. de estados transitorios.
• R: Transiciones de estados transitorios a
estados absorbentes.
• 0: Matriz de ceros
CADENAS ABSORBENTES

• Concepto:
• El número medio de etapas que se estará en el estado transitorio j antes de la absorción,
suponiendo que empezamos en el estado transitorio i, viene dado por el elemento (i,j) de:

(I–Q’)–1
Proposición: La probabilidad de ser absorbido por un estado absorbente j, suponiendo que
empezamos en el estado transitorio i, viene dada por el elemento (i,j) de la matriz

(I–Q’)–1 R, que se denomina matriz fundamental de la CM

• I: Matriz Identidad
 Q' R 
P   
• Q: M. de estados transitorios.
• R: Transiciones de estados transitorios a
estados absorbentes.
• 0: Matriz de ceros 0 I