TEORÍA CADENAS DE MARKOV

Procesos estocásticos.
Un proceso estocástico es una colección indexada de variables aleatorias Xt, t con
valores en algún conjunto T.

Cadenas de Markov.
Un proceso estocástico que cumple con la propiedad Markoviana.

Vectores de probabilidad y matrices estocásticas.

Si pij es la probabilidad de transición del estado i al estado j, (0 ≤ i, j≤ M).

Propiedad: Las filas de la matriz de transición suman uno.

La propiedad Markoviana
La probabilidad condicional de un evento futuro dado el evento actual, es
independiente de los eventos pasados.

Probabilidad de transición estacionaria.

Las probabilidades de transición son estacionarias (de un paso) si cumplen la
propiedad de Markov. En tal caso se denotan pij.

Ecuaciones de Chapman Kolmogorov.

Método para calcular estas probabilidades de transición de n pasos.

Tiempos de primer pasó.

Es el tiempo esperado μij hasta que el sistema llega al estado j, desde el estado i.

Estados de absorción.
Un estado i es absorbente, si pii es 1.

Caminata aleatoria.
Si el estado i es recurrente, se dice recurrente nulo, si empezando en i el tiempo
(número de pasos) esperado para volver a i es infinito.