Definiciónes de Metodos Estocásticos

En matemática se define como un proceso estocástico discreto que cumple con

la propiedad de Markov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la información relevante para
describir en probabilidad su estado futuro.
Una cadena de Markov es una secuencia X1, X2, X3, ... de variables aleatorias. El
dominio de estas variables es llamado ESPACIO ESTADO; el valor de Xn es el
estado del proceso en el tiempo n. Si la distribución de probabilidad condicional
de Xn+1en estados pasados es una función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es

la propiedad de Markov.
Cadenas homogéneas y no homogéneas

Una cadena de Márkov se dice HOMOGÉNEA si la probabilidad de ir del estado i al

estado j en un paso no depende del tiempo en el que se encuentra la cadena,
esto es:
Para todo n y para cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes
mencionada no se cumple diremos que la cadena de Márkov es NO
HOMOGÉNEA.
Probabilidades de transición y matriz de transición

La probabilidad de ir del estado i al estado j en n unidades de tiempo es

en la probabilidad de transición en un paso se omite el superíndice

Un hecho importante es que las probabilidades de transición en n pasos satisfacen

la ecuación de Chapman-Kolmogórov, esto es, para cualquier k tal que
0 < k < n se cumple donde E denota el espacio de estados.

Cuando la cadena de Márkov es homogénea, muchas de sus propiedades

útiles se pueden obtener a través de su matriz de transición, definida entrada
a entrada como esto es, la entrada i, j corresponde a la probabilidad de ir del
estado i a j en un paso.
Del mismo modo se puede obtener la matriz de transición en n pasos como:

.
Vector de probabilidad invariante

Se define la distribución inicial .

Diremos que un vector de probabilidad (finito o infinito numerable) es invariante

para una cadena de Márkov si donde P denota la matriz de transición de la
cadena de Márkov. Al vector de probabilidad invariante también se le
llama distribución estacionaria o distribución de equilibrio.
Clases de comunicación
Para dos estados i,j en el espacio de estados E, diremos que de i se accede a j (y
se denotará ) si para algún n, si y entonces diremos que i comunica con j y se
denotará i↔j.
La propiedad "↔" es una relación de equivalencia. Esta relación induce una
partición en el espacio de estados. A estas clases de equivalencia las
llamaremos clases de comunicación.
Dado un estado x, denotaremos a su clase de comunicación como C(x).

Diremos que un subconjunto C del espacio de estados (al que denotaremos E)

es cerrado si ningún estado de E-C puede ser accedido desde un estado de C, es
decir, si para todo x∈ C, para todo y ∈E-C y para todo natural m>0.
Tiempos de entrada
Si definimos el primer tiempo de entrada a C como la variable aleatoria esto
es, denota la primera vez que la cadena entra al conjunto de estados C.
Recurrencia
En una cadena de Márkov con espacio de estados E, si x∈ E se define y diremos que :x
es
estado recurrente si x es transitorio si x es absorbente si Una clase de
comunicación es clase recurrente si todos sus estados son recurrentes. Sea si x∈ E
diremos que: x es cero-recurrente si x es positivo-recurrente si El real se interpreta como el tiempo promedio
de recurrencia.
Periodicidad El periodo de un estado x∈ E se define como:
donde denota el máximo común divisor.

Si d(x)=1 diremos que x es un estado aperiódico.

Una cadena de Márkov se dice aperiódica si todos sus estados son aperiódicos.
 Tipos de cadenas de Márkov
Cadenas erráticas
Una cadena de Márkov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes
entre sí):

1. Desde cualquier estado de E se puede acceder a cualquier otro.

2. Todos los estados se comunican entre sí.
3. C(x)=E para algún x∈ E.
4. C(x)=E para todo x∈ E.
5. El único conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son
ejemplos de cadenas de Márkov irreducibles.

Cadenas positivo-recurrentes
Una cadena de Márkov se dice positivo-recurrente si todos sus estados son
positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que
existe un único vector de probabilidad invariante y está dado por:

Cadenas regulares
Una cadena de Márkov se dice regular (también primitiva o ergódica) si
existe alguna potencia positiva de la matriz de transición cuyas entradas
sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de
transición de la cadena se tiene que:donde W es una matriz con todos sus
renglones iguales a un mismo vector de probabilidad w, que resulta ser el
vector de probabilidad invariante de la cadena. En el caso de cadenas
regulares, éste vector invariante es único.
Cadenas absorbentes
Una cadena de Márkov con espacio de estados finito se dice
absorbente si se cumplen las dos condiciones siguientes:

1. La cadena tiene al menos un estado absorbente.

2. De cualquier estado no absorbente se accede a algún estado
absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su
complemento como D, tenemos los siguientes resultados:

 Su matriz de transición siempre se puede llevar a una de la forma

Donde la submatriz Q corresponde a los estados del conjunto D, I es

la matriz identidad, 0 es la matriz nula y R alguna submatriz.

 Esto es, no importa en donde se encuentre la cadena,

eventualmente terminará en un estado absorbente.
Cadenas de Márkov en Tiempo Continuo
Si en lugar de considerar una secuencia discreta X1, X2,...,
Xi,.. con i indexado en el conjunto de números naturales, se
consideran las variables aleatorias Xt con t que varía en un
intervalo continuo del conjunto de números reales, tendremos
una cadena en tiempo continuo. Para este tipo de cadenas en
tiempo continuo la propiedad de Márkov se expresa de la
siguiente manera: Tal que Para una cadena de Márkov
continua con un número finito de estados puede definirse una
matriz estocástica dada por: La cadena se denomina
homogénea sí . Para una cadena de Márkov en tiempo
continuo homogénea y con un número finito de estados

puede definirse el llamado generador infinitesimal como: 2

Y puede demostrarse que la matriz estocástica viene dada por:
Aplicaciones
Meteorología
Si consideramos el tiempo atmosférico de una región a través
de distintos días, es plausible asumir que el estado actual
sólo depende del último estado y no de toda la historia en sí,
de modo que se pueden usar cadenas de Márkov para
formular modelos climatológicos básicos. Por ejemplo, se han
desarrollado modelos de recurrencia de las lluvias basados
en cadenas de Márkov.3
Modelos epidemiológicos
Una importante aplicación de las cadenas de Márkov se
encuentra en el proceso Galton-Watson. Éste es un proceso
de ramificación que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia (véase modelaje
matemático de epidemias).
Internet
El pagerank de una página web (usado por Google en sus
motores de búsqueda) se define a través de una cadena de
Márkov, donde la posición que tendrá una página en el
buscador será determinada por su peso en la distribución
estacionaria de la cadena.
Simulación
Las cadenas de Márkov son utilizadas para proveer una
solución analítica a ciertos problemas de simulación, por
ejemplo en teoría de colas el Modelo M/M/14 es de hecho un
modelo de cadenas de Márkov.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a
través de una cadena de Márkov. El modelo de la ruina del
jugador, (Gambler's ruin), que establece la probabilidad de
que una persona que apuesta en un juego de azar finalmente
termine sin dinero, es una de las aplicaciones de las cadenas
de Márkov en este rubro.
Economía y finanzas
Las cadenas de Márkov se pueden utilizar en modelos
simples de valuación de opciones para determinar cuándo
existe oportunidad de arbitraje, así como en el modelo de
colapsos de una bolsa de valores o para determinar
la volatilidad de los precios. En los negocios, las cadenas de
Márkov se han utilizado para analizar los patrones de compra
de los deudores morosos, para planear las necesidades
de personal y para analizar el reemplazo de equipo.
Genética
Se emplean cadenas de Márkov en teoría de genética de
poblaciones, para describir el cambio de frecuencias génicas
en una población pequeña con generaciones discretas,
sometida a deriva genética. Ha sido empleada en la
construcción del modelo de difusión de Motō Kimura.
Música
Diversos algoritmos de composición musical usan cadenas
de Márkov, por ejemplo el software Csound o Max
Operaciones
Se emplean cadenas de Márkov en inventarios,
mantenimiento, flujo de proceso
Redes Neuronales
Se utilizan en las máquinas de Boltzmann (redes neuronales)

2021