Cadena de M�rkov

Ir a la navegaci�nIr a la b�squeda
En la teor�a de la probabilidad, se conoce como cadena de M�rkov o modelo de M�rkov
a un tipo especial de proceso estoc�stico discreto en el que la probabilidad de que
ocurra un evento depende solamente del evento inmediatamente anterior. Esta
caracter�stica de falta de memoria recibe el nombre de propiedad de Markov.

Cadena simple biestable de Markov.

Recibe su nombre del matem�tico ruso Andr�i M�rkov (1856-1922), que lo introdujo en
1907.1?

Estos modelos estad�sticos cuentan con un gran n�mero de aplicaciones reales.

�ndice
1 Definici�n formal
2 Notaci�n �til
2.1 Cadenas homog�neas y no homog�neas
2.2 Probabilidades de transici�n y matriz de transici�n
2.3 Vector de probabilidad invariante
2.4 Clases de comunicaci�n
2.5 Tiempos de entrada
2.6 Recurrencia
2.7 Periodicidad
3 Tipos de cadenas de M�rkov
3.1 Cadenas irreducibles
3.2 Cadenas positivo-recurrentes
3.3 Cadenas regulares
3.4 Cadenas absorbentes
3.5 Cadenas de M�rkov en tiempo continuo
4 Aplicaciones
4.1 Meteorolog�a
4.2 Modelos epidemiol�gicos
4.3 Internet
4.4 Simulaci�n
4.5 Juegos de azar
4.6 Econom�a y finanzas
4.7 Gen�tica
4.8 M�sica
4.9 Operaciones
4.10 Redes Neuronales
5 Referencias
6 Bibliograf�a
7 Enlaces externos
Definici�n formal
En matem�tica se define como un proceso estoc�stico discreto que cumple con la
propiedad de M�rkov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la informaci�n relevante para
describir en probabilidad su estado futuro.

Una cadena de M�rkov es una secuencia X1, X2, X3,... de variables aleatorias. El
dominio de estas variables es llamado espacio estado; el valor de Xn es el estado
del proceso en el tiempo n. Si la distribuci�n de probabilidad condicional de Xn+1
en estados pasados es una funci�n de Xn por s� sola, entonces:

{\displaystyle P(X_{n+1}=x_{n+1}|X_{n}=x_{n},X_{n-1}=x_{n-1},\ldots
,X_{2}=x_{2},X_{1}=x_{1})=P(X_{n+1}=x_{n+1}|X_{n}=x_{n}).\,} P(X_{n+1}=x_{n+1}|
X_{n}=x_{n},X_{n-1}=x_{n-1},\ldots ,X_{2}=x_{2},X_{1}=x_{1})=P(X_{n+1}=x_{n+1}|
X_{n}=x_{n}).\,
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la
propiedad de M�rkov.

Notaci�n �til
Cadenas homog�neas y no homog�neas
Una cadena de M�rkov se dice homog�nea si la probabilidad de ir del estado i al
estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto
es:
{\displaystyle P(X_{n}=j|X_{n-1}=i)=P(X_{1}=j|X_{0}=i)\,} P(X_{n}=j|X_{n-
1}=i)=P(X_{1}=j|X_{0}=i)\, para todo n y para cualquier i, j.
Si para alguna pareja de estados y para alg�n tiempo n la propiedad antes
mencionada no se cumple diremos que la cadena de M�rkov es no homog�nea.

Probabilidades de transici�n y matriz de transici�n

La probabilidad de ir del estado i al estado j en n unidades de tiempo es
{\displaystyle p_{ij}^{(n)}=\Pr(X_{n}=j\mid X_{0}=i)\,}
p_{ij}^{(n)}=\Pr(X_{n}=j\mid X_{0}=i)\,,
en la probabilidad de transici�n en un paso se omite el super�ndice de modo que
queda

{\displaystyle p_{ij}=\Pr(X_{1}=j\mid X_{0}=i).\,} p_{ij}=\Pr(X_{1}=j\mid

X_{0}=i).\,
Un hecho importante es que las probabilidades de transici�n en n pasos satisfacen
la ecuaci�n de Chapman-Kolmog�rov, esto es, para cualquier k tal que 0 < k < n se
cumple que
{\displaystyle p_{ij}^{(n)}=\sum _{r\in E}p_{ir}^{(k)}p_{rj}^{(n-k)}}
p_{ij}^{(n)}=\sum _{r\in E}p_{ir}^{(k)}p_{rj}^{(n-k)}
donde E denota el espacio de estados.

Cuando la cadena de M�rkov es homog�nea, muchas de sus propiedades �tiles se pueden

obtener a trav�s de su matriz de transici�n, definida entrada a entrada como
{\displaystyle A_{i,j}=p_{ij}\,} A_{i,j}=p_{ij}\,
esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un
paso.

Del mismo modo se puede obtener la matriz de transici�n en n pasos como:

{\displaystyle A_{i,j}^{(n)}=P_{ij}^{(n)}} A_{i,j}^{(n)}=P_{ij}^{(n)}, donde

{\displaystyle P_{ij}^{(n)}=P(X_{n}=j|X_{0}=i)} P_{ij}^{(n)}=P(X_{n}=j|X_{0}=i).

Vector de probabilidad invariante

Se define la distribuci�n inicial {\displaystyle \pi (x)=P(X_{0}=x)\,} \pi
(x)=P(X_{0}=x)\,.
Diremos que un vector de probabilidad (finito o infinito numerable) es invariante
para una cadena de M�rkov si
{\displaystyle \nu P=\nu \,} \nu P=\nu \,
donde P denota la matriz de transici�n de la cadena de M�rkov. Al vector de
probabilidad invariante tambi�n se le llama distribuci�n estacionaria o
distribuci�n de equilibrio.

Clases de comunicaci�n
Para dos estados i,j en el espacio de estados E, diremos que de i se accede a j (y
se denotar� {\displaystyle i\rightarrow j} i\rightarrow j) si
{\displaystyle p_{ij}^{(n)}>0\,} p_{ij}^{(n)}>0\, para alg�n n,
si {\displaystyle i\rightarrow j} i\rightarrow j y {\displaystyle j\rightarrow i}
j\rightarrow i entonces diremos que i comunica con j y se denotar� i?j.

La propiedad "?" es una relaci�n de equivalencia. Esta relaci�n induce una

partici�n en el espacio de estados. A estas clases de equivalencia las llamaremos
clases de comunicaci�n.

Dado un estado x, denotaremos a su clase de comunicaci�n como C(x).

Diremos que un subconjunto C del espacio de estados (al que denotaremos E) es

cerrado si ning�n estado de E-C puede ser accedido desde un estado de C, es decir,
si {\displaystyle p_{x,y}^{(m)}=0} p_{x,y}^{(m)}=0 para todo x?C, para todo y?E-C y
para todo natural m>0.
Tiempos de entrada
Si {\displaystyle C\subset E} C\subset E, definimos el primer tiempo de entrada a C
como la variable aleatoria

{\displaystyle T_{C}={\begin{cases}\min\{n>0|X_{n}\in C\}&{\mbox{si }}\{n>0|

X_{n}\in C\}\neq \emptyset \\{\mathcal {1}}\,&{\mbox{si }}\{n>0|X_{n}\in
C\}=\emptyset \end{cases}}} T_{C}={\begin{cases}\min\{n>0|X_{n}\in
C\}&{\mbox{si }}\{n>0|X_{n}\in C\}\neq \emptyset \\{\mathcal {1}}\,&{\mbox{si }}\
{n>0|X_{n}\in C\}=\emptyset \end{cases}}

esto es, {\displaystyle T_{C}\,} T_{C}\, denota la primera vez que la cadena entra
al conjunto de estados C.

Recurrencia
En una cadena de M�rkov con espacio de estados E, si x?E se define {\displaystyle
L_{x}=\mathbb {P} \,(X_{n}=x\ para\ algun\ n\in \mathbb {N} \,|X_{0}=x)}
L_{x}=\mathbb {P} \,(X_{n}=x\ para\ algun\ n\in \mathbb {N} \,|X_{0}=x) y diremos
que:

x es estado recurrente si {\displaystyle L_{x}=1\,} L_{x}=1\,.

x es transitorio si {\displaystyle L_{x}<1\,} L_{x}<1\,
x es absorbente si {\displaystyle p_{x,x}=1\,} p_{x,x}=1\,
Una clase de comunicaci�n es clase recurrente si todos sus estados son recurrentes.
Sea {\displaystyle \mu _{x}=\mathbb {E} \,(T_{x}|X_{0}=x)} \mu _{x}=\mathbb {E} \,
(T_{x}|X_{0}=x), si x?Ediremos que:

x es cero-recurrente si {\displaystyle \mu _{x}={\mathcal {1}}\,} \mu

_{x}={\mathcal {1}}\,
x es positivo-recurrente si {\displaystyle \mu _{x}<{\mathcal {1}}\,} \mu
_{x}<{\mathcal {1}}\,
El real {\displaystyle \mu _{x}} \mu _{x} se interpreta como el tiempo promedio de
recurrencia.

Periodicidad
El periodo de un estado x?E se define como:
{\displaystyle d(x)={\rm {mcd}}\{n:P_{x,x}^{(n)}>0\}} d(x)={\rm {mcd}}\
{n:P_{x,x}^{(n)}>0\}
donde {\displaystyle {\rm {mcd}}} {\rm {mcd}} denota el m�ximo com�n divisor.

Si d(x)=1 diremos que x es un estado aperi�dico.

Una cadena de M�rkov se dice aperi�dica si todos sus estados son aperi�dicos.
Tipos de cadenas de M�rkov
Cadenas irreducibles
Una cadena de M�rkov se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre s�):

Desde cualquier estado de E se puede acceder a cualquier otro.

Todos los estados se comunican entre s�.
C(x)=E para alg�n x?E.
C(x)=E para todo x?E.
El �nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son
ejemplos de cadenas de M�rkov irreducibles.

Cadenas positivo-recurrentes
Una cadena de M�rkov se dice positivo-recurrente si todos sus estados son positivo-
recurrentes. Si la cadena es adem�s irreducible es posible demostrar que existe un
�nico vector de probabilidad invariante y est� dado por:

{\displaystyle \pi _{x}=1/\mu _{x}\,} \pi _{x}=1/\mu _{x}\,

Cadenas regulares
Una cadena de M�rkov se dice regular (tambi�n primitiva o erg�dica) si existe
alguna potencia positiva de la matriz de transici�n cuyas entradas sean todas
estrictamente mayores que cero.

Cuando el espacio de estados E es finito, si P denota la matriz de transici�n de la

cadena se tiene que:

{\displaystyle \lim _{n\to {\mathcal {1}}\,}P^{n}=W} \lim _{n\to {\mathcal

{1}}\,}P^{n}=W
donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.
En el caso de cadenas regulares, �ste vector invariante es �nico.

Cadenas absorbentes
Una cadena de M�rkov con espacio de estados finito se dice absorbente si se cumplen
las dos condiciones siguientes:

La cadena tiene al menos un estado absorbente.

De cualquier estado no absorbente se accede a alg�n estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento
como D, tenemos los siguientes resultados:

Su matriz de transici�n siempre se puede llevar a una de la forma

{\displaystyle P={\begin{pmatrix}Q&R\\0&I\end{pmatrix}}}
P={\begin{pmatrix}Q&R\\0&I\end{pmatrix}}
donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz
identidad, 0 es la matriz nula y R alguna submatriz.

{\displaystyle P_{x}(T_{A}<{\mathcal {1}}\,)=1} P_{x}(T_{A}<{\mathcal {1}}\,)=1,

esto es, no importa en donde se encuentre la cadena, eventualmente terminar� en un
estado absorbente.
Cadenas de M�rkov en tiempo continuo
Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado
en el conjunto {\displaystyle \mathbb {N} \;\!} \mathbb {N} \;\! de n�meros
naturales, se consideran las variables aleatorias Xt con t que var�a en un
intervalo continuo del conjunto {\displaystyle \mathbb {R} \;\!} \mathbb {R} \;\!
de n�meros reales, tendremos una cadena en tiempo continuo. Para este tipo de
cadenas en tiempo continuo la propiedad de M�rkov se expresa de la siguiente
manera:

{\displaystyle P(X(t_{n+1})=x_{n+1}|X(t_{n})=x_{n},\ldots
,X(t_{1})=x_{1})=P(X(t_{n+1})=x_{n+1}|X(t_{n})=x_{n})} P(X(t_{n+1})=x_{n+1}|
X(t_{n})=x_{n},\ldots ,X(t_{1})=x_{1})=P(X(t_{n+1})=x_{n+1}|X(t_{n})=x_{n}) tal que
{\displaystyle t_{n+1}>t_{n}>t_{n-1}>\dots >t_{1}} t_{n+1}>t_{n}>t_{n-1}>\dots
>t_{1}

Para una cadena de M�rkov continua con un n�mero finito de estados puede definirse
una matriz estoc�stica dada por:
{\displaystyle \mathbf {P} (t_{1},t_{2})=[p_{ij}(t_{1},t_{2})]_{i,j=1,\dots
,N},\qquad p_{ij}(t_{1},t_{2})=P[X(t_{2})=j|X(t_{1})=i],\ 0\geq t_{1}<t_{2}}
\mathbf {P} (t_{1},t_{2})=[p_{ij}(t_{1},t_{2})]_{i,j=1,\dots ,N},\qquad p_{ij}
(t_{1},t_{2})=P[X(t_{2})=j|X(t_{1})=i],\ 0\geq t_{1}<t_{2}

La cadena se denomina homog�nea si {\displaystyle \mathbf {P} (t_{1},t_{2})=\mathbf

{P} (t_{2}-t_{1})} \mathbf {P} (t_{1},t_{2})=\mathbf {P} (t_{2}-t_{1}). Para una
cadena de M�rkov en tiempo continuo homog�nea y con un n�mero finito de estados
puede definirse el llamado generador infinitesimal como:2?

{\displaystyle \mathbf {Q} =\lim _{h\to 0^{+}}{\frac {\mathbf {P} (h)-\mathbf {I} }
{h}}} \mathbf {Q} =\lim _{h\to 0^{+}}{\frac {\mathbf {P} (h)-\mathbf {I} }{h}}

Y puede demostrarse que la matriz estoc�stica viene dada por:

{\displaystyle \mathbf {P} (t)=e^{\mathbf {Q} t}=\sum _{n=0}^{\infty }{\frac

{\mathbf {Q} ^{n}t^{n}}{n!}}} \mathbf {P} (t)=e^{\mathbf {Q} t}=\sum _{n=0}^{\infty
}{\frac {\mathbf {Q} ^{n}t^{n}}{n!}}

Aplicaciones
Meteorolog�a
Si consideramos el tiempo atmosf�rico de una regi�n a trav�s de distintos d�as, es
plausible asumir que el estado actual s�lo depende del �ltimo estado y no de toda
la historia en s�, de modo que se pueden usar cadenas de M�rkov para formular
modelos climatol�gicos b�sicos. Por ejemplo, se han desarrollado modelos de
recurrencia de las lluvias basados en cadenas de M�rkov.3?

Modelos epidemiol�gicos
Una importante aplicaci�n de las cadenas de M�rkov se encuentra en el proceso
Galton-Watson. �ste es un proceso de ramificaci�n que se puede usar, entre otras
cosas, para modelar el desarrollo de una epidemia (v�ase modelaje matem�tico de
epidemias).

Internet
El pagerank de una p�gina web (usado por Google en sus motores de b�squeda) se
define a trav�s de una cadena de M�rkov, donde la posici�n que tendr� una p�gina en
el buscador ser� determinada por su peso en la distribuci�n estacionaria de la
cadena.

Simulaci�n
Las cadenas de M�rkov son utilizadas para proveer una soluci�n anal�tica a ciertos
problemas de simulaci�n, por ejemplo en teor�a de colas el Modelo M/M/14? es de
hecho un modelo de cadenas de M�rkov.

Juegos de azar
Son muchos los juegos de azar que se pueden modelar a trav�s de una cadena de
M�rkov. El modelo de la ruina del jugador, (Gambler's ruin), que establece la
probabilidad de que una persona que apuesta en un juego de azar finalmente termine
sin dinero, es una de las aplicaciones de las cadenas de M�rkov en este rubro.

Econom�a y finanzas
Las cadenas de M�rkov se pueden utilizar en modelos simples de valuaci�n de
opciones para determinar cu�ndo existe oportunidad de arbitraje, as� como en el
modelo de colapsos de una bolsa de valores o para determinar la volatilidad de los
precios. En los negocios, las cadenas de M�rkov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
Gen�tica
Se emplean cadenas de M�rkov en teor�a de gen�tica de poblaciones, para describir
el cambio de frecuencias g�nicas en una poblaci�n peque�a con generaciones
discretas, sometida a deriva gen�tica. Ha sido empleada en la construcci�n del
modelo de difusi�n de Moto Kimura.

M�sica
Diversos algoritmos de composici�n musical usan cadenas de M�rkov, por ejemplo el
software Csound o Max. Uno de los compositores que us� esta t�cnica en sus
composiciones fue Iannis Xenakis con su obra Analoguique A et B (1958�59).

Operaciones
Se emplean cadenas de M�rkov en inventarios, mantenimiento, flujo de proceso

Redes Neuronales
Se utilizan en las m�quinas de Boltzmann (redes neuronales)

Referencias
Basharin, Gely P.; Langville, Amy N.; Naumov, Valeriy A. (2004). �The Life and
Work of A. A. Markov�. Linear Algebra and its Applications (en ingl�s) 386: 3-26.
Consultado el 31 de marzo de 2010.
Masaki Kijima, 1997, p. 175
R. Gabriel & J. Neumann (2006): A Markov chain model for daily rainfall occurrence
at Tel Aviv
Masaki Kijima, 1997, pp. 287-290.
Bibliograf�a
A.A. M�rkov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie
drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom
universitete, 2-ya seriya, tom 15, pp. 135�156, 1906.
A.A. Markov. "Extension of the limit theorems of probability theory to a sum of
variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic
Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons, 1971.
Classical Text in Translation: A. A. Markov, An Example of Statistical
Investigation of the Text Eugene Onegin Concerning the Connection of Samples in
Chains, trans. David Link. Science in Context 19.4 (2006): 591�600. Online:
http://journals.cambridge.org/production/action/cjoGetFulltext?fulltextid=637500
Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968;
reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 0-89871-
296-3. (See Chapter 7.)
J.L. Doob. Stochastic Processes. New York: John Wiley and Sons, 1953. ISBN 0-471-
52369-0.
S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London:
Springer-Verlag, 1993. ISBN 0-387-19832-6. online: [1] . Second edition to appear,
Cambridge University Press, 2009.
S. P. Meyn. Control Techniques for Complex Networks. Cambridge University Press,
2007. ISBN 978-0-521-88441-9. Appendix contains abridged Meyn & Tweedie. online:
https://web.archive.org/web/20100619011046/https://netfiles.uiuc.edu/meyn/www/spm_f
iles/CTCN/CTCN.html
Booth, Taylor L. (1967). Sequential Machines and Automata Theory (1st edici�n).
Nueva York: John Wiley and Sons, Inc. Library of Congress Card Catalog Number 67-
25924. Extensive, wide-ranging book meant for specialists, written for both
theoretical computer scientists as well as electrical engineers. With detailed
explanations of state minimization techniques, FSMs, Turing machines, Markov
processes, and undecidability. Excellent treatment of Markov processes pp. 449ff.
Discusses Z-transforms, D transforms in their context.
Kemeny, John G.; Mirkil, Hazleton; Snell, J. Laurie; Thompson, Gerald L. (1959).
Finite Mathematical Structures (1st edici�n). Englewood Cliffs, N.J.: Prentice-
Hall, Inc. Library of Congress Card Catalog Number 59-12841. Classical text. cf
Chapter 6 Finite Markov Chains pp. 384ff.
Kijima, Masaaki (1997). Markov Processes for Stochastic Modeling (1st edici�n).
Cambridge: Chapman & Hall. ISBN 0 412 60660 7.
E. Nummelin. "General irreducible Markov chains and non-negative operators".
Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X