Cadena de Márkov

Ir a la navegaciónIr a la búsqueda
En la teoría de la probabilidad, se conoce como cadena de Márkov o modelo de
Márkov a un tipo especial de proceso estocástico discreto en el que la
probabilidad de que ocurra un evento depende solamente del evento
inmediatamente anterior. Esta característica de incluir una memoria reciente recibe
el nombre de propiedad de Markov en contraste con los eventos independientes
que no tienen memoria de ningún evento anterior. En un primer artículo de 1906 A.
A. Markov definió la "cadena simple" como "una secuencia infinita x1, x2, ..., xk,
xk+1, ..., de variables conectadas de tal modo que xk+1 para cualquier k es
independiente de x1, x2, ..., xk−1, en el caso de que xk sea conocida”. Markov
llamó a la cadena "homogénea" si la distribución condicional de xk+1 dado xk
fuese independiente de k. También consideró cadenas "complicadas (complex en
inglés)" en las que "cada número está conectado directamente no sólo con uno,
sino con varios números anteriores".1

Cadena simple biestable de Markov

Recibe su nombre del matemático ruso Andréi Márkov (1856-1922), que lo

introdujo en 1906.1
Estos modelos estadísticos cuentan con un gran número de aplicaciones reales.

Índice

 1Definición
 2Características
o 2.1Cadenas homogéneas y no homogéneas
o 2.2Probabilidades de Transición
o 2.3Matriz de Probabilidades de Transición
o 2.4Ecuación de Chapman-Kolmogorov
o 2.5Clases de comunicación
o 2.6Periodicidad
 o 2.7Tiempos de Primera Visita
 2.7.1Probabilidad de Primera Visita
o 2.8Recurrencia
o 2.9Tiempo Medio de Recurrencia
o 2.10Distribuciones Estacionarias
 2.10.1Existencia y Unicidad
 2.10.2Convergencia a la distribución estacionaria
 2.10.3Convergencia para Cadenas de Markov
 3Tipos de Cadenas de Markov
o 3.1Cadenas irreducibles
o 3.2Cadenas Recurrentes Positivas
o 3.3Cadenas Regulares
o 3.4Cadenas Absorbentes
o 3.5Cadenas de Markov a tiempo continuo
 4Aplicaciones
o 4.1Meteorología
o 4.2Modelos epidemiológicos
o 4.3Internet
o 4.4Simulación
o 4.5Juegos de azar
o 4.6Economía y finanzas
o 4.7Genética
o 4.8Música
o 4.9Operaciones
o 4.10Redes neuronales
 5Referencias
 6Bibliografía
 7Enlaces externos

Definición[editar]
En matemáticas, una Cadena de Markov es un proceso estocástico a tiempo
discreto  con espacio de estados discreto  que para cualquier entero  y para
cualesquiera  satisface
a esta propiedad se le conoce como propiedad de Markov.

Características[editar]
Cadenas homogéneas y no homogéneas[editar]
Se dice que una Cadena de Markov es homogénea si la probabilidad de ir del
estado  al estado  en un paso no depende del tiempo en el que se encuentra la
cadena, esto es:
para todo  y para cualquier .
Si para alguna pareja de estados y para algún tiempo  la propiedad antes
mencionada no se cumple entonces diremos que la Cadena de Markov
es no homogénea.
Probabilidades de Transición[editar]
Sean  y  dos estados de una Cadena de Markov. La probabilidad de ir del
estado  en el tiempo  al estado  en el tiempo  se denota por
.
Cuando la cadena es homogénea, esta probabilidad se denota por
,
que representa la probabilidad de pasar del estado  al estado  en
una unidad de tiempo.
Matriz de Probabilidades de Transición[editar]
Teniendo las probabilidades de transición en un paso ,, si variamos
los índices  sobre el espacio de estados  obtenemos la
matriz  llamada matriz de probabilidades de transición en un
paso, es decir:
donde la entrada  representa la probabilidad de pasar del
estado  al estado  en un paso.
La matriz  es una matriz estocástica pues satisface
Similarmente se define la matriz de probabilidades de transición
en  pasos, esta se denota por  y está dada por
donde la entrada  representa la probabilidad de pasar del
estado  al estado  en  pasos.
Ecuación de Chapman-Kolmogorov[editar]
Para cualesquiera  tales que  y para cualesquiera
estados  se cumple
Como consecuencia de este resultado, la probabilidad de
transición en  pasos, , está dada por la entrada  de la -
ésima potencia de la matriz de probabilidades de
transición en un paso, es decir
Con lo anterior, el problema de calcular las
probabilidades de transición en  pasos se convierte
en halla la -ésima potencia de la matriz de
probabilidades de transición en un paso, esto es
Clases de comunicación[editar]
Para dos estados  y  en el espacio de estados ,
diremos que el estado  es accesible desde el
estado  y escribiremos  si  tal que
si  y  entonces diremos que el
estado  se comunica con el estado  y
escribiremos .
La propiedad "" es una relación de
equivalencia. Esta relación induce una
partición del espacio de estados. A estas
clases de equivalencia las llamaremos clases
de comunicación.
Dado un estado , denotaremos a su clase de
comunicación como , por lo que  si y sólo si .
Si  entonces se dice que la cadena es
irreducible.
Periodicidad[editar]
El periodo de un estado  se define como:
donde  denota el máximo común divisor.
 Si  diremos que  es un
estado aperiódico.
 Si  diremos que  tiene periodo .
Una cadena de Márkov se
dice aperiódica si todos sus estados
son aperiódicos, es decir, si .
Tiempos de Primera Visita[editar]
Si , definimos el tiempo de
primera visita a  como la variable aleatoria
esto es,  denota la primera vez que la
cadena entra al conjunto de estados .
Probabilidad de Primera Visita[editar]
Se define
como la probabilidad de que una
cadena que inicia en el
estado  llegue al estado  por
primera vez en  pasos, donde .
En particular, cuando ,  denota la
probabilidad de regresar por
primera vez al estado  en  pasos.
Y se definen
como la probabilidad de una
eventual visita a partir del
estado  al estado  y
como la probabilidad de
partir del estado  y regresar
 a él mismo en un tiempo
finito.
Recurrencia[editar]
En una cadena de Markov
con espacio de estados ,
diremos que:
  es un
estado recurrente 
si .
  es transitorio si .
o utilizando las
probabilidades de transición
en  pasos:
  es recurrente si 
  es transitorio si 
La recurrencia es una
propiedad de clase pues
 Si  es recurrente
e  entonces  es
recurrente.
 Si  es transitorio
e  entonces  es
transitorio.
AA.
Tiempo Medio de
Recurrencia[editar]
Se define como el tiempo
medio de recurrencia de un
estado recurrente  a partir
del estado  como
la esperanza de
y se denota por 
,
Esta esperanza repre
senta el número de
pasos promedio que
a la cadena le toma
regresar al estado
recurrente .
En particular,
cuando 
 escribimos  en lugar
de .
Se dice que un
estado recurrente  es
 recurrente
nulo si .
 recurrente
positivo si .
La recurrencia
positiva es una
propiedad de clase
pues
 Si  es
recurrente
positivo
e 
 
entonces 
 es
recurrente
positivo.
 Si  es
recurrente
nulo
e 
 
entonces 
 es
recurrente
nulo.
Distribuciones
Estacionarias[edi
tar]
Se dice que el
vector  es una
distribución de
probabilidad si
Se dice que una
distribución de
probabilidad 
 
es estacionaria para
una Cadena de
Markov con matriz de
probabilidades de
transición  si
En forma
matricial lo
anterior es
equivalente a  y
significa que si
una variable
aleatoria
inicial  tiene una
distribución 
 entonces la
distribución
de  también es ,
es decir, esta
distribución no
cambia con el
paso del tiempo.
Para encontrar
una posible
distribución
estacionaria de
una cadena con
matriz , un
método consiste
en resolver el
sistema de
ecuaciones
La
distribución
estacionaria
puede no ser
única o
incluso no
existir.
Existencia y
Unicidad[edita
r]
Si una
Cadena de
Markov
es irreducibl
e y recurrent
e
positiva ento
nces tiene
una única
distribución
estacionaria y
esta está
dada por
donde  es
el tiempo
medio de
recurrenci
a del
estado .
Convergen
cia a la
distribució
n
estacionari
a[editar]
Si una
cadena de
Markov es

 I
r
r
e
d
u
c
i
b
l
e
 A
p
e
r
i
ó
d
i
c
a
  C
o
n

d
i
s
t
r
i
b
u
c
i
ó
n

e
s
t
a
c
i
o
n
a
r
i
a
 

entonces
para
cualesquie
ra 
Conver
gencia
para
Cadena
s de
Markov
[editar]
Si una
caden
a de
Marko
v es

 I
r
r
e
d
u
c
i
b
l
e
 R
e
c
u
r
r
e
n
t
e

p
o
s
i
t
i
v
a
 A
p
e
r
i
ó
d
i
c
a
entonc
es las
probab
ilidade
s límite
exi
ste
n,
est
án
da
das
por
y

c
o
n
s
t
i
t
u
y
e
n

l
a

ú
n
i
c
a

s
o
l
u
c
i
ó
n

a
l

s
i
s
t
e
m
a

d
e

e
c
u
a
c
i
o
n
e
s

Ti
po
s
de
Ca
de
na
s
de
M
ar
ko
v[e
dita
r]
Ca
de
na
s
irr
ed
uci
ble
s[e
dita
r]
Un
a
cad
ena
de
Mar
kov
se
dic
e ir
red
uci
ble 
si
se
cu
mpl
e
cua
lqui
era
de
las
sig
uie
nte
s
con
dici
one
s
(eq
uiv
ale
nte
s
entr
e
sí):
1. Desde
cualquier
estado
de  se
puede
acceder a
cualquier
otro.
2. Todos los
estados se
comunican
entre sí.
3.  para
algún .
4.  para
todo .
5. El único
conjunto
cerrado es
el total.
La 
cad
ena
de
Ehr
enf
est 
o
la c
ami
nat
a
ale
ator
ia s
in
bar
rer
as
abs
orb
ent
es
son
eje
mpl
os
de
cad
ena
s
de
Már
kov
irre
duc
ible
s.
Ca
de
na
s
Re
cu
rre
nt
es
Po
siti
va
s[e
dita
r]
Un
a
cad
ena
de
Mar
kov
se
dic
e r
ecu
rre
nte
po
siti
va 
si
tod
os
sus
est
ado
s
son
rec
urr
ent
es
pos
itiv
os.
Si
la
cad
ena
es
ade
má
s
irre
duc
ible
es
pos
ible
de
mo
stra
r
que
exi
ste
un
úni
co
vec
tor
de
pro
bab
ilid
ad
inv
aria
nte
y
est
á
dad
o
por:
Cade
nas
Regul
ares[e
ditar]
Una
cadena
de
Márkov
se
dice re
gular (t
ambién 
primitiv
a o erg
ódica)
si
existe
alguna
potenci
a
positiv
a de la
matriz
de
transici
ón
cuyas
entrad
as
sean
todas
estricta
mente
mayore
s que
cero.
Cuand
o el
espaci
o de
estado
s  es
finito,
si 
 denota
la
matriz
de
transici
ón de
la
cadena
se
tiene
que:
donde  es
una matriz
con todos
sus
renglones
iguales a
un mismo
vector de
probabilida
d w, que
resulta ser
el vector
de
probabilida
d
invariante
de la
cadena.
En el caso
de
cadenas
regulares,
este vector
invariante
es único.
Cadena
s
Absorbe
ntes[edita
r]
Una
cadena de
Márkov
con
espacio de
estados
finito se
dice
absorbent
e si se
cumplen
las dos
condicione
s
siguientes:

1. La cadena tie
al menos un
estado
absorbente.
2. De cualquier
estado no
absorbente s
accede a algú
estado
absorbente.
Si
denotamos
como A al
conjunto
de todos
los
estados
absorbent
es y a su
compleme
nto
como D,
tenemos
los
siguientes
resultados:

 Su matriz de
transición
siempre se
puede llevar
una de la
forma
donde la
submatriz Q
corresponde a
los estados
del
conjunto ,  es
la matriz
identidad,  es
la matriz nula
y  alguna
submatriz.
 , esto es, no
importa en do
se encuentre
cadena,
eventualmen
terminará en
estado
absorbente.
Cadenas
de Markov
a tiempo
continuo[ed
itar]
Si en lugar de
considerar
una secuencia
discreta 
 con  indexado
en el
conjunto  de
números
 naturales, se
consideran las
variables
aleatorias 
 con  que
varía en un
intervalo
continuo del
conjunto  de
números
reales,
tendremos
una cadena
en tiempo
continuo. Para
este tipo de
cadenas en
tiempo
continuo
la propiedad
de Márkov se
expresa de la
siguiente
manera:
 tal que 
Para una cadena
de Márkov
continua con un
número finito de
estados puede
definirse una
matriz estocástic
dada por:
La cadena se
denomina
homogénea si . P
una cadena de
Márkov en tiemp
continuo homogé
y con un número
finito de estados
puede definirse e
llamado generad
infinitesimal com
Y puede demost
que la matriz est
viene dada por:

Aplicacione
Meteorología
Si consideramos
atmosférico de u
través de distinto
posible asumir q
actual solo depe
último estado y n
historia en sí, de
se pueden usar c
Markov para form
modelos climato
básicos. Por ejem
desarrollado mod
recurrencia de la
basados en cade
Markov.3
Modelos
epidemiológi
Una importante a
las cadenas de M
encuentra en el p
Galton-Watson.
proceso de ramif
se puede usar, e
cosas, para mod
desarrollo de una
(véase modelaje
de epidemias).
Internet[editar
El pagerank de u
web (usado por G
sus motores de b
se define a travé
cadena de Marko
posición que ten
página en el bus
determinada por
la distribución es
de la cadena.
Simulación[e
Las cadenas de
utilizadas para p
solución analítica
problemas de sim
por ejemplo en te
colas el Modelo
de hecho un mod
cadenas de Mark
Juegos de az
Son muchos los
azar que se pued
a través de una c
Márkov. El mode
la ruina del
jugador (Gamble
que establece la
probabilidad de q
persona que apu
juego de azar fin
termine sin diner
las aplicaciones
cadenas de Márk
rubro.
Economía y
finanzas[edita
Las cadenas de
pueden utilizar e
simples de valua
opciones para de
cuándo existe op
de arbitraje, así c
modelo de colap
una bolsa de val
determinar la vol
los precios. En lo
las cadenas de M
han utilizado par
los patrones de c
los deudores mo
planear las nece
de personal y pa
el reemplazo de
Genética[edita
Se emplean cad
Márkov en teoría
de poblaciones,
describir el camb
frecuencias géni
población peque
generaciones dis
sometida a deriv
Ha sido emplead
construcción del
difusión de Motō
Música[editar]
Diversos algoritm
composición mu
cadenas de Márk
ejemplo el
software Csound
de los composito
esta técnica en s
composiciones fu
Xenakis con su
obra Analoguiqu
B (1958–59).
Operaciones
Se emplean cad
Márkov en inven
mantenimiento y
proceso.
Redes
neuronales[e
Se utilizan en las
de Boltzmann.

Referencias
1. ↑ Saltar a:a b Bas
Amy N.; Naumov
and Work of A. A
and its Applicatio
Consultado el 31
2. ↑ Masaki Kijima,
3. ↑ R. Gabriel & J.
chain model for d
Tel Aviv
4. ↑ Masaki Kijima,

Bibliografía
 A.A. Márkov.
zakona bol'sh
velichiny, zav
druga". Izves
matematiche
pri Kazansko
seriya, tom 1
1906.
 A.A. Markov.
limit theorem
theory to a su
connected in
in Appendix B
Howard. Dyn
Systems, volu
Chains. John
1971.
 Classical Tex
A. Markov, A
Statistical Inv
Text Eugene
the Connectio
Chains, trans
Science in Co
591–600.
Online: http://
.org/productio
text?fulltextid
 Leo Breiman.
Original editio
Addison-Wes
by Society fo
Applied Math
1992. ISBN 0
3. (See Chap
 J.L. Doob. St
Processes. N
Wiley and So
471-52369-0.
 S. P. Meyn a
Tweedie. Ma
Stochastic St
Springer-Verl
387-19832-6.
Second editio
appear, Cam
Press, 2009.
 S. P. Meyn. C
for Complex N
Cambridge U
2007. ISBN 9
Appendix con
Meyn & Twee
línea: https://
b/201006190
es.uiuc.edu/m
spm_files/CT
 Booth, Taylor
(1967). Sequ
and Automata
edición). Nue
Wiley and So
Congress Card
25924. Extens
book meant f
written for bo
computer scie
electrical eng
detailed expla
minimization
Turing machi
processes, an
Excellent trea
processes pp
Z-transforms,
their context.
 Kemeny, Joh
Hazleton; Sn
Thompson, G
(1959). Finite
Structures (1
Englewood C
Hall, Inc. Libra
Catalog Numbe
text. cf Chapt
Chains pp. 38
 Kijima, Masa
Processes fo
Modeling (1s
Cambridge: C
Hall. ISBN 0 41
 E. Nummelin
irreducible M
non-negative
Cambridge U
1984, 2004. I
X