CADENAS DE MARKOV

1. DEFINICIN DE UNA CADENA DE MARKOV:

Sea Xi una variable aleatoria que caracteriza el estado del sistema en
puntos discretos en el tiempo t = 1, 2 . La familia de variables
aleatorias {Xi} forma un proceso estocstico con una cantidad finita o
infinita de estados.
Proceso de Markov. Un proceso estocstico es un proceso de Markov si
un estado futuro depende slo del estado inmediatamente anterior.Esto
significa que dados los tiempos cronolgicos t0,t1,,tn,la familia de
variables aleatorias es un proceso de Markov si
En un proceso Markoviano con n estados exhaustivos y mutuamente
excluyentes,las probabilidades en un punto especfico del tiempo t =
0,1,2, se definen como
Esto se conoce como probabilidad de transicin en un paso al ir del
estado i en el instante t 2 1 al estado j en el instante t. Por
definicin,tenemos
La notacin utilizada en la matriz es una forma conveniente de resumir
las probabilidades de transicin en un paso:
La matriz P define una cadena de Markov. Tiene la propiedad de que
todas sus probabilidades de transicin pij son estacionarias e
independientes a lo largo del tiempo.Aunque una cadena de Markov
puede incluir un nmero infinito de estados,la presentacin en este
captulo se limita a slo cadenas finitas,ya que es el nico que se
necesita en el texto.