Clasificacin de estados en Cadenas de Markov

1. Accesibilidad: Se dice que el estado es accesible desde el estado siempre que 2. . Es decir, eventualmente desde se llegar a Comunicacin: Dos estados se comunican si son accesibles entre s. Si se comunica con y se comunica con entonces por transitividad se comunica con . Estados que se comunican forman una clase de estados. Irreductibilidad: Una cadena es irreducible si est formada por una nica clase de estados. Absorbencia: Un estado es absorbente si una vez entrando en l, es imposible salir . Recurrencia: Un estado es recurrente si estando en l, existe certeza de que en algn momento en el tiempo se volver a l .( , probabilidad de volver al estado por primera vez tras etapas) Se dice que el estado es recurrente positivo si el nmero esperado de etapas necesarias para volver a l es un nmero finito, en caso contrario el estado es recurrente nulo. Transitoriedad: Un estado es transitorio si estando en l, existe la posibilidad de no volver a ste. Obs: Los estados de una cadena irreducible con una cantidad finita de estados son recurrentes positivos (todos se comunican, en algn momento del tiempo se volver al estado). Periodicidad: Un estado es peridico si existe la probabilidad de volver a l cada cierto nmero de etapas mayores que uno. Estados que puedan volver a s mismos cada una etapa son aperidicos.

3. 4. 5.

6.

7.

/ . 8. Probabilidad de estado estable: Probabilidad de estar en un estado en el largo plazo. Se puede calcular siempre y cuando la cadena sea irreducible y de estados aperidicos. Ejemplo: 1 y 2 se comunican, forman una clase 3 slo es accesible desde 4 y 5, forma una clase 4 y 5 se comunican, forman una clase [ ] F(1,1)=F1(1,1)+F2(1,1)= 0,5+0,5*1=1 RECURRENTE F(2,2)=1 (misma clase de estado que 1) F(3,3)= F1(3,3)=0,6 TRANSITORIO F(4,4)= 0,6*0,6 <1 TRANSITORIO F(5,5)= 0,6*0,6 <1 TRANSITORIO (adems, misma clase que 4) =0 = 0,62 =0 = 0,64 Estado 4 Peridico de periodo d=2 Estado 5 peridico de periodo d=2 (misma clase que 4) = 0,5 = 0,5 = 0,5 Estado 1 aperidico. Estado 2 aperidico (misma clase que 1) = 0,6 = Estado 3 aperidico

P=

No es posible calcular probabilidades de estado estable. Hay estados peridicos y adems la cadena no es irreducible