Propiedades de periodicidad

Otra propiedad útil de las cadenas de Márkov es la de periodicidad. El periodo de un estado i se

define como el entero para todos los valores de n distintos de t, 2t, 3t, . . ., y t es el
entero mas grande con esta propiedad. En el problema del juego, al comenzar en el estado 1, es
posible que el proceso entre al estado 1 solo en los tiempos 2, 4, . . ., en cuyo caso se dice que el
estado 1 tiene periodo 2. Esto es evidente si se observa que el jugador puede salir a mano (ni ganar
ni perder) solo en los tiempos 2, 4, . . ., lo que se puede verificar si se calcula para toda n y se
observa que para n impar. También es posible ver en la figura del juego que el proceso
siempre toma dos pasos para regresar al estado 1 hasta que el proceso es absorbido en cualquiera de
los estados 0 o 3. (La misma conclusión también se aplica al estado 2.)
Si existen dos números consecutivos s y tales que el proceso puede encontrarse en el estado
i en los tiempos s y se dice que el estado tiene periodo 1 y se llama aperiódico.
Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodicidad también
lo es. Esto es, si el estado i de una clase tiene periodo t, todos los estados de esa clase tienen
periodo t. En el ejemplo del juego, el estado 2 tiene periodo 2 porque esta en la misma clase que el
estado 1 y, como se vio, el estado 1 tiene periodo 2. Es posible que una cadena de Márkov tenga
tanto una clase de estados recurrentes como una de estados transitorios donde las dos clases tienen
diferentes periodos mayores que 1.
 Ejemplo (Estados periódicos)

 
Podemos probar la periodicidad de un estado calculando Pn y observando los valores de
para n 2,3,4,… . Estos valores serán positivos sólo en el periodo correspondiente del estado.
Por ejemplo, consideremos

  resultados muestran que y son positivos para valores pares de n y cero en otro respecto
Los
(puede confirmar esta observación calculando con n 5). Esto significa que el periodo de cada uno de
los estados 1 y 3 es t 2.
 CONJUNTO DE PROBLEMAS

1. Clasifique los estados de las siguientes cadenas de Márkov. Si un estado es periódico, determine su
periodo

1 2
1 2

3 3 4

1 2

3
 En una cadena de Márkov de estado finito, los estados recurrentes aperiódicos se llaman ergódicos.
Se dice que una cadena de Márkov es ergodica si todos sus estados son ergodicos. En seguida se vera
que una propiedad clave a largo plazo de una cadena de Márkov que es tanto irreducible como ergodica
es que sus probabilidades de transición de n pasos convergirán a las probabilidades del estado estable
conforme n se haga mas grande.

PROBABILIDADES DE ESTADO ESTABLE Y TIEMPOS DE RETORNO MEDIOS DE

CADENAS ERGÓDICAS

En una cadena ergódica, las probabilidades de estado estable se definen como

(0 )
Estas probabilidades, las cuales son independientes de (  𝑎 𝑗 ) se pueden determinar de las ecuaciones
(Una de las ecuaciones en 𝜋  =𝜋 𝑃 𝜋  =𝜋
es redundante). Lo que𝑃 dice es que las 𝜋
 
probabilidades
permanecen sin cambiar después de una transición adicional, y por esta razón representan la
distribución de estado estable.
Un subproducto directo de las probabilidades de estado estable es la determinación del número
esperado de transiciones antes de que el sistema regrese a un estado j por primera vez. Esto se conoce
como tiempo medio del primer retorno o tiempo medio de recurrencia, y se calcula en una cadena
de Márkov de n estados como
Ejemplo
Para determinar la distribución de probabilidad de estado estable del problema del jardinero con
fertilizante, tenemos

O bien,
  
(Cualquiera de las primeras tres ecuaciones es redundante). La solución es 0.1017, 0.5254
y 0.3729; es decir que a la larga la condición de la tierra será buena 10% del tiempo, regular 52% del
tiempo, y mala 37% del tiempo.
Los tiempos medios del primer retorno se calculan como

Esto quiere decir que, en promedio, se requerirán aproximadamente 10 temporadas de siembra para que la
tierra regrese a un buen estado, 2 temporadas para que regrese al estado regular, y 3 temporadas para que
regrese a un estado malo. Estos resultados apuntan hacia un panorama menos promisorio para la condición
de la tierra con el uso propuesto de fertilizantes. Un programa más agresivo debe mejorar el panorama. Por
ejemplo, considere la siguiente matriz de transición en la que las probabilidades de trasladarse a un buen
estado son más altas que en la matriz previa:
  este caso, 0.31, 0.58, y 0.11, lo cual da 3.22,
En 1.72 y 9.09, un cambio reversible del sombrío
panorama dado anteriormente

Ejemplo (Modelo de costos)

Considere el problema del jardinero con fertilizante. El jardín necesita dos sacos de fertilizante si la
tierra es buena. La cantidad se incrementa en 25% si la tierra es regular, y 60% si la tierra es mala. El
costo del fertilizante es de $50 por saco. El jardinero estima un rendimiento anual de $250 si no se
utiliza fertilizante, y de $420 si se aplica el fertilizante. ¿Es redituable utilizar fertilizante?
Aplicando las probabilidades de estado constante, obtenemos

Costo del fertilizante anual esperado

 
Incremento diferencial del valor anual del rendimiento $420 — $250 $170. Se recomienda el uso del
fertilizante.