Tiempos de primera pasada

Del ejemplo de cereales

Para ir de X a Z
# de pasos
1
2

Probabilidad
.1
(.2)(.2)+(.7)(.1)=.1

En ocasiones a las transiciones P, P^2, P^3, , P^n se les llaman tiempos.

Si la cadena de Markov es ergdica, entonces es posible determinar el nmero esperado
de transiciones antes de alcanzar el estado j, dado que actualmente se est en el estado
i, lo cual se denota como
Para obtener

ij

ij debe de resolverse el sistema de ecuaciones

ij =1+ Pik k j
k j

Y, adems

ij =

1
i

Donde
estable.

ij

son llamados tiempos de recurrencia y

es la probabilidad de estado

Ejercicio
Una computadora se inspecciona cada hora. Se encuentra que est trabajando o
descompuesta. Si est descompuesta se repara, lo que puede llevar ms de una hora.
Siempre que la computadora este descompuesta, independientemente de cunto tiempo
haya pasado la probabilidad de que siga descompuesta la siguiente hora es .35. Si est
trabajando la probabilidad de que siga trabajando la siguiente hora es de .9
1. Construir la matriz de transicin de un paso
2. Obtener los tiempos de primera pasada e interpretarlos