Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Procesos Markov PDF
Procesos Markov PDF
Principio de Markov:
Cuando una probabilidad condicional depende únicamente del suceso inmediatamente
anterior, cumple con el Principio de Markov de Primer Orden, es decir.
P ( X (t + 1) = j X (0) = K 0 , X (1) = K 1 ,....., X (t ) = i ) = P ( X (t + 1) = j X (t ) = i ) = pij
Para calcular:
p11( 2 ) = P ( X ( 2) = 1 X (0) = 1) = p11.p11+ p12.p21+ p13.p31
= 0,2.0,2+0,3.0,3+0,5.0,2 = 0,23
Ejemplo 1:
0.5 0.5 0 0.40 0.25 0.35
P = 0.3 0 0.7 P = 0.15 0.43 0.42
2
Ejemplo 2:
0.4 0 0.6 0 0.52 0 0.48 0 p 0 1− p 0
0 0.3 0 0.7 0 0.44 0 0.56 0 q 0 1 − q
P= P =
2 P =
4
Esta matriz repite continuamente este patrón para todas las potencias de P; por
consiguiente no es regular ni tampoco ergódica.
Otra forma:
S = 0,6 S1 + 0,8S 2
S = S .P
Se calcula el siguiente sistema en este caso S 2 = 0,4S1 + 0,2 S 2 y
∑ Si = 1 S + S =1
1 2
0,4 S1 − 0,8S 2 = 0
queda S + S = 1
1 2
cuya solución es: S1 = 2/3 y S2 = 1/3
Observación: Las ecuaciones que se obtienen del desarrollo de S =S.P Siempre hay una
ecuación que es combinación lineal de las demás ecuaciones, por lo tanto se omite para
que el sistema quede con n ecuaciones y n variables.
Estados Absorbentes:
Es aquel estado que tiene una probabilidad de ser abandonado igual a cero, es decir.
Una vez en él es imposible dejarlo. Esto quiere decir:
Si i es un estado absorbente si se cumple que pij =0 si i ≠ j y pii =1.
Número de pasos para alcanzar por primera vez un estado determinado en cadenas
no absorbentes ( Tiempo de la primera transición)
estabilizado.