Está en la página 1de 57

CADENAS DE

MARKOV
Mgr. Ing. Alex C. Muñoz R.
CONTENIDO CADENAS DE MARKOV
• Introducción.
• Cadenas de Markov en Tiempo Discreto.
• Definición y Concepto de una Cadena de Markov.
• Elementos de Una Cadena de Markov
• Probabilidades de Transición.
• Probabilidad de Primer Paso
• Probabilidad de Transición Superior - Ecuación de Chapman Kolmogorov
• Clasificación de los Estado de una Cadena de Markov (C.M.)
• Estructura Canónica de una C.M.
• Comportamiento Limite de una C.M. – distribución Estacionaria.
• Concepto
• Métodos de Calculo.
• Tiempos y Distribuciones de Primera llegada
• Distribuciones de Primera Llegada
• Esperanza del Tiempo de Primera Llegada
• Cadenas de Markov Absorbentes
• Problemas Propuestos.
2
INTRODUCCIÓN
Las cadenas de Markov fueron introducidas
por el matemático ruso Andrey Markov
(1856-1922) alrededor de 1905. Su
intención era crear un modelo probabilístico
para analizar la frecuencia con la que
aparecen las vocales en poemas y textos ANDREY MARKOV
literarios. El éxito del modelo propuesto por
Markov radica en que es lo suficientemente
complejo como para describir ciertas
características no triviales de algunos
sistemas, pero al mismo tiempo es lo
suficientemente sencillo para ser analizado
matemáticamente a través de una
estructura matricial presentada de una
manera mas sencilla
INTRODUCCIÓN

• Biología • Transporte
• Física • Mantenimiento
• Estadística Demografía • Fiabilidad
• Economía • Estudios de Marketing.
• Ingeniería • Producción
• Administración • Previsión

• FUTURO  depende inmediatamente de una condición actual, es


decir es una función de probabilidad del PRESENTE
4
DEFINICICIONES: Propiedad Markoviana
• La probabilidad de que el proceso tome el estado “j” en el
instante “n+1” solo depende de que la variable Aleatoria
tome el estado “i” en el instante “n” , siendo
independiente de los estados anteriores

5
DEFINICICIONES: Cadena de Markov
• Aquel Proceso que posee la propiedad Markoviana.
• Este proceso corresponde al caso donde la dependencia
temporal existe; pero esta limitada en el sentido de que la
influencia del pasado esta solamente caracterizado por el
conocimiento del estado del proceso en ultimo instante.
• Un proceso discreto en el tiempo y el espacio que cumple con
la propiedad markoviana (el estado de una variable aleatoria
actual solo depende del estado previo)
• Donde el número de eventos a ocurrir es finito (espacio de
estados finito).
• Existe incertidumbre respecto al estado en el que se
encontrara un determinado proceso y dicha incertidumbre
puede cuantificarse mediante un valor de probabilidad.

6
Concepto de una Cadena de Markov
• Las probabilidades en el tiempo son constantes.
• Existen ocurrencias repetidas o ensayos bajo las
mismas circunstancias.
• Una cadena de Markov sirve para predecir el
comportamiento futuro de una variable a través
del conocimiento de las condiciones presentes de
dicha variable

7
Elementos de una Cadena de Markov
• ESTADO: Se define a un Estado del sistema como: "Cada
suceso individual donde el valor asumido por Sn representa a
este estado en el instante “0” tiempo (paso) “n”

S  S0 , S1 , S2 ........., Sm  m # Estados

• PASO.- (Ensayo) Un Paso representa un periodo de tiempo o


cualquier otra condición que pueda conducir a otro suceso
posible o cambio de estado. En este sentido diremos que: n=0
representa el presente, n=1 el siguiente paso, etc.
• Los cambios de estado son llamados TRANSICIONES; bajo este
concepto, el sistema fundamental de probabilidades
condicionales, se reduce a un sistema de PROBABILIDADES DE
PASAJE y/o DE TRANSICION"
8
PROBABILIDADES DE TRANSICIÓN
• La Probabilidad Condicional de pasar de un estado (Actual)
a otro siguiente se denota por:

Pij  Probabilid ad S1  j / S o  i Transicion a 1 etapa.

• quiere decir: "La probabilidad de que el sistema o proceso


esté en j en n=1, dado que estuvo en i en n=O (presente)"

9
PROBABILIDADES DE TRANSICIÓN
• Se la puede representar a través de una MATRIZ DE
TRANSICION

Donde:
1.  0  Pij 1
m
2.  Pij 1; i 1,2,3,....,m
j 1 10
• MATRIZ ESTOCASTICA.- Es una matriz cuadrada , cuyos componentes
son vectores probabilísticos.
• VECTOR PROBABILISTICO.- Es un Vector cuyos componentes son no
negativos y cuya suma es igual a 1.

V  P1 P2 P3 ... Pm 
m

P 1;
j 1
ij i 1,2,3,....,m

• MATRIZ ESTOCASTICA REGULAR.- Es una matriz estocástica que tiene


elementos mayores a cero para cualquier potencia de la matriz (Para
verificar, es recomendable elevar la matriz hasta la 3ra Potencia).

MATRIZ DE TRANSICION: es una matriz estocástica


que refleja la probabilidad de ir de un estado a otro
11
Grafo de Transición

12
PROBABILIDAD DE TRANSICION SUPERIOR

• Cuando se habla de probabilidades de transición superior,


estamos hablando de las probabilidades de transición a n
pasos; es decir nos interesa responder preguntas tales
como: ¿Cuál es la probabilidad de que el proceso pase del
estado i al estado j después de “n” pasos?, formalmente
esto se puede expresar.

Pij  Probabilidad S n  j / So  i
n

• Esta probabilidad condicional nos expresa "la probabilidad


de que el proceso esté en el estado j en el paso n dado que
estuvo en i en el presente (n=0)”
13
Ejemplo
• Un hombre de negocios puede vender un producto en tres
ciudades diferentes llamadas A, B y C. Las probabilidades
condicionales de venta están reflejadas en la matriz de
transición donde 0.40 representa la probabilidad de vender
en la ciudad A en la semana siguiente dado que vendió
también en la ciudad A la semana presente y así
sucesivamente. A raíz de esta información, nos gustaría
responder a: ¿Cuál es la probabilidad de vender en B,
después de dos semanas dado que inicialmente (hoy), el
hombre vendió en A?

14
Análisis Probabilístico - Árboles de
Decisión
• Análisis Probabilístico - Árboles de Decisión

15
Ejemplo
• La Probabilidad Conjunta es la multiplicación de estas tres
probabilidades, lo que nos da un valor de 0.345, Es decir:

PAB  Probabilidad
2
S2  B / So  A  0.345
• Para n>2, podemos notar que la formación del árbol de
probabilidades se complica mucho más .

16
Análisis Formal: Ecuación de Chapman -
Kolmogorov
• Dado que Pijn es la probabilidad de que una CM pase del
estado i al estado j después de n pasos, se plantean los
siguientes diagramas llamados DIAGRAMAS DE
TRANSICIÓN, donde en abscisas se coloca a los pasos y en
ordenadas a los estados del proceso

17
Análisis Formal: Ecuación de Chapman -
Kolmogorov
• Formalmente se tiene:
• Para n  2 :

P{So  1  S 2  2 }  P{S0  1  S1  1  S 2  2 } 
P{S0  1  S1  2  S 2  2 } 
P{So  1  S1  3  S 2  2 }

P12  P{So  1  S1  1 } P{S1  1  S 2  2 } 


2

P{ So  1  S1  2 } P{ S1  2  S 2  2 } 
P{So  1  S1  3 } P{ S1  3  S 2  2 }
18

P12  P11P12  P12 P22  P13 P32


2
Análisis Formal: Ecuación de Chapman -
Kolmogorov

• Para n  3 :

P{So  1  S 2  2 }  P11P11P12  P12 P21P12  P13 P31P12 


P11P12 P22  P12 P22 P22  P13 P32 P22 
P11P13 P32  P12 P23 P32  P13 P33 P32
P12  ( P11P11  P12 P21  P13 P31 ) P12  ( P11P12  P12 P22  P13 P32 ) P22  ( P11P13  P12 P23  P13 P33 ) P32
3

P12  P11 P12  P12 P22 


3 2 2 2
P13 P32

19
Análisis Formal: Ecuación de Chapman -
Kolmogorov
• Para n  n :
n 1 n 1 n 1
P12  P11 P12  P12 P22  P13 P32
n

• De esta manera se puede generalizar esta ecuación


llamada la ecuación de Chapman - Kolmogorov:
m
Pij   Pik
n n 1
Pkj
k 1

• En su versión matricial /Vectorial


n 1
P P
n
.P
V  V .P
20
n o n
Variación de la Ecuación de Chapman
Kolmogorov

• Se la conoce como la Probabilidad de llegar a “j” sin


especificar el estado de partida.

m
V j  Vk Pkj
n o n

k 1

21
Variación de la Ecuación de Chapman
Kolmogorov - Ejemplo
Sea: V  0.4 0.2 0.4
• o

0.2740 0.3516 0.3744



P  0.2724 0.3532 0.3744
4 
0.2740 0.3500 0.3760
3
V j  V3  Vk Pk 3
4 4 o 4

k 1

 V1 P13  V2 P23  4 V3 P33


o 4 o o 4

 0.4(0.3744)  02(0.3744)  0.4(0.376)


 0.14976  0.7488  0.1504
V3  0.37504
4 22
Clasificación de los Estados de una
Cadena de Markov

• CLASE TRANSITORIA, que agrupa a los estados que forman


un proceso del que es posible salir pero nunca retornar. En
este caso, si el proceso se encuentra en un estado, existe
una probabilidad estrictamente positiva de que nunca
retornará.
• CLASE RECURRENTE, que agrupa a los estados que forman
procesos imposibles de abandonar o dejar. En este caso un
estado es recurrente si es imposible dejarlo y es
• ABSORBENTE si la probabilidad de transición Pii= 1; por tanto
el proceso nunca lo dejará una vez entrado en él (Cuando
existe la presencia de 1 en la diagonal principal)

23
Clasificación de los Estados de una
Cadena de Markov

24
Clasificación de los Estados de una
Cadena de Markov

25
Ejercicio
• Dada la Matriz P, plantear su grafo de transición y su
clasificación en clases

26
Ejercicio
• Dada la Matriz P, plantear su grafo de transición y su
clasificación en clases

27
Clasificación de los Estados de una
Cadena de Markov

• En Resumen:
1. En una CM finita un estado es transitorio si pertenece a
una clase transitoria; una clase recurrente es llamada
también clase final.
2. En una CM infinita, el carácter recurrente o transitorio de
los estados de una clase final dependerá en general, de
los valores numéricos de las probabilidades de transición
positivas en cada clase.
3. 3. Una CM que tiene una sola clase es llamada
irreductible, es decir todos los estados se comunican de
alguna manera ,entonces nos referimos a esta como un
proceso llamado ERGÓDICO.
28
Estructura Canónica de una CM
• Esta estructura tiene utilidad, por ejemplo cuando se trata de
hacer análisis sobre estados absorbentes.

=I

• Donde:
• C1, Ck ,Cr son llamadas clases finales recurrentes y son consideradas
como sub-cadenas irreductibles. T son los estados transientes.
• Pf = I = Probabilidad de ir de una clase final recurrente a otra.
• 0 = Probabilidad de ir de una clase recurrente a una transiente
(probabilidad cero)
• D = Probabilidad de ir de una clase transiente a una recurrente.
29

• Q = Probabilidad de ir de una clase transiente a otra .


Ejemplo
• Dada la matriz P, expresar en su forma canónica:

30
Ejemplo
• Dada la matriz P, expresar en su forma canónica:

• Clasificando los estados en clases recurrentes y transitorias:

31
Ejemplo
• Por tanto la forma canónica de la matriz sería:

32
Comportamiento Límite de una CM-
Distribución Estacionaria

• Una distribución de probabilidad discreta  ={ 1,  2,….


 m} es llamada estacionaria si esta no es afectada por
una o varias transiciones de una CM. Es decir que la
distribución  n de la variable aleatoria es independiente
del tiempo o del número de pasos n (n=0,1,2, ........ ).

• En este sentido se puede decir que  n converge hacia


una distribución límite cuando n tiende a infinito. Este
proceso es llamado REGIMEN PERMANENTE y se puede
afirmar que en este caso el proceso estocástico no está
influenciado por la elección de la distribución inicial.

33
Comportamiento Límite de una CM-
Distribución Estacionaria

• MATRIZ ERGODICA.- Es una matriz que esta compuesta


por cadenas que describen matemáticamente un proceso
mediante el cual es posible ir de un estado cualesquiera a
todos los demás.

• Las cadenas ERGÓDICAS confluyen hacia distribuciones


estacionarias.

34
Comportamiento Límite de una CM –
Vector de Estado Estable
• Sea la siguiente matriz

• Veamos como esta CM confluye hacia una distribución límite cuando


n (etapas )crece:

35
Comportamiento Límite de una CM –
Vector de Estado Estable

• Si graficamos la probabilidad de P31n

36
Comportamiento Límite de una CM –
Vector de Estado Estable

• Podemos notar que P31 " tiende a estabilizarse y a convertirse en un


vector a medida que n   en general Pijn tiende a una distribución
límite, es decir que la matriz P tiende hacia el vector  llamado
vector de estado estable. En el ejemplo dado el vector es:

  1  2 3 
 0.33 0.44 0.23

37
Comportamiento Límite de una CM –
Vector de Estado Estable

• VECTOR DE ESTADO ESTABLE.- Es un vector probabilístico cuyos


componentes reflejan la probabilidad después de un gran numero de
pasos, el sistema se encuentra en cada una de los correspondientes
Estados. El Calculo del vector de estado estable db ser
necesariamente a partir de una matriz ergodica y no depende del
estado inicial del sistema

lim Pij  
n
n 

1.   j  0
m
2.   j    k Pkj
k 1
m
3.    j  1
i 1 38
Comportamiento Límite de una CM –
Vector de Estado Estable - Ejemplo

• Dada la matriz:

• Hallar el Vector de Estado Estable:

39
Comportamiento Límite de una CM –
Vector de Estado Estable - Ejemplo

• Dada la matriz:

• Hallar el Vector de Estado Estable:

1.   j  0

m
2.   j    k Pkj
k 1

m
3.    j  1 40

i 1
DISTRIBUCIONES DE PRIMERA LLEGADA
• El concepto de "primera llegada" partiendo de un estado i hacia
un estado determinado j, se da cuando el proceso llega por
primera vez al estado final, después de haber transcurrido n
pasos .
• En otras palabras, se puede definir al tiempo de primera llegada
como el número de transiciones llevadas a cabo en el proceso
de ir de i hacia j por primera vez.
1 1
f ij  Pij

n 1
f ij  Pij   f ij Pjj
n n k nk

k 1 41
DISTRIBUCIONES DE PRIMERA LLEGADA
• El concepto de RECURRENCIA dice que: "cuando el sistema se
halla en j existe un retorno hacia el mismo estado “ j “
• La probabilidad de retorno se calcula:

f jj   f ij
n n

n 1

• Donde:

Si f jj  1   f ij  1 El Proceso es RECURRENTE
n

n 1

Si f jj  1   f ij  1 El Proceso es TRANSITORIO
n
42

n 1
ESPERANZA DE PRIMERA LLEGADA
• El concepto de esperanza o tiempo de primera llegada se
define al numero promedio de pasos o transiciones para llegar
del estado “i” al estado “j” por primera vez.
m
ij  f ij   Pik  kj ; ij
k 1

• Si la CM es irreductible y/o ergódica, entonces fij = 1.

m
ij  1   Pik  kj ; k  j
k 1

• Si el estado j es recurrente, es decir jj >O, entonces:

1
 jj 
 jj 43
Ejemplo
• Dada la Matriz

a) Construir la matriz de probabilidades de primer paso fijn

b) Calcular las esperanzas de las duraciones de primer paso μij

44
Ejemplo
• Dada la Matriz

a) Construir la matriz de probabilidades de primer paso fijn

b) Calcular las esperanzas de las duraciones de primer paso μij

45
CADENAS DE MARKOV ABSORVENTES
• Es aquella Matriz de Transición que posee por lo menos un
estado ABSORBENTE, es decir un estado que tiene una
probabilidad igual a Pjj=1 y tiene como característica que es
posible pasar de cualquier otro estado no absorbente a un
estado absorbente. Este tipo de CM es muy utilizada para
describir procesos que cesan.
• Consideremos la forma canónica de una CM reagrupada en “a”
estados absorbentes y “b” estados no absorbentes (a+b=m);
entonces la matriz P canónica estaría dividida:

a b
a  I 0
 D Q
b   46
CADENAS DE MARKOV ABSORBENTES
• Donde:
• I=PF= es una matriz de tamaño a*a que representa las
probabilidades de permanecer dentro un estado.
•O = es una matriz a*b que representa las probabilidades
de ir de un estado absorbente a otros no absorbentes (sus
probabilidades son cero).
•D = es una matriz b*a que representa las probabilidades
de ir de estados no absorbentes hacia estados
absorbentes.
•Q = es una matriz b*b que representa las probabilidades
de ir de estados no absorbentes hacia estados no
absorbentes.
• absorbente 47
CADENAS DE MARKOV ABSORBENTES
• MATRIZ E = (I-Q)-1 = La matriz en el que cada elemento representa el
numero de esperado de veces que un proceso esta en cada estado
NO Absorbente antes de ingresar a la absorción

Eº No Absorbentes

e11 ... e1b    fila  Probabilidad


Eº No Absorbentes

de Absorción
 ... ... ... 
 
eb1 ... ebb 

48
CADENAS DE MARKOV ABSORBENTES
• MATRIZ R = (I-Q)-1 .D = La matriz en la que cada componente
representa la probabilidad de que el proceso sea absorbido en un
estado especifico partiendo de un estado no absorbente

Eº Absorbentes

 r11 ... r1a 


Eº No Absorbentes

 ... ... ... 


 
rb1 ... rba 

49
CADENAS DE MARKOV ABSORBENTES
• VECTOR DE ESTADO ESTABLE () se la calcula:

• Donde PF cuando n tiene al infinito es la matriz Identidad por tanto su


matriz estable F.

1
  ( I  Q ) . D.  F
50
Ejemplo
• Dos amigos, Rafael y Marcelo juegan juntos al juego de "cara y sello"
con una moneda. Cada uno de ellos posee una cantidad X de Bs. y
aquel que gana recibe un boliviano de su amigo. El juego se para
cuando cada uno de ellos ha ganado 4 Bs. encima de lo que tenía o
no gana más nada. Representar el problema como un modelo de CM
y encontrar :
A. La Matriz  de comportamiento estable.
B. Calcular el número de pasos esperado antes de que el proceso sea
absorbido en S4 o S0 , dado que se partió de cualquier estado no
absorbente
C. Calcular las probabilidades de absorción :

51
Ejemplo
• Dos amigos, Rafael y Marcelo juegan juntos al juego de "cara y sello" con
una moneda. Cada uno de ellos posee una cantidad X de Bs. y aquel que
gana recibe un boliviano de su amigo. El juego se para cuando cada uno
de ellos ha ganado 4 Bs. encima de lo que tenía o no gana más nada.
Representar el problema como un modelo de CM y encontrar la Matriz de
comportamiento estable.
• Definiendo el problema desde el punto de vista de Rafael se tiene:

• Los pasos equivalen a juegos y apuestas con cada lanzamiento de


moneda. Planteando la matriz de transición

52
Ejemplo
• A.- Reordenando en su forma canónica donde {S0, S4} son estados
recurrentes absorbentes y {S1, S2 , S3} son estados nos absorbentes, se
tiene:

• Donde D*F

53
Ejemplo
• y la matriz (I-Q)-1

• Finalmente (I-Q)-1 *D*F

54
Ejemplo
• Quedando =

55
Ejemplo
• B.- De la matriz E

56
Ejemplo
• C.- De la matriz R:

• De donde se interpreta que:


• La probabilidad de que el proceso sea absorbido en So cuando partimos
de S1 es 3/4.
• La probabilidad de absorción en S4 cuando se parte de S3 es 3/4 y así
sucesivamente .
57

También podría gustarte