UNIDAD II:

Cadenas de Markov
Integrantes
•Steven Javier Guadamuz Ocón

•Jhonny Xavier Selva

Sumario
 Procesos estocásticos
 Concepto de cadena de Markov
 Ecuaciones de Chapman-Kolmogorov
 Clasificación de estados de una CM.
 Tiempo de primera pasada
 Propiedades a largo plazo de las CM
 Estudios Absorbentes.
 Cadenas de Markov de parámetros continuos.
Procesos estocásticos
Procesos estocásticos
 Un sistema informático complejo se
caracteriza por demandas de carácter
aleatorio y por ser dinámico
 Necesitamos una herramienta que modele
procesos aleatorios en el tiempo, y para ello
usaremos los procesos estocásticos
 Un proceso estocástico es una familia de
variables aleatorias parametrizadas por el
tiempo
Procesos estocásticos
 Un proceso estocástico es una familia de
variables aleatorias definida sobre un
espacio de probabilidad. Es decir:

 X t :   R, t T 

  X t    X , t 
Procesos estocásticos
 Tendremos que X es una función de dos
argumentos. Fijado =0, obtenemos
una función determinista (no aleatoria):

t  X  t , 0 
Procesos estocásticos
 Asimismo, fijado t=t0, obtenemos una de
las variables aleatorias de la familia:

  X  t0 ,  
Procesos estocásticos
 El espacio de estados S de un proceso
estocástico es el conjunto de todos los posibles
valores que puede tomar dicho proceso:

S   X t    | t  T    
Ejemplo de proceso
estocástico
 Lanzamos una moneda al aire 6 veces. El
jugador gana 1 € cada vez que sale cara (C),
y pierde 1 € cada vez que sale cruz (F).
 Xi = estado de cuentas del jugador después
de la i-ésima jugada
 La familia de variables aleatorias {X1, X2,…,
X6} constituye un proceso estocástico
Ejemplo de proceso
estocástico
 ={CCCCCC,CCCCCF,…}
 cardinalidad() = 26 = 64
 P()=1/64  
 T={1, 2, 3, 4, 5, 6}
 S={–6, –5, …, –1, 0, 1, 2, …, 5, 6}
 X1()={–1, 1}
 X2()={–2, 0, 2}
Ejemplo de proceso
estocástico
 Si fijo ω, por ejemplo 0=CCFFFC, obtengo
una secuencia de valores completamente
determinista:
 X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0,
X5(0)= –1, X6(0)=0
 Puedo dibujar con estos valores la trayectoria
del proceso:
Ejemplo de proceso
estocástico
Ejemplo de proceso
estocástico
 Si fijo t, por ejemplo t0=3, obtengo una de las
variables aleatorias del proceso:
X3 :   
  X 3  

 Los posibles valores que puede tomar el

proceso en t0=3 son: X3()={–3, –1, 1, 3}
Ejemplo de proceso
estocástico
 Podemos hallar la probabilidad de que el
proceso tome uno de estos valores:
1 1 1 3
P X 3 ( )  1  P CFC  P CCF  P FCC  3    
2 2 2 8
1 1 1 1
P X 3 ( )  3  P CCC    
2 2 2 8
1 1 1 3
P X 3 ( )  1  P FCF  P FFC  P CFF  3    
2 2 2 8
1 1 1 1
P X 3 ( )  3  P FFF    
2 2 2 8
Clasificación de los procesos
estocásticos

S discreto S continuo

Sucesión de
variables
T discreto Cadena
aleatorias
continuas

T continuo Proceso puntual Proceso continuo

Ejemplos de los tipos de
procesos estocásticos
 Cadena: Ejemplo anterior
 Sucesión de variables aleatorias continuas:
cantidad de lluvia caída cada mes
 Proceso puntual: Número de clientes
esperando en la cola de un supermercado
 Proceso continuo: velocidad del viento
 Concepto de
cadena de Markov
Cadenas de Markov
 Las cadenas de Markov y los procesos de
Markov son un tipo especial de procesos
estocásticos que poseen la siguiente
propiedad:
 Propiedad de Markov: Conocido el estado
del proceso en un momento dado, su
comportamiento futuro no depende del
pasado. Dicho de otro modo, “dado el
presente, el futuro es independiente del
pasado”
Cadenas de Markov
 Sólo estudiaremos las cadenas de Markov,
con lo cual tendremos espacios de estados S
discretos y conjuntos de instantes de tiempo T
también discretos, T={t0, t1, t2,…}
 Una cadena de Markov (CM) es una sucesión
de variables aleatorias Xi, iN, tal que:
X t 1  j   P  X t 1  j 
P
 X 0 , X 1 ,..., X t   X t 

que es la expresión algebraica de la propiedad

de Markov para T discreto.
Probabilidades de transición
 Las CM están completamente caracterizadas
por las probabilidades de transición en una
etapa,
X t 1  j
P , i, j  S , t  T
 X t  i 

 Sólo trabajaremos con CM homogéneas en el

tiempo, que son aquellas en las que
X t 1  j
i, j  S  t  T , P  q
 X t  i  ij

donde qij se llama probabilidad de transición en

una etapa desde el estado i hasta el estado j
Matriz de transición
 Los qij se agrupan en la denominada
matriz de transición de la CM:

 q00 q01 q02 ...

 
 q10 q11 q12 ...
Q
q20 q21 q22 ...
  qij  i , jS
 
 ... ... 
... ...

Propiedades de la matriz de
transición
 Por ser los qij probabilidades,
i, j  S , qij   0,1
 Por ser 1 la probabilidad del suceso seguro,
cada fila ha de sumar 1, es decir,
i  S , q
jS
ij 1

 Una matriz que cumpla estas dos propiedades

se llama matriz estocástica
Diagrama de transición de
estados
 El diagrama de transición de estados (DTE)
de una CM es un grafo dirigido cuyos nodos
son los estados de la CM y cuyos arcos se
etiquetan con la probabilidad de transición
entre los estados que unen. Si dicha
probabilidad es nula, no se pone arco.

qij
i j
Ejemplo: línea telefónica
 Sea una línea telefónica de estados
ocupado=1 y desocupado=0. Si en el
instante t está ocupada, en el instante t+1
estará ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t está desocupada, en el t+1 estará
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: línea telefónica

 0,9 0,1 
Q   
 0,3 0,7 
0,1

0,9 0 1 0,7

0,3
Ejemplo: Lanzamiento de un
dado
 Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde 1 €, y cada
vez que sale 5 ó 6 se gana 1 €. El juego
acaba cuando se tienen 0 € ó 100 €.
 Sea Xt=estado de cuentas en el instante t.
Tenemos que { Xt } es una CM
 S={0, 1, 2, …, 100}
Ejemplo: Lanzamiento de un
dado
1
2/3 2/3 2/3 2/3 2/3 2/3
0 1 2 3 4 5 …
…
1/3 1/3 1/3 1/3

1
2/3 2/3 2/3 1/3
… 97 98 99 100
…
1/3
…
1/3 1/3 1/3
 Ecuaciones de
Chapman-Kolmogorov
 Ecuaciones de Chapman-
Kolmogorov

 Las ecuaciones de Chapman-Kolmogorov

proporcionan un método para calcular las
probabilidades de transición de “n” pasos
 para toda i=0,1,2,.,M
M
p p ( m) ( nm)
 p ij
k 0
j=0,1,2,..M ik kj
( n)
 y cualquier m=1,2,…,n-1 y n=m+1,m+2,…
 Estas ecuaciones señalan que al ir del
estado “i” al estado “j” en “n” pasos, el
proceso estará en algún estado “k” después

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov
 Estas expresiones permiten que las
probabilidades de transición de n pasos
se puedan obtener a partir de las
probabilidades de un paso de manera
recursiva.
 Para n=2 M

p ij
( 2)

k 0 p ik kj
p
 donde pij son los elementos de la matriz P(2)

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov

 Notemos que estos elementos se obtienen al

multiplicar la matriz de transición de un paso
por sí mismo, esto es,

p ij
PPP2
 Así mismo
( 2)

p ( n)  P  P (n1)  P ( n1) P
ij

Pn

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov

 Ejercicio:
 El clima en el pueblo de San Juan puede
cambiar con rapidez de un día a otro. Sin
embargo, las posibilidades de tener clima
seco (sin lluvia) mañana es de alguna forma
mayor si hoy está seco, es decir, no llueve.
En particular, la probabilidad de que mañana
esté seco es de 0.8 si hoy está seco, pero es
de sólo 0.6 si hoy llueve.

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov

 Estas probabilidades no cambian si se

considera la información acerca del clima en
los días anteriores a hoy.
 La evolución del clima día tras día en el
pueblo de San Juan es un proceso
estocástico. Si se comienza en algún día
inicial (etiquetado como 0), el clima se
observa cada día t, para t=0,1,2,….

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov

 Resuelve lo siguiente:
a) Encuentra la matriz de transición de un paso
de este problema
b) Si el día de hoy está seco, ¿cuál es la
probabilidad de que dos días después esté
seco también?

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov
 Para el caso del clima, se usará las
fórmulas anteriores para calcular las
diferentes matrices de transición de n
pasos a partir de la matriz P (de un
paso).

0.8 0.2
p () 2  PP   0.8 0.2
0.4 0.6
 0.6 0.4

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov

 Así, si el clima está en el estado 0 (seco) en

un día particular, la probabilidad de estar en
el estado 0 dos días después es de 0.76

p () 2  PP   0.76 0.24
0.720.28  
 De manera similar, si el clima está en el
estado 1 ahora, la probabilidad de estar en el
estado 0 dos días después es de 0.72

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov
 Las probabilidades del estado del clima
3, 4 o 5 días a futuro también se pueden
leer de la misma forma a partir de las
matrices de transición de 3, 4 y 5 pasos
que se calculan a continuación

p (3)  P 3  PP 2   0.8 0.20.76 0.24   0.752 0.248

0.4 0.72  0.744 0.256
 0.6 0.28

PDF created with pdfFactory Pro trial version www.pdffactory.com

 Ecuaciones de Chapman-
Kolmogorov

(4) 4
 0.8
3  0.752 0.248   0.75
0.2 0.25 
p P  PP   0.4 0.744 0.256 
 0.6 0.749 0.251

 Observemos que la matriz de transición tiene

una interesante característica entre los
elementos que la forman. Las probabilidades
de estas matrices se denominan
probabilidades del estado estable de la
cadena de Markov

PDF created with pdfFactory Pro trial version www.pdffactory.com

Clasificación
de estados
Estado Accesible
Este estado tiene la característica de que se
puede alcanzar desde otro estado. Suponiendo
que i y el estado j están en un sistema el
estado i es accesible solo si se puede llegar a
el por j.
Estado Accesible
En el siguiente diagrama de transición
podemos observar que todos los estados
exceptuando el 0 y el 4 son accesibles, ya que
se pueden ingresar a ellos desde otro estado.
 Comunicación
Se dice que un estado se comunica con otro si
el estado j es accesible desde el estado i y el
estado i es accesible desde el estado j.
Se deben de cumplir algunas propiedades:
Si el estado j se comunica con el estado i,
entonces i se comunica con el estado j.
Si el estado i se comunica con el estado j y el
estado j se comunica con el estado k, entonces
el estado i se comunica con el estado k
Cualquier estado se comunica consigo
mismo.
 Comunicación
Se pueden representar
las transiciones entre los
estados mediante
gráficos, donde los arcos
representan las
transiciones entre los
estados.
Por ejemplo, sea el
siguiente diagrama de
transición E1 y E3 se
comunican
Estado Transitorio
Se dice que un estado es transitorio cuando un
proceso pasa por un estado y este, después de
n pasos, ya no regresa a el. Eso quiere decir
que un estado j es alcanzable desde un estado
i, pero el estado i no es alcanzable desde el
estado j.
Estado Transitorio
En el presente
diagrama de transición,
los estados E3 y E4 son
transitorios y a la vez
absorbentes.
Estado Recurrente
Un estado es recurrente en la medida que
comenzando en el se tenga certeza de volver
en algún momento del tiempo sobre si mismo.

Si la CM tiene una cantidad finita de estados y

se identifica un estado recurrente, este será
recurrente positivo. Si la cantidad de estados
es infinito un estado recurrente ser recurrente
nulo.
 Estado Recurrente
En el siguiente diagrama de transiciones se puede
observar que los únicos estados recurrentes son el
0 y el 4, ya que por definición los estados
absorbentes son estados recurrentes. Por ejemplo,
en el caso que se empiece en el estado 1, no hay
certeza de que vuelva al estado 1 en cualquier
numero n de pasos
Estado Absorbente
Se dice que un estado es absorbente si es cero
la probabilidad de hacer una transición fuera de
este estado. Por tanto una vez que el sistema
hace una transición hacia un estado
absorbente permanece en el, siempre.
Estado Absorbente
En el presente diagrama de transición, se
puede observar que los estados E0 y E4 son
absorbentes.
Estado de Periodicidad
Un estado i es periódico con k > 1 si k es el
menor numero tal que todas las trayectorias
que parten del estado i y regresan a el, tienen
una longitud múltiplo de cambio
Estado de Periodicidad
En este diagrama de transición, los estados A y
B se consideran periódicos, ya que cualquier
trayectoria de salida los lleva de regreso a ellos
mismo.
Probabilidad de Estado Estable
El termino de probabilidad de estado estable
significa que la probabilidad de encontrar el
proceso en cierto estado, digamos i, después
de un numero grande de transiciones tiende al
valor πj, y es independiente de la distribución
de probabilidad inicial definida por los estados.
Probabilidad de Estado
Estable
Tiempos de primera pasada
Con mucha frecuencia es importante poder
hacer afirmaciones en términos de probabilidad
sobre el numero de transiciones que hace el
proceso al ir del estado i al estado j por primera
vez. Este lapso recibe el nombre de tiempo de
primera pasada al ir del estado i al estado j.
Cuando j=i, este tiempo de primera pasada se
denomina tiempo de recurrencia para el estado
i.
Tiempos de primera pasada
Tiempo de recurrencia: Cuando j=i este tiempo
de primer paso es justo el numero de
transiciones hasta que el proceso regresa al
estado inicial i.
Tiempos de primera pasada
Función de probabilidad
Se denota: fij(n), siendo n el número de pasos
para ir de i a j por primera vez.

Tenemos entonces:
Tiempos de primera pasada
Quedando las funciones:
Tiempos de primera pasada
Método corto:
Tiempos de primera pasada
Como generalmente es bastante engorroso
calcular las fij(n) para todas las n, se suele
optar por obtener el tiempo esperado de
primera pasada del estado i al estado j
Tiempos de primera
pasada
Del ejemplo anterior:
Tiempos de primera pasada
Propiedad a largo plazo de CM
Existe una probabilidad limite de que el sistema
se encuentre en el estado j después de un
numero grande de transiciones, y esta
propiedad es independiente del estado inicial.

Para una cadena de Markov irreducible

ergódica
Propiedad a largo plazo de CM
Donde las πj satisfacen de manera única las
siguientes ecuaciones de estado estable:

Los valores πj reciben el nombre de probabilidades

de estado estable.
Estados Absorbentes
Se dice que un estado del proceso es
absorbente, si pij = 1, esto es llegando a el
nunca se sale.
Si una cadena tiene algunos de sus estados
absorbents y el resto no(transitorio), entonces
si iniciamos en un estado transitorio, es seguro
que en algún momento se termina en alguno
de sus estados absorbentes.
Estados Absorbentes
Estados Absorbentes
Numero esperado de periodos en el estado
transitorio ti antes de pasar al estado
absorbente aj:
Donde = matriz identidad del mismo orden que Q.
La matriz resultante se interpreta como el numero
promedio de periodos que pasa en el estado
transitorio tj si la cadena inicio en el estado
transitorio ti.
Estados Absorbentes

Probabilidad de terminar en un estado

absorbente en particular:

Los elementos de la matriz resultante expresan

las probabilidades de pasar del estado
transitorio ti (renglón) al estado absorbente aj
(columna).
Estados Absorbentes
La empresa jurídica Angie Montero, emplea 3 tipos de
abogados: subalternos, superiores y socios. Durante
cierto año el 10% de los subalternos ascienden a
superiores y a un 10% se les pide que abandonen la
empresa. Durante un año cualquiera un 5% de los
superiores ascienden a socios y a un 13% se les pide
la renuncia. Los abogados subalternos deben
ascender a superiores antes de llegar a socios. Los
abogados que no se desempeñan adecuadamente,
jamás descienden de categoría.
Estados Absorbentes
a) Calcule la probabilidad de que un abogado
subalterno llegue a socio
b) ¿Cuánto tiempo deberá permanecer en su
categoría un abogado subalterno recién
contratado?
c) ¿Cuánto tiempo deberá permanecer en la
empresa un abogado subalterno recién
contratado?
d) Calcule la probabilidad de que un abogado
superior llegue a socio.
Estados Absorbentes
Respuestas:
a-Al multiplicar la matriz inversa por la Absorbente se puede
hallar dicha probabilidad, esta es 0.14
b- Al simplemente hallar la matriz inversa se es posible hallar el
tiempo en años que debería permanecer normalmente un
abogado subalterno en su compañía, serían 5 años.
c- Cuando piden el tiempo que debería permanecer un abogado
subalterno pero durante la empresa sería sumar el tiempo en
que se queda como subalterno con el tiempo en que permanece
como superior: esto es, 5+2.77= 7.77 años.
d- Por último la probabilidad de que pase de subalterno a socio
es mostrado en la última matriz, sería 0,28.
 CM de parámetros continuos
Un proceso estocásticos en tiempo continuo
con espacio de estados S es una CM en tiempo
continuo si:

Donde es cualquier secuencia

no decreciente de n+1 tiempos
son n+1 estados cualesquiera del conjunto S.
CM de parámetros continuos
Una posible interpretación intuitiva es que
los cambios de estado ahora se pueden dar
en
 CM de parámetros continuos

Se ha construido un nuevo edificio en California, región que es

frecuentemente afectada por terremotos. El edificio tiene dos
pilares, el norte y el sur. Los pilares mantienen la estabilidad
del edificio y previenen que este sufra daños estructurales. Los
terremotos ocurren de acuerdo a un proceso de Poisson con
tasa L y afectan al pilar norte con probabilidad P, al pilar sur
con probabilidad Q, a los dos pilares con probabilidad R y a
ninguno de los dos pilares con probabilidad 1-P-Q -R. Cuando
los pilares del edificio son afectados por un terremoto, un
ingeniero debe repararlos para no comprometer la estabilidad
de la estructura.
 CM de parámetros continuos
El ingeniero puede reparar el pilar norte, y esto le toma un tiempo
exponencial(B). El ingeniero también esta capacitado para reparar
el pilar sur, lo cual le toma un tiempo exponencial con media 1/Y la
probabilidad de éxito es H. Si el ingeniero se encuentra reparando
el pilar sur y el pilar norte es afectado por un terremoto, el
ingeniero empieza inmediatamente a reparar el pilar norte. Asuma
que los terremotos no afectan a los pilares si estos últimos están
bajo reparación o si están esperando a ser reparados. También
asuma que los tiempos exponenciales mencionados son
independientes entre si. Finalmente, asuma que el ingeniero
siempre da prioridad al pilar norte si ambos pilares han sido
afectados.
a. Defina y desarrolle un modelo que
represente la situación recién descrita.
Paso 4: construcción del grafo.