Modelos

Estocásticos

Cadenas de
Markov discretas
Introducción

o Las cadenas de Markov se han aplicado con éxito

en multitud de ramas en el ámbito científico-
técnico (por ejemplo, física, ingeniería,
economía).

o Son modelos suficientemente complejos para

representar la realidad y suficientemente sencillos
para poder ser manejados.
Propiedad de Markov

o Una cadena de Markov es un proceso aleatorio

discreto que satisface la propiedad de Markov

o La propiedad de Markov se puede expresar

diciendo que el comportamiento aleatorio del
proceso en un instante dado solo se ve
condicionado por su pasado a través del último
valor conocido.
Propiedad de Markov

o De toda la información disponible sobre el pasado

solo es relevante la última conocida.

o Si el conjunto de índices es discreto decimos que

se trata de una cadena discreta (o en tiempo
discreto) si el conjunto de índices es continuo
decimos que se trata de una cadena continua (o en
tiempo continuo).
Probabilidades de estado y de transición

o Propiedad esencial de las cadenas de Markov

Cadena homogénea

o Tenemos que si conocemos las probabilidades de

estado y las probabilidades de transición entre
estados, podemos obtener todas las
distribuciones finito-dimensionales de la cadena.
Cadenas en tiempo discreto

o Sea un conjunto de índices y se denota el

tiempo discreto como

o Luego, la proposición 5.1 queda expresada

Probabilidades de transición en un
solo paso
Probabilidades de transición en un
solo paso

o Esta matriz contiene la información más relevante

sobre el comportamiento aleatorio de la cadena.

o Dada unas condiciones iniciales esta matriz

determina completamente la distribución del
proceso.
Matriz estocástica

o La información contenida en la matriz de

probabilidades de transición se puede representar
mediante un diagrama de transición.

o Esto es un grafo dirigido donde cada nodo

representa un estado de la cadena y cada arco una
posible transición entre estados.
Diagrama de transición

o En cadenas discretas sobre cada arco se indica la

correspondiente probabilidad de transición.

o Ejemplo. Un sistema falla o no dependiendo de si

ha fallado el día anterior. La probabilidad de que
falle un día sabiendo que ha fallado el día anterior
es de 0,7 pero si no ha fallado el día anterior es de
0,2.

o Determine la matriz de probabilidades de transición

y el diagrama correspondiente.
 Ejemplo

o Estados: s1= falla y s2= no falla

 0,7 0,3 
P   
 0,2 0,8 
Tiempo de permanencia
 Probabilidad de transición en k pasos

o El siguiente resultado muestra como obtener las

probabilidades de transición en k pasos a partir de
las probabilidades de transición en un paso.

o
Ejemplo

o Continuando con el ejemplo, calculemos la

probabilidad de que el sistema falle en 4 días,
sabiendo que hoy no ha fallado.

o Es decir, p21(4)= P(X(4)=s1| (X(0)=s2)

Probabilidades de estado

o La siguiente proposición dice como calcular el

vector p(n) a partir de la matriz P y del vector p(0)
que indica la distribución inicial de la cadena.
 Probabilidades de estado

oContinuando con el ejemplo, calculemos la

probabilidad de que el sistema falle al 4° día, sabiendo
que inicialmente la probabilidad de fallar es 0,1 y la de
no fallar es de 0,9.

oEs decir, p1(4)= P(X(4)=s1). Siendo P(0)=(0,1;0,9)

Probabilidades de estado

o Luego, la probabilidad de que el sistema falle al 4°día

es p1(4)=0,38125
Distribución estacionaria
Distribución estacionaria

o Calcular la distribución estacionaria del ejemplo

o Se tiene que: π1=0,4 y π2=0,6

o Luego, se tiende a (0,4 0,6)

o Las ecuaciones que se forman se llaman

Ecuaciones de equilibrio general (EEG)