Procesos estocásticos

UNIDAD 1
GUISELA GAITÁN GARAVITO
Descripción
Se presentan las aplicaciones de la teoría de probabilidades, para modelar el comportamiento
de sistemas que sufren variaciones aleatorias en el tiempo, en el análisis de procesos
estocásticos.
Al finalizar la unidad se espera que los participantes: definan que son los procesos estocásticos,
modelen por medio de Cadenas de Markov, de tiempo discreto o continuo, los sistemas
estocásticos que cumplen con la propiedad Markoviana. Calculen, para los diferentes estados
las probabilidades de transición, absolutas y de absorción. Evalúen alternativas de decisión
aplicando el proceso de decisión Markoviano.
Definiciones
Proceso: conjunto de fases sucesivas de un fenómeno.
Estocástico: ligado al azar.
Proceso estocástico: sucesiones de eventos gobernados por leyes de
probabilidad.
Sistema: conjunto estructurado de unidades relacionadas entre sí que
contribuyen a determinado objetivo.
Sistema estocástico es aquel que sufre cambios en el tiempo debido al azar.
Proceso estocástico ( conceptualización
matemática)
Un modelo matemático que se ajusta a un sistema estocástico donde una o
varias magnitudes (variables) se modifican en forma aleatoria en función del
tiempo.
Se entiende como una familia de variables aleatorias X(t) donde t es un punto en
el espacio T llamado espacio parametral, donde para cada t, xt es un punto en el
llamado espacios de estados S.
Los valores que puede tomar X(t) , x1, x2, ….,xk… se conoce como estados y el
cambio de estados se describen como transiciones entre estados, transición de
x i a xj .
Estados y transiciones

Ejemplo
En una biblioteca un lector la visita el mismo día de la semana, si ha terminado
de leer un libro solicita otro , de lo contrario lo vuelve a prestar haciendo una
renovación.
Se modelará el proceso de préstamos y renovaciones que hace el lector
La variable que se interesa medir en un día cualquiera es le número de
renovaciones que tiene el libro, asignando 0 cuando es un préstamo nuevo
Estados y transiciones

Los valores que puede tomar X y definen los estados son X(t) = 0, 1, 2, …..k…
El espacio de estados esta formado por: E0= solicita un libro nuevo
E1 solicita la primera renovación
Ek solicita la k ésima renovación
S = {Eo, E1 ….}
Las transiciones cuando X(t) = k solo pueden ser X(t+1) = 0 o X(t+1) = k +1
Para el espacio parametral se asigna el número de semana que se ha observado
el proceso
Semana 0 (el inicio), semana1, semana 2….. T = t0, t1, t2 , t.
Tipos de procesos
Serie discreta: S discreto y T discreto
Serie continua : S continuo y T discreto
Proceso discreto: S discreto y T continuo
Proceso continuo: S y T continuo

Como cadenas se designan los procesos que tienen un espacio de estados

discreto
Cadena estocástica de tiempo discreto

Los estados del sistema son un número finito o infinito numerable y mutuamente
excluyentes, los cambios de estado o transiciones no pueden producirse más que en
un instante definido de tiempo.
S = {E0, E1, E2……}
T = {0, 1, 2, 3, ….}
Propiedad Makoviana
Un proceso estocástico X(t), para todo t perteneciente a T, tiene la propiedad
Markoviana si cumple:
Dado el valor xt, la distribución de X(s) (s>t) no depende en forma alguna de un
conocimiento de x(u) ( u <t) .
El conocimiento futuro cuando se conoce el estado presente del proceso, no se altera
por el conocimiento adicional acerca del conocimiento pasado.
La probabilidad condicional de cualquier evento futuro dado cualquier evento pasado y
el estado actual ( tiempo t) es independiente del pasado y solo depende del estado
actual
P(X (t+1) = xj / X0= xo , X1= x1….Xt = xi ) = P (X (t+1)= xj / X(t )= xi) =pij
Para todo t y para toda pareja (i, j)
Cadenas de Markov de tiempo discreto
Es un proceso estocástico con un espacio parametral discreto y un espacio de
estados discretos, generalmente formando un conjunto finito, que cumple con la
propiedad Markoviana
Así, una cadena de Markov de tiempo discreto tiene las siguientes propiedades
1. Un número finito de estados.
2. Cumple con la propiedad Markoviana.
3. Probabilidades de transición estacionarias.
4. Un conjunto de probabilidades iniciales.
Probabilidad estacionaria
P( X(t+1) =E j / X(t) = E i) se conoce como probabilidad de transición
identificándola como pij, la probabilidad de que el sistema se encuentre en el
estado j dado que está en el estado i en la fecha t.
Estas probabilidades se dicen estacionarias ya que son independientes del
tiempo
Pij= P( X(m+n) = j / X(m) = i ) = P ( X(n) = j / X(0) = i )

Capítulo 10 cadena de Markov

MATRIZ DE TRANSICIÓN
Son matrices cuadradas con elementos no negativos y la suma de cada renglón es igual
a la unidad.
Se conoce como matriz estocástica y permite presentar un modelo matemático de la
cadena de Markov

t = |pij|

El conjunto de las probabilidades de transición en un paso

𝐸0 𝐸1 𝐸2

𝐸0 𝑝00 𝑝01 𝑝02

𝐸1 𝑝10 𝑝11 𝑝12
𝐸2 𝑝20 𝑝21 𝑝22
Vector de probabilidad de la fecha t
, pi(t) es la probabilidad de estar en el estado i en el paso t
El conjunto de probabilidades pi(t) se pueden representar mediante un vector
estocástico en el que cada uno de sus componentes representan la probabilidad
de estar en los diferentes estados y se llama Vector de Estado en la fecha t
Pi(t) = [p0, p1, p2….]
0 < pi(t) < 1 y la suma de las probabilidades de los estados es igual a la unidad
Una cadena de Markov esta definida mediante la matriz de transición y el vector
de probabilidades de estado en t = 0
Pi(t=0) = P(0)
Ejemplo

Un hombre maneja su carro o toma el taxi para ir a su trabajo cada día, de martes a sábado.
Suponga que nunca toma el taxi en día seguidos pero si maneja su auto, entonces, al día
siguiente es tan probable que maneje de nuevo o tome el taxi.
Presente el modelo de la cadena de Markov para estudiar el comportamiento del proceso a
partir de mañana martes.
Estados E0= maneja el auto E1= toma el taxi

t E0 E1
E0 0.5 0.5
E1 1 0

P(0) 0.6 0.4

Ecuaciones de Chapnam Kolmogorov
Probabilidades absolutas del sistema después de un número especificado de
transiciones.
Se desea encontrar la probabilidad de que el sistema se encuentre en el estado j
después de t transiciones pj(t)
,pj (t+1) = S pi(t) pij para todo i

Pi(t+1) = Pi(t) * t
Pi (t=k) = Pi(0) tk
Ecuaciones de Chapnam Kolmogorov
Probabilidad de estar en el estado j en la fecha n partiendo del estado i
,pij (n) = S pik(m)* pkj(n-m) = S pik * pkj (n-1) = = S pik(n-1) * pkj

y se localiza en el elemento ij en t n

P(X(n) = xj / X(0) = xi )
Clasificación de estados
Accesibilidad: el estado Ej es accesible del estado Ei si pij (n) >0 para alguna n en el
espacio parametral.
◦ Probabilidad condicional de llegar a Ej después de n transiciones si se parte del estado Ei es
mayor que cero
Si el estado Ej es accesible de estado Ei y además el estado Ei es accesible del Ej,
entonces Ei y Ej se comunican.
Dos estados que se comunican se dice que son de la misma clase.
Si todos los estados son de la misma clase la cadena es irreducible
Condición suficiente para que todos los estados sean accesibles es que existe un valor n
para el cual pij (n) > 0 para todo j, se dice entonces que es una matriz regular.
Estado periódico
Un estado Ej es periódico de tiempo t si su regreso solo es posible en t, 2t,
3t…..pasos
,pij(n) = 0 cuando n no es divisible entre t
El periodo de un estado se define como el intervalo t

Si todo proceso puede encontrarse en el estado Ej en los tiempos S, S+1, S+2…

se dice que es aperiódico.
Propiedades a largo plazo de las cadenas
de Markov con matriz regular
Las potencias de t n tiende a una matriz t´
Cuyas filas son cada una un vector fijo de probabilidad P’
y para todo valor de P(t) se tiene que P(t) * t´ = P‘ cuando
n tiende la infinito
El vector P’ es un vector único invariable que presenta la
distribución de probabilidad estacionaria
P’ = { p0’ , p1’, p2’………}
Propiedad ergódica de la cadena de
Markov
para P’ = { p0’ , p1’, p2’………} se cumple P’ t = P’
Para n suficientemente grande el vector de probabilidades es independiente el estado inicial.
Y es llamado distribución de probabilidad estacionaria.
Propiedad a largo plazo
Cuando la matriz no es reducible y tampoco periódica
La distribución de probabilidad final cuando t tiene al infinito es independiente de la
distribución de probabilidad inicial, y existe el régimen permanente en fenómenos
estacionarios.
Régimen permanente, le corresponde el vector P’ ( distribución de estado estable) cualquier
otro se llama régimen transitorio.
Cálculo del vector
P’ t = P’ P’ = { p0’ , p1’, p2’………}

𝑝11 𝑝12 𝑝13

[𝑝1′ 𝑝2′ 𝑝3′] 𝑝21 𝑝22 𝑝23 = [𝑝1′ 𝑝2′ 𝑝3′]
𝑝31 𝑝32 𝑝33

,p1’*p11+p2’*p21*p3’*p31 = p1’

,p1’*p12+p2’*p22+ p3’*p32 = p2’

,p1’*p13 + p2’*p23+ p3’*p33 = p3’

P1’+p2’+p3’= 1

Despejando las ecuaciones se obtienen los valores de las probabilidades de estado estable para cada uno de lose
estados.
Tiempos de primera pasada
¿Cuántas transiciones hará el proceso para ir del estado Ei al estado Ej por primera vez?

Este número de transiciones se le conoce como tiempos de primera pasada.

Es el número de transiciones que hace el sistema para, que partiendo de un estado Ei,
se llegue al estado Ej por primera vez, y no es un número completamente determinado.

Es variable aleatoria (Y) toma los valores de 1, 2, 3, ………. Por lo que es importante
asignar la distribución de probabilidades

La probabilidad de que el tiempo de primera pasada para llegar al estado Ej partiendo

del estado Ei sea k, P(Y=k)= fik
Cálculo de probabilidad
Para calcular la distribución de probabilidades se usan las siguientes ecuaciones recursivas

,fij(1) = pij

,fij(2) = pij(2) -fij(1) pjj(1)

,fij(3) = pij(3) - fij(1) pjj(2) – fij(2) pjj(1)
,fij(n) = pij(n) -fij(1) pjj(n{1)- fij(2) pjj(n-2) -….fji(n-1) pjj (1)
Para (ij) fijo todas fij(n) son no negativos y la suma de probabilidades es igual a uno si
los estados son recurrentes.
Si la suma de probabilidades es menor que uno significa que un proceso que inicia en el
estado Ei puede que nunca llegue al estado Ej, Ej es un estado transitorio.
Tiempos promedio de primera pasada y
primer regreso
Tiempo promedio de primera pasada: número de transiciones esperadas para
que el proceso, partiendo de Ei, llegue a Ej por primera vez, mij
Si todos los estados son recurrentes los valores esperados para todo ij satisfacen
las siguientes ecuaciones

,mij = 1 + σ.𝐾 𝑝𝑖𝑘 ∗ 𝜇𝑘𝑗

para todo k no igual a j
Tiempo promedio de primer regreso: número de transiciones esperadas para
que el proceso, partiendo de Ei, regrese nuevamente al estado Ei, mii
Conjuntos cerrados, estados recurrentes
y transitorios
Un conjunto de estados C, se dice que es cerrado, si el sistema una vez que entra en uno de los
estados permanece en C indefinidamente.
Si un proceso comienza en el estado Ei regresa alguna vez a ese estado se dice que es
recurrente, si qii es la probabilidad de que el sistema regrese al estado Ei, esta es igual a 1 para
los estados recurrentes
Si un proceso inicia en el estado Ei y existe la probabilidad de que nunca regrese se dice que es
transitorio, asi, qii<1
La probabilidad de que no regrese es 1-qii
Una matriz de transición con estados transitorios es reducible y en ella la probabilidad de que el
sistema esté en uno de esos estados decrece a medida que el tiempo crece.
Estados absorbentes
Se dice que Ek es estado absorbente si una vez que el sistema llega al él permanece en él
indefinidamente. La probabilidad de transición pkk= 1
Si un proceso comienza en un estado transitorio, entonces se tiene la seguridad de que en algún
momento lo dejará y terminará en un estado absorbente.
Si Ek es un estado absorbente y un proceso comienza en el estado Ei, transitorio, la probabilidad
de llegar en algún momento al estado Ek se llama probabilidad de absorción.
Si un proceso se encuentra en el estado Ei que es transitorio, la probabilidad de terminar en el
estado absorbente Ek es el elemento ik de la matriz ( I-Q) -1 * R
Q es la matriz formada con estados transitorios
R es una matriz formada con estados transitorios y absorbentes
I matriz identidad
Tiempo promedio para la absorción
¿Cuántos periodos se espera pasar en los estados transitorios antes de efectuarse la absorción?
Si el sistema está en el estado Ei transitorio, el número promedio de periodos que se espera
pasar en ese estado antes de llegar a la absorción es el elemento ii- ésimo de la matriz
( I-Q) -1