Está en la página 1de 11

UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS

Me volvı́ y vı́ debajo del sol, que ni es de los


ligeros la carrera, ni la guerra de los fuer-
tes, ni aún de los sabios el pan, ni de los
prudentes las riquezas, ni de los elocuen-
tes el favor; sino que el tiempo y la ocasión
acontecen a todos.
Antiguo Testamento
Eclesiastés 9:11

1. Introducción
Hasta ahora, en nuestras consideraciones sobre la teorı́a de probabilidades
y las variables aleatorias, no hemos tomado en cuenta el hecho de que, como
tantas otras cosas, las distribuciones de probabilidad pueden cambiar con el
devenir del tiempo o a largo del espacio de acuerdo a leyes no deterministas,
esto es, de caracter aleatorio. La teorı́a que toma en cuenta los procesos
probabilı́sticos que dependen del tiempo (o el espacio) es la teorı́a de pro-
cesos estocásticos la que describiremos brevemente. La forma habitual de
describir procesos de ese tipo es mediante sucesiones de variables aleatorias.
De esta manera se puede estudiar como evoluciona una la distribución de
probabilidades de una variable aleatoria por ejemplo a lo largo del tiempo.
El número de llamadas que se producen en una central telefónica en un lapso
de tiempo, por ejemplo, es una variable aleatoria discreta cuya distribución
de probabilidades depende de ese intervalo de tiempo. Esta distribución de
probabilidades dependiente de una variable determinista (el tiempo en este
caso) evoluciona con ella.

2. Definiciones Básicas
Definición 1. Sea t ∈ T ⊂ R un parámetro (tı́picamente el tiempo). Un pro-
ceso estocástico es una familia {Xt , t ∈ T } de variables aleatorias definidas
en un espacio muestral S. Ası́ para cada t ∈ T , Xt : S → R es una variable
aleatoria. El conjunto T es el conjunto de ı́ndices o espacio de parámetro
del proceso y el espacio de estados del proceso E es el conjunto de todos los
valores posibles que las variables aleatorias {Xt }t∈T pueden asumir.
Ejemplos de procesos estocásticos:
1. El tiempo de espera de un proceso por lotes hasta que el procesado
comienza, es {W (t), t ≥ 0}.
2. El número de mensajes que arriban a un servidor en el perı́odo de
tiempo que va de 0 a t es {N (t); t ≥ 0}.
1
2 UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS

3. Sea Xn ; n = 1, 2, . . . , 7 el tiempo promedio que toma de correr un


programa en un centro de computación en el dı́a n de la semana.
4. La ocurrencia de fallas en un sistema en un intervalo de tiempo
de duración t puede modelarse con una variable aleatoria Xt cuya
distribución de probabilidades depende de la extensión del intervalo
de tiempo considerado.
Un estado del proceso es Xt (ω) si t ∈ T y ω ∈ E. Los procesos estocásticos
se pueden clasificar de acuerdo a la naturaleza de T y E.

Si T = N o T = Z el proceso estocástico se denomina de parámetro


discreto y habitualmente se utiliza la notación {Xn , n ∈ Z} por ejemplo. Si
el conjunto de ı́ndices es T = R el proceso es de parámetro continuo y se lo
indica con {Xt , t ∈ R}.
El espacio de estados E del proceso es discreto si es finito o numerable en
tanto que es continuo si es un intervalo (finito o infinito).
Por ejemplo:
1. Un sistema mecánico tiene una válvula de seguridad que se revi-
sa periódicamente y puede estar en uno de tres estados. El estado
Xn ; n = 1, 2, . . . , del sistema en el dı́a n es un proceso estocástico
con espacio del parámetro y de estados discreto (Xn ∈ {1, 2, 3}∀ n).
2. En un puesto de atención a clientes se contabiliza el tiempo de espera
del cliente que llega en un instante t. El tiempo Xt de espera del
cliente que llega en el instante t es un proceso estocástico con espacio
de parámetro y de estados continuo.
Para cada t ∈ T fijo resulta que Xt es una variable aleatoria mientras que
para cada ω ∈ E {Xt (ω), t ∈ T } es lo que se denomina una realización del
proceso estocástico en ω ∈ E .

Ejemplo 1:
Supongamos que se lanza una moneda varias veces. Cada vez que sale cara
un jugador gana 1 unidad, si sale ceca pierde 1 unidad. Se puede definir un
proceso estocástico que modelice el juego. Por ejemplo si se denomina Xn
al número de unidades monetarias que quedan después de n lanzamientos
de la moneda, queda determinado un proceso estocástico con conjunto de
ı́ndices discreto ya que T = {0, 1, 2, 3, . . .} mientras que el espacio de estados
es E = Z. El valor de X0 corresponde al capital inicial del jugador.

Indicando con + la salida de cara y con − la salida de ceca y si X0 = 0


resulta que, para una secuencia {+ + − − −−}, los valores de Xn son
{1, 2, 1, 0, −1, −2}.

Se supone que la probabilidad de salida de cara es constante (p = 21 )


y que las repeticiones del lanzamiento de la moneda son independientes.
Considerando X0 = 0 la figura 1 muestra la distribución de probabilidades
UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS 3

de Xn para n tomando los valores 1, 2, 3, 4, 5, 6. Por ejemplo la distribución


de probabilidades de X3 es:

k P (X3 = k
-3 0.125
-1 0.375
1 0.375
3 0.125

Evolución de una distribución de probabilidades

0.6

0.5

0.4
probabilidad

0.3

0.2

0.1
−10
0
0
1 2 3 4 5 69
tiempo X

Figura 1. Distribución de probabilidades de Xn

Como puede verificarse fácilmente la distribución de probabilidades de


Xn es binomial pero con el recorrido modificado. Por ejemplo si n = 3
el recorrido de X3 es el conjunto {−3, −1, 1, 3} mientras que el de X4 es
{−4, −2, 0, 2, 4}. Puede, por ejemplo, verificarse que la probabilidad de que
Xn sea negativo (en este caso el jugador va perdiendo dinero) para n = 10
es 193
512 .

La tabla que se muestra a continuación reseña los valores de la probabi-


lidad del suceso {Xn = 0} para los primeros valores de n:
4 UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS

n P (Xn = 0)
1 0
2 0.25
3 0
4 0.375
5 0
6 0.3125
7 0
¡2k¢ 1
En general se cumple P (X2k ) = k 2k y P (X2k−1 = 0) = 0 para k =
1, 2, . . ..
Es interesante observar que fijado n, la variable aleatoria Xn es una suma
de variables aleatorias independientes con idéntica distribución, esto es:
Xn
Xn = Zk
k=1
si X0 = 0 y donde Zk es la variable aleatoria que toma los valores −1 y 1
ambos con probabilidad 12 , con valor esperado 0 y varianza 1. De esta ma-
nera el valor esperado de Xn es cero ∀n, mientras que la varianza es n.

La figura 2 muestra una realización del proceso estocástico a partir de


X0 = 0. Puede obtenerse a partir de la información del gráfico cuál fue la
secuencia de caras y cecas que corresponde a esta realización. La figura se
obtuvo ejecutando el siguiente código en GNU Octave:
N=15;
X(1)=0;
for k=1:N-1
r=rand;
X(k+1)=X(k)+(r>0.5)-(r<0.5);
end
plot(1:N,X,’o’)

3. Procesos de conteo
El número de accesos a un servidor de Internet en el perı́odo de tiempo
que va de 0 a t puede considerarse como un proceso estocástico. Suponga-
mos denotarlo como {N (t); t ≥ 0}. En este caso el espacio de estados es
discreto mientras que el conjunto de ı́ndices es T = R (o sea el proceso es
de parámetro continuo).
Un proceso como el de este ejemplo pueden ser descripto como un proceso
de conteo. La definición precisa es la siguiente:
Definición 2. Sea {N (t); t ≥ 0} un proceso estocástico con espacio de
estados discreto. Entonces {N (t); t ≥ 0} es un proceso de conteo si:
1. N (0) = 0,
2. N (t) ≥ 0 ∀ t
UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS 5

Una realización del proceso


4

3.5

2.5

t
2
X

1.5

0.5

0
0 5 10 15
tiempo

Figura 2. Una realización del proceso estocástico

3. s < t implica que N (s) ≤ N (t),


4. N (t) − N (s) es el número de eventos que ocurrieron después de s
pero antes de t, es decir en el intervalo (s, t] . 1
La figura 3 muestra el gráfico de un proceso de conteo en que los eventos
ocurren de manera tal que el intervalo de tiempo entre ocurrencias es una
variable aleatoria continua con distribución exponencial.

Proceso de conteo
1400

1200

1000
conteo de sucesos

800

600

400

200

0
0 20 40 60 80 100 120
tiempo

Figura 3. Un proceso de conteo

1Esto justifica el nombre de procesos de conteo


6 UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS

Para simular un proceso como el de la figura se puede ejecutar el siguiente


código en GNU Octave:

L=10;
N=100;
x=(-1/L)*log(1-rand(N,1));
stairs(cumsum(x),1:N)
xlabel(’tiempo’)
ylabel(’conteo de sucesos’)

En la modelización de procesos se presentan relaciones entre las variables


de la sucesión de variables aleatorias que constituyen el proceso estocástico.
Resulta conveniente introducir algunas definiciones al respecto.

Sea {X(t), t ≥ 0 } un proceso estocástico de parámetro continuo.


Definición 3. El proceso X(t) tiene incrementos independientes si cada vez
que
(a1 , b1 ), . . . , (an , bn )
son intervalos con la propiedad de que (ai , bi ) ∩ (aj , bj ) = ∅, i 6= j, entonces
las n variables aleatorias
Yi = X(bi ) − X(ai )
son independientes,
Definición 4. El proceso X es estacionario o de incrementos estacionarios
si para todo h > 0 y todo 0 ≤ s ≤ t vale que X(t + h) − X(s + h) tiene la
misma distribución de probabilidades que X(t) − X(s). Esto significa que
la distribución de probabilidades de X(t) − X(s) depende sólamente de la
longitud del intervalo de s a t y no del valor particular de s.

4. Proceso de Poisson
Definición 5. Un proceso de conteo {N (t)}t∈R es un proceso de Poisson
con media λ > 0 si ocurre lo siguiente :
1. El proceso tiene incrementos independientes.
2. Los incrementos son estacionarios.
3. La probabilidad de que exactamente un evento ocurra en un intervalo
de tiempo de longitud h es λh + o(h).
4. La probabilidad de que más de un evento ocurra en un intervalo de
tiempo de longitud h es o(h).
La figura 4 muestra las ocurrencias de un proceso de Poisson en el tiempo.
Nota: Se dice que una función f es o(h) si
f (h)
lı́m = 0.
h→0 h
UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS 7

Proceso de Poisson
1.01

1.005

0.995

0.99
0 10 20 30 40 50 60 70 80 90 100
tiempo

Figura 4. Un proceso de Poisson

El siguiente teorema da la descripción probabilı́stica de los procesos de


Poisson:
Teorema 1. Sea {N (t)}t∈R un proceso de Poisson con media λ > 0. En-
tonces la variable N (t) que describe el número de eventos que ocurren en
cualquier intervalo de tiempo de longitud t > 0 tiene una distribución de
Poisson con parámetro λt. Es decir
(λt)n −λt
P (N (t) = n) =
e
n!
y entonces el promedio de eventos que ocurren en un intervalo de longitud
t es λ t.
Demostración
Por la definición de proceso de Poisson, el número de eventos que ocurren
en un intervalo de tiempo dado solo depende de su longitud. Podemos por
lo tanto asumir que el intervalo de tiempo de interés es (0, t). Definimos
Pn (t) = P [N (t) = n], para cada entero n no negativo.
Para que ningún evento ocurra hasta el tiempo t + h, no debe ocurrir
ninguno hasta el tiempo t y no debe ocurrir ninguno en el intervalo de
tiempo (t, t + h]. Por lo tanto
(4.1) P0 (t + h) = P0 (t)P [N (t + h) − N (t) = 0]
= P0 (t)P [N (h) = 0] = P0 (t)(1 − λh + o(h)).
La primera igualdad en (4.1) se deduce del hecho de que el proceso tiene
incrementos independientes, y la segunda del hecho de que los incrementos
son estacionarios. Expandiendo el producto y operando:
8 UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS

P0 (t + h) − P0 (t) o(h)
(4.2) = −λP0 (t) +
h h
Haciendo tender h a 0 llegamos a la ecuación diferencial:

dP0 (t)
(4.3) = −λP0 (t)
dt
con el valor inicial P0 (0) = 1, que es consecuencia de la primer condición
en la definición de procesos de conteo. La única solución de esta ecuación
es: P0 (t) = e−λt .

Sea ahora n > 0. En el intervalo de tiempo (0, t + h) pueden ocurrir n


eventos de tres maneras mutuamente excluyentes:
a: n eventos ocurren en el tiempo t y ninguno ocurre entre t y t + h,
b: n − 1 eventos ocurren en el tiempo t y uno ocurre entre t y t + h,
c: n − k eventos ocurren en el tiempo t, donde k = 2, 3, . . . , n y exac-
tamente k eventos ocurren entre t y t + h.
Sumando las probabilidades de los sucesos a, b y c, obtenemos
(4.4) Pn (t + h) = Pn (t)(1 − λh + o(h)) + λhP(n−1) (t) + o(h),
y tomando el lı́mite para h → 0 vale que

dPn (t)
(4.5) = −λPn (t) + λP(n−1) (t).
dt
La solución de este sistema de ecuaciones, con Pn (0) = 0, es
(λt)n −λt
(4.6) Pn (t) = e
n!
¤
El siguiente teorema muestra otra importante propiedad de los procesos
de Poisson.
Teorema 2. Sea {N (t)}t∈R un proceso de Poisson con media λ > 0 y sean
0 < t1 < t2 < t3 < . . . los tiempos de arribo de los eventos. Definimos las
variables τ1 = t1 y τn = tn − tn−1 de interarribo. Entonces las variables
τn son independientes y están idénticamente distribuidas con distribución
exponencial con media 1/λ.
Demostración Como un proceso de Poisson tiene incrementos indepen-
dientes los eventos que ocurran después del tiempo tn son independientes de
los ocurridos antes de ese tiempo. Eso prueba que τ1 , τ2 , . . . son independien-
tes. Los eventos {τn > s} y {N (tn−1 + s) − N (tn−1 ) = 0} son equivalentes
(definamos t0 = 0 para que tn−1 esté definido cuando n = 1). Por lo tanto
P [τn > s] = P [N (tn−1 + s) − N (tn−1 ) = 0] = P [N (s) = 0] = e−λs ,
UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS 9

entonces
P [Tn ≤ s] = 1 − e−λs , s≥0
Esta es la función de distribución de una variable aleatoria continua con
distribución exponencial de parámetro λ.
¤
Se puede probar que la recı́proca del teorema previo es cierto, es decir:
Teorema 3. Sea {N (t)}t∈R un proceso de conteo tal que los tiempos de
interarribo τn son variables aleatorias independientes, idénticamente distri-
buidas, exponenciales, cada una con media 1/λ. Entonces {N (t)}t∈R es un
proceso de Poisson con media λ.
Como los tiempos entre ocurrencias son variables aleatorias independien-
tes con distribución exponencial con media 1/λ entonces, para simular las
ocurrencias de un proceso de Poisson, bastará con simular valores de una va-
riable exponencial. El siguiente código en GNU Octave genera una situación
como la mostrada en la figura 4:

N=100;
L=1;
x=(-1/L)*log(1-rand(N,1));
plot(cumsum(x),ones(size(x)),’+’)
xlabel(’instantes de ocurrencia’)

Ejemplo 2:
El tiempo entre arribos de clientes, durante la mañana de un dı́a normal,
a una estación de servicio se puede considerar como un proceso de Poisson
de media 0.2 1/minuto.
1. Describir la distribución de probabilidades del número de clientes
que llegan en una hora.
2. Calcular la probabilidad de que en 30 minutos lleguen mas de 5
clientes.
3. Calcular la probabilidad de que el intervalo de tiempo entre las lle-
gadas de los clientes décimo y undécimo exceda 10 minutos.
4. Calcular el valor esperado del tiempo transcurrido hasta que llega el
décimo cliente desde que comenzó el servicio.

Solución:
1. El número de clientes que llegan en una hora es una variable aleato-
ria con distribución de Poisson de parámetro m = 0.2 60 = 12.

2. El número de clientes que llegan en 30 minutos es una variable alea-


toria con distribución de Poisson de parámetro m = 0.2 30 = 6. La
10 UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS

probabilidad de que el número de clientes N que llegue en ese lapso


de tiempo sea superior a 5 es:
5
X 6k
P (N > 5) = 1 − exp(−6) ≈ 0.5543.
k!
k=0
3. Como el tiempo entre ocurrencias de un proceso de Poisson es una
variable aleatoria continua T con distribución exponencial λ, enton-
ces P (T > t) = exp(−λ t). En este caso λ = 0.2 1/minuto. Entonces
P (T > 10) = exp(−2) ≈ 0.1353.

4. El tiempo transcurrido hasta que llega el décimo cliente desde que


comenzó el servicio es la suma de 10 variables aleatorias con la misma
distribución exponencial de parámetro λ. Entonces el valor esperado
de este tiempo transcurrido es 10 λ−1 = 50.

Ejemplo 3:
Los clientes llegan a una máquina expendedora de gaseosas siguiendo un
proceso de Poisson de parámetro λ (en clientes por hora). Supongamos que,
cada vez que un cliente deposita dinero, la máquina expende una gaseo-
sa con probabilidad p. Determinar la función de probabilidad del número
de refrescos expendidos por la máquina en un tiempo t. Se supone que la
máquina tiene una cantidad ilimitada de gaseosas y que clientes distintos
corresponden a sucesos independientes.
Solución:
Sea N (t) el número de clientes que llegan a la expendedora de gaseosas
en el intervalo (0, t) y consiguen con éxito una gaseosa de la máquina y
Pn (t) = P [N (t) = n], para cada entero n no negativo.
la probabilidad de que n clientes consigan la gaseosa en ese intervalo.
La atención satisfactoria de n clientes en el perı́odo de tiempo (0, t + h)
puede ocurrir de tres maneras mutuamente excluyentes:
a: n clientes son atendidos entre 0 y t y ninguno entre t y t + h,
b: n − 1 clientes son atendidos entre 0 y t y uno entre t y t + h,
c: n clientes son atendidos entre 0 y t y uno llega entre t y t + h pero
la máquina no le dispensa la gaseosa.
Ya se asume en este planteo que en un intervalo de corta duración puede
ocurrir a lo sumo un éxito.

Entonces, por un razonamiento similar al presentado en la sección 4:


Pn (t+h) = Pn (t)(1−λh+o(h))+(λh+o(h)) p Pn−1 (t)+(1−p) Pn (t)(λh+o(h))
reacomodando términos resulta

Pn (t + h) − Pn (t) = h(−λp Pn (t) + λp Pn−1 (t))


UNA INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS 11

y tomando lı́mite con h tendiendo a 0 resulta el sistema de ecuaciones


diferenciales

dPn (t)
= −λ p Pn (t) + λ p Pn−1 (t).
dt
cuya solución con Pn (0) = 0 es

(p λ t)k −p λ t
Pn (t) = e .
k!