Está en la página 1de 60

ESCUELA SUPERIOR POLITCNICA DEL LITORAL

FACULTAD DE INGENIERA EN ELECTRICIDAD Y COMPUTACIN

Probabilidades y Procesos Estocsticos

FRANCISCO NOVILLO, PhD.

F. Novillo

Probabilidades y Procesos Estocsticos

Procesos aleatorios o
estocsticos

F. Novillo

Probabilidades y Procesos Estocsticos

Procesos aleatorios o estocsticos


Definicin. Especificacin de un proceso
aleatorio.
Funcin
Valor
medio,
autocorrelacin y autocovarianza. Procesos
estocsticos
mltiples.
Correlacin
y
covarianza cruzada.

F. Novillo

Probabilidades y Procesos Estocsticos

Definicin
Sistema de reconocimiento de voz las decisiones son hechas en
base a formas de ondas de voltaje correspondientes a una
expresin oral.
En una red peer to peer, el nmero de pares en el sistema varia con
el tiempo.
En ocasiones el dos o ms funciones de tiempo pueden ser de
inters. Por ejemplo, la temperatura de una determinada ciudad y
de la demanda sobre la utilidad de energa elctrica locales varan
juntos en el tiempo.
Las funciones de tiempo aleatorio en el ejemplo anterior pueden
ser vistas como cantidades numricas que evolucionan
aleatoriamente en el tiempo o el espacio.
Por lo tanto, lo que realmente se tiene es una familia de variables
aleatorias indexadas por el tiempo o la variable espacio.

F. Novillo

Probabilidades y Procesos Estocsticos

Definicin
Un proceso estocstico es un concepto
matemtico que sirve para caracterizar una
sucesin de variables aleatorias (estocsticas)
que evolucionan en funcin de otra variable,
generalmente el tiempo. Cada una de las
variables aleatorias del proceso tiene su propia
funcin de distribucin de probabilidad y, entre
ellas, pueden estar correlacionadas o no.
Cada variable o conjunto de variables sometidas
a influencias o efectos aleatorios constituye un
proceso estocstico.
F. Novillo

Probabilidades y Procesos Estocsticos

Defincin
Los siguientes son ejemplos dentro del amplio grupo
de las series temporales:

Seales de telecomunicacin
Seales biomdicas (electrocardiograma, encefalograma,
etc.)
Seales ssmicas
El nmero de manchas solares ao tras ao
El ndice de la bolsa segundo a segundo
La evolucin de la poblacin de un municipio ao tras ao
El tiempo de espera en cola de cada uno de los usuarios
que van llegando a una ventanilla
El clima es un gigantesco cmulo de procesos estocsticos
interrelacionados (velocidad del viento, humedad del aire,
etc) que evolucionan en el espacio y en el tiempo.

F. Novillo

Probabilidades y Procesos Estocsticos

Definicin
Considere un experimento aleatorio
especificado por los resultados desde algn
espacio muestral S, por los eventos definidos
sobre S, y por las probabilidades sobre estos
eventos. Suponer que a cada resultado ,
se asigna una funcin de tiempo de acuerdo a
alguna regla:

F. Novillo

Probabilidades y Procesos Estocsticos

Definicin
El grfico de la funcin
X(, ) versus t, para fijo,
es llamado una realizacin,
trayectoria de la muestra, o
la funcin de la muestra de
un proceso aleatorio.
As, se puede observar los
resultados del experimento
aleatorio
como
la
produccin de toda una
funcin del tiempo como se
muestra en la figura
F. Novillo

Probabilidades y Procesos Estocsticos

Definicin
Por otro lado, si un tiempo tk es fijado desde un
conjunto de ndices I, entonces X(, ) es una
variable aleatoria puesto que se est mapeando
sobre nmeros reales.
As, se ha creado (o ensamblado) una familia de
variables aleatorias indexadas por el parmetro t,
X , , . Esta familia es llamada un proceso
aleatorio, tambin referido como proceso
estocstico.
Usualmente se suprime y se usa X para
denotar a un proceso aleatorio.
F. Novillo

Probabilidades y Procesos Estocsticos

Definicin
Un proceso estocstico se dice que es discreto
en el tiempo si el ndice I es establecido como
un conjunto contable (i.e. el conjunto de
enteros o el conjunto de enteros no
negativos).
Cuando se trata de procesos de tiempo
discreto, se suele utilizar n para denotar el
ndice de tiempo y X para denotar el proceso
aleatorio.
F. Novillo

Probabilidades y Procesos Estocsticos

10

Definicin
Un proceso estocstico de tiempo continuo es
uno que I es continuo (i.e. la recta real o la
lnea real no negativo ).

F. Novillo

Probabilidades y Procesos Estocsticos

11

Ejemplo
Sea seleccionada aleatoriamente del intervalo [-1,1].
Definir el proceso aleatorio continuo X(, ) por:
, = cos(2) , < <
Las realizaciones de este proceso aleatorio son
sinusoides con amplitud .
This image cannot currently be displayed.

F. Novillo

Probabilidades y Procesos Estocsticos

12

Ejemplo
Sea seleccionada aleatoriamente del intervalo [,] y dgase que:
, = cos(2 + ) , < <
Las realizaciones de ,
son versiones
cambiadas de fase de cos(2).

F. Novillo

Probabilidades y Procesos Estocsticos

13

Ejemplo
La aleatoriedad en induce la aleatoriedad en
la funcin observada , .
En principio, se puede deducir la probabilidad
de eventos envolviendo un proceso
estocstico en varios instantes de tiempo de
probabilidades envolviendo utilizando el
mtodo de evento equivalente.
F. Novillo

Probabilidades y Procesos Estocsticos

14

Trabajo en clase
Definir detalladamente
procesos estocsticos.

F. Novillo

Probabilidades y Procesos Estocsticos

ejemplos

de

15

Ejemplo
Conseguir las siguientes probabilidades para el
proceso aleatorio

F. Novillo

Probabilidades y Procesos Estocsticos

16

Ejemplo
Dada una secuencia binaria aleatoria, dgase
que es un nmero seleccionado aleatoriamente
del intervalo = [0,1], y dgase 12 son la
expansin binaria de :

El proceso aleatorio de tiempo discreto X(n, )


es definido como :
Por lo tanto el proceso resultante es la secuencia
de nmeros binarios , con X(n, ) igual al nth
nmero en la expansin binaria de .
F. Novillo

Probabilidades y Procesos Estocsticos

17

Definicin
Una variable aleatoria es una regla para
asignar a cada resultado de un experimento
S un nmero x(). As un proceso estocstico
es una familia de funciones en el tiempo
dependientes
del
parmetro
o
equivalentemente una funcin de t y .
El dominio de es el conjunto de todos los
resultados experimentales y el dominio de t es
el conjunto R de nmeros reales.
F. Novillo

Probabilidades y Procesos Estocsticos

18

Definicin
Si R es eje real, entonces x(t) es un proceso de
tiempo continuo.
Si R es el conjunto de enteros, entonces x(t) es un
proceso de tiempo discreto.
Un proceso de tiempo discreto es as una
secuencia de variables aleatorias. Tal que una
secuencia ser denotadas por xn o para evitar
dobles ndices por x[n].
Por lo tanto, se dice que x(t) es un proceso de
estado discreto si sus valores son contables, de
otra manera, es un proceso de estados continuos.
F. Novillo

Probabilidades y Procesos Estocsticos

19

Estadsticas de procesos
estocsticos
Un proceso estocstico es un infinito no contable de
variables aleatorias, una para cada t. Para un t especfico,
x(t) es una variable aleatoria con distribucin:
, = [() ]

Esta funcin depende de t, y es igual a la probabilidad del evento


{() } consistente de todos los resultados tal que en el
tiempo especfico t, las muestras X , del proceso dado no
exceden el nmero x. La funcin (, ) ser llamada distribucin
del primer orden del proceso .
Su derivada con respecto a x es llamada la densidad de primer
orden de .
F. Novillo

(, )
, =

Probabilidades y Procesos Estocsticos

20

Estadsticas de procesos
estocsticos
Interpretacin
de
frecuencia:
Si
el
experimento es ejecutado n veces, entonces n
funciones X , son observadas, una para
cada prueba.
Denotando por ni(x) el nmero de pruebas tal
que en el tiempo t las ordenadas de las
funciones observadas no excedan x (lneas
continuas), se concluye que:

F. Novillo

()
,

Probabilidades y Procesos Estocsticos

21

Estadsticas de procesos
estocsticos
Distribucin de segundo orden del el proceso X(t)
es la distribucin conjunta:
, ; , = [() 1, (2) 2]

De la variable aleatoria X(t1) y X(t2). La densidad


correspondiente es igual a:
2 (, ; , )
, ; , =
12

El distribucin de orden nth de X(t) es la distribucin


conjunta F(x1,,xn; t1,tn) de las variables aleatorias
X(t1),, X(tn)

F. Novillo

Probabilidades y Procesos Estocsticos

22

Propiedades de segundo orden


Para la determinacin de las propiedades
estadsticas de los procesos estocsticos,
conocidos de la funcin F(x1,,xn; t1,.,tn) es
requerido para cada xi,ti y n.
Sin embargo, para cualquier aplicacin, solo
ciertos promedios son usados, en particular, el
valor esperado de x(t ) y de x2(t). Estas cantidades
pueden ser expresadas en trminos de
propiedades de segundo orden de x(t) definidas
de la siguiente manera:
F. Novillo

Probabilidades y Procesos Estocsticos

23

Especificacin de un proceso
aleatorio
Hay muchas preguntas con respecto a los procesos aleatorios que
no se puedan contestar con el slo conocimiento de la distribucin
en un solo instante de tiempo.
Por ejemplo, se podra estar interesado en la temperatura en un
lugar dado en dos diferentes instantes de tiempo. Para ello se
requiere la siguiente informacin:
En otro ejemplo, el sistema de compresin de voz en un telfono
celular predice el valor de la seal de voz en el prximo tiempo de
muestreo basado en las k muestras anteriores.
Por lo tanto se puede estar interesado en el siguiente probabilidad:
Es claro que una descripcin general de un proceso aleatorio debe
proporcionar probabilidades para los vectores de muestras del proceso.
F. Novillo

Probabilidades y Procesos Estocsticos

24

Distribuciones conjuntas de
muestreos de tiempo

Dgase que X1, X2, , Xk son las variables aleatorias k obtenidas por
muestrear el proceso aleatorio X(t, ) en el tiempo t1, t2, , tk:

El comportamiento conjunto de los procesos aleatorios en estos k


instantes de tiempo es especificado por la distribucin acumulada
conjunta del vector de variable aleatoria X1, X2, , Xk.
Las probabilidades de cualquier evento envolviendo el proceso
aleatorio en todo o algunos de estos instantes de tiempo pueden
ser calculados desde la cdf usando mtodos desarrollados para
variables aleatorias vectoriales.
As, un proceso estocstico es especificado por la coleccin de
funciones de distribucin acumulada conjuntas de kth orden:
Para cualquier k y cualquier eleccin de instantes de muestra t1, t2,
, tk:
F. Novillo

Probabilidades y Procesos Estocsticos

25

Distribuciones conjuntas de
muestreos de tiempo

Si el proceso estocstico es valorado continuo, entonces


una coleccin de funciones de densidad de probabilidad
puede ser utilizado en lugar:

Si el proceso estocstico es valorado discreto, entonces una


coleccin de funciones de masas de probabilidad pueden
ser usadas para especificar el proceso estocstico:
Para cualquier k y cualquier instante de muestreo n1, , nk

F. Novillo

Probabilidades y Procesos Estocsticos

26

Funciones de media varianza


La funcin media mx(t) y la funcin varianza
VAR[X(t)] de un proceso aleatorio continuo X(t)
son definidas por:

Donde () es la pdf de X(t).


Note que y VAR[X(t)] son funciones determinsticas de
tiempo.
Tendencias en el comportamiento de X (t) se reflejan en la variacin
de con el tiempo.
La varianza da una indicacin de la propagacin de los valores
asumidos por X(t) en diferentes instantes de tiempo.
F. Novillo

Probabilidades y Procesos Estocsticos

27

Autocorrelacin
La autocorrelacin RX(t1,t2) de un proceso
aleatorio X(t) es definida con el momento
conjunto de X(t1) y X(t2)
Donde 1 , 2 (, ) es la pdf de segundo orden de X(t).
En general, la autocorrelacin es una funcin de t1 y t2.
Note que , = [ 2 ()] , que corresponde a la
potencia promedio de X(t).

F. Novillo

Probabilidades y Procesos Estocsticos

28

Autocovarianza
La autocovarianza CX(t1,t2) de un proceso
aleatorio X(t) es definida como la covarianza de
X(t1) y X(t2):

La autocovarianza puede ser expresada en


trminos de la autocorrelacin y las medias:
Note que la varianza de X(t) puede ser
obtenida de CX(t1,t2):
F. Novillo

Probabilidades y Procesos Estocsticos

29

Coeficiente de correlacin
El coeficiente de correlacin de X(t) es definido
como el coeficiente de correlacin de X(t1) y
X(t2):
Recuerdee que el coeficiente de correlacin es una
medida de hasta qu punto una variable aleatoria
puede ser predicha como una funcin lineal de otra

F. Novillo

Probabilidades y Procesos Estocsticos

30

Media para caso discreto


La media y varianza de un proceso aleatorio en tiempo
discreto Xn son definidas como:

F. Novillo

Probabilidades y Procesos Estocsticos

31

Funciones de autocorrelacin y
autocovarianza en tiempo discreto
Las funciones de autocorrelacin y autocovarianza de
un proceso aleatorio de tiempo discreto son definidas
como sigue:

Recordar que las funciones de media, autocorrelacin y


autocovarianza son solamente descripciones parciales
de un proceso aleatorio.
F. Novillo

Probabilidades y Procesos Estocsticos

32

Ejemplos

F. Novillo

Probabilidades y Procesos Estocsticos

33

Procesos aleatorios mltiples


En muchas ocasiones se est interesado en ms
de un proceso aleatorio a la vez. Por ejemplo, se
puede estar interesado en las temperaturas en la
ciudad a, X(t) y ciudad b, Y(t).
Otro ejemplo muy comn trata sobre un proceso
aleatorio X(t) que es la entrada a un sistema y
otro proceso aleatorio Y(t) que es la salida del
sistema. Naturalmente se est interesado en la
interrelacin entre X(t) y Y(t).
F. Novillo

Probabilidades y Procesos Estocsticos

34

Procesos aleatorios mltiples


El comportamiento conjunto de dos o mas procesos
aleatorios es especificado por la coleccin de
distribuciones conjuntas para todas las posibles
elecciones de muestras de tiempo de los procesos.
As para un par de procesos aleatorios continuos X(t) y
Y(t) se especifica todas las posibles funciones de
densidad conjunta de X(t1), , X(tk) y Y(t1),,Y(tj)
para todos los k, j y todas las elecciones de t1,, tk y
t1,, tj.
De manera que la pdf conjunta sera:

F. Novillo

Probabilidades y Procesos Estocsticos

35

Procesos aleatorios
independientes
El proceso aleatorio X(t) y Y(t) se dicen
procesos aleatorios independientes si el
vector de variables aleatorias X=(X(t1),,
X(tk)) y Y=(Y(t1),, Y(tj)) son independientes
para todo k, j, y todas las elecciones de t1,,
tk y t1,, tj:

F. Novillo

Probabilidades y Procesos Estocsticos

36

Correlacin cruzada
La relacin cruzada , , de X(t) y Y(t)
es definida por:
, , = [ ()]

F. Novillo

Probabilidades y Procesos Estocsticos

37

Procesos aleatorios ortogonales


El proceso aleatorio X(t) y Y(t) se dicen
procesos aleatorios ortogonales si:

F. Novillo

Probabilidades y Procesos Estocsticos

38

Covarianza cruzada
La covarianza cruzada , , de X(t) y
Y(t) se define por:
, , = { ()}{ 2 (2)}
, , = , , [()]

F. Novillo

Probabilidades y Procesos Estocsticos

39

Procesos aleatorios no
correlacionados
Los procesos aleatorios X(t) y Y(t) se dicen
procesos aleatorios no correlacionados si:

F. Novillo

Probabilidades y Procesos Estocsticos

40

Ejemplos

F. Novillo

Probabilidades y Procesos Estocsticos

41

Procesos de tiempo discreto.

F. Novillo

Probabilidades y Procesos Estocsticos

42

Procesos aleatorios distribuidos idnticamente


independientes (iid).

Dgase Xn es un proceso aleatorio de tiempo


discreto consistente de una secuencia de
variables aleatorias distribuidas idnticamente
independientes (iid) con cdf comn Fx(x),
media m y varianza 2 . La secuencia Xn es
llamada proceso aleatorio iid.

F. Novillo

Probabilidades y Procesos Estocsticos

43

CDF conjunta
La cdf conjunta para cualquier instante de tiempo
n1,, nk es dada por :

Donde Xk por simplicidad se denota como


.

F. Novillo

Probabilidades y Procesos Estocsticos

44

La media (iid)
La media de un proceso iid se obtiene de la
siguiente manera:
De tal manera que la media es constante.

F. Novillo

Probabilidades y Procesos Estocsticos

45

La funcin autocovarianza
La funcin autocoarianza es obtenida como
sigue, si 1 2 .
Dado que 1 y 2 son independientes. Si
1 = 2 = , entonces:
F. Novillo

Probabilidades y Procesos Estocsticos

46

La funcin autocovarianza
Se puede expresar la autocovarianza de los procesos iid
de manera compacta de la siguiente manera:

Donde 1 2 = 1 si 1 = 2 y 0 en otro caso.


Por lo tanto la funcin autocavarianza es cero en todas
partes excepto para 1 = 2 .

F. Novillo

Probabilidades y Procesos Estocsticos

47

La funcin autocorrelacin
La funcin autocorrelacin de un proceso iid
se obtiene como:

F. Novillo

Probabilidades y Procesos Estocsticos

48

F. Novillo

Probabilidades y Procesos Estocsticos

49

Procesos de suma
Muchos procesos aleatorios interesantes se
obtienen como la suma de una secuencia de
variables aleatorias iid, X1, X2, :

Donde So=0. De manera que se define a Sn


como el proceso de suma.

F. Novillo

Probabilidades y Procesos Estocsticos

50

Procesos de Poisson
Considere un evento en que ocurre en
instantes aleatorios de tiempo a una velocidad
promedio de eventos por segundo.
De esta manera un evento podra representar
el arribo de un cliente a una estacin de
servicio

F. Novillo

Probabilidades y Procesos Estocsticos

51

F. Novillo

Probabilidades y Procesos Estocsticos

52

Procesos aleatorios estacionarios


Muchos procesos aleatorios tienen la propiedad de que la
naturaleza de la aleatoriedad en el proceso no cambia con
el tiempo.
Una observacin del proceso en el intervalo de tiempo
(to,t1) muestra el mismo tipo de comportamiento aleatorio
que la observacin en algn otro intervalo de tiempo (to+
, t1+).
De esta manera se dice que la probabilidad de muestras del
proceso no depende del instante cuando se inicia a tomar
las observaciones, esto es, las probabilidades que
involucran la toma de muestras en tiempos t1,,tk no
difieren de otras tomadas en t1+, , tk+

F. Novillo

Probabilidades y Procesos Estocsticos

53

Promedios de tiempo
Para estimar la media de mx(t) de un proceso
aleatorio (, ), se repite el experimento
aleatorio y toma el siguiente promedio:
Donde N es el nmero de repeticiones del
experimento y (, ) es la realizacin
observada en la ith repeticin.
F. Novillo

Probabilidades y Procesos Estocsticos

54

Promedios de tiempo
En algunas situaciones se est interesado en
estimar la media o funcin autocorrelacin del
promedio de tiempo de una realizacin
simple, esto es:

F. Novillo

Probabilidades y Procesos Estocsticos

55

Teorema de ergodicidad
Un teorema ergdico establece condiciones
bajo qu un promedio de tiempo converge a
medida que el intervalo de observacin se
hace grande.
Se est interesado en teoremas ergdicos que
establezcan cuando los promedios de tiempo
convergen al media del conjunto (valor
esperado).
F. Novillo

Probabilidades y Procesos Estocsticos

56

Teorema de ergodicidad
Se establece que si Xn es un proceso aleatorio de
tiempo discreto iid con media finita E[Xn]=m, entonces
el promedio de tiempo de las muestras converge a la
media del conjunto con probabilidad uno:

Este resultado permite estimar m tomando el promedio de


tiempo de una realizacin simple del proceso.
Se est interesado en obtener resultados de este tipo para
clases grande de procesos aleatorios, esto es, para procesos
aleatorios de tiempo discreto no iid y para procesos
aleatorios de tiempo continuo.
F. Novillo

Probabilidades y Procesos Estocsticos

57

Teorema de ergodicidad: Ejemplo


Dgase X(t)=A para todo t, donde A es una variable
aleatoria de varianza unitaria y media cero.
Conseguir el valor de tiempo promedio.

La media del proceso

El promedio en el tiempo es:


El promedio en el tiempo no siempre converge a = 0.
No te que este proceso es estacionario.
As el proceso puede ser estacionario pero no necesita ser ergdico.
F. Novillo

Probabilidades y Procesos Estocsticos

58

Teorema de ergodicidad
Dgase X(t) es un proceso WSS con = ,
entonces

en el sentido cuadrado medio, si y solamente si:

En consonancia con el uso de la ingeniera, se


dice que un proceso WSS es ergdico medio si
satisface las condiciones del presente teorema.

F. Novillo

Probabilidades y Procesos Estocsticos

59

Teorema de ergodicidad
Estimado del promedio en el tiempo de la funcin
autocorrelacin del proceso Y(t).
Reemplazando X(t) con Y(t+ )Y(t), se obtiene un
promedio en el tiempo estimado para la funcin
autocorrelacin del proceso Y(t):

F. Novillo

Probabilidades y Procesos Estocsticos

60