Procesos Estocásticos

Temario
I Clasificación de señales
II Definición Variables Aleatorias
III Esperanza, Varianza y Correlación
IV Autocorrelación, Autocavarianza, Covarianza y
Ortogonalidad
V Procesos Estocásticos
VI Procesos ESE y ESA
VII Estimadores
¿Que entendemos por
procesos
estocásticos?
 Clasificación de señales

SEÑALES

Determiníticas Aleatorias

No
Aperiódicas Periódicas Estacionarias
estacionarias
 Clasificación de señales
✭ Señales Determinísticas
Se dice que una señal es
determinista si es
exactamente predecible
para el lapso de tiempo
de interés.
 Clasificación de señales
Se describen mediante
funciones en el sentido
matemático habitual. En
general, podemos escribir la
relación funcional entre las
variables involucradas de
manera explícita. Pero todo lo
que se necesita es saber
conceptualmente que existe
una relación funcional
única y univoca.
 Clasificación de señales
✭ Señales Aleatorias
A diferencia de una señal
determinista, una señal
aleatoria siempre tiene
asociado algún elemento
de probabilidad. Por lo
tanto, no es predecible
en un sentido
determinista y deben
describirse en términos
de probabilidades y
estimadores
estadísticos.
 Clasificación de señales
En definitiva, una señal
aleatoria es una función
muestreada de un proceso
aleatorio. Dos señales
aleatorias del mismo proceso
difieren entre sí en la
descripción temporal, pero
poseen las mismas
propiedades estadísticas. El
tratamiento de señales
aleatorias requiere del empleo
de una función probabilística y
de promedios estadísticos más
que de funciones explícitas.
 Clasificación de señales
La clasificación va a depender de
los fines y restricciones del
problema en estudio. Por ejemplo:
al analizar el ECG, podemos estar
interesados en las características
generales del complejo QRS y
considerarlo como determinista, o
estar interesados en los cambios
del intervalo R-R y considerarlo
como aleatorio. Entonces,
estamos ante la necesidad de
modelizar señales que son
parcial o totalmente
imprevisibles.
 Variables Aleatorias
Una variable aleatoria es una función que asigna
un valor, usualmente numérico, al resultado de un
experimento aleatorio. Esta función esta definida
sobre un espacio de probabilidad. Las variables
aleatorias pueden ser continuas o discretas.
Continuo

Discreto
 Distribución de
Probabilidad
Para establecer una correspondencia
entre cuan probable es que un evento
se realice en un experimento aleatorio,
usamos la distribución de
probabilidad asociada a una función
de densidad correspondiente. Una
distribución de probabilidad nos
permite establecer toda la gama de
resultados probables de ocurrir en un
experimento determinado. Es decir,
describe la probabilidad de que un
evento se realice efectivamente. Y
así, es la función que asigna a cada
evento de una variable aleatoria una
probabilidad determinada.
 Distribución de
Probabilidad
Resumidamente, las funciones de
densidad y distribución de probabilidad
son maneras alternativas de describir
la distribución relativa de una
variable aleatoria. Es importante
siempre tener en cuenta la relación
derivada/integral entre las dos.
 Distribución Normal
Cuando una variable aleatoria se denomina normal
o gaussiana si posee una función de densidad de
probabilidad cuya expresión es la siguiente.
2
(x− μ )
1 −
2σ
2

f x (x )= e
σ √2 π
∞

∫
−∞
x f x ( x) dx=μ
∞

∫ ( x−μ ) f x ( x) dx =σ
−∞
2 2
 Distribución de
Probabilidad Conjunta
Una distribución conjunta es la distribución de
probabilidad de la intersección de las
realizaciones de dos o más variables
aleatorias. En otras palabras, una distribución
conjunta es la distribución de probabilidad que
forman dos o más variables aleatorias cuando sus
realizaciones se producen simultáneamente.

P({x 0 ≤X≤x 0 +dx} y {y 0≤Y ≤y 0+dy})=f XY ( x o , y o )dxdy

 Distribución de
Probabilidad Conjunta
Se sigue directamente del cálculo integral que la
probabilidad de que tanto X como Y se encuentren
dentro de una región R es

P( X y Y dentro de R)=∬ f XY (x , y)dxdy

R

y0 x0

F XY (x , y)=P({X≤ x 0 }y {Y ≤ y 0 })= ∫ ∫ f XY (x, y )dxdy

−∞ − ∞
 Distribución de
Probabilidad Conjunta
Veamos un ejemplo ilustrativo un caso especial en el
que las dos variables aleatorias tienen media cero,
varianzas iguales y son independientes entre sí.
2
x
1 −
2σ
2

f X (x )= e
σ √2 π
2
y
−
1 2σ
2

f Y ( y )= e
σ √2 π

2 2 2 2
x y (x +y )
1 − 2
2σ 1 − 2
2σ 1 −
2σ
2

f XY (x , y)= e ∗ e = e
σ √2 π σ √2π σ √2 π
 Esperanza
Dada una señal discreta consistente en N muestras
equiespaciadas X[i], con i=1..N, sus propiedades
estadísticas se expresan en función del operador
esperanza o valor esperado E. Dicho operador se
conoce también como el promedio estadístico o
media, y se trata de un operador lineal. Es el
momento de primer orden de una variable
aleatoria X.
N ∞
E( X )=∑ x i p( xi ) E( X )= ∫ xf (x ) dx
i =1 −∞
 Varianza
La varianza es una medida de la dispersión de
una variable aleatoria X respecto de su esperanza
E[X]. Es el momento de segundo orden de X
centrado en su media E[X].

N
σ =∑ (x i− E( X )) =E( X )−E ( X )
2 2 2 2

i=1
 Correlación
Cuando queremos analizar el patrón oscilatorio de una señal no
es suficiente con correlacionarla con una función de tipo
sinusoidal, ya que esto puede llevarnos a creer que no exhibe un
comportamiento sinusoidal incluso si la señal es, por ejemplo, una
onda cosenoidal perfecta. Lo que se hace es buscar la correlación
entre una señal y una sinusoide en cada posible cambio de fase (o,
de manera equivalente, en cada posible cambio de tiempo) que
esta última pudiera tener. Este enfoque de desplazamiento y
correlación se denomina correlación cruzada y garantiza que
se encontrará la mejor coincidencia entre dos señales.

N
r xy [k ]=∑ y [n] x [n+ k ]
n =1
 Autocorrelación
También es posible correlacionar una señal con otros segmentos de
sí misma. Esto se puede hacer realizando una correlación
cruzada en dos señales idénticas, un proceso llamado
autocorrelación. La autocorrelación es fácil de implementar:
simplemente aplique la correlación cruzada con la misma señal
que la señal original y la referencia. Básicamente, la función de
autocorrelación describe qué tan bien se correlaciona una
señal con versiones cambiadas de sí misma. Esto podría
resultar útil para encontrar segmentos de una señal que se
repitan.
N
r xx =∑ x [n] x [n+ k ]
n=1
 Autocovarianza y
Covarianza
Dos operaciones estrechamente
relacionadas con la
autocorrelación y la correlación N
cruzada son la autocovarianza Cov = 1 (x [n]−μ )(x [n+k ]−μ )
y la covarianza cruzada. La xx ∑
N n=1 x x

relación entre estas funciones es

similar a la relación entre la
N
correlación estándar y la 1
covarianza: son las mismas Cov xy = ∑
N n=1
( y [n ]−μ y )(x [n+k ]−μ x )
excepto que en las covarianzas
se han eliminado las medias
de la señal:
 Correlación, Covarianza
y Ortogonalidad

✔ Si X e Y son independientes, tampoco están

correlacionadas

✔ Si la esperanza del producto de las variables es

cero, se dice que son ortogonales.
 Correlación, Covarianza
y Ortogonalidad
✔ La covarianza viene dada por la siguiente expresión.

Cov XY (x , y)=E ([(X −μ x )(Y −μ y )])

✔ El coeficiente de correlación se define como

Cov XY (x , y ) E([( X −μ x )(Y −μ y )])

ρ= =
√σ 2
X √σ 2
Y √ E ( X −μ x )
2
√ E (Y −μ y )
2
 Correlación, Covarianza
y Ortogonalidad
✔ Si Y=X entonces ρ=1 y la correlación es máxima. En cambio, si
Y=-X, ρ=-1 y la correlación es inversa.
E([(X−μ x )(X−μ x )]) E([(X−μ x )(− X−μ x )])
ρ= =1 ρ= =−1
√ E( X−μ ) √ E( X−μ )
x
2
x
2
√ E( X−μ ) √ E(−X−μ )
x
2
x
2

✔ Finalmente vemos que si X e Y son independientes, entonces ρ=0

y las variables no están correlacionadas. Recordemos que en este
caso E(XY)=E(X)E(Y).

E([(X−μx )(Y−μ y)]) E([XY−μx Y−μ y X+μx μY ]) E(XY)−μx E(Y)−μ y E(X)+μx μ y μx μ y−μ x μ y−μx μ y+μx μ y
ρ= = = = =0
√ E(X−μx) √ E(Y−μy) √E(X−μx) √ E(Y−μy) √ E(X−μx) √ E(Y−μy) √E(X−μx) √E(Y−μ y)
2 2 2 2 2 2 2 2
 Procesos Estocásticos
Un proceso estocástico es el
concepto matemático que sirve
para caracterizar una sucesión
de V.A.s que evolucionan en
función del tiempo. Cada V.A.
tiene su propia función de
distribución y pueden estar
correlacionadas o no entre si.
Un proceso estocástico X t puede
entenderse como una familia
uniparamétrica de variables
aleatorias indexadas mediante
el tiempo t.
 Procesos Estocásticos
✭ Los procesos estocásticos
permiten tratar procesos
dinámicos en los que hay
cierta aleatoriedad.
✭ Cada una de las variables
aleatorias del proceso
tiene su propia función
de distribución de
probabilidad y pueden
o no estar
correlacionadas entre
sí.
 Procesos Estocásticos

✭ Proceso tiempo discreto

✭ Proceso tiempo continuo

 Vector Aleatorio
Entonces si decimos que un proceso estocástico es
una colección de variables aleatorias
indexadas por tiempos.

{X (t): t∈Τ}
Si elegimos n tiempos: t1<t2<t3<...<tn. Vamos a
poder definir un vector aleatorio X(t1,…,tn)
constituido por las variables aleatorios del proceso
en esos tiempos.

⃗X (t1 ,... ,t n )=[ X (t1 ),... , X (t n)]T

 FIDI
Dicho vector va a tener una función de
distribución de probabilidad que lo caracterizará.

F X⃗ (t ,..., t ) (x 1 ,... , x n )=P( X (t 1 )≤x 1 ,... , X (t n)≤x n )

1 n

Porque nos da información de como se relacionan

las variables que lo componen. Diremos que es una
función de distribución finito dimensional FIDI
porque involucra a n tiempos.
 FIDI
✭ FIDI de primer orden nos da información de el
proceso en ese instante.
F X⃗ (t ) ( x)=P( X (t 0 )≤x )
0
✭ FIDIde segundo orden nos da información de
como se relacionan entre sí dos instantes del
proceso.
F X⃗ (t 1 ,t 2 )
( x1 , x 2)=P( X (t 1)≤x 1 , X (t 2)≤x 2)
Si conocemos las FIDIs de orden n podemos ir
marginalizando y obtener las de ordenes
menores. Así para conocer por completo un proceso
debemos conocer todas sus FIDIs.
 Procesos ESE
Así, diremos que un proceso es estacionario en
sentido estricto (ESE) si sus FIDIs son
invariantes a traslaciones en el tiempo. Si para
cualquier constante τ, para n ϵ N y cualquier
instante t1<….<tn

F X (t ), ..., X (t ) =F X (t + τ ),... , X (t + τ )
1 n 1 n

Esto quiere decir que la distribución de X(t1,…,tn) es

igual que la de X(t1+τ,…,tn+τ) e implica que las
probabilidades dependen de la relación entre los
tiempos.
 Procesos ESE
Propiedades
✭ Las FIDIs de primer orden son todas iguales:
las variables aleatorias en cada instante tienen la
misma distribución.
F X (t ) =F X (t + τ ) ∀ τ
✭ Las FIDIs de segundo orden dependen solo de
la diferencia de los tiempos.

F X (t ), X (t ) =F X (t + τ ), X (t + τ ) ∀ τ
1 2 1 2

Si τ =−t 1
F X (t ) , X (t )=F X (0), X (t − t ) ∀ τ
1 2 2 1
 Procesos ESE
Propiedades
✭ Estoimplica que la media y todos los momentos de un
instante serán constantes y no van a depender del
tiempo.
μ (t)=E ( X ( t))=μ x
2 2 2 2
σ (t)=E( X (t) )−E (X (t))= σ x
✭ Laautocovarianza y la autocorrelación solo
dependen de la diferencia de los tiempos.
Como F X(t ), X(t )≡Φ(t 2−t 1)
1 2

R X (t 1 ,t 2 )=E [ X (t 1 ) X (t 2 )]≡R X (t2 −t 1)

2
C X (t 1 ,t 2 )=R X (t 1 ,t 2 )−μ (t 1)μ (t 2 )≡R X (t2 −t 1)−μ x
 Procesos ESA
✭ Diremos entonces que un proceso X(t) es
estacionario en sentido amplio (ESA) si
cumple solo con la dos propiedades antes
mencionadas. Es decir que:
✭μ (tk)=μx=cte ∀ tk
x

✭R (tk,ti)=Rx(ti-tk)=Rx(τ)
x

✭C (tk,ti)=Cx(ti-tk)=Cx(τ)
x
 Procesos ESA
Propiedades
✭ Simetría

Rx(τ)=Rx(-τ)=Rx(|τ|)
Cx(τ)=Cx(-τ)=Cx(|τ|)
✭ Media Nula
Rx(τ)=Cx(τ) si μx=0
Rx(τ)=Cx(τ)+μx2 si μx≠0
✭ Energía y varianza
Rx(τ)=E[x(t)x(t+τ)]
Rx(0)=E[x(t)2]
Cx(τ)=E[(x(t)-μx)(x(t+τ)-μx)]

Cx(τ)=E[(x(t)-μx)2]=σx2
 Estimadores
Cuando las señales son
aleatorias, en general:
✭ Estan definidas en términos
de potencia (energía infinita).
✭ Son de longitud infinita, y
conoceremos solo una
pequeña parte de la señal.
✭ Necesitamos estimarlas para
poder sacar conclusiones
sobre su comportamiento.
 Estimadores
Métricas de estimación:
✭ Sesgo del estimador
Se llama sesgo de un estimador a la diferencia entre su esperanza
matemática y el valor numérico del parámetro que estima. Si el
resultado de esta diferencia es cero, se dice que el estimador es
insesgado.
S X =μ X −E[ X N ]
Si el estimador es sesgado, pero el sesgo tiende al valor
verdadero cuando el número de muestras tiende a infinito, se dice
que el estimador es asintóticamente insesgado.

lim E [ X N ]=μ X
N→∞
 Estimadores
Métricas de estimación:
✭ Consistencia del estimador
La forma en que su comportamiento cambia con la
longitud de la señal se denomina consistencia del
estimador, y se dice que un estimador es
consistente si la varianza tiende a cero al hacer
tender número de muestras N a infinito.

2 2
lim σ ( X)=lim E [( X− E[ X ]) ]=0
N→∞ N→ ∞
 Estimadores

Estimadores más utilizados

✭ Media

✭ Varianza

✭ Autocorrelación

✭ Densidad Espectral de potencia

 Estimadores
✭ Estimador de Media
N
1 1 T
μ^X =
N
∑ x i= N 1 X
i=1

N N N
1 1 1 1
E [μ^X ]=E [ ∑ x i ]= ∑ E [x i ]= ∑ μ X = N μ X =μ X Insesgada
N i=1 N i=1 N i=1 N

Consistente
 Estimadores
✭ Estimador de Varianza
N
^ 1
2
σX = ∑
N −1 i =1
(x i −μ^ x )2

N
^ 1
2
E [ σ X ]= E[ ∑
N −1 i=1
2 2
( xi −μ^x ) ]=σ X Insesgada

2 ^2 (N −1) (N−3) 2
σ [ σ X ]= 3
σX Consistente
(N )
 Estimadores
✭ Estimador de Autocorrelación
N −k
1
r^X = ∑
N −k n= 0
x [ n ] x [ n+k ]
Insesgada

N −k
1
r^X =
N
∑ x [ n] x [ n+ k ]
n=0
Sesgada
 Estimadores
✭ Estimador de Autocorrelación
N−k N−k N−k
1 1 1 N−k
E[r^X (k)]=E[ ∑ x[n]x[n+k]]= ∑ E[x[n]x[n+k ]]= ∑ r X (k)= r x (k)
N n=0 N n=0 N n=0 N
E [ r^X (k)]=wB (k )r X (k )

{ }
N −|k|
w B (k )= N si|k|⩽N Sesgo de
Estimación
0 si|k|>N
 Procesos ESA
Propiedades
✭ Teorema Wiener-Khintchinne

Sx(ω)=TF[Rx(τ)]
h
 Procesos ESA
X[n] Y[n]
✭ Salida de un sistema LTI h[n]

∞
Y [n]= ∑ h[m]X [n−m]
m=−∞

∞ ∞ ∞
μY =E[Y [n]]=E[ ∑ h[m]X[n−m]]= ∑ h[m]E[X [n−m]]= ∑ h[m] μX μY=H(0)μX
m=−∞ m=−∞ m=−∞
Constante
∞ ∞
∑ h[m]= ∑ h[m] e |ω=0 =H (0) −j ωm

m=−∞ m=−∞
 Procesos ESA
X[n] Y[n]
✭ Salida de un sistema LTI h[n]

∞
Y [n]= ∑ h[n]X[n−m]
m=−∞

∞ ∞
RY (k)=E[Y[n]Y [n+k]]=E[ ∑ h[m] X[n−m] ∑ h[u] X[n+k−u]] RY[k]
m=−∞ u=−∞ Constante
∞ ∞ ∞ ∞
RY (k)= ∑ ∑ h[m]h[u]E[X [n−m]X[n+k−u]]= ∑ ∑ h[m]h[u]RX [m+k−u]
m=−∞ u=−∞ m=−∞ u=−∞
 Procesos ESA
X[n] Y[n]
✭ Salida de un sistema LTI h[n]

∞
Y [ n]= ∑ h [m] X [ n−m]
m =−∞

∞ ∞
S Y ( ω )=TF [R Y 2( k )]=TF [ ∑ ∑ h[u ] h[ m] R X [ m+k −u ]]
m=−∞ u=−∞

∞ ∞ ∞
S Y ( ω )= ∑ ∑ ∑ h [u]h [m]R X [ v ]e
− j ω (v−m +u )

SY(ω)=|H(ω)|2SX(ω)
v=−∞ m=−∞ u=−∞

∞ ∞ ∞
S Y ( ω )= ∑ h[u]e
− jωu
∑ h [m]e
jωm
∑ RX [v ]e
−jωv

u=−∞ m=−∞ v=−∞

H(ω) H*(ω) SX(ω)