El desconocimiento puede ser total o parcial. Por ejemplo, en el experimento de lanzar dos
dados y sumar sus puntos, cualquier resultado entre 2 y 12 es posible, pero también sabemos
que el 7 es un resultado más probable que el 2. Lo sabemos por la naturaleza del experimento
o por información estadı́stica. En este mismo sentido, el receptor del mensaje enviado por un
transmisor puede desconocer completamente su contenido, pero tal desconocimiento puede
reducirse al observar la señal que ha recibido. Este desconocimiento se reducirá totalmente
si puede reconocer el mensaje a partir de la señal recibida, o parcialmente, si la señal enviada
por el transmisor ha sido afectada por el ruido y/o distorsiones durante la transmisión.
25
26 Capı́tulo 2. Modelos probabilı́sticos
Una medida de probabilidad P es definida como toda función que aplicada sobre cualquier
evento S (perteneciente a un espacio muestral ⌦), resultando en un numero real P (S) que
cumple las siguientes propiedades
• 0 P (S) 1
• P (;) = 0
• P (⌦) = 1
Probabilidad condicional
Dado dos eventos A y B, la probabilidad condicional P (B|A) se define como
P (A \ B)
P (B|A) =
P (A)
P (A \ B)
P (A|B) =
P (B)
estas dos relaciones nos permiten escribir la regla de Bayes definida como
P (B|A)P (A)
P (A|B) =
P (B)
o X
P (A) = P (A|Bi )P (Bi )
i
P (A \ B) = P (B)P (A).
P (A|B) = P (A)
y
P (B|A) = P (B).
Ejemplo 2.1: Un transmisor envı́a una secuencia de datos binarios (s[n]) a un receptor
distante a través de un canal de comunicaciones digitales. Debido a las distorsiones generadas
por el canal, la secuencia de datos binarios detectada por el receptor (ŝ[n]), es posiblemente
diferente a la transmitida. Para evaluar el rendimiento de la comunicación, podemos definir
una variable aleatoria z que determine la ocurrencia o no de un error. Si z = 1 representa
el evento de ocurrencia de un error, entonces P (z = 1) es la probabilidad de que se haya
producido un error en la transmisión. De forma análoga, Si z = 0 representa el evento de no
ocurrencia de un error, entonces P (z = 0) es la probabilidad de que no se haya producido un
error en la transmisión.
⌅
Las variables aleatorias pueden clasificarse como siendo continuas o discretas. Esta clasi-
ficacion presenta diferencias importantes, especı́ficamente en el espacio muestral que es con-
tinuo o discreto respectivamente. Para caracterizar una variable aleatoria discreta basta con
asignar un valor de probabilidad a cada posible resultado (respetando las propiedades de
las probabilidades). Ademas, se puede construir cualquier resultado mediante la union de
sucesos únicos. Por otro lado, los eventos de las variables aleatoria continuas no pueden
construirse como la union de sucesos únicos, es más, la mayorı́a de los sucesos únicos tiene
probabilidad nula. Cuando la variable aleatoria es continua, la caracterización de este tipo de
variables suele hacerse de la forma {x X}. La probabilidad que proporciona una valor para
este evento, se denomina función distribución de probabilidad y es denotado de la siguiente
forma,
Fx (X) = P (x X). (2.1)
En (2.1), x representa la variable aleatoria y X un número real. La función distribución de
probabilidad tiene las siguientes propiedades
• 0 Fx (X) 1
• Fx (1) = 1
• Fx ( 1) = 0
Otra función que sirve para caracterizar las variables aleatorias continuas es la función
densidad de probabilidad definida como
dFx (X)
fx (X) =
dx
La función densidad de probabilidad tiene las siguientes propiedades
• fx (X) 0
RX
• Fx (X) = 1 fx (↵)d↵
R1
• 1 x
f (↵)d↵ = 1
Rb
• a
fx (↵)d↵ = P (x 2 [a, b])
la integral de la parte derecha de la ecuación anterior no tiene solución, sin embargo existe
una solución basada en una función conocida como función Q, definida como
Z 1
1 u2
Q(↵) = p e 2 du
2⇡ ↵
Usando este resultado, la función distribución de probabilidad es dada por
✓ ◆
X µ
Fx (X) = 1 Q .
Bernoulli: Una variable aleatoria x es Bernoulli cuando su espacio muestral tiene dos
elementos ⌦ = (0, 1) con probabilidades
P (x = 0) = 1 p
P (x = 1) = p
o, de forma mas compacta
P (x = k) = pk (1 p)1 k
n!
Cni = .
(n i)!i!
Esta variable sirve para caracterizar experimentos donde se realiza n experimentos y desea
conocerse el numero de veces que se produce cierto evento S de probabilidad p.
Fxy (X, Y )
Fx|yY (X) =
Fy (Y )
fxy (X, Y )
fx|y=Y (X) =
fy (Y )
y
fxy (X, Y ) = fx (X)fy (Y ).
Ademas, la función densidad de probabilidad condicional se puede definir como
análogamente,
fy|x=X (Y ) = fy (Y ).
Un resultado interesante es que la función densidad de probabilidad de la la suma de dos
variables independientes y = x1 + x2 puede ser obtenida utilizando
Los resultados de independencia anteriormente mostrados son validos para cualquier nu-
mero de variables aleatorias independientes, es decir
N
Y
Fx (X) = Fxi (Xi ),
i=1
N
Y
fx (X) = fxi (Xi )
i=1
y
fy (↵) = fx1 (↵) ⇤ fx2 (↵) · · · ⇤ fxN (↵)
Fx (X) = P (x X) = P (x1 X1 , x2 X2 , . . . , xN XN )
• Fx (X1 , X2 , . . . , Xi 1, 1, Xi+1 , . . . , XN ) = 0
• fx (X) 0
R R
• · · · s fx (X)dX = P (x 2 S)
Considerando un vector aleatorio de dos dimensiones definido por x = [x y]T con función
densidad de probabilidad conjunta fx,y (X, Y ), es posible obtener la función de probabilidad
de cada una de las variables aleatorias utilizando
Z 1
fx (X) = fx,y (X, u)du
1
o Z 1
fy (Y ) = fx,y (v, Y )dv.
1
A partir de (2.4) es posible definir algunas medidas estadı́sticas especificas bastante im-
portantes en la teorı́a de variables aleatorias. Las medidas mas importantes serán presentadas
a seguir.
Media: La media (mx ) es una medida estadı́stica que es definida a través de (2.4) cuando
g(x) = x, de esta forma tenemos que
Z 1
mx = Xfx (X)dX (2.5)
1
o X
mx = Xi P (x = Xi ).
i
Es bueno resaltar que la raı́z cuadrada de la varianza, representa otra medida estadı́stica
conocida como desvı́o padrón. A modo de ejemplo, podemos calcular la varianza de una
variable aleatorio uniforme en el intervalo [a, b]. Utilizando (2.6) y la definición de la función
densidad de probabilidad de la variable aleatoria uniforme presentada en (2.3), tenemos que
Z b ✓ ◆
2 2 1 2 1 (b mx )3 (a mx )3
x = E[(x mx ) ] = (X mx ) dX =
b a a b a 3 3
Si deseamos calcular la varianza de una variable aleatoria Gaussiana, podemos utilizar
(2.6) y la definición de la función densidad de probabilidad de la variable aleatoria Gaussiana
presentada en (2.2), de esta forma tenemos que
Z 1
2 2 1 (X µ)2
x = (X µ) p e 2 2 dX
1 2⇡
esta integral puede ser calculada fácilmente utilizando la técnica de integración por partes,
sin embargo también puede ser calculada utilizando el siguiente artificio. Sabiendo que
Z 1
1 (X µ)2
p e 2 2 dX = 1
1 2⇡
tenemos que Z 1 (X µ)2 p
e 2 2 dX = 2⇡
1
3
e 2 2 dX = 2⇡
1
es decir Z 1
(X µ)2 (X µ)2
2
p e 2 2 dX =
1 2⇡
por lo tanto, tenemos que
2 2
x = .
Para el calculo de la varianza de una variable aleatoria discreta, podemos usar nuevamente
el hecho de que la función densidad de probabilidad de una variable aleatoria discreta puede
escribirse de la siguiente forma
X
fx (X) = P (x = Xi ) (X Xi )
i
o X
2
x = (Xi mx )2 P (x = Xi ).
i
Valor medio cuadrático: El valor medio cuadrático (E[x2 ]) es una medida estadı́stica
que esta definida a través de (2.4) cuando g(x) = x2 , de esta forma tenemos que
Z 1
2
E[x ] = X 2 fx (X)dX. (2.7)
1
A modo de ejemplo, podemos calcular el valor medio cuadrático de una variable aleatorio
uniforme en el intervalo [a, b]. Utilizando (2.7) y la definición de la función densidad de
probabilidad de la variable aleatoria uniforme presentada en (2.3), tenemos que
Z b
2 1 b 3 a3
E[x ] = X 2 dX =
b a a 3(b a)
Si deseamos calcular el valor medio cuadrático de una variable aleatoria Gaussiana, pode-
mos utilizar (2.7) y la definición de la función densidad de probabilidad de la variable aleatoria
Gaussiana presentada en (2.2), de esta forma tenemos que
Z 1
2 1 (X µ)2
E[x ] = X2 p e 2 2 dX
1 2⇡
para resolver esta integral, podemos usar el resultado del calculo de la varianza, que será
repetido por conveniencia,
Z 1
(X µ)2 (X µ) 2
p e 2 2 dX = 2
1 2⇡
resolviendo el cuadrado del lado izquierdo de la ecuación
Z 1
1 (X µ)2
(X 2 + µ2 2Xµ) p e 2 2 dX = 2
1 2⇡
es decir
Z 1 Z 1 Z 1
1 (X µ)2 1 (X µ)2 1 (X µ)2
X2 p e 2 2 dX = 2
+ 2µ Xp e 2 2 dX µ 2
p e 2 2 dX
1 2⇡ 1 2⇡ 1 2⇡
note que la primera integral del lado derecho de la ecuación vale µ y la segunda integral vale
1. Por lo tanto, tenemos que
E[x2 ] = 2 + µ2
El concepto de valor medio cuadrático es bastante utilizado en problemas de optimización
y estimación de parámetros. Por ejemplo, en el cálculo de coeficientes de un ecualizador, es
usual optimizar los valores de los niveles de cuantización a través del criterio denominado
mı́nimo error medio cuadrático.
Es bueno resaltar que los valores esperados anteriormente definidos son usualmente cono-
cidos como momentos. De forma general podemos definir:
Utilizando la definición del coeficiente de correlación, podemos concluir que dos variables
aleatorias son descorrelacionadas (⇢xy = 0) cuando su covarianza es cero, es decir, kxy = 0.
Al mismo tiempo, este resultado nos permite concluir que una forma equivalente para mostrar
descorrelación es dado por la siguiente expresión
rxy = mx my . (2.12)
z = aT x
expresión matemática simple, sin embargo en algunas situaciones eso no es posible. Considere
por ejemplo las funciones de muestra producida por la tension de ruido radio-eléctrico. Una
función de muestra de este proceso, puede ser visto en la Figura 2.1.
Como podemos ver, la curva de la Figura 2.1 es bastante irregular y no existe una ex-
presión matemática simple. Por otro lado, si consideramos los osciladores producidos por
una determinada fabrica, aunque la frecuencia de oscilación debe ser la misma, es usual que
exista una pequeña diferencia en los valores de estas frecuencias para diferentes osciladores,
sin embargo la señal generada por los osciladores puede ser representada por
y x(t2 ), es decir,
Rx (t1 , t2 ) = E[x(t1 )x(t2 )]
es importante mencionar que la función correlación cuando t1 = t2 = t es denominada valor
medio cuadrático del proceso y es definida como
Rx (t, t) = E[x(t)2 ].
Función Autocovarianza: La función autocovarianza de un proceso estocástico x(t),
representado por Kx (t1 , t2 ), es definida como la covarianza entre las variables aleatorias x(t1 )
y x(t2 ), es decir,
Kx (t1 , t2 ) = E[(x(t1 ) mx (t1 ))(x(t2 ) mx (t2 ))]
análogamente a lo presentado para variables aleatorias, la expresión que relaciona la función
autocorrelación y autocovarianza es dada por
Kx (t1 , t2 ) = Rx (t1 , t2 ) mx (t1 )mx (t2 )
Ejemplo 2.2: Considere un proceso estocástico x(t), cuyas funciones de muestra son rectas
de la forma
x(t) = a1 t + a2
donde a1 y a2 son variables aleatorias Gaussianas, es decir, forman un vector Gaussiano con
0
ma =
0
y
1 1/2
Ka = .
1/2 1
La media de este proceso estocástico es dada por
mx (t) = E[x(t)] = E[a1 ]t + E[a2 ]
como E[a1 ] = E[a2 ] = 0, tenemos que
mx (t) = 0.
Para calcular la función autocorrelación de este proceso, observe que
Rx (t1 , t2 ) = E[x(t1 )x(t2 )] = E[(a1 t1 + a2 )(a1 t2 + a2 )]
= t1 t2 E[a21 ] + E[a1 a2 ](t1 + t2 ) + E[a22 ]
Como E[a1 ] = E[a2 ] = 0 y a partir de la matriz covarianza de a tenemos que
E[a21 ] = E[a22 ] = 1
y
1
E[a1 a2 ] = ,
2
finalmente tenemos que
t1 + t2
Rx (t1 , t2 ) = t1 t2 + + 1.
2
⌅
Ejemplo 2.3: Considere un proceso estocástico x(t), que caracteriza una transmisión binaria
semi-aleatoria, que puede asumir uno dentro de dos valores: A y A en un determinado
intervalo de duración T . Una función de muestra de este proceso estocástico es presentado
en la Figura 2.2.
Para el calculo de la función autocorrelación, definimos una variable aleatoria y = x(t1 )x(t2 )
donde t1 y t2 son dos instantes de tiempo cualquiera que pertenecen a un determinado
intervalo. Asi, tenemos que considerar dos escenarios diferentes, en el primer escenario, los
instantes de tiempo t1 y t2 pertenecen al mismo intervalo (n1 = n2 ). En este caso la variable
aleatoria y siempre toma el valor A2 , por lo tanto
fy|n1 =n2 (Y ) = (Y A2 ).
En el segundo escenario, consideramos que los instantes de tiempo t1 y t2 pertenecen a
diferentes intervalos (n1 6= n2 ). Por lo tanto y puede asumir los valores A2 y A2 , es decir,
P (y = A2 |n1 6= n2 ) = P (xt1 = A, xt2 = A|n1 6= n2 ) + P (xt1 = A, xt2 = A|n1 6= n2 )
por lo tanto
Como
tenemos que
⇢
A2 ; n1 = n2
Rx (t1 , t2 ) = (2.13)
A2 (2p 1) 2
; n1 6= n2
Ejemplo 2.4: Considere un proceso estocástico x(t) definido por una señal sinusoidal con
una fase aleatoria, es decir
x(t) = A sin(2⇡f t + ✓)
donde ✓ es una variable aleatoria uniformemente distribuida en el intervalo [0, 2⇡], es decir
⇢ 1
2⇡
; ⇥ 2 [0, 2⇡]
f✓ (⇥) = . (2.14)
0 ; ⇥ 62 [0, 2⇡]
x(t) = Ae t u(t)
donde A representa una variable aleatoria de media 0 y varianza 1. La media de este proceso
estocástico es dado por
⌅
Ejemplo 2.6: Considere un proceso estocástico x(t) definido por
1
X
x(t) = Ak p(t kT )
k= 1
donde A representa una variable aleatoria de media 0 y varianza 1 y p(t) un pulso rectangular
de duración T . La media de este proceso estocástico es dado por
" 1 # 1
X X
E[x(t)] = E Ak p(t kT ) = E[Ak ]p(t kT ) = 0
k= 1 k= 1
Note que este resultado fue obtenido considerando el Ejemplo 2.2 para el caso particular en
que Ak tiene media 0, y los sı́mbolos son equiprobables, es decir p =0.5. ⌅
Ejemplo 2.7: Considere un proceso estocástico x(t) definido por
1
X
x(t) = Ak p(t ✏ kT )
k= 1
donde Ak representa una variable aleatoria de media 0 y varianza 1, p(t) un pulso rectangular
de duración T y ✏ una variable aleatoria que modela el sincronismo del sistema, puede asumir
que esta es una variable aleatoria uniforme en [0, T ]. La media de este proceso estocástico es
dado por
" 1 # 1
X X
E[x(t)] = E Ak p(t ✏ kT ) = E[Ak ]E[p(t ✏ kT )] = 0
k= 1 k= 1
por lo tanto Z
1 1
Rx (t1 , t2 ) = p(↵)p(t2 t1 + ↵)d↵
T 1
o Z
1 1
Rx (⌧ ) = p(↵)p( (⌧ ↵))d↵
T 1
donde ⌧ = t2 t1 . Finalmente
1
Rx (⌧ ) = p(⌧ ) ⇤ p( ⌧ )
T
⌅
E[x(t)] = K
y
Rx (t1 , t2 ) = Rx (t2 t1 ) = Rx (⌧ )
Por otro lado, los procesos estocásticos que cumplen las siguientes propiedades
E[x(t + kT )] = E[x(t)]
y
Rx (t1 + kT, t2 ) = Rx (t1 , t2 )
se denominan procesos ciclo-estacionarios.
determinada señal.
donde Z T0
1
R̄x (⌧ ) = Rx (t + ⌧, t)dt.
T0 0
Note que, la potencia de una señal sobre todo el rango de frecuencias, puede ser obtenida
usando Z 1
Px = Sx (f )df
1
Rx (⌧ ) = C (⌧ ).
donde h(t) representa la respuesta al impulso del sistemas lineal. A diferencia del capitulo
anterior, consideramos ahora que x(t) representa un proceso estocástico, por lo tanto su
salida y(t) también sera un proceso estocástico. La media de y(t) puede ser obtenida usando
Z 1 Z 1
E[y(t)] = E x(⌧ )h(t ⌧ )d⌧ = E[x(⌧ )]h(t ⌧ )d⌧ = E[x(⌧ )] ⇤ h(t)
1 1
es decir
my (t) = mx (t) ⇤ h(t).
Si consideramos que x(t) es estacionario en el sentido amplio, tenemos que mx = Kx , de esta
forma Z 1
my (t) = Kx h(t ⌧ )d⌧ = Kx H(0) = Ky
1
= t1 ⌧1
= t2 ⌧2
tenemos que Z Z
1 1
Ry (t1 , t2 ) = Rx (t1 t2 + )h( )h( )d d
1 1
considerando que
Z 1
F1 (⌧ + ) = Rx (⌧ + )h( )d = Rx (⌧ + ) ⇤ h(⌧ + )
1
tenemos que Z 1
Ry (⌧ ) = F1 (⌧ + )h( )d
1
o Z 1
Ry (⌧ ) = F1 ( (⌧ ))h( )d
1
por lo tanto
Ry (⌧ ) = F1 (⌧ ) ⇤ h( ⌧ )
o considerando la definición de F1
Ry (⌧ ) = Rx (⌧ ) ⇤ h(⌧ ) ⇤ h( ⌧ ).
La densidad espectral de potencia de y(t), que es dada por la transformada de Fourier de la
función autocorrelación es
Sy (f ) = Sx (f )H(f )H ⇤ (f )
o
Sy (f ) = Sx (f )|H(f )|2 .
Ejemplo 2.9: Considere un proceso estocástico de ruido blanco x(t), con media nula y
densidad espectral de potencia dada por
N0
Sx (f ) =
2
determine la media, función autocorrelación y potencia de la señal y(t) a la salida de un filtro
RC como el mostrado en la Figura 2.4.
x(t) y(t)
C