Teorı́a Moderna de la Detección Examen Final

y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

Notación
PFA : probabilidad de falsa alarma

PM : probabilidad de pérdida
PD : probabilidad de detección
Pe : probabilidad de error
ML: máxima verosimilitud

MAP: máximo a posteriori

SbMMSE : estimador de mı́nimo error cuadrático medio
SVM: máquinas de vectores soporte (del inglés, Support Vector Machines)

1. Sabiendo que la función de densidad de probabilidad conjunta de las variables aleatorias S, X

es la siguiente: 
1/a, 0 < x < a; 2x/a < s < 2
pS,X (s, x) =
 0 , en otro caso

siendo a una constante conocida de valor positivo (a > 0).

(a) Determinar SbMMSE .
(b) Utilizando la información del apartado (a), calcular el sesgo del estimador Sb = 1 + cX,
donde c es una constante conocida de valor positivo (c > 0).
1
¿Cuánto vale el sesgo si c = ? ¿Es Sb un estimador insesgado para ese valor de c?
a
(c) En la práctica, el valor de a resulta desconocido y sólo es observable la variable aleatoria
X, que sigue la siguiente función de densidad de probabilidad:
 
2 x
pX|A (x|a) = 1− 0<x<a
a a

Obtener el estimador ML de a, A
bML .

(Puntuación: 1,5/4 puntos)

Solución:
(a) Como es sabido, el estimador de mı́nino error cuadrático medio de S a la vista de X,
SbMMSE , se calcula tal y como se muestra a continuación:
Z
SbMMSE = s pS|X (s|x)ds
(S)

Para calcular pS|X (s|x) es necesario conocer pX (x). Teniendo en mente cómo es el
soporte de pS,X (s, x) (ver dibujo que se muestra a continuación):
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

calculamos pX (x) de la siguiente forma:

Z Z 2 2
1 1 
pX (x) = pS,X (s, x)ds = ds = s
(S) 2x
a
a a 2x
a
 
2 x
= 1− 0<x<a
a a

Una vez calculada pX (x), podemos calcular pS|X (s|x) a través del Teorema de Bayes:

1
pS,X (s, x) a
pS|X (s|x) = = !
pX (x) 2 x
1−
a a
1
=   2x/a < s < 2 (0 < x < a)
x
2 1−
a

Una vez calculada pS|X (s|x), calculamos el estimador que nos piden. Si pintamos
pS|X (s|x), podemos observar que se trata de una función de densidad de probabilidad
uniforme y sabemos que, para este caso, se cumple que SbMMSE = SbMAD , y ambos
estimadores coinciden con el valor medio de dicha función (ver figura que se muestra
a continuación).

Es decir, si calculamos el punto medio, se obtiene:

X
SbMMSE = 1 +
a
Si se resuelve analı́ticamente, se obtiene la misma solución:
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

Z Z 2
s
SbMMSE = s pS|X (s|x)ds =   ds
(S) 2x x
a 2 1−
a
2 !
s2 
1 1 2x2
=    =   2− 2
x 2  2x x a
2 1− a 2 1−
a a
  
x x
1− 1+  
a a x
=   = 1+
x a
1−
a
Por tanto,
X
SbMMSE = 1 +
a
(0,5/1,5 puntos)
(b) El cálculo del sesgo del estimador Sb viene determinado por la siguiente expresión:

E S − Sb (nótese que S es una variable aleatoria en este problema).
Si sustituimos el valor del estimador que nos dan, obtenemos:
n o n o
E S − Sb = E S − 1 − cX
  
= E S − E 1 − cE X
 
= E S − 1 − cE X
 
Hay que calcular E S y E X . Dado que:
Z

E S = s pS (s)ds
(S)
Z

E X = x pX (x)dx
(X)


es necesario obtener pS (s) pX (x) se calculó en el apartado (a) . Teniendo en mente
cómo es el soporte de pS,X (s, x) (ver dibujo del apartado (a)), calculamos pS (s) a
través de la siguiente expresión:
Z Z as  as
2 1 1  2
pS (s) = pS,X (s, x)dx = dx = x
(X) 0 a a 0
1 as
=
a 2
s
= 0<s<2
2

Una vez calculada pS (s), obtenemos E S :
Z

E S = s pS (s)ds
(S)
Z 2
s
= s ds
0 2
2
s3  4
=  =
6 0 3
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021


De manera análoga, calculamos E X :

Z

E X = x pX (x)dx
(X)
Z a  
2 x
= x 1− dx
0 a a
a
2 x2 x3 

= −
a 2 3a 0
 2
a3

2 a
= −
a 2 3a
 2
2 a
=
a 6
a
=
3
  n o
Una vez calculadas E S y E X , procedemos a calcular E S − Sb :

n o  
E S − Sb = E S − 1 − c E X
4 a
= −1−c·
3 3
4 ca
= −1−
3 3

1
Si c = , el valor del sesgo es:
a
n o 4 ca
E S − Sb = − 1 −
3 3
4 1a
= −1−
3 a3
4 1
= −1−
3 3
=0

Por tanto, como el sesgo es 0, el estimador Sb es un estimador insesgado.

(0,6/1,5 puntos)

(c) Como es sabido, el estimador ML del parámetro determinista a, se obtiene (analı́ti-

camente) a través de la siguiente expresión:

A
bML = arg máx (ln) pX|A (xa)
a
 
2 x
= arg máx 1− 0<x<a
a a a

Para calcular el valor de a que maximiza la expresión anterior, es necesario derivar

dicha expresión con respecto a a e igualar a cero (nótese, que en este caso, no se ha
tomado logaritmo neperiano en la expresión del estimador):
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021


∂ pX|A (xa) 
b = 0
∂a AML
"  #
2 x
∂ 1−
a a 
b = 0

∂a AML
2 4x
− + =0
b2
A Ab3
ML ML
2x
−1 + =0
AML
b
2x
=1
A
bML

de donde se obtiene que:

A
bML = 2X
(0,4/1,5 puntos)

2. Considere un problema de clasificación binaria con verosimilitudes gaussianas

pX|H (x|0) ∼ N (0, v)
pX|H (x|1) ∼ N (m, v)
con v = 2m y PH (1) = 3PH (0).
(a) Determine las regiones de decisión del decisor de mı́nima probabilidad de error.
(b) Calcule la Probabilidad de Falsa Alarma expresando su resultado mediante la función
Z t  2
1 z
F (t) = √ exp − dz
−∞ 2π 2
(c) Calcule la probabilidad de error del clasificador.

(Puntuación: 0,75/4 puntos)

Solución:
(a) El decisor de mı́nima probabilidad se obtiene como

pX|H (x|1) D = 1 PH (0)

≷
pX|H (x|0) P (1)
D=0 H

Operando el primer cociente:

 2

pX|H (x|1) exp − (x−m)
2v

xm m2
 x m
= 2 = exp − = exp −
exp − x2v


pX|H (x|0) v 2v 2 4

Sustituyendo en la desigualdad y sacando logaritmos, tenemos

D=1
x m
− ≷ − ln 3
2 4
D=0
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

D=1
m def
x ≷ − 2 ln 3 = η
2
D=0

(b)

PF A = P (D = 1|H = 0) = P (x > η|H = 0) = 1 − P (x < η|H = 0)

Z η  2
1 x √
=1− √ exp − dx = 1 − F (η/ v) (1)
−∞ 2πv 2v

(c)
1 √ 3
Pe = PH (0)PF A + PH (1)PM = [1 − F (η/ v)] + PM
4 4
Falta calcular la probabilidad de pérdida

PM = P (D = 0|H = 1) = P (x < η|H = 1) = (2)

Z η
(x − m)2
   
1 η−m
= √ exp − dx = F √ (3)
−∞ 2πv 2v v

3. Se tiene un problema de clasificación binaria definido por las siguiente verosimilitudes:

1
pX|H (x1 , x2 |0) = , −1 < x1 < 1, −1 < x2 < 1
4
3
q
pX|H (x1 , x2 |1) = 1 − x21 − x22 , x21 + x22 < 1
2π
(a) Obtenga el decisor ML
(b) Obtenga la probabilidad de detección PD del decisor ML
(c) Obtenga la probabilidad de falsa alarma PF A del decisor ML
(d) Si PH (0) < PH (1), responda razonadamente las siguientes preguntas sobre el decisor ML
y MAP:
¿Cual de los dos decisores tendrá menor probabilidad de falsa alarma PF A ?
¿Cual de los dos decisores tendrá menor probabilidad de pérdidas PM ?
¿Cual de los dos decisores tendrá menor probabilidad de error PE ?

(Puntuación: 0,75/4 puntos)

Consejo: Puede resultarle de utilidad el cambio de variable aleatoria a coordenadas polares.
 p
r = x21 + x22
θ = arctan( xx21 ))
RR RR
pX|H (x1 , x2 |H)dx1 dx2 = pX|H (r cos θ, r sin θ|H) r drdθ
R S

Solución:
(a) Decisor ML:
D=1
pX|H (x1 ,x2 |1)
pX|H (x1x 2 |0)
≷ 1
D=0
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

3
√ D=1
2π 1−x21 −x22
1 ≷ 1
4
D=0
Despejando:
D=0
x21 + x22 ≷ 1 − ( π6 )2 ∼ 0.726
D=1

(b) Hay que integrar pX|H (x1 , x2 |0) en el area donde se decide 1. Vamos a llamar U al
umbral que se obtuve en el apartado anterior U = 1 − ( π6 )2
RR 3
p
PD = 2π 1 − x21 − x22 dx1 dx2
x21 +x22 <U
√
Si prestamos atención, el área donde se decide 1 es un circunferencia de racio
√ U,
con lo que se puede integrar en polares en la región donde el radio va de 0 a U y el
ángulo de 0 a 2π
Aplicamos el cambio de variable aleatoria a polares (la fórmula se suministra en el
enunciado) y obtenemos:
R 2π R √U 3 √
PD = 0 0 2π 1 − r2 rdrdθ
Cuyo resultado es:
PD = 1 − (1 − U )3/2
Tras ello podemos dar el valor de U obtenido en el apartado anterior y obtener el
resultado numérico.
(c) Al ser pX|H (x1 , x2 |0) de valor constante en el area donde se decide 1, el resultado de
la integral será la superficie donde se decide 1 por el valor de pX|H (x1 , x2 |0). Siendo
U = 1 − ( π6 )2 , el área de la superficie donde se decide 1, al ser una circunferencia será
√
π ∗ U (es πr2 , y r = U ).
Con lo que:
1
PF A = π ∗ U ∗ 4
Tras ello podemos dar el valor de U obtenido en el apartado anterior y obtener el
resultado numérico.
(d) En el decisor MAP, el area donde se decide la hipótesis 1 seguirá siendo una circun-
ferencia pero con un radio mayor.
El decisor MAP, a medida que aumenta PH (1), aumenta la región donde se decide 1
y disminuye la región donde se decide 0.
Lo que implica que:
-La PF A será mayor en el MAP ya que integra pX|H (x1 , x2 |0) en un el área donde
se decide 1. -La PM será menor en el MAP ya que integra pX|H (x1 , x2 |1) en el área
donde se decide 0. -La PE será menor en el MAP (minimiza la PE )

4. Considere un problema de clasificación binario linealmente separable. Del conjunto de hiper-

planos que puedan ser solución a este problema, ¿cuál escogerı́a una SVM? ¿Qué ventajas
presenta esta solución frente a los otros hiperplanos?

Solución: LA SVM eligirı́a el hiperplano de máximo margen ya que es el que garantiza

una mejor generalización de la solución.
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

(Puntuación: 0,3/4 puntos)

5. En el problema de regresión 1D de la Figura, donde x es la entrada e y la variable target, los
cı́rculos negros representan las observaciones del conjunto de entrenamiento.

Para una observación de test xt que estuviese a la altura de la lı́nea punteada determine
(aproximadamente) la predicción de target yt que harı́an:
(a) un regresor basado en árboles de decisión con dos nodos hoja
(b) un regresor lineal
(c) un regresor basado en 4 vecinos más próximos
(d) un regresor basado en 6 vecinos más próximos
Justifique sus respuestas.

(Puntuación: 0,4/4 puntos)

Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

Solución:

6. Dibuje el esquema de un filtro actuando en un problema de identificación de sistema. Indique

claramente los roles de la señal de entrada, la señal de referencia, la señal de salida, la señal
de error y la respuesta al impulso del filtro. Discuta sobre la idoneidad de emplear un filtro de
Wiener o un filtro adaptativo para esta implementación.

(Puntuación: 0,3/4 puntos)

Solución:
Teorı́a Moderna de la Detección Examen Final
y la Estimación Convocatoria extraordinaria Curso Académico 2020/2021

Señal de entrada: x[n]. Se usa la misma entrada para el filtro y para el sistema que
queremos identificar.
Señal de referencia: d[n]. Es la salida del sistema desconocido para x[n]. Queremos
que la salida del filtro se parezca a d[n].
ˆ
Señal de salida: d[n].
Respuesta al impulso del filtro: w[n]
Señal de error: e[n]. El objetivo del filtro es minimizar la energı́a de esta señal para
que podamos asegurar que el filtro es una buena aproximación al sistema desconocido.
La señal de error se realimenta al filtro (como en la figura) si optáis por un filtro
adaptativo. Si optáis por un filtro de Wiener no hace falta realimentarla.

El filtro de Wiener es óptimo si la función del sistema desconocido no cambia con el tiempo
y conocemos la caracterización estadı́stica de las señales (autocorrelaciones) o podemos
conseguir una buena estimación. Si la función del sistema desconocido puede variar en el
tiempo, o no disponemos de una buena estimación de las autocorrelaciones, pues un filtro
adaptativo puede ser mejor opción que el filtro de Wiener.