Taller para el examen final de simulación de

sistemas y Lab
Profesor: Antonio Jesús Tamayo Herrera

Departamento de Ingenierı́a de Sistemas

Facultad de Ingenierı́a
Universidad de Antioquia
UdeA - Ude@
May 30, 2020

Instrucciones
Marque la hoja del examen con su nombre y número de TIP. Lea atentamente cada uno de los
ejercicios y comience a solucionarlos. La interpretación de todos los ejercicios hace parte del
examen. No se responden preguntas durante el mismo y no se permite sacar ningún
tipo de notas de clase. Solo debe usar lapiz/lapicero, borrador, sacapuntas y calculadora
si lo considera necesario. El uso de cualquier otro dispositivo como smartphones, tablets o
computadores no está permitido durante el examen.

Sea cuidadoso en sus argumentaciones, solo responda de manera precisa lo que se le pregunta,
evitando poner información adicional que pueda opacar la claridad de sus respuestas. Preste
atención a las preguntas que piden una respuesta argumentada o que piden mostrar
el procedimiento usado para hallar la respuesta, no olvide argumentar o mostrar
dicho procedimiento, de lo contrario su respuesta quedará incompleta

Nombre: TIP:

1
Parte 1
Ejercicio 1
Suponga que usted se enfrenta a un problema de clasificación de dos clases y cuenta con una
base de datos de 1000 muestras (observaciones), en la cual tiene 700 muestras de una clase y
300 muestras de otra clase. Usted eligió implementar un modelo clasificador SVM y durante el
proceso de entrenamiento decidió hacer una única vez, una partición aleatoria de los datos en
70-30 (70% para entrenamiento y 30% para validación) y entrenar el modelo con esta partición
de los datos. En este contexto, ¿cuál(es) de las siguientes afirmaciones es(son) correcta(s)?
Este punto puede tener múltiples respuestas.

a. Es infactible que el modelo presente un error igual a 0 en el entrenamiento y que su capacidad

de generalización sea nula.
b. Los resultados del modelo son confiables ya que se está usando una metodologı́a de vali-
dación bootstrapping haciendo una única partición 70-30 para el entrenamiento y validación
del modelo.
c. Usando el esquema de validación planteado, el modelo presentará baja varianza, es decir,
poca variación en los resultados para diferentes ejecuciones del algoritmo.
d. No es posible obtener un modelo con un 100% de eficiencia según el contexto planteado.
e. Ninguna de las anteriores

2
Ejercicio 2
2.1 En sus palabras explique qué es la regularización.

2.2 En sus palabras explique qué es el sobreajuste.

2.3 En sus palabras explique qué es la maldición de la dimensionaidad.

2.4 En sus palabras explique qué es la capacidad de generalización.

3
Ejercicio 3
¿Cuáles son las funciones de activación que se usan en una red neuronal (MLP)?

¿Cuáles son para un problema de clasificación biclase y multiclase y en que capa? Explique.

¿Qué tipo de problemas se pueden resolver con un perceptrón simple?

Con un modelo de red nueronal artificial (MLP), para un problema de clasificación biclase, es
necesario usar la técnica One Hot Encoding?

a. Verdadero
b. Falso

Argumente su respuesta.

4
Ejercicio 4
Basado en la arquitectura de red neuronal artificial (MLP) mostrada en la Figura 3, resuelva
los literales del ejercicio 4.

Figure 1:

a. Usando una función de activación sigmoidal, escriba las expresión para:

(2)
a1 =

Nota: tenga cuidado con los subı́ndices de los pesos. Observe los que se dan de ejemplo. No
olvide los pesos que acompañan el término (neurona) independiente en cada capa.

b. Usando una sigmoidal como función de activación en todas las capas de la red, escriba la
expresión para:
∂E(w)
(1) =
∂w11

Ayuda:
1. Recuerde que dfdz(z) = f (z)(1 − f (z)), para la función sigmoidal
1
PN (4) t 2
2. Recuerde que: E(w) = 2N i=1 (a1i − yi )

5
Ejercicio 5
¿En qué consiste el uso del truco Kernel en el modelo SVM?

¿Con qué fin se introducen las variables de relajación en un modelo de máquinas de soporte
vectorial (SVM)?

Defina en sus palabras que son los vectores de soporte.

6
Ejercicio 6
6.1 ¿De las siguientes afirmaciones, cuál es verdadera?

a. Los métodos de selección de caracterı́sticas reducen dimensión mientras los de extracción

dejan el mismo número de variables del conjunto de caracterı́sticas original, pero con variables
transformadas.
b. Los métodos de selección reducen dimensión generando un conjunto con menor cantidad
de variables, que se obtienen transformando las variables originales a través de combinaciones
lineales de estas últimas.
c. El método de análisis de componentes principales (PCA) permite reducir la dimensión de una
base de datos tomando las variables más discriminantes del conjunto de variables originales.
d. Ninguna de las anteriores.

6.2 En sus palabras explique las diferencias entre las funciones tipo filtro y tipo wrapper.

6.3 Cuando se aplica el método de análisis de componentes principales, ¿qué se puede afirmar
de las nuevas variables generadas? Este punto puede tener múltiples respuestas.

a. Las nuevas variables maximizan el margen del modelo.

b. Las nuevas variables son proyecciones de las variables originales sobre direcciones que abarcan
la minimizan la desviación estándar de los datos originales.
c. Las nuevas variables son combinaciones lineales de las variables originales previamente
transformadas.
d. Las nuevas variables tienen alta correlación.
e. Ninguna de las anteriores.

7
Ejercicio 7
¿Qué busca el método LDA al proyectar las muestras para hacer reducción de dimensión?

¿Sobre cuál dirección se proyectan las muestras?

Ejercicio 8
¿Qué busca el método PCA al proyectar las muestras para hacer reducción de dimensión?

¿Sobre cuál dirección se proyectan las muestras?

Enuncie el algoritmo de reducción de dimensión por el método PCA.

8
Parte 21
Ejercicio 1
Consider that we want to find an SVM classification model for the following two problems.
Problem I involves building a diagnostic classifier of a viral disease from a dataset with 90,000
patients, each of which is described by 50 biomarkers. Problem II involves building a prognostic
classifier of breast cancer metastasis from a dataset with 200 patients, each of which is described
by 100,000 values of mass over charge from a mass-spectrometry proteomics assay. All other
things being equal, what is the most computationally efficient way to solve these problems?

(a) Solve problem I in the primal SVM formulation, and problem II in the primal SVM
formulation

(b) Solve problem I in the primal SVM formulation, and problem II in the dual SVM for-
mulation

(c) Solve problem I in the dual SVM formulation, and problem II in the primal SVM for-
mulation

(d) Solve problem I in the dual SVM formulation, and problem II in the dual SVM formu-
lation

Explain why.

1
Exercises taken from: A gentle introduction to support vector machines in biomedicine. Statnikov A. et al.
(2011) World Scientific Publishing.

9
Ejercicio 2
Consider two hyperplanes shown in next Figure Assume for the sake of this problem that both
of them have the same gap between border-line objects. Which one of these hyperplanes will
be found by the soft-margin SVM algorithm? Explain why.

Figure 2:

10
Ejercicio 3
Consider data shown in next Figure. Which of the two hyperplanes is more likely to result
from application of the soft-margin SVM with a smaller value of C ? Explain why.

Figure 3:

Ejercicio 4
Which function Φ(~x) should be used to obtain linear primal SVM formulation from the non-
linear one?

(a) Φ(~x) = 1

(b) Φ(~x) = 12

(c) Φ(~x) = x

(d) Φ(~x) = 12 k~xk2

Ejercicio 5
Which kernel function K(~
xi , x~j ) should be used to obtain linear dual SVM formulation from
the non-linear one?

a). K(~
xi , x~j ) = 1

b). K(~
xi , x~j ) = x~i

c). K(~
xi , x~j ) = x~j

xi , x~j ) = x~i · x~j

d). K(~

11
Ejercicio 6
What is the mapping function Φ(~x) for the kernel K(~ xi · x~j )2
xi , x~j ) = 1 + (~

x2
 
√ (1)
a). Φ(~x) =  2x(1) x(2) 
x2
 2 (2)
x(1)
b). Φ(~x) =
x2
 (2) 
1
 √2x 
 √ (1) 
 2x(2) 
c). Φ(~x) = √
 
 2x(1) x(2) 

 x2(1) 
 
x2(2)
 
x(1)
d). Φ(~x) =
x(2)

Nota:
Estudiar también los ejercicios y ejemplos desarrollados durante las clases.

12