SOLUCIONARIO DE LA SEGUNDA

PRÁCTICA CALIFICADA

Problema 1
enunciado

Donde es el parámetro de Poisson que está determinado por

a. Para calcular los más probables que producen la data , debemos de maximizar
el likelihood, por ello debemos multiplicar todas las probabilidades que producen cada
una de las salidas.

Utilizando el log likelihood para este modelo, siguiendo el proceso descrito en clase para una
distribución Gaussiana.

Derivando el log-likelihood con respecto a e igualando a cero para poder hallar el que produce
la data.

Asumiendo de es un vector que para cada valor de , existe un valor de relacionado a este.

Para la ecuación anterior no existe una solución analítica, es una ecuación trascendental, por lo
que podría ser resuelta por métodos numéricos, por ejemplo recursividad. Para lo cual para hallar
el debemos usar gradiente descendiente.
Problema 2
Del enunciado del problema se tiene un clasificador lineal en donde:

Como nuestro clasificador es , donde y

. Entonces nuestra salida etiquetada puede tomar los valores de .

Nuestra función de costo es de la siguiente forma:

En donde el argumento de la función de costo es de la forma:

Entonces en el eje horizontal tenemos el producto , Analizaremos los dos casos para los
dos valores de y:

Primer caso:
Si , entonces el término tiene que ser mayor a cero para que el clasificador
etiquete a la entrada correctamente.
Por lo tanto, el producto tendrá que tender a ser positivo para que clasifique
correctamente.
Segundo caso:
Si , entonces el término tiene que ser menor a cero para que el clasificador lo
etiquete correctamente.
Por lo tanto, el producto tendrá que tender a ser positivo para que clasifique
correctamente.

Por lo tanto, en ambas situaciones se puede observar que el producto tiende a ser más positivo
cuando clasifique correctamente. Entonces, la función de costo tiene que ser decreciente a
medida que se recorre de izquierda a derecha.

Las funciones de costo que cumplen la condición anterior son las funciones a y b:

Posibles funciones de costo

El resto de las funciones de costo no son apropiadas por que no cumplen la condición de se
decreciente a medida que aumente el valor de .
 Funciones de costo no apropiadas
De las dos funciones (a) y (b), se puede decir que la función de costo (b) es la más robusta ya
que para un valor atípico muy lejano, la función de costo no es muy alta y por lo tanto, no hay un
error muy grande y los parámetros no cambian descontroladamente.

La función de costo es muy La función de costo no es

alto para valores atípicos muy alto para valores
Corrigiendo la expresión del enunciado tenemos la siguiente función de costo:
 …………….. 2.1

La gráfica de la función de costo dada es la siguiente:

Derivando la ecuación 2.1.

…………….. 2.2

Como nuestra función de costo es una función compuesta, entonces aplicamos la propiedad de
de la derivada compuesta en la ecuación 2.2 :
 …………….. 2.3

Pero sabes que:

Reemplazando la expresión calculada en la ecuación 2.3 :

Entonces la regla de actualización de los parámetros sería la siguiente donde el es el

coeficiente de aprendizaje:

Problema 3
Dado que está definido de la siguiente forma:

Donde es la matriz de covarianza entre clases y es la matriz de covarianza total dentro

de la clase

Donde representa el número de ejemplos de cada clase.

a. Para maximizar y obtener el valor óptimo de debemos derivar la función con

respecto a e igualar a cero.
Dividiendo todo entre :

Resolviendo el problema de valores propios y vectores propios de la ecuación:

Considerando a ya que como se hizo todo el procedimiento para maximizar la

función , por lo tanto es lógico seleccionar al vector propio del valor propio máximo