Universidad Cat

olica de Temuco

Ingeniera Civil Informatica

Actividad 2
Metricas de Rendimiento de una ANN
Angel Aedo Busto
aaedo2011@alu.uct.cl
27 de Mayo de 2015

1.

Resumen

A continuaci
on se presentan las metricas usadas para medir el error en el rendimiento de las Redes Neuronales Artificiales.

1.1.

The Mean Absolute Deviation (MAD)

Literalmente significa el promedio de las desviaciones absolutas matematicas

de los errores de pron
ostico (desviaciones). Desviacion Media Absoluta, esta
representada por la siguiente ecuacion:
P
|ei p|
N
Donde ei es el error individual, N el n
umero de terminos de error y p es el
pron
ostico. Esto representa un n
umero muy importante, ya que nos indica el
error de pron
ostico promedio (siempre positivo) sobre el periodo en cuestion.
La desviaci
on absoluta media de un conjunto de datos es el promedio de las
desviaciones absolutas de un punto central. Es un resumen estadstico de la dispersi
on estadstica o variabilidad. En esta forma general, el punto central puede
ser la media, la mediana, la moda o el resultado de otra medida de tendencia
central. Adem
as la operaci
on de desviacion promedio puede referirse a la media
o la mediana. As, el n
umero total de combinaciones asciende a por lo menos
cuatro tipos de desviaci
on absoluta media.

1.2.

The Sum of Squared Error (SSE)

El error de la suma al cuadrado es una medida de la discrepancia entre los datos y un modelo de estimaci
on. Un peque
no SSE indica un ajuste apretado del
modelo a los datos.
En un modelo con una sola variable explicativa, SSE esta dada por:
SSE =

n
X
(yi f (xi ))2
i=1

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

Donde yi es el iesimo valor de la variable a predecir, xi es el iesimo valor de la

variable explicativa, y f (xi ) es el valor que se predijo de yi . En un modelo de
regresi
on lineal simple est
andar, yi = a + bxi + i , donde a y b son coeficientes,
Y y X son la variable dependiente y la variable independiente, respectivamente,
y es el termino de error. La suma de los cuadrados de los residuos es la suma
de los cuadrados de las estimaciones de i ; esto es:
SSE =

n
X
i=1

(i )2 =

n
X
(yi ( + xi ))2 ,
i=1

Donde es el valor estimado del termino constante a y es el valor estimado

del coeficiente de la pentiende b.

1.3.

The Mean Squared Error (MSE)

El error cuadr
atico medio (MSE) de un estimador mide el promedio de los errores al cuadrado, es decir, la diferencia entre el estimador y lo que se estima. El
MSE es una funci
on de riesgo, correspondiente al valor esperado de la perdida
del error al cuadrado o perdida cuadratica. La diferencia se produce debido a la
aleatoriedad o porque el estimador no tiene en cuenta la informacion que podra
producir una estimaci
on m
as precisa.
El MSE es el segundo momento (sobre el origen) del error, y por lo tanto incorpora tanto la varianza del estimador as como su sesgo. Para un estimador
insesgado, el MSE es la varianza del estimador. Al igual que la varianza, el MSE
tiene las mismas unidades de medida que el cuadrado de la cantidad que se estima. En una analoga con la desviacion estandar, tomando la raz cuadrada del
MSE produce el error de la raz cuadrada de la media o la desviacion de la raz
cuadrada media (RMSE o RMSD), que tiene las mismas unidades que la cantidad que se estima; para un estimador insesgado, el RMSE es la raz cuadrada
de la varianza, conocida como la desviacion estandar.
Si Y es un vector de n predicciones y Y es el vector de los verdaderos valores, entonces el (estimado) MSE del predictor es:
n

1X
(Yi Yi )2 .
MSE =
n i=1
Esta es una cantidad conocida, calculado dada una muestra particular (y por lo
tanto es dependiente de la muestra).
El MSE de un estimador con respecto al parametro desconocido se define como:


= E ( )2
MSE()
Esta definici
on depende del parametro desconocido, y el MSE en este sentido es
una propiedad de un estimador (de un metodo de obtencion de una estimacion).

1.4.

The Root Mean Squared Error (RMSE)

El error de raz cuadrada media (RMSE) es una medida de uso frecuente de las
diferencias entre los valores de la muestra (y valores de la poblacion) predichos
2

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

por un modelo o un estimador y los valores realmente observados. Basicamente,

la RMSE representa la desviacion estandar de la muestra de las diferencias entre
los valores predichos y los valores observados. Estas diferencias individuales se
denominan residuos cuando los calculos se realizan sobre la muestra de datos
que se utiliz
o para la estimaci
on, y se denominan errores de prediccion cuando
computado fuera de la muestra. El RMSE sirve para agregar las magnitudes de
los errores en las predicciones para varias veces en una sola medida de la capacidad de predicci
on. RMSE es una buena medida de la precision, pero solo para
comparar los errores de prediccion de los diferentes modelos para una variable
particular y no entre las variables, ya que es dependiente de la escala.

El RMSE de un estimador theta

con respecto a un estimado del parametro
se define como la raz cuadrada del error cuadratico medio:
q
q

RMSE() = MSE() = E(( )2 ).

Para un estimador insesgado, el RMSE es la raz cuadrada de la varianza, conocido como el error est
andar.

1.5.

The Mean Absolute Percentage Error (MAPE)

El error absoluto porcentual promedio (MAPE), es una medida de la exactitud de un metodo para construir los valores de series de tiempo armarios en las
estadsticas, especficamente en la estimacion de la tendencia. Por lo general, la
precisi
on expresa como un porcentaje, y se define por la ecuacion:

n 
1 X  At Ft 
M=
n t=1  At 
Donde At es el valor real y Ft es el valor pronostico.
La diferencia entre At y Ft se divide por el valor actual At de nuevo. El valor absoluto en este c
alculo es sumado a cada punto equipado o pronosticado en
el tiempo y se divide de nuevo por el n
umero de puntos equipada n. Multiplicando por 100 hace que sea un porcentaje de error.
Aunque el concepto de MAPE suena muy simple y convincente, tiene dos grandes inconvenientes en la aplicacion practica:
Si hay cero valores (lo que a veces sucede por ejemplo en la serie de la
demanda), habr
a una division por cero
Al tener un ajuste perfecto, MAPE es cero. Pero en lo que se refiere a su
nivel superior, el MAPE tiene ninguna restriccion.
Al calcular la MAPE promedio de un n
umero de serie de tiempo podra haber
un problema: algunas de las series que tienen una muy alta distorcion MAPE
que podra distorsionar una comparacion entre la MAPE promedio de series de
tiempo equipado con un metodo en comparacion con el MAPE promedio al usar
otro metodo.

Universidad Cat
olica de Temuco

1.6.

Ingeniera Civil Informatica

The Mean Error (ME)

El error medio es la media aritmetica de todos los errores de prediccion:

ME =

1.7.

1X
et
n

Theils U-statistic

Theils U-Statistic es una medida de precision relativa que compara los resultados pronosticados con los resultados de la prediccion con datos historicos
mnimos. Tambien cuadrados las desviaciones para dar mas peso a los errores
grandes y exagerar los errores, lo que puede ayudar a eliminar metodos con
grandes errores.
Si el resultado obtenido es menor a 1; La tecnica de pronostico es mejor que
adivinar.
Si el resultado es 1; La tecnica es casi tan buena como adivinar.
Si el resultado es mayor a 1; La tecnica es peor que adivinar.
La ecuaci
on para calcular est
a dada por:
v
u
!2
u n1
u X Yt+1 Yt+1
u
u
Yt
t=1
U =u
u n1 
u X Yt+1 Yt 2
t
Yt
t=1
Donde Yt es el valor actual del punto para un periodo de tiempo t, n es el
n
umero de puntos de datos y Yt es el valor de prediccion.

1.8.

The Median Absolute Percentage Error (MdAPE)

La mediana del Porcentaje Absoluto de error es similar a la MAPE (ya sea

regular o simetrica) pero en vez de resumir los Porcentaje errores absolutos
(APE) y luego computar su promedio, encontramos su mediana. Es decir, todo
el APE se ordena desde el m
as peque
no hasta el mas grande y el APE en el medio
(en el caso de que haya un n
umero par de APE entonces el promedio de los dos
media se calcula) se utiliza para denotar la mediana. La mayor ventaja de la
MdAPE es que no est
a influenciada por los valores atpicos. Su mayor desventaja
es que su significado es menos intuitivo. Un MdAPE de 8 % no significa que el
porcentaje de error medio absoluto es 8 %. En su lugar, significa que la mitad
de los errores porcentuales absolutos son menos de 8 % y medio son mas de 8 %.
(Uso de la simetrica APE reduce las posibilidades de los valores atpicos y reduce
la necesidad de utilizar MdAPE). Por otra parte, es difcil combinar MdAPE
traves de horizontes y / o series y cuando los nuevos datos esten disponibles.

Universidad Cat
olica de Temuco

1.9.

Ingeniera Civil Informatica

The Geometric Mean Relative Absolute Error (GMRAE)

La media geometrica de los errores absolutos relativos se define como:

! m1
Y

GM RAE =

RAEt

Donde RAE es calculado como:



 Xt Ft 
 Xt 


RAEt = 
Nt 
 Xt F

Xt
Es decir, RAE es equivalente a los dos terminos de promedio de bateo de
McLaughlin. Una forma alternativa de usar GMRAE es elevando al cuadrado
los terminos de error de RAE en cuyo caso cada RAE sera equivalente Theils
U-Statistic.
La ventaja de los medios geometrica relativa es que no estan contaminadas
tanto por los valores atpicos y que son mas faciles de comunicar Theils UStatistic. Al mismo tiempo la expresion RAE se ve influenciada por los valores
extremadamente bajos y grandes. Armstrong y Collopy sugieren Winsorizing
los valores de RAE mediante el establecimiento de un lmite maximo de 10 y
un mnimo de un 0,01. Aunque el GMRAE podra ser mas facil de comunicarse
que Theils U-Statistic todava es tpicamente inapropiado para la toma de
decisiones de gesti
on

1.10.

The Average Relative Variance (ARV)

N
X

ARV =

Ri2

j=1
N
X

(Fj Amean )

j=1

1.11.

The Residual Variance

Cuando se considera el valor ajustado mediante el modelo de regresion lineal

para un valor fijo x:
yest = a + bx
se tiene, en realidad, un estadstico. La varianza de este estadstico es conocida
como varianza residual, la cual resulta igual a:
(Sy )2 (1 r2 )
La raz cuadrada de la varianza residual es conocida como el error tpico.
La varianza residual coincide tambien con la suma de cuadrados de las diferencias entre los valores de la variable dependiente observados y estimados por
5

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

la recta, dividiendo el resultado final por el tama

no de la muestra.
Denotada como EY2 = V (e) .Se define como el promedio de diferencias cuadraticas que se comete al estimar la variable dependiente en funcion de la variable
independiente. Presenta el gran inconveniente de venir expresada en unidades
cuadradas, hecho que limita su uso y utilizacion, razon por la cual se le extrae
la raz cuadrada, obteniendo de esta manera el error de estimacion.
El error de estimaci
on denotado por E y, se define como el error promedio
que se comete al estimar la variable dependiente en funcion de la variable independiente. Tiene por objeto determinar que tan bueno es el ajuste y poder
generar intervalos de confianza para la variable dependiente ante determinados
valores de la variable independiente.
La ecuaci
on que permite calcular la varianza residual. Viene dada por:
P 2
P
P
Y 0 Y 1 XY
EY2 =
n2

1.12.

The Akaike Information Criterion

El criterio de informaci
on de Akaike es una medida de la calidad relativa
de un modelo estadstico, para un conjunto dado de datos. Como tal, el AIC
proporciona un medio para la seleccion del modelo.
AIC maneja un trade-off entre la bondad de ajuste del modelo y la complejidad
del modelo. Se basa en la entropa de informacion: se ofrece una estimacion relativa de la informaci
on perdida cuando se utiliza un modelo determinado para
representar el proceso que genera los datos.
AIC no proporciona una prueba de un modelo en el sentido de probar una
hip
otesis nula , es decir AIC puede decir nada acerca de la calidad del modelo
en un sentido absoluto. Si todos los modelos candidatos encajan mal, AIC no
dar
a ning
un aviso de ello.
En el caso general, la AIC es:
AIC = 2k 2 ln(L)
Donde k es el n
umero de par
ametros en el modelo estadstico , y L es el maximo
valor de la funci
on de verosimilitud para el modelo estimado.
Dado un conjunto de modelos candidatos para los datos, el modelo preferido
es el que tiene el valor mnimo en el AIC. Por lo tanto AIC no solo recompensa
la bondad de ajuste, sino tambien incluye una penalidad, que es una funcion
creciente del n
umero de par
ametros estimados. Esta penalizacion desalienta el
sobreajuste (aumentando el n
umero de parametros libres en el modelo mejora
la bondad del ajuste, sin importar el n
umero de parametros libres en el proceso
de generaci
on de datos).

Universidad Cat
olica de Temuco

1.13.

Ingeniera Civil Informatica

The Bayesian Information Criterion (BIC)

El criterio de informaci
on bayesiano (BIC) o el mas general criterio de Schwarz (SBC tambien, SBIC) es un criterio para la seleccion de modelos entre un
conjunto finito de modelos. Se basa, en parte, de la funcion de probabilidad y
que est
a estrechamente relacionado con el Criterio de Informacion de Akaike
(AIC).
Cuando el ajuste de modelos, es posible aumentar la probabilidad mediante
la adici
on de par
ametros, pero si lo hace puede resultar en sobreajuste. Tanto
el BIC y AIC resuelven este problema mediante la introduccion de un termino
de penalizaci
on para el n
umero de parametros en el modelo, el termino de penalizaci
on es mayor en el BIC que en el AIC.
El BIC fue desarrollado por Gideon E. Schwarz, quien dio un argumento bayesiano a favor de su adopci
on. Akaike tambien desarrollo su propio formalismo
Bayesiano, que ahora se conoce como la ABIC por Criterio de Informacion Bayesiano de Akaike.
El BIC es una consecuencia derivada asintotica bajo los supuestos de que la
distribuci
on de los datos se encuentra en la familia exponencial. Donde:
x = los datos observados
n = el n
umero de datos u observaciones x, o equivalentemente, el tama
no
de la muestra
k = el n
umero de parametros libres a ser estimados. Si el modelo esta bajo
el supuesto de que es lineal, k es el n
umero de regressores, incluyendo el
intercepto.
p(x|M ) = La probabilidad marginal de los datos observados dado el modelo M ; esto es, Es decir, la integral de la funcion de verosimilitud p(x|, M )
veces la distribuci
on de probabilidad antes p(|M ) sobre los parametros
del modelo M para los datos observados fijos x
= El m

L
aximo valor de la funcion de verosimilitud del modelo M , i.e. L

= p(x|, M ), donde son los valores de los parametros que maximizan la

funci
on de verosimilitud.
La ecuaci
on para el BIC es:
+ k ln(n)
2 ln p(x|M ) BIC = 2 ln L

Referencias
[1] Guoqiang Zhang, B. Eddy Patuwo, Michael Y. Hu, Forecasting with
artificial neural networks: The state of the art, Graduate School of Management, Kent State University, Kent, Ohio 44242-0001, USA,
[2] Gary D. Kader, Means and MADs, http://www.learner.org/courses/
learningmath/data/pdfs/session5/mads_1.pdf,

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

[3] Wikipedia, Residual sum of squares, http://en.wikipedia.org/wiki/

Residual_sum_of_squares,
[4] Wikipedia, Mean squared error, http://en.wikipedia.org/wiki/Mean_
squared_error
[5] Wikipedia, Root mean Square Deviation, http://en.wikipedia.org/
wiki/Root-mean-square_deviation,
[6] Wikipedia, Root mean Square Deviation, http://en.wikipedia.org/
wiki/Root-mean-square_deviation,
[7] Oracle, Theils U, http://docs.oracle.com/cd/E40248_01/epm.1112/
cb_statistical/frameset.htm?ch07s02s03s04.html
[8] S. Makridakis AND M. Hibon Evaluating Accuracy (Or Error) Measures http://www.insead.edu/facultyresearch/research/doc.cfm?did=
46875
[9] NA Varianza Residual http://www.ub.edu/stat/GrupsInnovacio/
Statmedia/demo/Temas/Capitulo13/B0C13m1t6.htm
[10] Universidad
Nacional
de
Colombia
Varianza Residual
http://www.virtual.unal.edu.co/cursos/sedes/manizales/OLD/
4010036-old/lecciones/capitulodos/varianza.html
[11] Wikipedia Akaike information criterion http://en.wikipedia.org/
wiki/Akaike_information_criterion
[12] WIKIPEDIA Bayesian information criterion http://en.wikipedia.
org/wiki/Bayesian_information_criterion