1

Cmo medir la precisin de los pronsticos?

Por Toms Glvez Martnez
Presidente de CELOGIS y Education Partner de John Galt Solutions

A la fecha de la publicacin de este documento usted podr encontrar, en la mayora de
artculos y libros especializados en el tema y en algunas soluciones tecnolgicas
dedicadas al clculo de pronsticos, ms de 25 modelos y ms de 15 formas para medir
la efectividad de ellos. El propsito de este artculo es exponer las principales
herramientas de precisin de los pronsticos considerando tres interrogantes pertinentes
en la evaluacin del modelo.
1. Los modelos que mejor se ajustan a los datos histricos son igual de efectivos al
pronosticar?
2. Cuntas medidas de precisin existen y en qu casos aplicar cada una de ellas?
3. Qu otros criterios existen para la seleccin de los modelos de pronstico?
Al final es posible que no dispongamos de un slo criterio de seleccin, adems del costo
que ello implica, pero tendremos ms informacin que nos ayudar a la evaluacin del
resultado de los pronsticos. Se presentan recomendaciones para medir la efectividad del
modelo de pronstico durante el proceso de seleccin y despus de l.

1. Los modelos que mejor se ajustan a los datos histricos son igual de efectivos
al pronosticar?
Existe evidencia significativa que un modelo que ajusta bien a los datos histricos, no
necesariamente pronostica bien. Entonces para qu evaluar la precisin de un modelo
de pronstico en funcin de su capacidad de ajuste a los datos histricos? Existen
alternativas para evaluar un modelo en funcin de su capacidad de pronosticar?
Una de las alternativas es dividir la informacin en dos conjuntos. El primer conjunto le
podemos denominar datos de control y utilizarlo para encontrar el mejor modelo de
pronstico. Y al segundo conjunto etiquetarlo como datos de prediccin y no incluirlos en
el anlisis inicial. La cuestin es qu cantidad de datos tomar para cada conjunto de
informacin? Por ejemplo si usted dispone de 4 aos de informacin histrica divididos en
forma mensual, puede tomar los tres primeros aos para los datos de control y el resto
para los datos de prediccin. O bien dejar los ltimos 6 o 3 meses para esta ltima
actividad. Existe una gran variedad de combinaciones que siempre estarn sujetas a las
necesidades y resultados esperados de cada organizacin.


2
Para los datos de control, es necesario seleccionar el modelo de pronstico que mejor
ajusta a los datos histricos, pero Cuntas formas de medicin existen? Todas tienen
la misma funcionalidad? El qu tiene menor error o el de mayor complejidad y variables?
Se sabe que a medida que aumentan las variables en el modelo, el error puede disminuir.
Con relacin a los datos de prediccin. Cmo determinar aqul que pronostic mejor? O
qu medida utilizar para este fin? En las siguientes pginas se expondrn alternativas
para solucionar estas interrogantes.

2. Cuntas medidas de precisin existen y cmo aplicar cada una de ellas?
Para cada uno de los escenarios que usted genere es necesario medir el desempeo de
ellos mediante indicadores de precisin. Se requiere definir un criterio para la precisin del
pronstico (datos de prediccin) y otra para la seleccin del modelo (datos de control). No
todos tendrn el mismo significado ni el mismo uso, pero ambos estn basados en la
siguiente frmula del error (e
t
):

Donde e
t
es el error del pronstico, Y
t
el valor observado o real en el tiempo t de la serie
de tiempo, y
Y

t
es igual al valor pronosticado en el tiempo t de la serie de tiempo.
El error tambin puede ser representado en trminos relativos y/o absolutos (%) utilizando
la siguiente formulacin:

O bien expresarlo en forma cuadrtica:

En la Tabla 1 se muestran las medidas de error ms utilizadas donde F
t
es igual a Y

t.,

notacin utilizada para identificar el valor pronosticado.
Como se puede observar en dicha tabla existen ms de 15 herramientas para medir el
error del pronstico, y su cantidad complica la seleccin de la medida de precisin ms
adecuada para el modelo de prediccin. Por ejemplo, si seleccionamos aquellas de
errores absolutos en lugar de los cuadrticos, stos penalizan en mayor medida los
errores grandes. La eleccin depender de la importancia que se les d a los grandes
errores. El coeficiente de desigualdad U de Theil, que no se muestra en la tabla y que se
detalla ms adelante, presenta una solucin para estos escenarios. Si el valor de U es
cercano a cero, supone una prediccin perfecta, lo cual es muy difcil que suceda.

( )
t t t
Y Y e

=
100 *

(%)
t
t t
t
Y
Y Y
ea

=
( )
2
2

t t t
Y Y e =


3

Una medida muy utilizada en la prctica de los pronosticadores es el MAPE, pero sta
presenta sesgos que favorece a los pronsticos que estn por debajo de los valores
reales. Para evitar ese problema, puede utilizarse el sMAPE. Pero ste indicador tambin
tiene los propios, ya que tiene un comportamiento no deseado cuando el valor real o el
pronstico estn muy cerca de cero. Otra de las medidas para seleccionar el mejor
modelo de pronstico es el MSE o la RMSE pero a pesar su efectividad probada, y
aunque aparece en primer lugar en la Tabla 1, sta no es muy utilizada entre los
pronosticadores.
Con este breve antecedente y la estructura bsica del error definida, he dividido las
diferentes alternativas de medicin del error en tres: a) Medidas de seleccin y b) Medidas
de interpretacin, y c) Medidas de precisin. En esta divisin no se incluyen todas las que
aparecen en la mencionada tabla, pero si las ms significativas que son producto de ms
de 15 aos de experiencia en el tema y en ms de 200 empresas. Como siempre el lector
tendr el ltimo comentario con base en la informacin que dispone y los datos de la
empresa en la que participa.




4

a) Medidas de seleccin.

En la primera seccin de este artculo, se sugiri dividir la serie de tiempo de dos
partes. Una parte la denominamos datos de control y otra datos de prediccin. En esta
seccin haremos referencia a la primera, y con ella encontrar el mejor modelo de
pronstico que presente el mnimo error. Las herramientas que nos ayudan a cumplir
este objetivo son:

MSE (Mean Square Error): Es el promedio de los cuadrados de las diferencias de
cada artculo en el periodo t y se utiliza para comparar la precisin entre diferentes
mtodos o criterios de pronstico. Segn mi experiencia esta medida o la siguiente
son las ms recomendadas para seleccionar el mejor mtodo de pronstico.






RMSE (Root Mean Square Error): Esta medida es la raz del promedio de los
cuadrados del error de cada artculo en el periodo t y tambin se utiliza para
comparar la precisin de diferentes mtodos de pronstico. La diferencia con la
anterior es que el resultado est en las unidades originales de la informacin
histrica.






b) Medidas de Interpretacin.

MPE (Mean Percentage Error): Es la media del error porcentual. Es una mtrica
simple, que sirve para ver si el error del pronstico tiene un sesgo (bias) positivo o
negativo. Tambin se dice que el pronstico est subestimado o sobrestimado.






Ambas formas de error incrementan el costo y reduccin en la utilidad, por lo que
entre ms cercano a cero es mejor. Un pronstico sobre estimado puede generar:
exceso de inventario, sobre costos, rechazos por obsolescencia, costos por mermas,
entre otros. Un pronstico subestimado puede producir: reduccin en los niveles de
servicio, costo por prdida de ventas, incremento en el costo por el reprocesamiento
de rdenes, entre otros.

n
Y Y
MSE
n
t
t t
=
.
|
.
|

\
|

=
1
2
n
Y Y
RMSE
n
t
t t
=
.
|
.
|

\
|

=
1
2
n
Y
Y Y
MPE
n
t t
t t

=
.
|
.
|

\
|

=
1


5

MAPE (Mean Absolute Percentage Error): Es la media de los errores porcentuales
en valor absoluto, no considera el signo del error slo la magnitud. El MAPE es una de
las medidas ms utilizadas a nivel mundial, pero no se recomienda para la seleccin
de un mtodo de pronstico puesto que sta presenta sesgos que favorece a los
pronsticos que estn por debajo de los valores reales.






WMAPE (Weighted Mean Absolute Percentage Error): Es el MAPE ponderado por
el peso de las ventas, compras o servicios ofrecidos. Es un indicador muy
recomendado ya que la ponderacin del total minimiza los efectos de productos con
grandes variaciones pero con poco impacto en los valores reales. Pero presenta los
mismos problemas que el MAPE.




c) Medida de Precisin
En esta seccin se hace referencia a la segunda porcin de informacin denominada
datos de prediccin que se describe en el nmero 1 de este artculo. Recuerde que
tenemos que probar que tan efectivo fue el modelo o los modelos seleccionados para
pronosticar. En seguida se muestran varias alternativas para evaluar la efectividad del
modelo seleccionado para pronosticar tales como el FA (forecast accuracy), el
coeficiente U de Theil, el AIC y el BIC. La seleccin depender siempre de los
resultados esperados en la organizacin y de la experiencia del planeador.
FA (forecast accuracy)
La forma ms comn de medir la precisin de un pronstico (forecast accuracy) es
comparar los resultados del pronstico contra los valores reales del siguiente periodo.
El objetivo es encontrar valores cercanos a 1 para emitir juicios favorables sobre el
modelo de pronstico seleccionado. La frmula utilizada para este efecto es:



n
Y
Y Y
MAPE
n
t t
t t

=
.

=
1

=
.

=
t
n
t
t
t
t t
Y
Y
Y
Y Y
WMAPE
1
*
FA (forecast accuracy) = 1 e
t
a(%)


6
Aun cuando sta es la una de las medidas ms utilizada entre los pronosticadores,
slo se recomienda utilizarla en el corto plazo (no ms de tres periodos) ya que
existen otros criterios que nos pueden ayudar a encontrar cul modelo pronostica
mejor a periodos ms largos. Recuerde que si el modelo seleccionado se ajust muy
bien a los datos histricos no necesariamente es igual de efectivo en el momento de
pronosticar.
U de Theil
El coeficiente de desigualdad U de Theil es otra medida que permite analizar la
efectividad del modelo seleccionado en la prediccin. Recuerde que las medidas de
errores absolutos en lugar de los cuadrticos, suelen presentar sesgos y stos ltimos
penalizan en mayor medida los errores grandes. La eleccin depender de la
importancia que se les d a los grandes errores. El coeficiente de desigualdad U de
Theil presenta una solucin para estos escenarios. Si el valor de U es cercano a cero,
supone una prediccin perfecta. Su formulacin est basada en la diferencia
cuadrtica que existe entre las tasas de crecimiento de la variable real y la estimada.
Este coeficiente se puede utilizar para evaluar la efectividad del pronstico a mediano
plazo

AIC (Akaike Information Criterion)
Esta herramienta penaliza la complejidad del modelo tomando en cuenta el nmero de
variables y se utiliza para seleccionar el mejor modelo dentro del conjunto de los
mismos datos. Los mtodos de Box & Jenkins tiene esta caracterstica, ya que utilizan
valores reales y anteriores de la variables independiente para producir pronsticos
precisos a corto plazo. La solucin dada por Akaike es elegir como funcin de prdida
(o criterio de especicacin) el mnimo del criterio de informacin.

)
BIC (Bayesian Information Criterion)
El criterio BIC de Schwarz penaliza con mayor intensidad modelos ms complejos y
con mayor nmero de variables, por lo que se dice que es ms consistente. Por el
contrario el criterio de Akaike es asintticamente eficiente, ya que a medida que
aumenta el nmero de variable su eficiencia para medir la efectividad de la precisin
no mejora.


7
La eficiencia asinttica tiene que ver con la hiptesis de que la realidad es mucho ms
complicada que cualquier modelo considerado por lo que, al aumentar el nmero de
observaciones tambin debiera aumentarse el nmero de modelos en el conjunto
considerado. Poler et al (2007)

Tanto en el criterio AIC y el BIC, k son el nmero de variables del modelo, n el
nmero de observaciones y e
t
el error de pronstico en el perodo t. Cuando se
utilizan estos criterios, se selecciona el modelo que presenta el valor ms pequeo.

Otros criterios de evaluacin:
Si bien la precisin es una cualidad importante en la seleccin de un modelo de
pronstico, no es la nica que a considerar en la seleccin y evaluacin de un modelo de
pronstico. Las caractersticas de la informacin como: 1) El tamao o el horizonte de
tiempo de los datos histricos, 2) el comportamiento de la informacin y 3) el tipo de
relacin del pronstico tambin deben considerarse en la eleccin.
El horizonte de tiempo limita la bsqueda del modelo. Algunos modelos se utilizan para
calcular pronsticos a corto plazo (de uno a tres meses) como los modelos de atenuacin
exponencial. Los modelos de descomposicin y ARIMA son tiles para el mediano plazo,
mientras que los economtricos funcionan bien a mediano y largo plazo.
El comportamiento de la informacin tambin es til para limitar la bsqueda del modelo.
Por ejemplo si los datos histricos presentan estacionalidad no todos los modelos de
pronstico tienen esta funcionalidad. Winters o Box & Jenkins seran los ms
recomendables.
Por ltimo existen tres tipos de relaciones que limitan tambin esta bsqueda: 1) Si la
serie es nica y el pronstico se obtiene a partir de su propio pasado, 2) Si la serie es no
causal y el pronstico se obtiene a partir de otras bases histricas, y 3) Si la serie es
causal en donde los pronsticos son obtenidos a partir de otras variables que estn
relacionadas causalmente.





8

Conclusiones y recomendaciones
Como se expuso en este artculo, si usted busca seleccionar el modelo que mejor ajusta a
sus datos histricos, no use el MAPE, ni el WMAPE estos son indicadores de
interpretacin relativos y tienden a presentar sesgos. El MSE o la RMSE presentan
mejores resultados para dicho efecto. Al seleccionar un modelo de pronsticos compare
precisin contra pertinencia y no olvide el costo que esto representa. Recuerde que no
siempre los modelos ms complicados son ms precisos que los ms simples y por lo
general menos costosos. Tal vez no posea un criterio nico para juzgar la seleccin de un
modelo en ciertas situaciones, en cualquier caso es necesario contar con varios de ellos y
siempre dependern de lo que se va a pronosticar y de la experiencia del pronosticador.
Dependiendo del uso que se le d en la empresa a las predicciones a corto, a medio y a
largo plazo, la importancia del horizonte de prediccin debe ser tomada en cuenta a la
hora de definir un criterio de seleccin de modelos. Es posible que sea ms adecuado un
modelo de pronstico que tengo menor efectividad en el corto y mayor al mediando plazo
y viceversa.
Nos vemos en el siguiente artculo.

TG

Bibliografa de apoyo

Box, G.E., Jenkins, G.M., 1970. Time Series Analysis: Forecasting and Control, Holden-Day, San
Francisco.
Croston, J.D., 1972. Forecasting and stock control for intermittent demands, Operational Research
Quarterly, 23, pp. 289303.
Fildes, R., & Makridakis, S., 1995. The impact of empirical accuracy studies on time series analysis
and forecasting, International Statistical Review 63, 289-30.
Makridakis, S., Hibon, M., 2000. The M3-Competition: results, conclusions and implications
International Journal of Forecasting, 16, pp. 451476.
Makridakis, S., Wheelright, S.C., Hyndman, 1998. Forecasting: Methods and Applications. Wiley.
Poler, R., Mula, J., Peidro D., Toms, J.V., 2006. PROGNOS: Un sistema de soporte al proceso de
previsin de demanda. X Congreso de Ingeniera de Organizacin.