Ilusiones en el anlisis de regresin.

El artculo de Soyer y Hogarth, "The Illusion of Predictability," muestra que el

diagnstico estadstico comnmente realizado con el anlisis de regresin induce a
la confusin, reduce la precisin, y genera exceso de confianza. Incluso
investigadores altamente competentes estn sujetos a estos problemas. Este
artculo examina los hallazgos Soyer-Hogarth a la luz de investigaciones anteriores
sobre ilusiones asociados con anlisis de regresin. Tambin resume las soluciones
que se han propuesto a lo largo del siglo pasado. Estas soluciones podran
aumentar el valor del anlisis de regresin.
Dado el uso generalizado de los anlisis de regresin, las implicaciones del artculo
son importantes para las ciencias sociales y de la vida. Empleando un experimento
simple, Soyer y Hogarth (2011, en lo sucesivo "S & H") muestran que algunos de
los principales expertos del mundo en la econometra pueden ser engaados por la
estadstica tpica proveda con el anlisis de regresin: t, p, F, R-cuadrada y
similares.
S & H expone una rica historia sobre las ilusiones de prediccin asociadas con el
uso de anlisis de regresin en datos no experimentales (observacionales). Una
mirada a la historia del anlisis de regresin muestra el por qu se producen las
ilusiones de la predictibilidad y porque stas han aumentado con el tiempo, en
detrimento del anlisis cientfico y habilidades de prediccin.

Visin histrica de las ilusiones en el anlisis de regresin

El anlisis de regresin entr en las ciencias sociales en la dcada de 1870 con el
trabajo pionero realizado por Francis Galton. Pero "mnimos cuadrados" se remonta
al menos a principios de 1800 y al matemtico alemn Karl Gauss, quien utiliza la
tcnica para predecir fenmenos astronmicos.
Durante la mayor parte de su historia, el anlisis de regresin fue una tarea
compleja, engorrosa y costosa.
Considere la experiencia de Milton Friedman ms de cuarenta aos antes de la
revolucin de la computadora profesional y el uso de software amigables. Alrededor
de 1944, como parte del esfuerzo de guerra, a Friedman se le pidi analizar datos
sobre las aleaciones utilizadas en los labes de los motores de turbina. El utiliz el
anlisis de regresin para desarrollar un modelo que predice el tiempo de duracin
en funcin del estrs, temperatura, y algunas variables metalrgicas que
representan la composicin de la aleacin. La obtencin de las estimaciones para la
Ecuacin de Friedman a mano y el clculo de los estadsticos de prueba habran
dado a un analista experto alrededor de tres meses de trabajo. Afortunadamente,
un equipo grande, construido a partir de muchos lectores de tarjeta de la IBM y
ubicado en Harvard en su gimnasio climatizado, poda hacer los clculos. Ignorando
el tiempo requerido para la entrada de datos, el ordenador necesitaba 40 horas de
clculo para las estimaciones de regresin y pruebas estadsticas. Hoy en da, una
regresin del tamao y la complejidad de Friedman puede ser ejecutado en
aproximadamente un segundo.

Friedman estaba encantado con los resultados; el modelo tena un alto R2 y las
variables fueron "estadsticamente significativas" (significancia de la regresin) a
niveles convencionales (
). Como resultado, Friedman recomienda dos
nuevas aleaciones mejoradas, que segn su modelo predijo sobreviviran varios
cientos de horas a altas temperaturas. La comprobacin fsica de las nuevas
aleaciones se llev a cabo por un grupo de ingenieros en un laboratorio del MIT. El
resultado? La primera aleacin fall en un par de horas y la segunda en
aproximadamente tres. Friedman lleg a la conclusin que uno debe centrarse en
comprobar los resultados (pronsticos) en lugar de probar la significancia de la
regresin. Tambin opin que "cuanto ms compleja es la regresin, ms escptico
soy1" (Friedman y Schwartz, 1991).
1

Nota del traductor; se puede interpretar que entre ms variables tenga una
regresin, menos confiable es el anlisis y los resultados obtenidos.