MALOS USOS EN ESTADSTICA

(WHAT IS NOT WHAT IN STATISTICS)

Louis Guttman
Nota del traductor
La estadstica ofrece actualmente un repertorio esplndido de instrumentos de anlisis para el socilogo. Si los utiliza adecuadamente, el. socilogo
puede estudiar un nmero creciente de problemas de investigacin. Ahora
bien, la estadstica, para que pueda cumplir su papel adecuadamente, debe
utilizarse en conjuncin con la teora y con los mtodos de investigacin. La
tecnificacin exagerada de la investigacin sociolgica que se observa en
la actualidad ha conducido, sin embargo, a una mitificacin de la estadstica, que la ha sacado de su contexto, produciendo situaciones que necesitan con urgencia ser transformadas.
El artculo de Guttman que presentamos al lector en lengua castellana
es, en nuestra opinin, el ms desmitificador que conocemos sobre el uso
y abuso de la estadstica en las ciencias sociales. Escrito por Guttman en el
cnit de su carrera investigadora, no contiene una sola cita. Recoge, ni ms
ni menos, algunos de los problemas que la estadstica matemtica no ha
podido an resolver en el campo de las ciencias sociales, y algunos de los
abusos ms corrientes que se deslizan en la prctica sociolgica de la investigacin que utiliza la estadstica inferencial, y que Guttman ha ido recogiendo a lo largo de su dilatada tarea como investigador.

6/79 pp

101-127

LOUIS GUTTMAN

Conviene recordar que la mayora de las tcnicas estadsticas utilizadas

actualmente en el campo de la sociologa, han sido desarrolladas para problemas no sociolgicos por no socilogos. El anlisis de varianza se desarroll originariamente para la investigacin agraria, el anlisis de regresin se
dise para los estudios genticos y, en general, buena parte de los anlisis
multivariantes surgieron como respuestas a problemas que planteaban las investigaciones en el campo de la biologa y otras ciencias naturales. Regresin,
causacin, correlacin, anlisis de camino, varianza, etc., son trminos que
inducen a error con mucha frecuencia al socilogo cuando al utilizar las
tcnicas correspondientes en problemas de investigacin sociolgica, no tiene
en cuenta el origen de tales tcnicas. Guttman, con un tono claramente irnico, seala, por ejemplo, que la sociologa es actualmente la ciencia que
ofrece un mayor nmero de descubrimientos causales, debido al uso y
abuso del anlisis de correlaciones como si realmente analizase causas, y
no meramente correlaciones.
El socilogo debe ser ms cuidadoso con el lenguaje estadstico que
utiliza. As, por ejemplo, cuando habla de variables independientes, conviene que tenga en cuenta que tales variables no son en realidad independientes, ya que si as lo fueran no tendra sentido el anlisis de dependencia.
Y es que la estadstica matemtica y la estadstica real usan trminos semejantes con significados distintos.
Quiz uno de los trminos que pueden conducir a mayor equvoco sea
el de probabilidad. En el lenguaje matemtico, probabilidad es una fraccin matemtica. No hay nada de probable en ella. Est libre de error.
Es un trmino que expresa la certeza de que un tem se produzca dentro
de un modelo matemtico. Sin embargo en la estadstica que utiliza el socilogo, la probabilidad tiene un significado bien diferente*. Guttman no
utiliza el ejemplo del trmino probabilidad en el presente artculo, pero
en cambio ofrece una lista de otros conceptos estadsticos que suelen utilizarse equivocadamente por los socilogos. Esta lista, una vez leda, nos
obligar a ser ms cautos en nuestras futuras investigaciones.
Por otra parte, quiero sealar el carcter plenamente positivo de la crtica de Guttman. Los problemas se presentan para que detengamos nuestra
atencin en ellos, para buscar soluciones y obtener mayor rigor en nuestro
trabajo cientfico. Se evita la fcil crtica, negativa, de manifestar que el carcter de la sociologa impide su tratamiento cuantitativo, y de igual manera
que ocurre en el campo de la medicina, en el que el hecho de que no se haya
vencido al simple y comn resfriado no conduce al desarrollo de actitudes
de escepticismo sobre el progreso mdico, as ocurre tambin con la investigacin sociolgica, en donde la existencia de problemas hasta ahora irreso* Para una detallada exposicin de este argumento, se puede consultar el
artculo de Thomas F. MOSIMANN "Mathematical Statistics and Real Statistics",
IA1SI, Estadstica, junio 1957, pgs. 390-394.

102

MALOS USOS EN ESTADSTICA

lubles, no impide a Guttman que desarrolle una gran labor de clarificacin

metodolgica que permitir algn da, gracias a sus esfuerzos y al de otros
socilogos, ir dando respuesta a tales problemas.
Finalmente, una nota de advertencia sobre el acto mismo de la traduccin. Aunque me he esforzado en todo momento por lograr una versin
castellana lo ms limpia posible de anglicismos, me encuentro bastante lejos
de estar satisfecho con la tarea realizada. Y es que al tratar de verter al
idioma castellano, literariamente tan frtil pero cientficamente tan pobre,
los trminos cientficos que una lengua tan innovadora, desde el punto de
vista cientfico y tecnolgico, como la inglesa produce continuamente, nos
encontramos con expresiones para las que existen pocos referentes en nuestro idioma. Pinsese en expresiones tales como stepwise regression procedures, path analysis, belongingness coefficients, partial out, o en el
propio ttulo del artculo, What is not what, y se comprobar que su
castellanizacin no es nada fcil. Al hilo de esta advertencia final, y ya
para terminar, un ruego. Si alguno de los lectores conoce trminos o expresiones en castellano que traduzcan con mayor fidelidad las utilizadas en la
presente traduccin, que las haga pblicas. De este modo, ayudar a enriquecer nuestro vocabulario cientfico, tan necesitado como est de nuevas
sugerencias.
Manuel GARCA FERRANDO
Departamento de Sociologa
Universidad Autnoma de Madrid.^

103

LOUIS GUTTMAN

INTRODUCCIN
Hace unos cuarenta aos, Harold Hotelling seal que los libros de texto
de estadstica de aquel perodo estaban escritos, en su mayora, por no matemticos. Aquellos libros estaban repletos de conceptos errneos, e ignoraban
en su mayora los nuevos e impresionantes desarrollos de la disciplina matemtica de la estadstica inferencial. La situacin mejor paulatinamente a medida
que ms estadsticos matemticos comenzaron a publicar libros de texto, de
tal modo que hoy en da el pndulo parece haber ido demasiado lejos. En
algunos lugares, los smbolos ms que la sustancia parecen ser los dueos.
Esto es especialmente verdad en las ciencias sociales con las que estoy ms
familiarizado y a las cuales va dirigido (aunque no exclusivamente) este
trabajo. Por ejemplo, consejeros y editores de algunas revistas insisten en decorar las tablas de diversos tipos de datos con estrellas y dobles estrellas, y
en presentar listados de errores estndar, a pesar de que las probabilidades
implcitas de significacin o confianza son claramente errneas desde el punto
de vista de la estadstica inferencial (ver los problemas 3 y 1, ms adelante).
Junto al mal uso de los nuevos desarrollos, persisten todava muchos de
los antiguos falsos conceptos en los libros de texto y revistas actuales debido
a la extremadamente pobre terminologa que ha sido conservada, por razones
histricas, por los estadsticos matemticos. Los matemticos estn habituados
a tratar correctamente simbolizaciones arbitrarias e incluso confusas, dado que
estn preparados para centrarse directamente en los conceptos que sealan, los
cuales, por otra parte, estn bien definidos. No ocurre as con los no matemticos, quienes ms bien estn inclinados a reaccionar ante las etiquetas verbales como si tuvieran unas implicaciones y un significado diferentes y ms
all de los conceptos tcnicamente designados. Por ejemplo, el trmino regresin emergi originalmente en el contexto de las investigaciones genticas de
Francis Gal ton, anteriores a la difusin de la teora de los genes, y ha sido
conservado desde entonces por los matemticos para algo que no tiene que ver
nada con los procesos genticos, ni con ningn tipo de proceso. Es cierto que
es deseable tener una palabra nica para una serie de medias aritmticas
condicionales, pero al retener la palabra regresin para tal serie se da a
los no matemticos una idea de procesos dinmicos y leyes de la naturaleza en
contextos para los que tales ideas son totalmente errneas. (Irnicamente, incluso hoy en da algunos genetistas confunden el concepto estadstico de regresin con una teora gentica de herencia biolgica, y en consecuencia alcanzan
conclusiones falsas.)
Uno de los objetivos del presente trabajo es poner de manifiesto algunos
de los problemas bsicos an no resueltos en la estadstica inferencial. La
discusin de estos problemas sirve como introduccin para un segundo objetivo, presentar una lista de hechos sobre la terminologa estadstica y las ideas
equivocadas <jue merecen ser sometidas a la atencin, tanto de los matemticos

104

MALOS USOS EN ESTADSTICA

como de los no matemticos. Los hechos se formulan negativamente: que no

es que. Tal lista puede servir como una forma rpida de alertar a los no matemticos de algunas de las trampas en las que han cado algunos colegas. Espero que la lista y los problemas estimulen a los estadsticos matemticos
para que se centren en la resolucin de temas que son de gran importancia
para la prctica estadstica.
De igual manera que el resfriado comn se ha resistido a ser conquistado
por la ciencia mdica, as ocurre con algunos de los problemas ms comunes
de la investigacin social que han eludido la solucin de los estadsticos matemticos. Esta puede ser una de las razones de la permanencia de algunos antiguos falsos conceptos y de la creacin de algunos nuevos: los profesionales
tratan de arreglrselas con las herramientas inadecuadas, dado que necesitan
tener respuestas. Se destacarn seis clases de problemas comunes an no resueltos. A continuacin se presenta la lista de lo que no es que. Cada tem en
la lista viene acompaado de una breve explicacin. Las explicaciones son
bastante autosuficientes, pero el profesor de estadstica interesado en el tema
puede ampliarlas fcilmente. Naturalmente, la lista se puede extender fcilmente, y sern bienvenidos los comentarios crticos.
No se incluyen referencias bibliogrficas en este artculo, dado que la
discusin se refiere a lo que no existe. La prueba emprica de la no existencia
es un principio difcil, mientras que la prueba de la existencia es comparativamente ms simple, requiere que se exhiba un solo ejemplo. Por eso, cuando
realizamos ms adelante una afirmacin de la forma: Ningn libro de texto
prueba que..., si uno quisiera documentar tal declaracin, tendra que referirse a todos los libros de texto existentes. Por otra parte, si un lector creyese
que poda demostrar que la afirmacin era falsa, todo lo que necesitara hacer
es suministrar una sola referencia correcta. Realmente me encantara recibir
cualquier referencia correctora de cualquier lector interesado, para cualquier
no es de los que se incluyen ms adelante.
Una reaccin inicial de algunos lectores puede ser la de considerar que el
presente artculo pretende ser polmico. Pero esto no es as en absoluto. Sealar que el emperador no viste ningn tipo de ropa puede resultar un tanto
turbador. Ahora bien, la experiencia ha mostrado que la polmica puede venir
ms bien de la direccin opuesta, esto es, de los firmes creyentes en prcticas
no fundamentadas. A tales devotos se les suele utilizar como referencias y
jueces cientficos, y no escatiman la acumulacin de crticas irrelevantes y
decisiones negativas sobre los nuevos desarrollos que no contienen sus favoritas concepciones equivocadas. El presente artculo puede servir, como uno
de sus objetivos, para evitar que en el futuro se produzcan tales situaciones
kafkianas.
Adems, este artculo no pretende ser tan slo un ejercicio sobre terminologa. Se han omitido algunos de los tems que no es en la discusin que
sigue, con el fin de dedicar ms espacio a los temas que estimo son ms per-

105

LOUIS GUTTMAN

judiciales. Algunos de los tems incluidos han obstaculizado notablemente el

progreso de las ciencias sociales, permitiendo a veces que se hayan malgastado
decenas de miles de dlares en investigaciones no provechosas, por no hablar
de la enorme cantidad de tiempo y esfuerzos intelectuales desperdiciados.
ALGUNOS PROBLEMAS TODAVA NO RESUELTOS
DE LA ESTADSTICA INFERENCIAL
Problema 1. Regiones de Confianza Multivariante.Muchos de los problemas inferenciales en las ciencias sociales son inicialmente multivariantes, y,
sin embargo, no suelen tratarse como tales. Considrese cualquier serie de
datos reunidos a partir de un cuestionario demogrfico o de actitudes, o por
medio de un test mental o de logro compuesto de diversos tems. Cmo se
puede establecer una regin de confianza para una tabla contingente de poblacin a partir de una tabulacin cruzada (cross-tabulation) de tales datos? Esto
requiere la especificacin simultnea de una serie de intervalos de confianza
para muchos parmetros de una distribucin multimodal, pero con un solo
nivel de confianza para la serie entera. Las tablas de contingencia se encuentran entre las formas ms corrientes de datos observados, y, sin embargo, no
existe todava solucin para este problema: los libros de texto ni siquiera lo
mencionan. En la prctica, los errores estndar se calculan a menudo para
valores estadsticos separados en una tabla de ese tipo, sin que nadie haya
mostrado qu relevancia tienen para el problema tales valores. El mismo
abuso se mantiene en el caso de la regin de confianza para una serie de
medias aritmticas. Los proyectos de investigacin sociolgica y psicolgica
pueden implicar muchas variables numricas simultneamente, y es de inters
el establecimiento de lmites para cada una de las medias aritmticas de la
poblacin. Incluso para el caso de distribuciones normales multivariantes, el
uso del error estndar con cada una de las medias de la muestra no ha podido dar lugar a una regin de confianza para todas las medias de la poblacin simultneamente. Cul es la forma correcta de establecer tal regin?
No es de menor inters la regin de confianza para una matriz de coeficientes
de correlacin entre diversas variables. Resulta estimulante saber que algunos
estadsticos matemticos estn comenzando a comprobar estas cuestiones. Estos problemas en los que intervienen proporciones, medias aritmticas y coeficientes de correlacin son todos ellos casos especiales de un problema general: si 0i, 02 ..., 0n son n parmetros de una poblacin con una distribucin
multivariante de variables mutuamente dependientes, definir los valores estadsticos ai, bi, a2, b2, ..., an, b n a partir de una sola muestra tal que, para un
nivel de confianza dado
Prob {ai < 0i < bi, a2 < 02 < b2, ... an < 0n < b n } = 1
y con alguna condicin de optimizacin para la eleccin de ai y bi. Ningn

106

MALOS USOS EN ESTADSTICA

libro de texto se interesa por estos obvios y clsicos problemas de estadstica

inferencial, como tampoco se interesan por los anteriores en la forma en que
realmente ocurren en la prctica, si es que llegan siquiera a mencionar los problemas. La solucin de tales cuestiones dejar todava abierto el no menos
bsico problema de la replicacin tal como se bosqueja a continuacin.
Problema 2. Replicacin.Tanto la estimacin como la comprobacin
de hiptesis se han restringido usualmente como si se tratase de experimentos
que se realizan una sola vez, tanto en la teora como en la prctica. Pero la
esencia de la ciencia es la replicacin: un cientfico debe estar continuamente
interesado con lo que ocurra cuando l u otro cientfico repita su experimento.
Por ejemplo, supongamos que se establece un intervalo de confianza para la
media de una poblacin en base a un nico experimento: cul es la probabilidad de que la media de una muestra de un prximo experimento cabr
dentro de dicho intervalo? El nivel de confianza del primer experimento no
dice nada al respecto. O de nuevo, supongamos que se calcula una ecuacin
de regresin a partir de una muestra aleatoria incondicional: cul es la varianza de las predicciones realizadas a partir de una nueva muestra aleatoria
incondicional de la misma poblacin en base a la ecuacin anterior? La respuesta de esta ltima pregunta es desconocida: muchos psiclogos, sabedores
de ello, no dependen de una sola muestra y realizan validacin cruzada emprica. El mismo tipo de problema, con un giro diferente, se presenta en la
prueba de hiptesis. Supongamos que un cientfico rechaza una hiptesis nula
en favor de una alternativa dada: cul es la probabilidad de que en el prximo experimento cientfico har lo mismo? El prximo experimento del
cientfico no ser, por lo general, independiente del primero, dado que la
repeticin no se hubiera emprendido si en el primer experimento se hubiera
retenido la hiptesis nula. Este es uno de los problemas ms realistas de la
inferencia, y espera una respuesta. El asunto no es puramente matemtico, ya
que el comportamiento real de los cientficos debe tenerse en cuenta. Enfrentados con tales problemas reales de la replicacin, pueden surgir dudas sobre
la llamada perspectiva Bayesiana en la estadstica inferencial.
Problema 3. Niveles simultneos de Significacin e Hiptesis Simultneas.Una dificultad intrnseca del problema precedente, y de muchos otros
problemas reales de inferencia, es la complicacin de los hbitos de los investigadores. Estos normalmente no fijan con anterioridad a sus experimentos un
error del tipo I. La fijacin preliminar de tal valor es requerida por la lgica
de la teora de Neyman-Pearson, pero el cmo hacerlo no forma parte de la
teora. Dado que los investigadores gustan de encontrar instrucciones precisas,
insisten en que se les diga cmo seleccionar un nivel de significacin, a pesar
de que no es de la incumbencia del matemtico el hacerlo. Forzados a formular
una respuesta, el estadstico matemtico puede carraspear, y finalmente decir:

107

LOUIS GUTTMAN

Pruebe algo tal como .05 .01 o incluso .001. En tiempos anteriores
podra haber sugerido: Tome algo como ms o menos dos o tres errores
estndar. El estadstico matemtico podra olvidarse de recordar al investigador que tomara uno y slo uno de tales nmeros y con anterioridad
para el problema. En cualquier situacin, dadas varias opciones, el investigador las acepta todas y las utiliza simultneamente, y habitualmente despus
del hecho. Esta prctica por s misma puede hacer completamente insoluole
el problema 2 anterior. La situacin se torna ms confusa cuando los niveles
del mnibus se aplican todos ellos simultneamente tal cual & una serie de
hiptesis simultneas. Qu solucin puede existir para los procedimientos
utilizados en la prctica? Cmo pueden convencerse los autores y editores
de revistas cientficas de que cuando rellenan sus tablas de datos con una
galaxia de estrellas, dobles estrellas, e incluso triples estrellas, no estn probando hiptesis, sino rechazando la propia estadstica inferencial?
Problema 4. Eleccin de las Hiptesis Nula o Alternativa.La teora
de Neyman-Pearson para la prueba de hiptesis requiere una formulacin
previa de y distincin entre las hiptesis nula y alternativa. No es competencia de la teora decir cmo realizar esta distincin preliminar, dejando de
nuevo al investigador en la duda. La retencin, por razones histricas, del
infortunado adjetivo nula es a estos efectos contraproducente. Una terminologa ms aclaratoria podra ser: hiptesis obligatoria (incumbent)
versus hiptesis desafiante o cuestionante (challenging). Una hiptesis nula es la obligatoria, que no se modificar al menos que exista una
evidencia abrumadora en contra (de ah que la probabilidad pueda ser 99 contra 1 para el error del tipo I, en favor de la hiptesis obligatoria). En muchas
reas de las ciencias sociales, las hiptesis simplistas tal como no diferencia
o no correlacin son habitualmente desafiantes en campos bien documentados de investigacin. Tomemos el caso de los tests de inteligencia: nadie
hasta ahora ha sido capaz de realizar un diseo a priori con dos tests mentales diferentes y seguros que correlacionan cero entre s: sta es una tarea
desafiante (casi todas las correlaciones entre tests mentales observados durante los ltimos sesenta aos son positivas). O de nuevo, la hiptesis de
Charles Spearman del nico factor comn, fue una innovacin desafiante
(ltimamente rechazada por l mismo) para un fenmeno tan complejo como
es la inteligencia. El tener un pequeo nmero de factores comunes contina
siendo una hiptesis desafiante en contra de la usual hiptesis obligatoria de
un nmero ms amplio de factores comunes. Tales casos pueden contrastarse
con campos ms problemticos e interesantes, tales como la parapsicologa y
la grafologa, por ejemplo, para los cuales la nulidad persiste como una apropiada hiptesis nula. Una ilustracin de este punto en otra rea es la ley de
Newton sobre el movimiento de un cuerpo en lnea recta con velocidad constante: desde luego que sta s fue una hiptesis desafiante! Cul fue la hip-

108

MALOS USOS EN ESTADSTICA

tesis nula desafiada por Newton? Y cundo en la historia se convirti la hip

tesis de Newton en obligatoria, para hacer frente a un nuevo desafiador? El
cambio en el tiempo de los papeles de las hiptesis de alternativa a nula es
un proceso importante a elucidar para la estadstica inferencial. No hay necesidad de hacerse bayesiano para ello; realmente, la tarea cae fuera del dominio
de los estadsticos matemticos. (Como ya se indic anteriormente, el problema 2 sobre replicacin plantea cuestiones sobre el realismo de la perspectiva bayesiana, cuestiones similares a aquellas que hubiera podido conducir al
propio reverendo Thomas Bayes a no recomendar lo que actualmente es Bayesiano.) El problema prctico que persiste es que muchos estadsticos matemticos han hecho creer a los investigadores que, por ejemplo, la linearidad
de la regresin es una hiptesis obligatoria, a pesar de su rareza y de su
carcter desafiante en muchas reas de la ciencia emprica. Aqu puede existir confusin entre el concepto de primera aproximacin y el de hiptesis
nula los dos son esencialmente contradictorios. Lo mismo ocurre con la
falta de interaccin en el anlisis de varianza y con la falta de correlacin en
las distribuciones bivariantes tales nulidades seran fenmenos bastante
sorprendentes en las normalmente complejas interacciones de la vida social.
Cmo se podra ensear a los investigadores empricos que, sin un conocimiento sustantivo de sus campos respectivos, no existen fundamentos para
asignar papeles a las hiptesis nula o alternativa? Y que una primera
aproximacin no es la hiptesis nula de que hablan los libros de texto?
Problema 5. Ortogonalidad.La bsqueda de contribuciones independientes a partir de diversos componentes correlacionados es una empresa
perenne entre los no matemticos. La creencia en la realidad de tal milagro
estadstico se ha visto reforzada por la nocin de ortogonalidad en el diseo
de experimentos. El diseador puede forzar la ortogonalidad, y hacerlo as si
es que puede, debido a la teora distribucional simplificada que resulta. Muchos no matemticos creen que un diseo debe generar ortogonalidad, pues
piensan que si no es as van en contra de la teora estadstica! Los matemticos saben que tal ortogonalidad no es otra cosa que un artificio creado por
el diseador de experimentos, y puede no tener nada que ver con las interrelaciones de los fenmenos naturales. De manera similar, el estadstico crea
ortogonalidad cuando utiliza mnimos cuadrados para predecir una variable
numrica: la prediccin y el error de prediccin son ortogonales entre s. Hay
que decir que muchos contextos en los que la ortogonalidad ocurre en estadstica estn creados por el anlisis estadstico, y que la ortogonalidad no tiene
necesariamente una implicacin o interpretacin natural. Una cuestin interesante sera: existe algn tipo de ortogonalidad en datos que no hayan sido
creados por el estadstico? Una respuesta posible es un coeficiente de correlacin observado de valor cero (la eleccin conocida de una hiptesis nula
discutida en el anterior problema 4). En la correlacin mltiple, uno quisiera

109

LOU1S

GUTTMAN

a menudo tener los predictores no correlacionados entre s: si lo estuvieran,

podran considerarse como si hicieran contribuciones independientes a la
regresin mltiple. Pero, en general, los predictores se correlacionan entre s,
y no existe una operacin inmediata para definir contribuciones independientes en este caso. Incluso para el caso de predictores no correlacionados, no
existen garantas de que no se pueda encontrar otro predictor que correlacionar con el anterior predictor, restaurando la imposibilidad de conceder confianza independiente a cada uno de los predictores por separado.
Problema 6. Diseo de datos, anlisis de datos y primeras aproximaciones.R. A. Fisher puso de manifiesto cmo la inferencia estadstica debe
basarse en el diseo experimental. Cmo puede extenderse esta forma de razonamiento al anlisis de datos ms generales para los que los estadsticos matemticos no tienen todava respuestas inferenciales (y puede que no las tengan
durante mucho tiempo)? Por qu en los sondeos sociolgicos y en los tests
mentales los tems que contienen se construyen sin el mismo cuidado y formalizacin que se emplean en el diseo de la muestra de la poblacin a la
que se les va a administrar? Y por qu el anlisis de los datos debe conducirse de acuerdo con tal diseo del contenido? Hacer esto requiere el desarrollo de una teora de muestras (estratificada) para construir variables para un
universo de contenidos, de igual modo que la teora ordinaria de muestras
discute la seleccin de sujetos individuales de una poblacin. El muestreo
estratificado (incluso dentro de estratos) no puede mantenerse para la construccin de tems de tests de inteligencia o de actitud. Lentamente se ha ido
desarrollando una teora que pueda dar una respuesta parcial a este problema,
especialmente en el contexto de las teoras de la estructura de las intercorrelaciones y de lo que Lee Cronbach llama generalizabilidad. No puede suponerse que las tcnicas asociadas para el anlisis de datos se ajusten a tests
exactos de significacin, sean o no paramtricos. Ms bien sugieren que la
atencin se dirija de nuevo a la propia inferencia: por qu debemos interesarnos en un nivel exacto de significacin o confianza} El anlisis de datos
no inferencial se contenta con ser descriptivo, y a menudo solamente como
una primera aproximacin con alguna indicacin de cuan aproximadamente
es exacto. (No se puede asegurar el opuesto, esto es, exactamente cunta aproximacin, sin conocer la respuesta exacta, en cuyo caso la aproximacin sera
superflua.) De una manera ms general, por qu no estar satisfechos con un
nivel aproximado de aproximacin? Por qu debe estar el investigador enfrentado perennemente con la contradictoria y paradjica cuestin: exactamente cuan aproximado es su trabajo? Esencialmente, la replicacin es el test
de la ciencia, y las replicaciones repetidas por ms que aproximadas
valen ms la pena que el tratar de fijar la exactitud de un nivel de aproximacin de una o dos pruebas. La manera en que se puedan obtener inferencias estadsticas correctas sobre los parmetros cuando solamente se utilizan

110

MALOS USOS EN ESTADSTICA

primeras aproximaciones, parece que es en buena medida un territorio inexplorado por parte de los estadsticos matemticos. W. Edwards Deming y otros
han hecho trabajo de caballera al sealar docenas de fuentes de error no
muestral, que deberan sensibilizar en particular a los investigadores en el
problema de la aproximacin. A pesar de ello, la confusin aparece ampliamente extendida entre los investigadores en lo que se refiere a errores de
muestreo, versus errores de aproximacin.
UNA LISTA DE LO QUE NO ES QUE
La siguiente lista de hechos (negativos) ampla y se aade a las seis clases
precedentes de temas no resueltos. Como ha mostrado la discusin anterior,
los problemas inferenciales pueden ser oscurecidos por rasgos no inferenciales.
As, una de las fuentes de falsas interpretaciones para el profesional es la dificultad de especificar dnde comienza formalmente la inferencia (el anlisis
de varianza es un buen ejemplo de ello). He tratado de resistir a la tentacin
de tratar de clasificar las variedades de falsas interpretaciones y confusiones
en la lista. Unas tropiezan con otras de manera sutil y no sutil. Puede que
sea consustancial a tales falsas interpretaciones el que todo intento de su clasificacin sea confuso, y pueda conducir a mayores equivocaciones. Por ello
he formulado cada tem sucintamente como un hecho por s mismo, y slo
intento ligeramente hacer alguna referencia cruzada, tanto dentro de la lista
como con las seis reas de problemas precedentes.
1. Las medias no miden tendencias centrales.
(En el concepto de media no est implcito un proceso dinmico, como
sugiere errneamente la palabra no matemtica tendencia. Considrese la
distribucin en forma de U. Una media puede definirse como un valor que
minimiza una funcin residual, y cualquier valor en el rea de alcance de
una variable es una media segn alguna funcin residual. Ver tambin el punto 3 ms adelante.)
2. La dispersin o desviacin de una distribucin no se define necesariamente como si estuviese alrededor de una media.
(Considrese el valor esperado de |xp x q |, en donde xp y xq son valores
de los miembros p y q de una poblacin en una variable numrica x. Analistas
de varianza tomen nota. Al contrario, el valor esperado de (x p xq)2 ocurre
que es proporcional a la varianza alrededor de la media aritmtica. Ver tambin los tems 4 y 20, ms adelante.)
3.

No existe regresin a la media.

(De igual modo que no existe un proceso dinmico para la media [ver
el tem 1, anterior]. El verbo regresar no tiene definicin matemtica, aun-

111

LOUIS GUTTMAN

que el nombre regresin desgraciadamente va unido a l. Una regresin es

sencillamente una serie de medias condicionales, usualmente de medias aritmticas.)
4. El concepto de correlacin no depende necesariamente del concepto
de regresin.
(Considrense los coeficientes libres de regresin de monotonicidad entre
dos variables numricas x e v para una poblacin p, tal como |t2:
X X
peP qeP (x P x q ) (y P yq)
V-2 = X X
peP qeP lxp xq yp y q l

Tal coeficiente de correlacin vara entre 1 y + 1, alcanzndose estos

valores extremos cuando se obtiene perfecta monotonicidad, sin especificacin
de la forma exacta de la funcin monotnica, y sin referencia a las medidas
condicionales de una variable a partir de la otra. Esto ampla el concepto de
media-libre de dispersin del anterior punto 2. Los conceptos de correlacin
libres de regresin estn mostrando ser tiles en los anlisis de datos sobre
series temporales, as como en los anlisis corrientes de distribuciones bivariantes y multivariantes. Tales coeficientes son las bases de los programas
de ordenador para el anlisis de datos no paramtricos, tales como el anlisis
del espacio mnimo.)
5. Una primera aproximacin no es una hiptesis nula.
(Puede tratarse de una hiptesis aproximada, nula o alternativa, si se prueba una hiptesis. La teora actual de Neyman-Pearson no se ocupa de hiptesis
aproximadas, por lo que no resulta apropiada para primeras aproximaciones.
Por ejemplo, si se considera que la linearidad es tan slo una primera aproximacin a la estructura de una curva de regresin de una poblacin, esto
es, en efecto, un rechazo automtico de la hiptesis de linearidad, y es necesario que el investigador decida exactamente qu es lo que est comprobando
y contra qu alternativa, si quiere utilizar la teora actual de Neyman-Pearson
para hablar de la estructura de la regresin de la poblacin. La utilizacin de
ideas de aproximacin puede entrar en colisin con las ideas de hiptesis nulas
versus hiptesis alternativas.)
6.

No existe generalmente salida de la linearidad de una regresin.

(El tomar la linearidad como punto de partida equivale atribuir a un fenmeno tan poco comn el papel generalmente incorrecto de una hiptesis nula
obligatoria. En las ciencias sociales, al menos, la linearidad debiera ser contemplada como una salida de la no linearidad, y no viceversa. Ver el proble-

112

MALOS USOS EN ESTADSTICA

ma 4, anterior: tambin los puntos 4 y 20. Esto provoca una cuestin interesante sobre cmo desarrollar una prueba realista de significacin, o si la
inferencia estadstica debiera siquiera mezclarse con problemas de aproximacin. Ver el problema 6, anterior.)
7. Una diferencia que se afirma que es significativa al nivel 0.1 no es
significativa al nivel .01.
(Esto es un hecho para cualquier nivel el nivel .01 se ha tomado como
ejemplo y para cualquier valor estadstico, no slo para una diferencia.
Tal afirmacin implica que el nivel se determin despus de calcular el
valor estadstico. Al ensayar una hiptesis, el nivel [y slo un nivel] debe
fijarse con anterioridad a la investigacin; la hiptesis nula se rechaza o no
subsecuentemente, de acuerdo con el valor estadstico observado y la regin
de rechazo. Proclamar un nivel de significacin despus de calcular un
valor estadstico implica un valor incorrecto para la probabilidad del error
tipo I, y de hecho hace que la probabilidad quede indeterminada. Ver el
problema 3, anterior. Si un investigador desea destacar su pertenencia a la
minora de los que realmente ensayan hiptesis, debiera decir algo parecido a
lo que sigue: El nivel .01 de significa ti vidad se eligi previamente a la
investigacin, y el estadstico obtenido es significativo a dicho nivel. Adems,
no debera poner ninguna estrella.)
8. Un ensayo de significacin estadstica no es un ensayo de importancia cientfica.
(Este es un hecho que se necesita ensear a cada generacin de estudiantes. Puede que haya pasado desapercibido a una parte de la generacin anterior que se ha convertido en editora y miembros del consejo de redaccin de
las revistas cientficas en campos tales como psicologa experimental y sociosicologa experimental dedicadas de jacto a asuntos tales como diferencias
pequeas pero significativas y efectos significativos. Hasta ahora nadie ha
publicado una ley cientfica en las ciencias sociales que haya sido desarrollada,
modelada o efectivamente sustentada en base a ensayos de significacin.
Las leyes bsicas de la fsica, desde luego, no se desarrollaron de esta forma.
La estimacin y la aproximacin pueden ser ms provechosas que la significacin en el desarrollo cientfico, sin olvidar la replicacin. Tngase en cuenta
la ley radex para la inteligencia y la ley cilindrex para las actitudes, o las
leyes de regresin poli tnica para los componentes principales de las actitudes.)
9. Un intervalo de confianza para la media de una poblacin no vale
para predecir la media de una nueva muestra.
(Y lo que es peor, una ecuacin de regresin lineal mltiple calculada
a partir de una muestra aleatoria no condicional puede con frecuencia hacer
ms dao en la prediccin de una nueva muestra aleatoria no condicional

113

LOUIS GUTTMAN

que la que pueda hacer una simple ponderacin. Ver el problema 2 anterior
sobre replicacin.)
10. La distribucin normal no es un fenmeno emprico normal.
(Raras veces, si alguna, se observa en la naturaleza. En buena medida
se genera por los estadsticos cuando desarrollan las matemticas de la teora
de las muestras. Este hecho se ha enseado correctamente durante mucho
tiempo, pero necesita que se repita constantemente a los estudiantes despus
de haber pasado por cursos de inferencia estadstica.)
11.

La correlacin parcial no parcializa [partid out] nada.

(De igual manera que la probabilidad condicional no parcializa nada. Todas las correlaciones bivariantes son correlaciones parciales: cada una de
ellas es condicional a la poblacin de la que se calcula. Proponer nuevas
condiciones implica la estratificacin en subpoblaciones, y las correlaciones
condicionales resultantes pueden variar ampliamente entre tales subpoblaciones. Una mejor y menos confusa terminologa sera decir siempre correlacin condicional en vez de correlacin parcial, de igual modo que los
matemticos dicen probabilidad condicional y no probabilidad parcial.)
12. Las variables independientes de una regresin son habitualmente
no independientes estadsticamente de la variable que va a predecirse a travs de la regresin.
(Si lo fueran, la regresin sera intil para la prediccin. Estas variables
independientes son generalmente mutuamente dependientes. Una terminologa ms adecuada consistira en llamarlas variables condicionales de la
regresin, o los predictores. Hotelling sugiri llamar a la variable incondicional, es decir, la que se va a predecir, la predictante (predictant) de la
regresin: los psiclogos a menudo la llaman el criterio.)
13. Las contribuciones independientes a una regresin mltiple son
habitualmente dependientes.
(Incluso en el caso de que los predictores sean independientes estadsticamente entre s, no existen garantas de que se pueda encontrar un predictor
ulterior que introduzca dependencia estadstica. Cuando hay dependencia estadstica existen muchas formas de resolverla en componentes independientes estadsticamente; la eleccin entre estas diversas formas no es un problema estadstico. Ver la discusin del milagro de la ortogonalidad en el
problema 5 anterior: ver tambin el punto 21 ms adelante sobre regresin
stepwise.)
14. Cuando se calcula a partir de un solo ensayo en una muestra una
estimacin de un coeficiente de fiabilidad para la poblacin, es generalmente
inconsistente (usualmente una subestimacin).

114

MALOS USOS EN ESTADSTICA

(Se necesitan al menos dos ensayos sobre la misma muestra para conseguir una estimacin consistente y por supuesto no sesgada de un coeficiente de fiabilidad de poblacin, incluso para la Habilidad de una suma
o mitades partidas. Los intentos comunes de salir del paso con un solo ensayo introducen supuestos que son falsos y que no anulan los sesgos respectivos. Los sesgos de los supuestos habituales son acumulativos, y a menudo
conducen a serias subestimaciones. Los autores algunas veces se percatan
de esto cuando corrigen para atenuar, y obtienen un coeficiente de correlacin mayor que la unidad; el sesgo es bastante universal y puede ser drstico incluso si una correccin en un caso particular no conduce a un absurdo inmediato. Muchos libros de texto en psicologa educativa y en reas
similares tratan errneamente las frmulas convencionales del coeficiente de
fiabilidad como si fueran consistentes, mientras que estas frmulas no son
usualmente otra cosa que estimaciones de lmites bajos del coeficiente de fiabilidad en cuestin.)
15. En un ensayo de items de eleccin mltiple, las diversas respuestas falsas no tienen generalmente la misma probabilidad de ser elegidas.
(Si las respuestas falsas son igualmente probables para cada miembro de
una poblacin amplia, y si existe independencia experimental entre los miembros, entonces la proporcin observada de poblacin que elija una respuesta
falsa particular ser igual a la proporcin observada que elija cada una de
las otras respuestas falsas. Habiendo revisado a lo largo de los aos cientos
de items de eleccin mltiple, an no he observado empricamente tales proporciones iguales, y no conozco a nadie que haya manifestado haber observado tal fenmeno emprico. En la prctica, los distraedores distraen diferencialmente. La tan extendida hiptesis de que existen intuiciones en los ensayos prcticos que conducen a probabilidades iguales es un ejemplo de supuestos matemticos falsos e innecesarios anclados en algunos lugares de
las ciencias sociales. Los supuestos matemticos no son un sustituto para
el estudio real de la conducta humana.)
16. El estadstico chi-cuadrado para los ensayos de independencia estadstica entre dos variables no es una medida de dependencia.
(Por ejemplo, este valor estadstico no indica cundo existe perfecta
dependencia monotnica. Existe un solo tipo de independencia estadstica,
pero muchas variedades de dependencia perfecta, y cada una de sas requiere su propia funcin residual [loss junction]. Es por esto tambin que la
prueba del chi-cuadrado, tal como se usa habitualmente, es bastante dbil:
no tiene una hiptesis alternativa particular. Generalmente se puede hacer
una prueba mejor cuando se especifica el tipo de dependencia.)
17. El concepto de variable aleatoria no se define en trminos de
muestreo aleatorio.

U5

LOUIS GUTTMAN

(El recproco es cierto. Una variable aleatoria es realmente una funcin, esto es, una funcin que tiene como dominio una poblacin con una
medida de probabilidad. El que la teora estadstica se ocupe desde el principio del concepto de funcin puede ser una de las fuentes de dificultad
en la enseanza de estadstica elemental: al menos se deben considerar simultneamente, y desde el principio, dos azares.)
18. Nada ocurre por azar.
(Azar no es un trmino estadstico. Algunos autores usan azar para
referirse a sucesos con igual probabilidad, otros pueden estar pensando en
la independencia estadstica entre variables, mientras que algunos lo utilizan
para indicar simplemente que no se conoce todava una ley definitiva. Se
puede evitar mejor la palabra en discusiones tcnicas. Igualmente, nada
ocurre al azar aunque el muestreo aleatorio sea posible a saber, al generar una distribucin multivariantes de variables estadsticamente independientes e idnticamente distribuidas.)
19.

Un valor esperado no es esperado generalmente.

(Se trata simplemente de la media aritmtica de una poblacin.)

20. Una frase tericamente diseada (mapping sentence) no es una
teora (*).
(El concepto de frase tericamente diseada generaliza simplemente el
diseo de experimentos de R. A. Fischer al diseo de cualquier observacin,
con el rasgo adicional de una conexin verbal informal que es necesaria para
el trabajo emprico real. Tal diseo ampliado define el contenido de las observaciones y de este modo puede servir como base para el establecimiento
y comprobacin de una hiptesis o una teora. Tal como seal Fischer, el
diseo de los datos debiera ser una parte explcita de una teora. Se puede
definir una teora, en este sentido [y de una manera bastante general], como
una hiptesis, con su lgica, de la unin correspondiente entre un sistema
o diseo definicional para un universo de observaciones. Ver el problema 6: tambin los puntos 47 y 50, ms adelante.)
21. Generalmente no se puede muestrear aleatoriamente un universo de
variables para una poblacin dada.
(Generalmente no existe una distribucin de probabilidad para un diseo
de contenido de facetas. La replicacin de una muestra se consigue al construir nuevas variables segn el mismo diseo de contenido de facetas. Un
* N. T.: La "mapping sentence" es una tcnica bsica de la teora de las facetas ("facet theory"). Representa uno de los intentos ms recientes que se estn llevando a cabo en el campo de las ciencias sociales para formalizar conjuntamente la teora y la investigacin emprica, tarea en la que participa activamente Guttman.

116

MALOS USOS EN ESTADSTICA

caso especial de tal construccin y replicacin es la traduccin en diversas

lenguas y la comparacin entre diversas culturas.)
22. Por lo general, una hiptesis nula no debera hipotetizar el carcter
de ser idnticamente nula (nullity).
(Lo idnticamente nulo debiera ser generalmente una hiptesis alternativa: ver el problema 4 anterior.)
23. El anlisis de varianza no analiza varianza.
(Analiza la forma de la regresin de una variable numrica sobre otra
variable [predictor] condicional numrica o categrica. Las varianzas y los
grados de libertad aparecen en escena para ayudar en el estudio del error
de muestreo con fines inferenciales: no son esenciales para el reparto bsico
del predictor numrico en la regresin [entre] y desviacin de la regtesin [dentro de]. El diseo factorial representa el caso general de las condiciones categricas: pero, tradicionalmente, la forma ms general y posible
de regresin para este diseo no se estudia. Por ejemplo, dado un diseo
tridimensional para realizar observaciones en una variable numrica t, los
analistas de varianza tradicionalmente consideran solamente una tautologa
de la forma
tijk = tij. + ti.k + t.jk + t.. + t.j. + t..k + residuo
y buscan la ortogonalidad [problema 5 ] , mientras que esta forma es tan slo
un caso especial de una tautologa ms general
tijk = M-J Vjk Wik +

residuo

en donde /J, Vjk, y Wik pueden a su vez ser descompuestos de formas diversas. La regresin de la poblacin, naturalmente, es la serie de valores esperados condicionales de tijk, y esta serie no necesita estimarse consistentemente con el uso de una tautologa restringida. A pesar de ello, los autores hafoitualmente tratan de ensayar hiptesis en las que se mantiene una forma ms
simplificada que cualquiera de las anteriores usualmente varias hiptesis
simultneamente. Suelen calcular una serie de valores estadsticos [ratios
de varianza] Fi, F2, ..., F m siendo cada Fi una especie de ayuda para el
ensayo de la hiptesis nula HOi en algn aspectos de la regresin y realizan afirmaciones referentes a niveles de significacin ai, en donde probablemente
ai = Prob{F ^ Ai I Hoi }(i = 1, 2, ..., m)
el coeficiente K se refiere al lmite entre los intervalos de rechazo y aceptacin de la hiptesis HOi. Tales afirmaciones son tpicamente errneas, tal

117

LOUIS GUTTMAN

como se ha discutido en el problema 3 y en el punto 7. Sera ms apropiado

especificar una regin de rechazo R, un valor estadstico multivariante r, y
un nivel de significacin a para todas las hiptesis simultneamente, tal que
= Prob {rER|Hc, Ho2, ..., H om }
y donde r y R minimizan el tipo II de error para dar una serie de hiptesis
alternativas. Algunos estadsticos matemticos han prestado atencin a casos
especiales de este problema, destacando nulidades como hiptesis nulas, y
normalmente sin ofrecer alternativas especializadas. Esto, naturalmente, nos
conduce de nuevo al problema 4. A pesar de ello, los autores a menudo muestran que en lo que estn interesados realmente es en la estimacin de la forma de la regresin, y que utilizan la prueba de la hiptesis como una tcnica
para la estimacin. Tales autores tratan las hiptesis secuencialmente, pero
sin utilizar inferencia secuencial. Esto no es diferente a la regresin stepwise con variables condicionales numricas [ver el punto siguiente]. Se combinan diversas cosas y se recalculan probabilidades, en un desenfadado
olvido de que la inferencia estadstica es denegada con ello. Incluso algo
ms bsico se niega cuando los autores y editores de revistas se quedan tan
enamorados con el aparato tcnico de las sumas de cuadrados y grados de
libertad que en efecto publican, pero deciden ahorrar espacio o simplemente olvidan y no publican la estimacin de la regresin final que era el
objetivo del trabajo: se fijan en el bao, pero no en el beb. Incluso cuando
se ahorra espacio de publicacin, sera generalmente ms til publicar al menos el ratio de correlacin asociada con la regresin, con el fin de ayudar al
lector a comprender inmediatamente el poder predictivo relativo de la regresin tal como se estima a partir de los datos. Ver tambin el punto 2 anterior para algo parecido.)
24. La regresin secuencial ptima (stepwise regression), tal como se
practica corrientemente, no es ni inferencia ni teora inteligentes.
(Hacer ulteriores clculos condicionales con los ensayos de significacin
de clculos anteriores no produce las probabilidades implcitas con fines inferenciales. Todava no se conoce una prueba secuencial correcta. Alternativamente, el fijarse en todas las regresiones posibles simultneamente crea otro
problema de inferencia que tampoco se ha resuelto an: ver el problema 3.
Ms importante todava: la bsqueda de una regresin ms simplificada se
hace probablemente para usos prcticos en una nueva muestra. Nadie ha
mostrado que ninguna tcnica para reducir regresiones incluyendo el anlisis de varianza tal como se ha discutido anteriormente tenga ninguna
cualidad ptima para tratar el problema de la nueva muestra; ver el problema 2. Enfrentados con este estado de ignorancia inferencial, nada puede ser
ms prctico para lograr regresiones simplificadas que una teora sustantiva
para la estructura de la matriz entera de covarianzapredictante y predictor

118

MALOS USOS EN ESTADSTICA

juntos que puede probarse aproximadamente por los datos de la muestra.

La evidencia cros-validada emprica y matemticamente, indica que es interesante la bsqueda de un nmero mnimo de predictores para la prediccin
prctica. Demasiados predictores pueden dar predicciones sin valor en la
muestra siguiente; estropean una regresin al aadir ms error muestral que
otra cosa. Adems, unos simples pesos constantes para los predictores pueden ser mejores para la prediccin en una nueva muestra que lo puedan ser
los coeficientes de regresin de la muestra anterior, debido a la inestabilidad
de los coeficientes de regresin. Algunos autores consideran la regresin secuencial no como un problema prctico, sino como una herramienta terica
para comprobar las contribuciones de incrementos independientes a una
regresin. Al hacer esto caen en la trampa de la ortogonalidad discutida en
el problema 5, punto 12 y punto 24. El uso de la regresin secuencial es de
hecho una confesin de ignorancia terica en lo referente a la matriz de
correlacin. Si se conoce la estructura, las formas apropiadas de la regresin
se pueden predecir con anterioridad; simples ilustraciones de esto son las
inversas de las matrices de covarianza simplex y circumplex. Para el
desarrollo de teora sustantiva puede ser ms conveniente considerar la estructura de la matriz de covarianza como un todo, a la luz del diseo definicional de todas las variables implicadas. Ver el problema 6 y el punto 20.)
25.

La correlacin generalmente no indica causacin.

(Este hecho se ha enseado adecuadamente durante bastante tiempo. Pero

la esperanza brota eterna en algunos cuarteles sociolgicos: ver los puntos 26,
27, 39 y 40 sobre determinacin, explicacin, anlisis causal y anlisis de camino.)
26.

Un coeficiente de determinacin no indica determinacin.

(El cuadrado de un coeficiente de correlacin de Pearson o ratio de co

rrelacin se llama a menudo un coeficiente de determinacin, y con frecuencia se dice errneamente que expresa la proporcin de una variable que
es determinada por otras. Es obvio que cualquier variable puede tener correlaciones diferentes de cero en muchos contextos, por lo que la suma de
todas las proporciones de determinacin posibles para cualquier variable
dada es generalmente infinita. Se ensea corrientemente que la correlacin
no significa necesariamente causacin; por alguna razn, al cambiar la palabra causacin por determinacin se anula esta enseanza.)
27.

La proporcin (o porcentaje) de varianza nunca se explica.

(La palabra explicacin juega aqu el mismo papel que determinacin

o causacin en el punto anterior. Ninguna de estas palabras tiene un significado tcnico matemtico; su uso representa un deseo [wishful thinking]
acerca de la relativa predictibilidad de una variable en un contexto dado,

119

LOUIS GUTTMAN

que generalmente conduce a porcentajes de explicacin que suman varias

veces 100 por 100 para la variable en cuestin.)
28. La correlacin no determina el contenido.
(Al igual que la correlacin no implica causacin. De otra manera existira siempre una respuesta obvia a una pregunta como: supngase que, para
una poblacin dada, una variable X correlaciona .60 con la altura de la gente.
Cul es el contenido de la variable X?.)
29.

tem analysis no analiza items.

(Intenta simplemente ensayar la hiptesis desafiante! de que todas las correlaciones inter-tem son cero, y habitualmente a travs de una
tcnica de correlacin de puntuacin total de los items correcta. Igualmente
implica el buen deseo [wishful thinking] de que las correlaciones debieran determinar el contenido.)
30. La escalabilidad no debe ser deseada o construida.
(Decir que uno quiere construir una escala de actitudes hacia alguna
cosa, o de logro en algn rea es casi anlogo a decir que no quiere que
el mundo sea plano. Los items son las cosas a construir no la escalabilidad;
la escalabilidad es una hiptesis emprica para un universo de items en una
poblacin dada [normalmente una hiptesis alternativa a la hiptesis nula
de multidimensionalidad; ver el punto 3 3 ] . El rechazo de items que no
se ajustan a la unidimensionalidad es como rechazar la evidencia de que
el mundo es redondo.)
31. Si todas las correlaciones entre los items son positivas, ello no presupone la presencia de un solo factor comn (incluso cuando los coeficientes
son muy elevados).
(Al contrario, la observacin de que todas las correlaciones eran positivas
condujo a Charles Spearman a desarrollar y a desaprobar la hiptesis
de un solo factor comn para la inteligencia. De esta forma se desarroll el
anlisis del factor comn mltiple. Incluso cuando todas las intercorrelaciones
son muy altas del orden de 0.95 no se puede inferir nada sobre dimensionalidad a partir de esta sola informacin. Se puede hipotetizar que todas
las correlaciones sean positivas cuando las variables tienen un rango comn
considrese, por ejemplo, las primeras leyes de inteligencia y actitudes.
Un rango comn no debe confundirse con un factor comn.)
32. Que el nmero de factores comunes sea pequeo no es generalmente una hiptesis nula.
(Esto contina siendo una hiptesis desafiante en el campo de la inteligencia y de otras reas de la conducta social. Vase tambin el epgrafe
siguiente.)

120

MALOS USOS EN ESTADSTICA

33. La escalabilidad no es generalmente una hiptesis nula.

(Es por ello por lo que se ha desarrollado el anlisis del escalograma
multidimensional. Las distribuciones multivariantes de items en las ciencias
sociales, tanto estn basadas en diseos de observaciones intuitivas o formales, han mostrado ser generalmente multidimensionales en vez de unidimensionales. Hasta ahora nadie ha sugerido una explicacin bsica para un
universo de tems, y para la poblacin a observar a partir de l, segn la
cual la unidimensionalidad sea la regla en vez de la excepcin. Los editores
de libros de texto y revistas cientficas parecen desconocer el hecho de que
el anlisis de escalograma multidimensional puede ser ms apropiado que los
tan extendidos intentos por forzar la escalabilidad [ver el epgrafe 30].
El anlisis de escalograma multidimensional no debe confundirse con el llamado anlisis multidimensional de escalas, que ser discutido en el epgrafe 46.)
34. El espacio euclidiano puede definirse sin un sistema coordenado.
(En efecto, as es como lo hizo Euclides. Descartes vino unos siglos ms
tarde. Hoy se puede obtener una perspectiva conveniente libre de coordenadas a travs de ideas sobre vectores o distancias. Es curioso cmo algunos
editores de artculos que incluyen tcnicas de anlisis de datos como el Anlisis del Espacio Mnimo [Smallest Space Analysis] continan preguntando
por una presentacin y/o interpretacin de ejes coordenados, a pesar del
hecho de que tales ejes son completamente irrelevantes al problema. Ver tambin los puntos siguientes sobre anlisis factorial, y los puntos 46 y 47.)
35. El espacio euclidiano bidimensional posee un nmero infinito de
dimensiones.
(Esta es una de las razones por las que deben ensayarse hiptesis regionales, relacionadas con diseos de facetas, en vez de tratar de encontrar tan
slo un par de ejes coordenados significativos. Lo mismo se puede decir
en el caso de espacios n-dimensionales, euclidianos o no, cuando n > 2.)
36. Los autores que utilizan anlisis factorial no analizan, en la prctica, factores.
(No hallan una serie de puntuaciones de factores que, al mantenerse constantes, produzcan correlaciones condicionales de valor cero [o independencia
estadstica local] entre las variables observadas. Todo lo ms, analizan parcialmente la matriz de correlacin observada no las puntuaciones observadas al calcular los supuestos factores o coeficientes de saturacin [factor loadings] de los coeficientes para la reproduccin aproximada de aquella
matriz. Nadie ha demostrado la utilidad de los actuales clculos indirectos
de los coeficientes de saturacin de la matriz de correlacin observada, cuando el problema real es el de las puntuaciones observadas. Tampoco ha de-

121

LOUIS GUTTMAN

mostrado nadie que las matemticas subyacentes en las rutinas actuales del
ordenador sean consistentes con las matemticas de la teora de la puntuacin del factor [factor score theory]. Las matemticas del anlisis factorial
demuestran que aunque se fijan los coeficientes de saturacin de una manera
consistente, se continuar dejando abierta la cuestin de las puntuaciones de
factor que deben acompaar a los coeficientes de saturacin: existen generalmente soluciones de puntuaciones alternativas muy diferentes que son consistentes precisamente con los mismos coeficientes de saturacin. Muchos libros de texto no mencionan estos problemas de indeterminacin e inconsistencia de las puntuaciones de factor, que se encuentran en la base de la
teora analtica factorial, y los programas de ordenador existentes ignoran estos problemas.)
37.

El anlisis factorial no es un instrumento poderoso ni exploratorio.

(Llamar exploratorio al anlisis factorial equivale a afirmar que los

autores que utilizan anlisis factorial no practican anlisis factorial [ver el
punto anterior], sino algo para lo que no fue diseada la teora analtica
factorial. Las ideas no mtricas encajan mejor con fines exploratorios en algo
que no sea tan rgido como el marco de una teora factorial. Todo lo ms,
los analistas de factores exploran parcialmente la matriz de correlaciones
aunque esta matriz sea meramente incidental a la teora factorial al buscar un sistema de coordenadas para las variables sin tener que factorializar
puntuaciones para los individuos. Esta exploracin es bastante limitada; por
ejemplo: todos los programas de ordenador existentes etiquetados como anlisis factorial no dan informacin elemental sobre una matriz de correlacin:
son todos sus items de un signo o no? En esta cuestin del signo es donde
comenz histricamente el anlisis factorial: ver el punto 31 anterior. Se
ha olvidado la hiptesis de L. L. Thurstone de un positivo mltiple para
todos los signos positivos. Anlogamente, los programas no dan informacin
sistemtica sobre los tamaos relativos de los coeficientes de correlacin observados, y estn engranados siempre para pasar por alto una estructura simplex y otras configuraciones simples que se sabe que existen en diversas
matrices de correlacin emprica. Los programas tampoco se benefician de
ningn diseo tipo faceta para las variables observadas [incluyendo otros
diseos factoriales]. Todos estos analistas adoptan la posicin estrecha arbitraria de que un espacio euclidiano [para las variables] debe comprenderse en trminos de un sistema coordenado [ver el punto 34 anterior], cerrando sus ojos a otras posibilidades regionales y libres de coordenadas. Estn cegados por su insistencia en las coordenadas cartesianas, ignorando los
sistemas cilindricos y otros sistemas coordenados que han mostrado su utilidad en otras formas de anlisis de datos, si es que las coordenadas son
tiles para algo.)

122

MALOS USOS EN ESTADSTICA

38. La teora de las estructuras latentes no es una teora estructura!.

(Es una teora de desviacin de una estructura. El argumento principal
de esta perspectiva es que una poblacin puede estratificarse en subpoblaciones, dentro de cada una de las cuales se adquiere independencia estadstica
para el universo de los items. No forma parte de la teora el cmo estratificar o la especificacin estructural, y debe decidirse de nuevo para cada
problema a travs de consideraciones externas. Es por ello por lo que no
pueden haber programas de ordenador estndar para el anlisis de las estructuras latentes. En este y otros aspectos, el anlisis factorial y el anlisis
de las estructuras latentes pertenecen a la misma familia; en particular, ambos comparten el problema bsico de la indeterminacin de los valores estructurales o puntuaciones para los individuos, incluso despus de especificar la estructura sobre los items. Comparar con el punto 36.)
39.

El anlisis causal no analiza causas.

(Incluso no ofrece una definicin del trmino causa. Tampoco ofrece

una necesaria o suficiente condicin emprica para la prueba de la causalidad de las relaciones. Si se propusiese cualquiera de las dos condiciones,
conducira indudablemente a muchas cosas que seran causadas repetidas
veces [comprese con los puntos 27 y 40 sobre la explicacin de la varianza y
del anlisis de camino]. A pesar de ello, se ha producido un florecimiento de descubrimiento causales en sociologa a un ritmo desconocido en
el campo de las ciencias naturales. Virtualmente cada mes, las revistas actuales publican nuevos anlisis causales y modelos causales que sin duda
colocan a la sociologa a la cabeza de todas las ciencias en trminos de la
frecuencia de descubrimientos de relaciones fundamentales. De hecho, las
ciencias no sociolgicas se las han arreglado para seguir adelante sin causacin. Segn Sir Isaac Newton, la causacin pudiera ser que no denotase
siquiera un concepto cientfico.)
40. El anlisis de camino (path analysis) no analiza caminos no genticos.
(Sewall Wright sugiri inicialmente el anlisis de camino como un algoritmo para calcular varianzas genticas bajo ciertas condiciones cuando se
conoce el camino de herencia de genes de una generacin a otra. El trmino
path analysis ha sido tomado prestado por algunos investigadores para usos
no genticos, principalmente para referirse a algunos clculos lineales algebraicos para los que los caminos no existen aparte de la propia lgebra,
y sin ninguna definicin de lo que [anlogamente a los genes] se supone que
se transmite en el tiempo a lo largo del camino. Incluso en gentica, si
se introdujera el entorno en el anlisis de caminos, no existira una lgica
clara para el camino en el tiempo; al ampliar las ecuaciones genticas de esta
manera puede suponerse que los genes se modifican o se generan por el

123

LOUIS GUTTMAN

entorno. Unidades de tiempo y/o secuencias de generaciones estn generalmente ausentes de los anlisis de camino de datos sociolgicos y no genticos, a pesar del hecho de que el problema bsico en el estudio del movimiento en el tiempo sobre los caminos presuponindose que existen caminos conocidos para ser estudiados. La gentica slo tiene un modesto
marco para los caminos. Sin embargo, y de acuerdo con algunas revistas actuales, los socilogos continan descubriendo nuevos marcos de caminos fundamentales cada mes; y a los estudiantes graduados de sociologa se les obliga rutinariamente, como ejercicios de clase individuales, a que se manejen en
descubrimientos que igualen a los de Gregor Mendel. Ver tambin los puntos 27 y 39, sobre explicacin de la varianza y sobre anlisis causal.)
41.

Las regiones no son generalmente conglomerados (clusters).

(Dos puntos pertenecientes a regiones diferentes de un espacio, pueden

estar ms cerca entre s que dos puntos de una misma regin. Las regiones
para el anlisis de datos deben definirse usualmente a travs de consideraciones de contenido, no por anlisis tentativos de conglomerados de distancias entre puntos. Las regiones estn indicadas por y generalmente comparten puntos lmites, y no estn generalmente separadas por espacios vacos como sugiere el trmino conglomerados.)
42. La conglomeracin (clustering) no define el contenido.
(De igual forma que la correlacin no define el contenido. Un test verbal
y un test aritmtico pueden estar ms juntos entre s que lo puedan estar dos
tests aritmticos o dos tests verbales.)
43. No existe una definicin ampliamente aceptada del concepto conglomerado para el anlisis de datos.
(Difcilmente puede haber una, especialmente para las ciencias sociales,
dado que las teoras acerca de los espacios fsicos [incluyendo teoras no geogrficas y no ecolgicas] generalmente requieren continuidad, sin vacos o
separaciones claras entre las regiones del espacio social o psicolgico. Las
diversas tcnicas de anlisis de datos subsumidas bajo el nombre de anlisis
de conglomerados generalmente no justifican de una forma lgica por qu
deben esperarse conglomerados sistemticos, por lo que no existe una lgica
para su definicin. Se usa el trmino conglomerado cuando es ms apropiado el trmino regin, y adems requiere un criterio externo para la delineacin de los lmites. Ver el punto 41.)
44.

Las escalas nominales, de intervalo, y de ratios no son escalas.

(Una escala nominal est desordenada por definicin, por lo que no es

una escala por definicin, puesto que el orden es una parte esencial de la
nocin de una escala. En psicofsica, la escala de intervalos y la escala

124

MALOS USOS EN ESTADSTICA

de ratios son nombres para hiptesis acerca de algn aspecto de ciertas curvas de regresin experimentales. Algunos no-psicofsicos han tomado prestada esta terminologa desafortunada para contextos menos apropiados y
por supuesto indefinidos, y puede que desconozcan el problema de la regresin psicofsica experimental original. Existe un folklore ampliamente difundido acerca de reglas estadsticas mticas, que prohiben o permiten clculos
que incluyen escalas, siendo tales reglas independientes del contexto. Ver
el punto siguiente. Quiz los psicofsicos podran sugerir una palabra mejor
que escala para sus hiptesis de regresin bivariante.)
45.

No se requieren permisos en el anlisis de datos.

(Lo que se requiere es una funcin residual [loss function] para ser minimizada. Los autores suelen demandar reglas a priori sobre lo que est
permitido hacer con sus observaciones numricas, ordenadas o desordenadas, sin referencia a una funcin residual comprensiva para su problema. En
vez de ello, deberan decir al matemtico: aqu est mi funcin residual:
cmo hago para minimizarla? La minimizacin puede requerir el tratamiento
de datos desordenados de una forma numrica y los datos numricos de una
forma desordenada. Si el matemtico concede o retiene el permiso sin
referencia a una funcin residual, puede ser accesoria la ayuda al investigador
para escapar de la realidad de definir el problema de la investigacin.)
46. El anlisis de escalas multidimensionales no mtricas, no escala dimensiones.
(Todo lo ms, escala distancias. Transforma monotnicamente informacin
inter-puntos del tipo mtricamente-ordenada, en el lenguaje de Clyde Coombs,
en una funcin de distancia [Euclidea o no Euclidea] que relaciona puntos.
Warren Torgerson emple originalmente el trmino escalabilidad multidimenr
sional en un anlisis totalmente mtrico de distancias observadas entre puntos, con la intencin de escalar realmente dimensiones, esto es, de hallar
una serie de coordenadas, que fueran cada una de ellas significativas al anlisis factorial mtrico, y con la menor dimensionalidad, para reproducir los
coeficientes de distancia observados. Los intentos no mtricos de tratar las
desemejanzas se centran solamente en el aspecto de hallar un espacio de dimensionalidad mnima, y en este sentido estn libres de coordenadas. En efecto, el crecimiento acumulativo de hallazgos de estructuras que responden a
leyes en los tests de datos actitudinales y mentales entre otros ha sido
posible por el uso de conceptos regionales para el espacio mnimo, y no por
la bsqueda de dimensiones significativas. La escala se usa tcnicamente
tan slo para una variable unidimensional [la distancia es siempre unidimensional, incluso dentro de un espacio multidimensional], por lo que la escalabilidad multidimensional puede ser una terminologa contradictoria en contextos no mtricos y en otros libres de coordenadas. Puede resultar apropiado

125

LOUIS GUTTMAN

para el anlisis factorial de multifacetas [multi-modal], y para otras perspectivas que insisten en el hallazgo de dimensiones significativas. El trmino
es innecesariamente errneo en contextos en los que slo se intenta un anlisis
del espacio mnimo, confundiendo a los investigadores y editores de revistas de nuevo acerca del punto 34, anterior.)
47.

El nmero de facetas (facets) no determina la dimensionalidad.

(Considrese el ejemplo del diseo factorial de tres facetas del punto 23.
Si ninguno de los trminos en la tautologa tradicional tiene una varianza
cero, y si se mantiene la ortogonalidad, entonces la regresin tiene seis dimensiones ortogonales para las tres facetas. La hiptesis de que todas las interacciones desaparecen, equivale a la hiptesis de que la dimensionalidad de la
regresin no ser mayor que el nmero de facetas. Igualmente, en el anlisis
del espacio mnimo de una matriz de correlaciones, la dimensionalidad mnima obtenida no tiene necesariamente una conexin con el nmero de facetas de contenido en la frase tericamente diseada [mapping sentence] para
las observaciones: la dimensionalidad puede ser ms grande, igual, o ms pequea que el nmero de facetas. En efecto, uno de los problemas principales
en la construccin de teora sustantiva es el de racionalizar hiptesis viables
acerca de las relaciones de las facetas de contenido con la dimensionalidad, y
otros aspectos de los datos. Ver los puntos 20 y 50.)
48.

El anlisis de datos no mtricos es generalmente mtrico.

(El input puede ser completamente no numrico, o tambin un aspecto

no numrico de datos numricos; pero el output es generalmente un espacio
mtrico, a menudo un espacio euclideano. En el caso especial de que tanto el
input como el output sean mtricos, pero slo se conserva la mono tonicidad
como en el anlisis de espacios mnimos y otras tcnicas anlogas, el diagrama de Shepard realmente representa la naturaleza mtrica de la funcin
mono tnica implcita. En ltimo trmino, una funcin explcitamente monotnica podra especificarse como un resultado del anlisis: T. W. Anderson
hizo ya tal cosa en 1958 para el radex.)
49. En principio, no existe contradiccin entre el anlisis de datos mtricos y el anlisis de datos no mtricos.
(Cada anlisis mtrico consistente debe retener rasgos no mtricos del
input de datos, y simplemente aadir restricciones ulteriores. Esta es la razn
por la que un anlisis dedicado tan slo a aspectos no mtricos, da lugar a
un espacio ms pequeo que el anlisis mtrico ms restrictivo de los mismos
datos. Paradjicamente, cuando un anlisis mtrico aproximado puede calcularse ms rpidamente que un anlisis no mtrico, los clculos mtricos son
a menudo una primera aproximacin til en repeticiones hacia una solucin
no mtrica. Las diferencias en principio ocurren dentro de procedimientos

126

MALOS USOS EN ESTADSTICA

mtricos y, en consecuencia, dentro de los correspondientes procedimientos

no mtricos: diferencias sobre aspectos del input de datos debieran representarse en el output como puntos, como vectores, como distancias, como ngulos, como regiones, etc.)
50. Las funciones residuales (loss functions) utilizadas normalmente en
el anlisis de datos son incompletas.
(Los coeficientes de ajuste, tales como el de reproductibilidad, contigedad, alienacin, y similares basados bien en los mnimos cuadrados, en el
principio del valor absoluto, en el principio del rango de imagen, o cualquier
otro se utilizan indiscriminadamente en consideraciones de contenido. No
incorporan residuos asociados con alejamientos de una teora sustantiva sobre
la estructura de los datos, y consiguientemente necesitan una modificacin.
Ver el problema 6; tambin los puntos 20 y 47. En particular, estas deficiencias se mantienen en mi propio trabajo hasta ahora: pero espero gradualmente
remediar el asunto a la luz de los nuevos desarrollos en la teora de las facetas.)

127

NOTAS