CAPÍTULO 8

TEMAS A TENER EN CUENTA EN EL ANÁLISIS.

¿QUÉ ES UN RESULTADO EXPERIMENTAL?

En la mayoría de los experimentos, el investigador examina si el conjunto de puntos de datos del

grupo(s) experimental(es) muestra(n) un cambio en la media (o mediana) en comparación con el
grupo(s) de control. Sin embargo hay al menos otros tres tipos significativos puntos finales que
pueden darse y que debe comprobar en su experimento:

1. Un cambio en la varianza

2. Forma de la distribución de los datos

3. Un cambio en la forma en que los diferentes puntos de datos o resultados están

correlacionados entre sí.

PESCA DE DATOS, P-HACKING, HARKING, Y ANÁLISIS POST HOC

Esta forma de pensar está en desacuerdo con el tipo de criterio estadístico que se supone que
siguen los científicos: Es decir, si los datos muestran algunas diferencias entre grupos que alcanzan
la significación estadística, los científicos tienden a concluir que se trata de un hallazgo "real" y que
vale la pena informar sobre él, independientemente de que el hallazgo sea o no significativo.

Encontrar incidentalmente una diferencia significativa debería ser el impulso para iniciar una
investigación más profunda. La prueba estadística es el principio de un proceso, no el final.
Las pruebas estadísticas de hipótesis nulas sólo indican que es poco probable que la diferencia
observada se deba simplemente a un error de muestreo.

Una prueba estadística no le asegura que la diferencia sea científicamente significativa, que el
muestreo se haya realizado correctamente o que el efecto esté libre de sesgos o confusiones.

La práctica, que se denomina de diversas formas "dragado de datos", "pesca de datos" o "p-
hacking", es una de las principales fuentes de resultados falsos-positivos que aparecen en los
estudios de investigación. Está bien realizar múltiples pruebas exploratorias, siempre que se corrija
el umbral de nivel de significación para el número total de pruebas por pares realizadas se
investigue cualquier hallazgo incidental para obtener pruebas adicionales, que surjan de una
investigación nueva y más profunda.

Lo que tiene derecho a hacer es reexaminar sus datos brutos y ver si se puede emplear una mejor
limpieza de datos y el análisis de los datos para reducir la variabilidad dentro del grupo de control.
El número de datos que se van a analizar debe especificarse previamente al inicio del
experimento, tal y como se calcula en la estimación prospectiva de la potencia.

Otro tipo de pesca de datos se produce cuando el investigador no está seguro de qué medidas de
resultado son las más apropiadas, por lo que de los resultados más apropiados, por lo que prueba
los resultados de varias combinaciones.

PROBLEMAS ASOCIADOS A LA HETEROGENEIDAD

Un buen estudio científico tendrá en cuenta, de antemano, qué grupos son los más importantes o
relevantes para el estudio y tendrá en cuenta la heterogeneidad.

Cuando los resultados son heterogéneos varían, por supuesto.

Otra forma en que los resultados pueden ser heterogéneos en una población es cuando diferentes
sujetos siguen curvas de resultados diferentes. La distribución de los resultados, cuando se suman
en toda la población, puede producir una curva que sea multimodal o puede estar estirada.

Cuando diferentes sujetos siguen curvas diferentes, es muy probable que esto sea un indicio de
que existe algún tipo de heterogeneidad en la población.

En primer lugar, al trazar los datos, examine si su población está formada por subgrupos que se
comportan de forma diferente.

En segundo lugar, tenga en cuenta que las tendencias generales observadas en una población
pueden no aplicarse a alguno o a todos los subgrupos de esa población.

Y en tercer lugar, no se base simplemente en el pensamiento estadístico para analizar sus

resultados, sino que utilice un científico para considerar los mecanismos, las fuerzas motrices y las
causas que explican las tendencias observadas.

PROBLEMAS ASOCIADOS A LA NO DEPENDENCIA

Este es otro problema generalizado. Siempre que se tomen muestras en un experimento, incluso
de forma aleatoria, puede que no sean realmente independientes unos de otros.

El mayor problema surge cuando la probabilidad de muestreo de un sujeto determinado está

relacionada con interacciones con otros sujetos.
Los experimentos de observación son especialmente propensos al problema de la no
independencia.

EN RESUMEN

Una vez depurados los datos, hay que tener una "idea" de la población que se estudiada, sus
subgrupos, su heterogeneidad y las fuerzas que afectan a los resultados en cada subgrupo.
Analizar los datos no es simplemente una cuestión de elegir y realizar la prueba estadística
"correcta".