¿ES MI DIFERENCIA SIGNIFICATIVA?

Curso: Probabilidad y estadística

Articulo extraído de:
https://www.netquest.com/blog/es/blog/es/es-mi-diferencia-significativa

¿Es mi diferencia significativa?

En un post anterior tratábamos de explicar cómo debo decidir el tamaño de una muestra para garantizar que
los datos que obtengo van a estar dentro de un margen de error controlado. Hoy vamos a tratar un tema
relacionado: cuando observo una diferencia en un dato de una encuesta, ¿es esa diferencia estadísticamente
significativa?

¿Es real o es azar?

Es una pregunta que nos formulamos a menudo, incluso en situaciones de nuestra vida cotidiana. Supongamos
que normalmente voy a mi lugar de trabajo en coche por una ruta A y tardo 25 minutos de media. Durante un
mes decido probar una nueva ruta B y observo que tardo 23 minutos. ¿Es realmente la ruta B más rápida que
la ruta A? ¿O por el contrario esa diferencia de 2 minutos se debe a la casualidad, por ejemplo, porque durante
esa semana el tráfico ha sido especialmente fluido? Si la diferencia no se debe al azar, diremos que es una
diferencia estadísticamente significativa.

Situaciones en las que necesitamos estar seguros de que las diferencias que observamos no se explican por
puro azar son numerosas. Es la base del método científico. Por ejemplo, pensemos en la investigación médica.
Tenemos un nuevo fármaco y queremos verificar si produce el efecto deseado. Para ello, administramos a una
muestra de personas el fármaco y comparamos los resultados con una muestra de personas que no han sido
tratadas, o mejor aún, que han sido tratadas con un tratamiento placebo. Cuando obtengo los resultados,
necesito estar seguro de que el efecto curativo es real. Este tipo de pruebas son las que los productos
homeopáticos no superan y la razón por la que la comunidad médica nos los acepta como eficaces.

Con la llegada de internet, esta metodología de trabajo se ha puesto más de moda que nunca. Pensemos en
los tests A/B que se utilizan tan frecuentemente en el desarrollo de páginas web. Por ejemplo, tenemos una
web de comercio electrónico en la que el 5% de mis visitantes acaban comprando un producto. Quiero testar
si incrementar el tamaño de las imágenes de los productos mejora las ventas. Hacer un test A/B consistiría en
poner en funcionamiento una nueva versión de la web, mostrar aleatoriamente a los usuarios una de las dos
versiones y medir qué éxito de ventas tiene cada una. Si la nueva web tiene un éxito de ventas del 5,5%,
¿puedo estar seguro de que esa diferencia de 0,5% se debe a las imágenes más grandes?

Para responder a estas cuestiones, la estadística nos va a ser de utilidad. Necesitamos hacer un test de
hipótesis. Veamos cómo funciona.

Test de hipótesis
Para empezar, vamos a dar una idea intuitiva lo que estamos haciendo. Supongamos que hacemos una
encuesta a 100 hombres y a 100 mujeres preguntando si practican deporte. Analizando las respuestas,
observamos que el 40% de los hombres afirman practicar deporte frente al 30% de las mujeres. Podríamos
representar este dato con el gráfico siguiente.

Módulo 12 1
Pero vimos en un post anterior que por el hecho de calcular una estadística usando una muestra de gente en
lugar del universo completo, nuestro dato no va a ser preciso sino que estará dentro de un margen de error.
Este margen es mayor cuanta más pequeña es la muestra que empleamos. Por ello, sería más correcto
representar el resultado de esta encuesta con un gráfico como el siguiente.

En este gráfico hemos representado la incertidumbre que tenemos acerca de los porcentajes de hombres y
mujeres que practican deporte. Cuando empleamos esta mirada, vemos que el margen de error de ambos
datos (hombres y mujeres) se solapa de forma considerable. En el ejemplo que hemos representado, el gráfico
nos indica que es relativamente fácil que esa diferencia que observo entre hombres y mujeres no sea real,
sino que sea simplemente un efecto del error muestral que tengo por trabajar con una muestra reducida. La
porción gris representa ese riesgo: es la probabilidad de que la diferencia se deba al error. Tendríamos por lo
tanto una diferencia no significativa.

¿Cómo podría estar seguro de que la diferencia sí es realmente significativa? Idealmente, si la diferencia entre
los datos de hombres y mujeres fuese mayor, de forma que el margen de error de cada dato se solapase mucho
menos, como se muestra en el siguiente gráfico.

Obviamente, eso no depende de mí. Por lo que, si quisiese tener mayor seguridad sobre si la diferencia es
significativa, tendría que trabajar con tamaños de muestra superiores. O dicho de otra manera, si la diferencia
esperada va a ser pequeña, necesito trabajar con una muestra mayor, lo que genera un margen de error más

Módulo 12 2
pequeño y me permitirá detectar diferencias significativas menores, tal y como se muestra en la gráfica
siguiente.

¿Y esto se puede medir objetivamente? Sí, para eso se suele realizar un test de hipótesis, que es una prueba
objetiva sobre la causa de las diferencias.

Módulo 12 3