ES MI DIFERENCIA SIGNIFICATIVA?

Curso: Probabilidad y estadstica

Articulo extrado de:
https://www.netquest.com/blog/es/blog/es/es-mi-diferencia-significativa

Es mi diferencia significativa?
En un post anterior tratbamos de explicar cmo debo decidir el tamao de una muestra para garantizar que
los datos que obtengo van a estar dentro de un margen de error controlado. Hoy vamos a tratar un tema
relacionado: cuando observo una diferencia en un dato de una encuesta, es esa diferencia estadsticamente
significativa?

Es real o es azar?
Es una pregunta que nos formulamos a menudo, incluso en situaciones de nuestra vida cotidiana. Supongamos
que normalmente voy a mi lugar de trabajo en coche por una ruta A y tardo 25 minutos de media. Durante un
mes decido probar una nueva ruta B y observo que tardo 23 minutos. Es realmente la ruta B ms rpida que
la ruta A? O por el contrario esa diferencia de 2 minutos se debe a la casualidad, por ejemplo, porque durante
esa semana el trfico ha sido especialmente fluido? Si la diferencia no se debe al azar, diremos que es una
diferencia estadsticamente significativa.

Situaciones en las que necesitamos estar seguros de que las diferencias que observamos no se explican por
puro azar son numerosas. Es la base del mtodo cientfico. Por ejemplo, pensemos en la investigacin mdica.
Tenemos un nuevo frmaco y queremos verificar si produce el efecto deseado. Para ello, administramos a una
muestra de personas el frmaco y comparamos los resultados con una muestra de personas que no han sido
tratadas, o mejor an, que han sido tratadas con un tratamiento placebo. Cuando obtengo los resultados,
necesito estar seguro de que el efecto curativo es real. Este tipo de pruebas son las que los productos
homeopticos no superan y la razn por la que la comunidad mdica nos los acepta como eficaces.

Con la llegada de internet, esta metodologa de trabajo se ha puesto ms de moda que nunca. Pensemos en
los tests A/B que se utilizan tan frecuentemente en el desarrollo de pginas web. Por ejemplo, tenemos una
web de comercio electrnico en la que el 5% de mis visitantes acaban comprando un producto. Quiero testar
si incrementar el tamao de las imgenes de los productos mejora las ventas. Hacer un test A/B consistira en
poner en funcionamiento una nueva versin de la web, mostrar aleatoriamente a los usuarios una de las dos
versiones y medir qu xito de ventas tiene cada una. Si la nueva web tiene un xito de ventas del 5,5%,
puedo estar seguro de que esa diferencia de 0,5% se debe a las imgenes ms grandes?

Para responder a estas cuestiones, la estadstica nos va a ser de utilidad. Necesitamos hacer un test de
hiptesis. Veamos cmo funciona.

Test de hiptesis
Para empezar, vamos a dar una idea intuitiva lo que estamos haciendo. Supongamos que hacemos una
encuesta a 100 hombres y a 100 mujeres preguntando si practican deporte. Analizando las respuestas,
observamos que el 40% de los hombres afirman practicar deporte frente al 30% de las mujeres. Podramos
representar este dato con el grfico siguiente.

Mdulo 12 1
Pero vimos en un post anterior que por el hecho de calcular una estadstica usando una muestra de gente en
lugar del universo completo, nuestro dato no va a ser preciso sino que estar dentro de un margen de error.
Este margen es mayor cuanta ms pequea es la muestra que empleamos. Por ello, sera ms correcto
representar el resultado de esta encuesta con un grfico como el siguiente.

En este grfico hemos representado la incertidumbre que tenemos acerca de los porcentajes de hombres y
mujeres que practican deporte. Cuando empleamos esta mirada, vemos que el margen de error de ambos
datos (hombres y mujeres) se solapa de forma considerable. En el ejemplo que hemos representado, el grfico
nos indica que es relativamente fcil que esa diferencia que observo entre hombres y mujeres no sea real,
sino que sea simplemente un efecto del error muestral que tengo por trabajar con una muestra reducida. La
porcin gris representa ese riesgo: es la probabilidad de que la diferencia se deba al error. Tendramos por lo
tanto una diferencia no significativa.

Cmo podra estar seguro de que la diferencia s es realmente significativa? Idealmente, si la diferencia entre
los datos de hombres y mujeres fuese mayor, de forma que el margen de error de cada dato se solapase mucho
menos, como se muestra en el siguiente grfico.

Obviamente, eso no depende de m. Por lo que, si quisiese tener mayor seguridad sobre si la diferencia es
significativa, tendra que trabajar con tamaos de muestra superiores. O dicho de otra manera, si la diferencia
esperada va a ser pequea, necesito trabajar con una muestra mayor, lo que genera un margen de error ms

Mdulo 12 2
pequeo y me permitir detectar diferencias significativas menores, tal y como se muestra en la grfica
siguiente.

Y esto se puede medir objetivamente? S, para eso se suele realizar un test de hiptesis, que es una prueba
objetiva sobre la causa de las diferencias.

Mdulo 12 3