CAPÍTULO 6: TODO EL MUNDO ES UN LABORATORIO

La nota titulada "TODO EL MUNDO ES UN LABORATORIO", de Stephens, Seth fue tomada del libro
EVERYBODY LIES - BIG DATA, NEW DATA, AND WHAT THE INTERNET CAN TELL US
ABOUT WHO WE REALLY ARE, DEY ST. William Morrow, © 2017. Capítulo # 6 pp. 207-242.

Reproducido por INCAE para servir de base para la discusión en clase y no para ilustrar el manejo correcto
o incorrecto de una situación administrativa.

Alajuela, Costa Rica, marzo, 2021

DISTRIBUCIÓN RESTRINGIDA

Este material fue proporcionado por la Administración de Materiales Académicos (AMA) del Sistema de Bibliotecas - INCAE Business School,
para ser usado exclusivamente en el Curso: Predictive Analytics: How to Enable Better Business Decisions - EMERITUS DEGREE
por el Profesor Florian Federspiel, 2021-06-04 - 2021-12-31. Contacto: casos@incae.edu
 6

TODO EL MUNDO ES UN LABORATORIO

El 27 de febrero de 2000 empezó como un día cualquiera en el campus de Google en Mountain View.
El sol brillaba, los ciclistas pedaleaban, los masajistas daban masajes, los empleados se hidrataban con
agua de pepino. Y entonces, en este día común y corriente, unos cuantos ingenieros de Google tuvieron
una idea que desveló el secreto que hoy impulsa gran parte de la internet. Los ingenieros encontraron la
mejor manera de hacer que el usuario haga clic, vuelva y permanezca en sus sitios.
Antes de describir lo que hicieron, tenemos que hablar de correlación frente a causalidad, una
cuestión enorme en el análisis de datos, y que todavía no hemos abordado adecuadamente.
Los medios de comunicación nos bombardean a diario con estudios basados en correlaciones. Por
ejemplo, nos han dicho que los que beben una cantidad moderada de alcohol tienden a tener mejor
salud. Eso es una correlación.
¿Significa esto que beber una cantidad moderada mejorará la salud? Puede que no. Puede que la buena
salud haga que la gente beba una cantidad moderada. Los científicos sociales llaman a esto causalidad
reveladora. O puede ser que haya un factor independiente que provoque tanto el consumo moderado de
alcohol como la buena salud. Por ejemplo, pasar mucho tiempo con los amigos conduce tanto al consumo
moderado de alcohol como a la buena salud. Los científicos sociales lo llaman sesgo de variable omitida.
Entonces, ¿cómo podemos establecer con mayor precisión la causalidad? El patrón oro es un experimento
controlado y aleatorio. Así es como funciona. Se divide a la gente al azar en dos grupos. A uno, el grupo de
tratamiento, se le pide que haga o tome algo. Al otro, el grupo de control, no. A continuación, se observa la
respuesta de cada grupo. La diferencia de resultados entre los dos grupos es el efecto causal.
Por ejemplo, para comprobar si el consumo moderado de alcohol provoca una buena salud, se podría
elegir aleatoriamente a algunas personas para que bebieran un vaso de vino al día durante un año, y a otras
para que no bebieran alcohol durante un año, y luego comparar la salud declarada de ambos grupos. Dado
que las personas fueron asignadas al azar a los dos grupos, no hay razón para esperar que un grupo tenga
mejor salud inicial o haya socializado más. Se puede confiar en que los efectos del vino son causales. Los
experimentos controlados y aleatorios son la evidencia más fiable en cualquier campo. Si una píldora puede
pasar un experimento aleatorio y controlado, puede ser dispensada a la población en general. Si no puede
pasar esta prueba, no llegará a los estantes de la farmacia.
Los experimentos aleatorios también se utilizan cada vez más en las ciencias sociales. Esther Duflo,
economista francesa del MIT, ha liderado la campaña para un mayor uso de los experimentos en la
economía del desarrollo, un campo que trata de averiguar las mejores formas de ayudar a los más pobres
del mundo. El estudio de Duflo, con sus colegas, sobre cómo mejorar la educación en la India rural,
donde más de la mitad de los estudiantes de secundaria no pueden leer una simple frase. Una de las posibles razones por
las que los alumnos tienen tantos problemas es que los profesores no acuden a clase con regularidad. En un día cualquiera,
más del 40% de los profesores de las escuelas rurales de la India están ausentes.
¿La prueba de Duflo? Ella y sus colegas dividieron aleatoriamente las escuelas en dos grupos. En
uno de ellos (el grupo de tratamiento), además de su sueldo base, los profesores recibían una pequeña
cantidad -50 rupias, o unos 1.15 dólares- por cada día que acudían a trabajar. Los resultados fueron
notables. Cuando se pagó a los profesores, el absentismo se redujo a la mitad. El rendimiento de los
alumnos en los exámenes también mejoró sustancialmente, con los mayores efectos en las chicas
jóvenes. Al final del experimento, las niñas de las escuelas en las que se pagaba a los profesores por
asistir a clase tenían 7 puntos porcentuales más de probabilidades de saber escribir.
Según un artículo del New Yorker, cuando Bill Gates conoció el trabajo de Duflo, quedó tan
impresionado que le dijo: "Tenemos que financiarte".

LOS ABCS DE LAS PRUEBAS A/B

Así que los experimentos aleatorios son el estándar de oro para probar la causalidad, y su uso se ha
extendido por las ciencias sociales. Lo que nos lleva de nuevo a las oficinas de Google el 27 de febrero
de 2000. ¿Qué hizo Google ese día que revolucionó internet?
Ese día, unos ingenieros decidieron realizar un experimento en el sitio de Google. Dividieron
aleatoriamente a los usuarios en dos grupos. Al grupo de tratamiento se le mostraron veinte enlaces en las
páginas de resultados de búsqueda. Al grupo de control se le mostraron los diez habituales. Los ingenieros
compararon la satisfacción de los dos grupos en función de la frecuencia con la que volvían a Google.
¿Esto es una revolución? No parece tan revolucionario. Ya he señalado que las empresas
farmacéuticas y los científicos sociales han utilizado experimentos aleatorios. ¿Por qué es tan
importante copiarlos?
El punto clave -y los ingenieros de Google se dieron cuenta rápidamente- es que los experimentos en el
mundo digital tienen una enorme ventaja con respecto a los experimentos en el mundo offline. Por muy
convincentes que sean los experimentos aleatorios fuera de línea, también requieren muchos recursos. Para
el estudio de Duflo hubo que ponerse en contacto con las escuelas, organizar la financiación, pagar a los
profesores y realizar las pruebas a todos los estudiantes. Los experimentos fuera de línea pueden costar miles
o cientos de miles de dólares y tardar meses o años en realizarse.
En el mundo digital, los experimentos aleatorios pueden ser baratos y rápidos. No es necesario
reclutar y pagar a los participantes. En su lugar, puedes escribir una línea de código para asignarlos
aleatoriamente a un grupo. No es necesario que los usuarios llenen encuestas. En su lugar, puedes medir
los movimientos del mouse y los clics. No necesita codificar a mano y analizar las respuestas. Puedes
crear un programa que lo haga automáticamente. No tienes que ponerse en contacto con nadie. Ni
siquiera tienes que decir a los usuarios que forman parte de un experimento.
Este es el cuarto poder del big data: hace que los experimentos aleatorios, que pueden encontrar verdaderos
efectos causales, sean mucho, mucho más fáciles de llevar a cabo, en cualquier momento, más o menos en
cualquier lugar, siempre que se esté en línea. En la era del big data todo el mundo es un laboratorio.
Esta idea se extendió rápidamente por Google y luego por el resto de Silicon Valley, donde los
experimentos controlados aleatorios han pasado a llamarse "pruebas A/B". En 2011, los ingenieros de
Google realizaron siete mil pruebas A/B. Y esta cifra no hace más que aumentar.
 Si Google quiere saber cómo conseguir que más personas hagan clic en los anuncios de sus sitios,
puede probar con dos tonos de azul en los anuncios: un tono para el Grupo A y otro para el Grupo B.
Así, Google puede comparar las tasas de clic. Por supuesto, la facilidad de estas pruebas puede llevar a
un uso excesivo. Los empleados de Sorne consideraron que, como las pruebas eran tan sencillas, Google
estaba experimentando en exceso. En 2009, un diseñador frustrado renunció a su puesto después de que
Google probara cuarenta y un tonos de azul ligeramente diferentes en las pruebas de NB. Pero la postura
de este diseñador a favor del arte sobre la investigación obsesiva del mercado no ha servido para detener
la difusión de la metodología.
Facebook realiza ahora mil pruebas A/B al día, lo que significa que un pequeño número de ingenieros
de Facebook inicia más experimentos aleatorios y controlados en un día determinado que toda la
industria farmacéutica en un año.
Las pruebas A/B se han extendido más allá de las grandes empresas tecnológicas. Un antiguo empleado
de Google, Dan Siroker, llevó esta metodología a la primera campaña presidencial de Barack Obama, que
realizó pruebas A/B de los diseños de la página de inicio, los envíos de correo electrónico y los formularios
de donación. Después, Siroker creó una nueva empresa, Optimizely, que permite a las organizaciones realizar
pruebas rápidas de NB. En 2012, Optimizely fue utilizada tanto por Obama como por su oponente, Mitt
Romney, para maximizar las inscripciones, los voluntarios y las donaciones. También lo utilizan empresas
tan diversas como Netflix, TaskRabbit y la revista New York.
Para ver lo valiosas que pueden ser las pruebas, consideremos cómo Obama las utilizó para conseguir
que más gente se comprometiera con su campaña. La página de inicio de Obama incluía inicialmente
una foto del candidato y un botón debajo de la foto que invitaba a la gente a "Registrarse".

¿Era ésta la mejor manera de saludar a la gente? Con la ayuda de Siroker, el equipo de Obama pudo
probar si una imagen y un botón diferentes podrían hacer que más personas se inscribieran. ¿Habría
más gente que hiciera clic si la página de inicio tuviera una foto de Obama con una cara más solemne?
¿Habría más gente que hiciera clic si el botón dijera "Únete ahora"? El equipo de Obama mostró a los
usuarios diferentes combinaciones de imágenes y botones y midió cuántos de ellos hicieron clic en el
botón. A ver si puedes predecir la imagen y el botón ganadores.
Imágenes probadas
Botones probados

La ganadora fue la foto de la familia de Obama y el botón "Aprende más". Y la victoria fue enorme.
Al utilizar esa combinación, la campaña de Obama consiguió un 40% más de personas inscritas, lo que
supuso unos 60 millones de dólares de financiación adicional.

Combinación ganadora
 WE CAN BEL VE IN

El hecho de que todas estas pruebas A/B sean tan baratas y sencillas tiene otra gran ventaja: nos libera de
la dependencia de nuestra intuición, que, como se ha señalado en el Capítulo 1, tiene sus limitaciones. Una
razón fundamental de la importancia de las pruebas A/B es que las personas son imprevisibles. Nuestra
intuición a menudo no predice cómo van a responder.
¿Era correcta tu intuición sobre el sitio web óptimo de Obama?
Aquí tienes más pruebas para tu intuición, El Boston Globe hace una prueba de titulares para
averiguar cuáles son los que consiguen que más gente haga clic en una noticia. Intenta adivinar los
ganadores a partir de estos pares:

UNO DE ESTOS TITULARES ERA MUCHO MEJOR QUE EL OTRO PARA CONSEGUIR CLICS.
TITULAR A TITULAR B
¿Puede el dron SnotBot salvar a las ¿Puede este dron ayudar a salvar a las
ballenas? ballenas?
Por supuesto, "balones desinflados" es uno Este top de Google es bastante vergonzoso
de los términos más buscados en
Massachusetts

El concurso de ligues en el centro del juicio No hay cargos en el escándalo sexual de la

por violación de St. Paul
Una mujer hace gana mucho dinero con una
rara tarjeta de béisbol
La MBTA prevé que el déficit anual de
explotación se duplique en 2020
Cómo Massachussetts ayudó a ganar el
derecho de acceso al control de la natalidad
Cuando se abrió el primer metro en Boston
La víctima y su familia en el juicio por
violación en una secundaria culpan a la
cultura tóxica
Un tipo con sombrero "Free Brady" es el
único capaz de frustrar la broma de Miley
Cyrus
escuela preparatoria
Una mujer gana 179.000 dólares con una
rara tarjeta de béisbol
Prepárate: el déficit de la MBTA está a punto
de duplicarse
Cómo la Universidad de Boston ayudó a
acabar con los "crímenes contra la castidad"
Caricaturas de cuando se abrió el primer
metro en Boston
La víctima y su familia en el juicio por
violación en una secundaria publican un
comunicado
Un fan de los Pats reconoce a Miley Cyrus
de incógnito
-""'j

.
 ¿Has terminado de adivinar? Las respuestas están en negritas abajo.

TITULAR A TITULAR B ¿GANADOR?

1. ¿Puede el dron SnotBot
salvar a las ballenas?
2. Por supuesto, "balones
desinflados" es uno de los
términos más buscados en
Massachusetts
¿Puede este dron ayudar a 53% más clics para A
salvar a las ballenas?
Este top de Google es 986% más clics para
bastante vergonzoso B

TITULAR A TITULAR B ¿GANADOR?

3. El concurso de ligues en el
centro del juicio por
violación de St. Paul
4. Una mujer hace gana
mucho dinero con una
rara tarjeta de béisbol
5. La MBTA prevé que el
déficit anual de explotación
se duplique en 2020
6. Cómo Massachussetts
ayudó a ganar el derecho
de acceso al control de la
natalidad
7. Cuando se abrió el primer
metro en Boston
8. La víctima y su familia en el
juicio por violación en una
secundaria culpan a la
cultura tóxica
9. Un tipo con sombrero "Free
Brady" es el único capaz de
frustrar la broma de Miley
Cyrus
No hay cargos en el 108% más clics para
escándalo sexual de la B
escuela preparatoria
Una mujer gana 179.000 38% más clics para A
dólares con una rara
tarjeta de béisbol
Prepárate: el déficit de la 62% más clics para B
MBTA está a punto de
duplicarse
Cómo la Universidad de 188% más clics para
Boston ayudó a acabar B
con los "crímenes contra
la castidad"
Caricaturas de cuando se 33% más clics para A
abrió el primer metro en
Boston
La víctima y su familia en 76% más clics para B
el juicio por violación en
una secundaria publican
un comunicado
Un fan de los Pats 67% más clics para B
reconoce a Miley Cyrus
de incógnito

Preveo que acertaste más de la mitad, quizá pensando en lo que harías clic. Pero es probable que no hayas
acertado en todas ellas.
¿Por qué? ¿Qué te faltó? ¿Qué conocimientos sobre el comportamiento humano te faltaron? ¿Qué
lecciones puedes aprender de tus errores?
Solemos hacer preguntas como estas después de hacer malas predicciones.
Pero fíjate en lo difícil que es sacar conclusiones generales de los titulares del Globo. En la primera
prueba de titulares, el cambio de una sola palabra, "esto", por "SnotBot", condujo a una gran victoria.
Esto podría sugerir que ganan más detalles. Pero en el segundo titular, "balones desinflados", el término
detallado, pierde. En el cuarto titular, “gana mucho dinero” supera la cifra de 179,000 dólares. Esto
podría sugerir que los términos del argot ganan. Pero el término argot "concurso de ligues" pierde en el
tercer titular.
 La lección de las pruebas A/B, en gran medida, es que hay que desconfiar de las lecciones generales.
Clark Benson es el director general de ranker.com, un sitio de noticias y entretenimiento que se basa en
gran medida en las pruebas A/B para elegir las líneas de negocio y el diseño del sitio. "Al final del día
no puedes asumir nada”, dice Benson. "Hay que probar literalmente todo".
Las pruebas llenan las lagunas de nuestra comprensión de la naturaleza humana. Estas lagunas
siempre existirán. Si supiéramos, basándonos en nuestra experiencia vital, cuál sería la respuesta, las
pruebas no tendrían valor. Pero no lo sabemos, así que lo tienen.
Otra razón por la que las pruebas A/B son tan importantes es que los cambios aparentemente
pequeños pueden tener grandes efectos. Como dice Benson, "no dejo de sorprenderme con factores
menores, de poca importancia, que tienen un valor descomunal en las pruebas".
En diciembre de 2012, Google cambió sus anuncios. Añadieron una flecha hacia la derecha rodeada
de un cuadrado.

Fíjate en lo extraña que es esta flecha. Apunta hacia la derecha, a absolutamente nada. De hecho,
cuando estas flechas aparecieron por primera vez, muchos clientes de Google se mostraron críticos. Se
preguntaban por qué añadían flechas sin sentido al anuncio.

Bueno, Google protege sus secretos comerciales, así que no dijeron exactamente cuál era el valor
de las flechas. Pero sí dijeron que estas flechas habían ganado en las pruebas A/B. La razón por la que
Google las añadió es que consiguieron que mucha más gente hiciera clic. Y este cambio menor,
aparentemente sin sentido, hizo que Google y sus socios publicitarios ganaran mucho dinero.

Entonces, ¿cómo se pueden encontrar estos pequeños ajustes que producen grandes beneficios?
Hay que probar muchas cosas, incluso muchas que parecen triviales. De hecho, los usuarios de Google
han observado en numerosas ocasiones que los anuncios se han modificado un poco para volver a su
forma anterior. Sin darse cuenta, se han convertido en miembros de grupos de tratamiento en las
pruebas A/B, pero a costa únicamente de ver estas ligeras variaciones.
 Las variaciones anteriores nunca llegaron a las masas. Perdieron. Pero formaron parte del proceso de
elección de los ganadores. El camino hacia una flecha clicable está pavimentado con feas estrellas,
posicionamientos defectuosos y fuentes artificiales.

Puede ser divertido adivinar lo que hace que la gente haga clic. Y si eres demócrata, puede ser agradable
saber que las pruebas hicieron que Obama ganara más dinero. Pero hay un lado oscuro en las pruebas A/B.
En su excelente libro Irresistible, Adam Alter escribe sobre el aumento de las adicciones al
comportamiento en la sociedad contemporánea. A muchas personas les resulta cada vez más difícil
desconectarse de internet.
Mi conjunto de datos favorito, las búsquedas en Google, puede darnos algunas pistas sobre lo que la
gente considera más adictivo. Según Google, la mayoría de las adicciones siguen siendo aquellas con
las que la gente ha luchado durante muchas décadas: las drogas, el sexo y el alcohol, por ejemplo. Pero
internet está empezando a hacerse notar en la lista: "porno" y "Facebook" están ahora entre las diez
principales adicciones declaradas.

PRINCIPALES ADICCIONES REPORTADAS A

GOOGLE, 2016
Drogas Azúcar
Sexo Amor
Porno Apuestas
Alcohol Facebook

Las pruebas A/B pueden contribuir a que internet sea tan adictivo.
Tristan Harris, un "ético del diseño", fue citado en Irresistible explicando por qué a la gente le cuesta
tanto resistirse a ciertos sitios de internet: "Hay mil personas al otro lado de la pantalla cuyo trabajo es
romper la autorregulación que tienes".
Y estas personas están utilizando pruebas A/B.
A través de las pruebas, Facebook puede darse cuenta de que hacer que un botón concreto sea de un color determinado
hace que la gente vuelva a su sitio con más frecuencia. Así que cambian el botón a ese color. También puede descubrir
que un tipo de letra determinado hace que la gente vuelva a su sitio con más frecuencia. Así que cambian el texto a ese
tipo de letra. Entonces se dan cuenta de que enviar un correo electrónico a la gente a una hora determinada hace que
vuelvan a su sitio más a menudo. Así que envían correos electrónicos a esa hora.
Muy pronto, Facebook se convierte en un sitio optimizado para maximizar el tiempo que la gente
pasa en Facebook. En otras palabras, encuentra suficientes ganadores de las pruebas A/B y tendrás un
sitio adictivo. Es el tipo de retroalimentación que las compañías de cigarrillos nunca tuvieron.
Las pruebas A/B son cada vez más una herramienta de la industria de los videojuegos. Como explica Alter, World of
Warcraft hace pruebas A/B con varias versiones de su juego. Una misión puede pedirte que mates a alguien. Otra puede
pedirte que salves algo. Los diseñadores del juego pueden dar diferentes muestras de las distintas misiones de los
jugadores y luego ver cuáles mantienen a más gente jugando. Podrían descubrir, por ejemplo, que la misión que te pide
salvar a una persona hace que la gente vuelva un 30% más a menudo. Si prueban muchas, muchas misiones, empiezan a
encontrar más y más ganadores. Estas victorias del 30% se acumulan, hasta que tienen un juego que mantiene a muchos
hombres adultos encerrados en el sótano de sus padres.
Si esto te molesta un poco, estoy contigo. Y hablaremos un poco más sobre las implicaciones éticas
de este y otros aspectos de big data cerca del final de este libro. Pero para bien o para mal, la
experimentación es ahora una herramienta crucial en el kit de herramientas de los científicos de datos.
Y hay otra forma de experimentación en ese kit de herramientas. Se ha utilizado para plantear una serie
de preguntas, entre ellas si los anuncios de televisión realmente funcionan.

EXPERIMENTOS CRUELES-PERO ESCLARECEDORES-DE LA NATURALEZA

Es el 22 de enero de 2012, y los Patriotas de Nueva Inglaterra están jugando contra los Cuervos de
Baltimore en el juego de Campeonato de la Conferencia Americana.
Queda un minuto de juego. Los Cuervos están abajo, pero tienen el balón. Los próximos sesenta segundos
determinarán qué equipo jugará en la Super Bowl. Los próximos sesenta segundos ayudarán a sellar los legados de los
jugadores. Y el último minuto de este partido hará algo que, para un economista, es mucho más profundo: los últimos
sesenta segundos ayudarán a decirnos finalmente, de una vez por todas, ¿Funcionan los anuncios?
La idea de que los anuncios mejoran las ventas es obviamente crucial para nuestra economía. Pero
es muy difícil de demostrar. De hecho, este es un ejemplo de libro de texto de lo difícil que es distinguir
entre correlación y causalidad.
No hay duda de que los productos que más se anuncian son los que más venden. Twentieth Century Fox
gastó 150 millones de dólares en la comercialización de la película Avatar, que se convirtió en la más
taquillera de todos los tiempos. Pero ¿qué parte de los $2,700 millones de dólares en ventas de entradas de
Avatar se debieron al intenso marketing? Parte de la razón por la que 20th Century Fox gastó tanto dinero
en promoción fue, presumiblemente, que sabían que tenían un producto deseable.
Las empresas creen saber la eficacia de sus anuncios. Los economistas se muestran escépticos de que
realmente lo sepan. El profesor de economía de la Universidad de Chicago Steven Levitt, mientras
colaboraba con una empresa de electrónica, se sintió decepcionado cuando la empresa trató de
convencerle de que sabía cuánto funcionaban sus anuncios. ¿Cómo, se preguntaba Levitt, podían estar
tan seguros?
La empresa explicó que, cada año, en los días previos al Día del Padre, aumentan su gasto en publicidad
televisiva. Efectivamente, todos los años, antes del Día del Padre, tienen las mayores ventas. Quizá sea
porque muchos niños compran aparatos electrónicos para sus padres, sobre todo para regalar el Día del Padre,
independientemente de la publicidad.
"Entendieron la causalidad completamente al revés", dice Levitt en una conferencia. Al menos, puede
que lo hayan hecho. Nosotros no lo sabemos. "Es un problema realmente difícil", añade Levitt.
A pesar de lo importante que es resolver este problema, las empresas son reacias a realizar
experimentos rigurosos. Levitt trató de convencer a la empresa de electrónica de que realizara un
experimento controlado y aleatorio para conocer con precisión la eficacia de sus anuncios de televisión.
Como todavía no es posible realizar pruebas NB en la televisión, habría que ver qué ocurre sin
publicidad en determinadas zonas.
Esta es la respuesta de la empresa: "¿Estás loco? No podemos no hacer publicidad en veinte
mercados. El director general nos mataría". Eso puso fin a la colaboración de Levitt con la empresa.
Lo que nos lleva de nuevo al partido Patriotas-Cuervos. ¿Cómo pueden los resultados de un partido
de fútbol americano ayudarnos a determinar los efectos causales de la publicidad? Bueno, no puede
decirnos los efectos de una campaña publicitaria concreta de una empresa concreta. Pero sí puede
aportar pruebas sobre los efectos medios de los anuncios de muchas campañas grandes.
 Resulta que hay un experimento publicitario oculto en juegos como este. Así es como funciona.
Cuando se juegan estos partidos del campeonato, las empresas ya compraron y produjeron sus anuncios
para el Super Bowl. Cuando las empresas deciden qué anuncios publicar, no saben qué equipos jugarán
en el partido.
Sin embargo, los resultados de la eliminatoria tendrán un gran impacto en quién ve realmente el
Super Bowl. Los dos equipos que finalmente clasifiquen aportarán una enorme cantidad de
espectadores. Si Nueva Inglaterra, que juega cerca de Boston, gana, mucha más gente de Boston verá
el Super Bowl que la gente de Baltimore. Y viceversa.
Para las empresas, es el equivalente a tirar una moneda al aire para determinar si decenas de miles de personas más
en Baltimore o Boston estarán expuestas a su publicidad, una tirada que se producirá después de comprar y producir sus
anuncios.
Ahora, de vuelta al campo, donde Jim Nantz en la CBS está anunciando los resultados finales de este experimento.

Aquí viene Billy Cundiff para empatar este juego, y, con toda probabilidad, enviarlo a tiempos extra. Los últimos dos
años, dieciséis de dieciséis en goles de campo. Treinta y dos yardas para empatar. Y la patada. ¡Cuidado! ¡Cuidado! No
es bueno… Y los Patriotas se arrodillan y ahora emprenderán el viaje a lndianápolis. Se dirigen al Super Bowl Cuarenta y Seis.
Dos semanas más tarde, el Super Bowl XLVI obtendría un 60.3 de audiencia en Boston y un 50.2 en Baltimore.
Sesenta mil personas más en Boston verían los anuncios de 2012.
Al año siguiente, los mismos dos equipos se enfrentarían por el Campeonato de la Conferencia Americana. Esta vez, Baltimore
ganaría. Las exposiciones publicitarias adicionales para los anuncios del Super Bowl 2013 se verían en Baltimore.

2012 ÍNDICES DE AUDIENCIA DEL 2013 ÍNDICE AUDIENCIA DEL SUPER

SUPER BOWL (JUEGA BOSTON) BOWL (JUEGA BALTIMORE)
Boston 56.7 48.0
Baltimore 47.9 59.6

Hal Varian, economista jefe de Google; Michael D. Smith, economista de Carnegie Mellan; y yo utilizamos estos dos
partidos y todas los demás Super Bowls desde 2004 hasta 2013 para comprobar si los anuncios del Super Bowl funcionan
-y, en caso afirmativo, en qué medida-. En concreto, analizamos si cuando una empresa anuncia una película en el Super
Bowl se produce un gran aumento en la venta de entradas en las ciudades con mayor audiencia durante el partido.
En efecto, lo hacen. Los habitantes de las ciudades de los equipos que se clasifican para el Super Bowl
asisten a las películas que se anuncian durante el Super Bowl en una proporción significativamente mayor
que los de las ciudades de los equipos que no clasifican. Más personas en esas ciudades vieron el anuncio.
Más personas en esas ciudades decidieron ir a ver la película.
Una explicación alternativa podría ser que el hecho de que un equipo se anuncie en el Super Bowl hace
que sea más probable ir a ver películas. Sin embargo, probamos un grupo de películas con presupuestos
similares y estrenadas en fechas parecidas, pero que no se anunciaban en el Super Bowl. No hubo mayor
asistencia en las ciudades de los equipos del Super Bowl.
Vale, como habrás adivinado, los anuncios funcionan. Esto no es demasiado sorprendente.
Pero no es solo que funcionen. Los anuncios fueron increíblemente eficaces. De hecho, cuando vimos
por primera vez los resultados, los comprobamos dos, tres y cuatro veces para asegurarnos de que eran
correctos, porque los beneficios eran muy grandes. La empresa media de nuestra muestra pagó unos 3
millones de dólares por un espacio publicitario en el Super Bowl. Obtuvieron 8.3 millones de dólares
por el aumento de la venta de entradas, lo que supone un retorno de inversión de 2.8 a 1.
Este resultado fue confirmado por otros dos economistas, Wesley R. Hartmann y Daniel Klapper, que, de forma
independiente y con anterioridad, dieron con una idea similar. Estos economistas estudiaron los anuncios de cerveza y
refrescos emitidos durante el Super Bowl, aprovechando también el aumento de la exposición publicitaria en las ciudades
de los equipos que se clasifican. Encontraron un retorno de la inversión de 2.5 a 1. Por muy caros que sean estos anuncios
del Super Bowl, nuestros resultados y los suyos sugieren que son tan eficaces para aumentar la demanda que las empresas
están pagando mucho menos por ellos.
¿Y qué significa todo esto para nuestros amigos de la empresa de electrónica con la que Levitt había trabajado? Es
posible que los anuncios del Super Bowl sean más rentables que otras formas de publicidad. Pero al menos nuestro
estudio sugiere que toda esa publicidad del Día del Padre es probablemente una buena idea.

Una virtud del experimento del Super Bowl es que no fue necesario asignar intencionadamente a nadie a los grupos de
tratamiento o de control. Sucedió a partir de los rebotes afortunados en un campo de fútbol. Sucedió, en otras palabras,
de forma natural. ¿Por qué es esto una ventaja? Porque los experimentos no naturales y controlados al azar, aunque son
súper potentes y más fáciles de realizar en la era digital, no siempre son posibles.
A veces no conseguimos que la respuesta llegue a tiempo. A veces, como en el caso de la empresa
de electrónica que no quiso hacer un experimento con su campaña publicitaria, estamos demasiado
interesados en la respuesta como para probarla.
A veces los experimentos son imposibles. Supongamos que te interesa saber cómo responde un país al
perder a un líder. ¿Va a la guerra? ¿Deja de funcionar su economía? ¿No cambia gran cosa? Obviamente, no
podemos matar a un número significativo de presidentes y primeros ministros y ver qué pasa. Eso sería no
solo imposible sino inmoral. Las universidades han creado, a lo largo de muchas décadas, juntas de revisión
institucional (IRB) que determinan si un experimento propuesto es ético.
Así que si queremos conocer los efectos causales en un determinado escenario y no es ético o no es factible hacer un
experimento, ¿qué podemos hacer? Podemos utilizar lo que los economistas -definiendo la naturaleza de forma
suficientemente amplia para incluir los partidos de fútbol- llaman experimentos naturales.
Para bien o para mal (vale, claramente para mal), hay un enorme componente de azar en la vida. Nadie sabe con
certeza qué o quién está a cargo del universo. Pero una cosa está clara: quienquiera que esté dirigiendo el espectáculo -
las leyes de la mecánica cuántica, Dios, un chico con granos en su ropa interior que simula el universo en una
computadora bis- no va a pasar por la aprobación del IRB.
La naturaleza experimenta con nosotros todo el tiempo. Se dispara a dos personas. Una bala se detiene justo al lado
de un órgano vital. La otra no. Estas malas rachas son las que hacen que la vida sea injusta. Pero, si sirve de consuelo,
las malas rachas hacen que la vida sea un poco más fácil de estudiar para los economistas. Los economistas utilizan la
arbitrariedad de la vida para comprobar los efectos causales.
De cuarenta y tres presidentes estadounidenses, dieciséis han sido víctimas de graves atentados y cuatro han sido
asesinados. Las razones por las que algunos sobrevivieron fueron esencialmente aleatorias.
Comparen a John F. Kennedy y Ronald Reagan. Ambos hombres tenían balas dirigidas directamente a las partes más
vulnerables del cuerpo. La bala de JFK hizo estallar su cerebro, matándolo poco después. La bala de Reagan se detuvo a
centímetros del corazón, lo que permitió a los médicos salvar su vida. Reagan vivió, mientras que JFK murió, sin ton ni
son, solo por suerte.
 Estos atentados contra la vida de los ciudadanos y la arbitrariedad con la que viven o mueren es algo que ocurre en
todo el mundo. Comparen a Akhmad Kadyrov, de Chechenia, y a Adolf Hitler, de Alemania. Ambos hombres han estado
a escasos centímetros de una bomba en funcionamiento. Kadyrov murió. Hitler había cambiado su horario, acabó saliendo
de la habitación con trampa unos minutos antes para tomar un tren, y así sobrevivió.
Y podemos utilizar la fría aleatoriedad de la naturaleza -matar a Kennedy, pero no a Reagan- para
ver qué ocurre, por término medio, cuando el líder de un país es asesinado. Dos economistas, Benjamin
F. Jones y Benjamín A. Olken, hicieron justamente eso. El grupo de control es cualquier país en los
años inmediatamente posteriores a un asesinato cercano, por ejemplo, Estados Unidos a mediados de la
década de 1980. El grupo de tratamiento es cualquier país en los años inmediatamente posteriores a un
asesinato consumado, por ejemplo, Estados Unidos a mediados de la década de 1960.
¿Cuál es, entonces, el efecto de que tu líder sea asesinado? Jones y Olken descubrieron que los asesinatos
exitosos alteran drásticamente la historia del mundo, llevando a los países por caminos radicalmente
diferentes. Un nuevo líder hace que países que antes eran pacíficos entren en guerra y que países que antes
estaban en guerra alcancen la paz. Un nuevo líder hace que los países económicamente prósperos empiecen
a quebrarse y que los países económicamente prósperos empiecen a prosperar.
De hecho, los resultados de este experimento natural basado en el asesinato echaron por tierra algunas
décadas de sabiduría convencional sobre el funcionamiento de los países. Muchos economistas se
inclinaban antes por la opinión de que los líderes eran en gran medida figuras impotentes empujadas
por fuerzas externas. No es así, según el análisis de Jones y Olken del experimento natural.
Muchos no considerarían este examen de los intentos de asesinato de líderes mundiales un ejemplo
de big data. El número de líderes asesinados o casi asesinados en el estudio era muy reducido, al igual
que el número de guerras que se produjeron o no. Los datos económicos necesarios para caracterizar la
trayectoria de una economía eran amplios, pero en su mayoría eran anteriores a la digitalización.
No obstante, este tipo de experimentos naturales -aunque ahora los utilicen casi exclusivamente
los economistas- son muy potentes y adquirirán cada vez más importancia en una época en la que
los conjuntos de datos son más numerosos y más grandes. Se trata de una herramienta a la que los
científicos de datos no van a renunciar durante mucho tiempo.
Y sí, como ya debería estar claro, los economistas están desempeñando un papel importante en el
desarrollo de la ciencia de datos. Al menos me gustaría pensarlo, ya que esa fue mi formación.

¿Dónde más podemos encontrar experimentos naturales, es decir, situaciones en las que la corriente
aleatoria coloca a las personas en grupos de tratamiento y de control?
El ejemplo más claro es la lotería, por lo que los economistas adoran la lotería, no el juego, que nos
parece irracional, sino el estudio de la lotería. Si una bola de ping-pong con un tres sube a la cima, el
Sr. Jones será rico. Si en cambio es una bola con un seis, el Sr. Johnson lo será.
Para comprobar los efectos causales de las ganancias monetarias, los economistas comparan a los que
ganan loterías con los que compran boletos, pero pierden. En general, estos estudios han concluido que ganar
la lotería no te hace feliz a corto plazo, pero sí a largo plazo.
Los economistas también pueden utilizar la aleatoriedad de las loterías para ver cómo cambia la vida de uno cuando
un vecino se hace rico. Los datos muestran que el hecho de que tu vecino gane la lotería puede tener un impacto en tu
propia vida. Si tu vecino gana la lotería, por ejemplo, es más probable que te compres un coche caro, como un BMW.
¿Por qué? Casi con toda seguridad, sostienen los economistas, el motivo son los celos después de que su vecino más rico
se haya comprado su propio coche caro. Se trata de la naturaleza humana. Si el Sr. Johnson ve al Sr. Jones conduciendo
un flamante BMW, el Sr. Johnson también querrá uno.
Desgraciadamente, el Sr. Johnson no puede permitirse este BMW, razón por la cual los economistas
descubrieron que los vecinos de los ganadores de la lotería tienen muchas más probabilidades de arruinarse.
Estar al día con los Jones, en este caso, es imposible.
Pero los experimentos naturales no tienen por qué ser explícitamente aleatorios, como las loterías. Una vez que se
empieza a buscar la aleatoriedad, se ve en todas partes y se puede utilizar para entender cómo funciona nuestro mundo.
Los médicos forman parte de un experimento natural. De vez en cuando, el gobierno, por razones
esencialmente arbitrarias, cambia la fórmula que utiliza para reembolsar a los médicos por los pacientes
de Medicare. Los médicos de algunos condados ven aumentar sus honorarios por determinados
procedimientos. Los médicos de otros condados ven cómo se reducen sus honorarios.
Dos economistas -Jeffrey Clemens y Joshua Gottlieb, un antiguo compañero mío- pusieron a prueba
los efectos de este cambio arbitrario. ¿Dan los médicos siempre la misma atención a los pacientes, la
que consideran más necesaria? ¿O se guían por incentivos económicos?
Los datos muestran claramente que los médicos pueden estar motivados por incentivos monetarios. En los condados
con mayores reembolsos, los médicos de cabecera solicitan un número sustancialmente mayor de los procedimientos
mejor reembolsados: más cirugías de cataratas, colonoscopias y resonancias magnéticas, por ejemplo.
Y luego, la gran pregunta: ¿les va mejor a sus pacientes después de recibir toda esta atención extra? Clemens y Gottlieb
solo informaron de "pequeños impactos en la salud". Los autores no encontraron ningún impacto estadísticamente
significativo en la mortalidad. Este experimento natural sugiere que si se ofrecen mayores incentivos económicos a los
médicos para que soliciten determinados procedimientos, estos ordenarán más procedimientos que no suponen una gran
diferencia para la salud de los pacientes y que no pueden prolongar sus vidas.
Los experimentos naturales pueden ayudar a responder preguntas de vida o muerte. También pueden
ayudar a resolver cuestiones que, para muchas personas, son de vida o muerte.

El Stuyvesant High School (conocido como "Stuy'') se encuentra en un edificio de ladrillos de 150 millones de dólares
con vistas al río Hudson, a pocas manzanas del World Trade Center, en el bajo Manhattan. Stuy es, en una palabra,
impresionante. Ofrece cincuenta y cinco clases de nivel avanzado (AP), siete idiomas y asignaturas optativas de historia
judía, ciencia ficción y literatura asiático-americana. Aproximadamente una cuarta parte de sus graduados son aceptados
en una universidad de la Ivy League o de prestigio similar. En Stuyvesant se formó la profesora de física de Harvard Lisa
Randall, el estratega de Obama, David Axelrod, el actor ganador del Oscar Tim Robbins y el novelista Gary Shteyngart.
Entre sus oradores de graduación se encuentran Bill Clinton, Kofi Annan y Conan O' Brien.
Lo único más destacable que la oferta y los graduados de Stuyvesant es su coste: cero dólares. Es un
instituto público y probablemente el mejor del país. De hecho, un estudio reciente utilizó 27 millones
de opiniones de 300,000 estudiantes y padres para clasificar todas las escuelas secundarias públicas de
Estados Unidos. Stuy ocupó el primer puesto. No es de extrañar, pues, que los padres neoyorquinos,
ambiciosos y de clase media, y sus hijos, igualmente ambiciosos, se obsesionen con la marca Stuy.
Para Ahmed Yilmaz*, hijo de un agente de seguros y profesor de Queens, Stuy era "la escuela superior".
"Las familias de clase trabajadora e inmigrantes ven en Stuy una salida", explica Yilrnaz. "Si tu hijo va a
Stuy, va a ir a una universidad legítima, de las veinte mejores. La familia estará bien".
 ¿Cómo puedes entrar en el instituto Stuyvesant? Tienes que vivir en uno de los cinco distritos de la ciudad de Nueva
York y obtener una puntuación superior a un determinado número en el examen de admisión. Eso es todo. No hay
recomendaciones, no hay ensayos, no hay admisión de legado, no hay acción afirmativa. Un día, una prueba, una
calificación. Si tu número está por encima de un determinado umbral, estás dentro.
Cada noviembre, unos 27,000 jóvenes neoyorquinos se presentan al examen de admisión. La
competencia es brutal. Menos del 5% de los que se presentan al examen consiguen entrar a Stuy.
Yilmaz explica que su madre se había "dejado la piel" y había invertido el poco dinero que tenía en
su preparación para el examen. Después de meses de pasar todas las tardes de la semana y fines de
semana enteros preparándose, Yilmaz estaba seguro de que entraría a Stuy. Todavía recuerda el día en
que recibió el sobre con los resultados. Le sorprendieron dos preguntas.
Le pregunté qué había sentido. ''¿Qué se siente", respondió, "que tu mundo se desmorone cuando
estás en la escuela?"
Su premio de consolación no era nada despreciable: Bronx Science, otra escuela pública exclusiva y
de alto rango. Pero no era Stuy. Y Yilmaz consideraba que Bronx Science era más bien una escuela
especializada destinada a gente técnica. Cuatro años después, fue rechazado en Princeton. Asistió a
Tufts y ha probado varias carreras. En la actualidad, es empleado de una empresa de tecnología con
bastante éxito, aunque dice que su trabajo es "aburrido" y no está tan bien remunerado como le gustaría.
Más de una década después, Yilmaz admite que a veces se pregunta cómo habría sido su vida si
hubiera ido a Stuy. "Todo sería diferente", dice. "Literalmente, todos los que conozco serían diferentes".
Se pregunta si el instituto Stuyvesant le habría llevado a obtener mejores resultados en la selectividad,
a una universidad como Princeton o Harvard (ambas las considera significativamente mejores que
Tufts), y quizás a un empleo más lucrativo o satisfactorio.
Para los seres humanos puede ser desde entretenido hasta una autotortura jugar a las hipótesis. ¿Cómo
sería mi vida si me enamorara de esa chica o de ese chico? ¿Si aceptara ese trabajo? ¿Si fuera a esa
escuela? Pero estos "y si" parecen no tener respuesta. La vida no es un videojuego. No puedes repetirla
en diferentes escenarios hasta que obtengas los resultados que deseas.
Milan Kundera, escritor de origen checo, tiene una cita concisa sobre esto en su novela La
insoportable levedad del ser: "La vida humana solo ocurre una vez, y la razón por la que no podemos
determinar cuáles de nuestras decisiones son buenas y cuáles malas es que en una situación dada solo
podemos tomar una decisión; no se nos concede una segunda, tercera o cuarta vida en la que comparar
varias decisiones".
Yilmaz nunca experimentará una vida en la que, de alguna manera, se las arregle para obtener dos puntos
más en esa prueba. Pero tal vez haya una manera de que podamos obtener una idea de lo diferente que pudo
haber sido su vida haciendo un estudio de un gran número de estudiantes de la Stuyvesant High School.
La metodología más ingenua sería comparar todos los estudiantes que fueron a Stuyvesant y todos los que no.
Podríamos analizar cómo se desempeñaron en las pruebas AP y en los SAT, y en qué universidades fueron aceptados. Si
hiciéramos esto, encontraríamos que los estudiantes que fueron a Stuyvesant obtienen una puntuación mucho más alta
en las pruebas estandarizadas y son aceptados en universidades sustancialmente mejores. Pero como ya hemos visto en
este capítulo, este tipo de pruebas, por sí mismas, no son convincentes. Tal vez la razón por la que los estudiantes de
Stuyvesant obtienen tan buenos resultados es que Stuy atrae a estudiantes mucho mejores en primer lugar. La correlación
aquí no prueba la causalidad.
Para probar los efectos causales del instituto Stuyvesant, necesitamos comparar dos grupos que son
casi idénticos: uno que recibió el tratamiento Stuy y otro que no. Necesitamos un experimento natural,
pero ¿dónde podemos encontrarlo?
La respuesta: estudiantes, como Yilmaz, que obtuvieron una puntuación muy, muy cercana al límite
necesario para asistir a Stuyvesant.* Los estudiantes que no alcanzaron el límite son el grupo de control;
los estudiantes que apenas pasaron el límite son el grupo de tratamiento.
Hay pocas razones para sospechar que los estudiantes de ambos lados del límite difieran mucho en cuanto
a su talento o su empuje. Después de todo, ¿qué hace que una persona obtenga uno o dos puntos más en un
examen que otra? Tal vez el de menor puntuación haya dormido diez minutos menos o haya tomado un
desayuno menos nutritivo. Tal vez la persona con la puntuación más alta haya recordado una palabra
especialmente difícil del examen de una conversación que tuvo con su abuela tres años antes.
De hecho, esta categoría de experimentos naturales -que utilizan límites numéricos precisos- es tan
poderosa que tiene su propio nombre entre los economistas: discontinuidad de regresión. Cada vez que hay
un número preciso que divide a las personas en dos grupos diferentes -una discontinuidad- los economistas
pueden comparar -o hacer una regresión- los resultados de personas muy, muy cercanas al límite.
Dos economistas, M. Keitb Chen y Jesse Shapiro, aprovecharon un corte brusco utilizado por las prisiones
federales para comprobar los efectos de las duras condiciones penitenciarias en la delincuencia futura. Los
reclusos federales de Estados Unidos reciben una puntuación basada en la naturaleza de su delito y su
historial delictivo. La puntuación determina las condiciones de su estancia en prisión. Aquellos con una
puntuación lo suficientemente alta irán a un centro penitenciario de alta seguridad, lo que significa menos
contacto con otras personas, menos libertad de movimiento y probablemente más violencia por parte de los
guardias u otros reclusos.
De nuevo, no sería justo comparar todo el universo de presos que fueron a prisiones de alta seguridad con todo el
universo de presos que fueron a prisiones de baja seguridad. En las prisiones de alta seguridad habrá más delincuentes y
violadores, y en las de baja seguridad más delincuentes de drogas y ladrones de poca monta.
Pero los que se encontraban justo por encima o por debajo de ese marcado umbral numérico tenían un
historial delictivo y unos antecedentes prácticamente idénticos. Sin embargo, este mísero punto significó una
experiencia penitenciaria muy diferente.
¿El resultado? Los economistas descubrieron que los presos asignados a condiciones más duras eran más
propensos a cometer otros delitos una vez que salían. Las duras condiciones penitenciarias, en lugar de
disuadirles de delinquir, les endurecían y les hacían más violentos una vez que volvían al mundo exterior.
Entonces, ¿qué muestra esa "discontinuidad de regresión" para el instituto Stuyvesant? Un equipo de
economistas del MIT y de Duke -Atila Abdulkadirog’lu, Joshua Angrist y Parag Pathak- realizó el estudio.
Compararon los resultados de los alumnos de Nueva York a ambos lados del corte. En otras palabras, estos
economistas examinaron a cientos de estudiantes que, como Yilmaz, no superaron Stuyvesant por una o dos
preguntas. Los compararon con cientos de estudiantes que tenían un mejor resultado en los exámenes y que
habían superado Stuy por una o dos preguntas. Sus medidas de éxito fueron los resultados de AP, los
resultados de SAT y las clasificaciones de las universidades a las que finalmente asistieron.
Sus sorprendentes resultados quedaron claros con el título que le dieron al artículo: "Ilusión de élite" ¿Los efectos de Stuyvesant
High Scbool? Ninguno. Nada. Cero. Bupkus. Los estudiantes de ambos lados del corte terminaron con resultados indistinguibles de AP
y resultados indistinguibles de SAT y asistieron a universidades indistintamente prestigiosas.
Toda la razón por la que los estudiantes de Stuy logran más en la vida que los que no son de Stuy,
concluyeron los investigadores, es que los mejores estudiantes asisten a Stuyvesant en primer lugar.
Stuy no hace que rindas mejor en los exámenes AP, que hagas mejor tus SATs, o que termines en una
mejor universidad.
"La intensa competencia por las plazas de las escuelas de examen", escribieron los economistas, "no parece estar
justificada por la mejora del aprendizaje para un amplio conjunto de estudiantes".
¿Por qué puede no importar a qué escuela vayas? Algunas historias más pueden ayudar a encontrar la respuesta.
Pensemos en otras dos estudiantes, Sarah Kaufmann y Jessica Eng, dos jóvenes neoyorquinas que desde muy pequeñas
soñaban con ir a Stuy. La puntuación de Kaufmann estaba justo en el límite; lo consiguió por una pregunta. "No creo que
nada pueda volver a ser tan emocionante", recuerda Kaufmann. La puntuación de Eng estaba justo por debajo del corte;
lo consiguió por una pregunta. Kaufmann fue a la escuela de sus sueños, Stuy. Eng no.
¿Y cómo acabaron sus vidas? Ambas han tenido desde entonces carreras exitosas, como la mayoría de las personas
que puntúan en el 5% superior de todos los neoyorquinos en los exámenes. Irónicamente, Eng disfrutó más de su
experiencia en el instituto. El Bronx Science, al que asistió, era el único instituto con un museo del Holocausto. Eng
descubrió que le gustaba la conservación y estudió antropología en Cornell.
Kaufmann se sintió un poco perdida en Stuy, donde los estudiantes estaban muy centrados en las notas y ella sentía
que había demasiado énfasis en los exámenes, no en la enseñanza. Calificó su experiencia como "definitivamente una
mezcla de cosas". Pero fue una experiencia de aprendizaje. Se dio cuenta de que, para la universidad, solo solicitaría
plaza en escuelas de artes liberales, que hacían más hincapié en la enseñanza. Fue aceptada en la universidad de sus sueños, la
Universidad de Wesleyan. Allí encontró su pasión por ayudar a los demás, y ahora es abogada de interés público.
La gente se adapta a su experiencia, y las personas que van a tener éxito encuentran ventajas en cualquier situación.
Los factores que te hacen triunfar son tu talento y tu empuje. No se trata de quién pronuncie tu discurso de graduación
ni de otras ventajas que ofrecen las escuelas de mayor renombre.
Este es solo un estudio, y probablemente se vea debilitado por el hecho de que la mayoría de los estudiantes que no
alcanzaron el umbral de Stuyvesant terminó en otra buena escuela. Pero cada vez hay más pruebas de que, aunque ir a una
buena escuela es importante, se gana poco por ir a la mejor escuela posible.
Piensa en la universidad. ¿Importa si vas a una de las mejores universidades del mundo, como Harvard, o a una escuela
sólida como Penn State?
Una vez más, existe una clara correlación entre la clasificación de la escuela y la cantidad de dinero que se gana. A
los diez años de carrera, el graduado medio de Harvard gana $123,000 dólares. El graduado medio de Penn State gana
$87,800 dólares. Pero esta correlación no implica causalidad.
Dos economistas, Stacy Dale y Alan B. Krueger, idearon una forma ingeniosa de comprobar el papel causal de las
universidades de élite en el potencial de ingresos futuros de sus graduados. Para ello, utilizaron un amplio conjunto de
datos que recogía toda una serie de datos sobre los estudiantes de secundaria, como el lugar en el que solicitaban el
ingreso en la universidad, el lugar en el que eran aceptados, el lugar en el que asistían a la universidad, su entorno familiar
y sus ingresos cuando eran adultos.
Para obtener un grupo de tratamiento y otro de control, Dale y Krueger compararon a estudiantes con antecedentes
similares que fueron aceptados en las mismas universidades, pero eligieron otras diferentes. Algunos de los estudiantes
que entraron en Harvard asistieron a Penn State, quizás para estar más cerca de una novia o novio o porque había un
profesor con el que querían estudiar. Estos estudiantes, en otras palabras, tenían tanto talento, según los comités de
admisión, como los que fueron a Harvard. Pero tenían experiencias educativas diferentes.
Así que cuando dos estudiantes, de orígenes similares, entraron ambos en Harvard, pero uno eligió Penn
State, ¿qué ocurrió? Los resultados de los investigadores fueron tan sorprendentes como los del instituto
Stuyvesant. Esos estudiantes terminaron con más o menos los mismos ingresos en sus carreras. Si el salario
futuro es la medida, estudiantes similares aceptados en escuelas de prestigio similar que eligen asistir a
escuelas diferentes terminan más o menos en el mismo lugar.
Nuestros periódicos están salpicados de artículos sobre personas de gran éxito que asistieron a escuelas
de la Ivy League: personas como el fundador de Microsoft, Bill Gates, y los fundadores de Facebook,
Mark Zuckerberg y Dustin Moskovitz, todos ellos asistieron a Harvard. (Es cierto que todos ellos
abandonaron sus estudios, lo que plantea más dudas sobre el valor de la educación en la Ivy League).
También hay historias de personas con talento suficiente para ser aceptadas en una escuela de la
Ivy League, como Warren Buffett, que empezó en Wharton School de la Universidad de
Pensilvania, una escuela de negocios de la Ivy League, pero se trasladó a la Universidad de
Nebraska-Lincoln porque era más barata, odiaba Filadelfia y pensaba que las clases de Wharton
eran aburridas. Los datos sugieren, al menos en lo que respecta a los ingresos, que elegir una escuela
menos prestigiosa puede ser una buena decisión, tanto para Buffett como para otros.

Este libro se titula Everybody lies [Todo el mundo miente]. Con esto quiero decir, sobre todo, que la
gente miente -a los amigos, a las encuestas y a sí misma- para quedar mejor.
Pero el mundo también nos miente al presentarnos datos defectuosos y engañosos. El mundo nos
muestra un gran número de graduados de Harvard con éxito, pero menos graduados de Penn State con
éxito, y asumimos que hay una gran ventaja en ir a Harvard.
Al dar sentido a los experimentos de la naturaleza, podemos dar sentido correctamente a los datos
del mundo para encontrar lo que es realmente útil y lo que no.

Los experimentos naturales también están relacionados con el capítulo anterior. Suelen requerir que se
advierta a los grupos de tratamiento y de control: las ciudades en el experimento del Super Bowl, los
condados en el experimento de precios de Medicare, los estudiantes de la clase de corte en el experimento
de Stuyvesant. Y la investigación, como se ha comentado en el capítulo anterior, suele requerir conjuntos
de datos amplios y exhaustivos, del tipo que está cada vez más disponible a medida que el mundo se
digitaliza. Dado que no sabemos cuándo la naturaleza decidirá realizar sus experimentos, no podemos
establecer una pequeña encuesta para medir los resultados. Necesitamos muchos datos existentes para
aprender de estas intervenciones. Necesitamos big data.
Hay un punto más importante que hacer sobre los experimentos, ya sean nuestros o los de la naturaleza,
detallados en este capítulo. Gran parte de este libro se ha centrado en la comprensión del mundo -cuánto
le costó el racismo a Obama, cómo los hombres son realmente homosexuales, cuán inseguros son los
hombres y las mujeres con respecto a sus cuerpos-. Pero estos experimentos controlados o naturales
tienen una orientación más práctica. Su objetivo es mejorar nuestra toma de decisiones, ayudarnos a
aprender las intervenciones que funcionan y las que no.
Las empresas pueden aprender a conseguir más clientes. El gobierno puede aprender cómo utilizar el
reembolso para motivar mejor a los médicos. Los estudiantes pueden aprender qué escuelas serán más
valiosas. Estos experimentos demuestran el potencial del Big Data para sustituir las conjeturas, la
sabiduría convencional y las correlaciones de mala calidad por lo que-realmente funciona.