Davenport, T. (2009).

¿Cómo diseñar experimentos inteligentes de

negocios?. Harvard Business Review, 87 (2) pp. 56-64. (AR43611)
Hoy los ejecu tivos cuen tan con herra mien tas
para realizar prue bas a pequ eña escala
y obte ner infor maci ón valiosa. Pero son
dem asiados los #§experimentos'" que no
prue ban casi nada.

CADA DÍA los ejecutivos en su organiza-

ción dan pasos para implementar ideas
nuevas sin tener evidencia real que las
justifique. Ellos experimentan con las ofer-
tas, prueban propuestas de distribución y
alteran la forma en que se realiza el tra-
bajo, usualmente siguiendo su intuición o
un aparente sentido común: "Apuesto por
esto" o "yo creo esto otro". Incluso más alar-
mante es que algunos disfrazan sus decisio-
nes con el lenguaje de la ciencia, creando
una ilusión de evidencia. Esos supuestos
experimentos no merecen ese nombre, ya
que carecen de rigor. Es probable que las
conjeturas resultantes sean erróneas y, lo
peor de todo, que lo aprendido en el pro-
ceso sea muy poco.

por Thom as H. Dave nport

Febrero 2009 1 Harvard Business Review 57

 Cómo diseñar experimentos inteligentes de negocios

Tome el ejemplo de un importante medicamentos siempre se han apoyado

banco mmorista que se impuso la meta en él, como lo han hecho quienes usan
de mejorar el servicio al cliente. Se em- el correo directo como forma de marke-
»Demasiadas innovaciones de
barcó en un programa proclamado como ting al hacer seguimiento a las tasas de
negocios son lanzadas sin evidencia
científico: algunas sucursales fueron eti- que las apoye, a pesar del hecho
respuesta ante diversas variantes de sus
quetadas como "laboratorios"; a las nue- de que ahora es razonable esperar ofertas. Sin embargo, su aplicación fuera
vas propuestas sometidas a prueba se que se pueda disponer de pruebas de dichos escenarios tenía hasta hace
les llamó "experimentos". Sin embargo, realmente válidas. poco una dificultad mayor. Cualquier in-
lamentablemente la metodología no fue cursión en la prueba aleatoria de ideas de
»Con una pequeña inversión en ca-
tan rigurosa como la retórica utilizada. Im- pacitación, un software fácilmente
gestión -es decir, la asignación aleatoria
paciente por probar varias ideas, el banco disponible y el aliento adecuado, de los casos de prueba y de los grupos de
cambió muchas cosas al mismo tiempo una organización puede construir la control- significaba contratar a un profe-
en sus "laboratorios", haciendo que fuera capacidad de "probar y aprender': sional doctorado en estadísticas o quizás
dificil, si no imposible, determinar qué era a un experto en "diseño de experimen-
»Las empresas que preparan a los
lo que realmente impulsaba las mejorías ejecutivos para realizar experimen-
tos" (lo que se vio en algunos programas
en los resultados. Las sucursales que esta- tos a escala pequeña pero rigurosos avanzados de Gestión de Calidad Total).
ban siendo intervenidas no fueron com- no sólo se salvan a sí mismas de Hoy, alguien con un MBA y con capacita-
paradas con puntos de control, por lo que errores costosos. También hacen ción en análisis cuantitativo puede super-
nadie podía estar seguro de que los resul- que sea más probable que las gran- visar el proceso, apoyado por software
tados percibidos no hubiesen ocurrido de des ideas vean la luz del día. que le ayudará a determinar qué clase de
todos modos. Ansiosos por salir al paso de muestras son necesarias, cuáles puntos
las críticas, los ejecutivos proporcionaron usar para la prueba y los controles, y si los
un grupo de control en una prueba, la cambios resultantes de los experimentos
cual fue diseñada para ver si el hecho de son significativos estadísticamente.
colocar pantallas de televisión con canales de noticias en las filas Las empresas que atienden a consumidores, poseedoras de
de espera hacía que el tiempo de espera percibido por los clientes gran cantidad de datos de transacción, ya prueban regularmente
fuera menor. Pero, en lugar de examinar los grupos de control y innovaciones que están bastante lejos del campo de la I&D de
de prueba, sólo compararon un punto de control con un punto productos. Entre ellas hay bancos como PNC, Toronto-Dorni-
de prueba. Eso no fue suficiente para asegurar resultados estadís- nion y Wells Fargo; minoristas como CKE Restaurants, Famous
ticamente válidos. El tiempo percibido de espera se redujo en la Footwear, Food Lion, Sears y Subway; y empresas online como
sucursal donde se realizó la prueba, pero subió sustancialmente en Amazon, eBay y Google. A medida que la prueba aleatoria se
la sucursal de control, a pesar de que ahí no se hicieron cambios. convierte en un procedimiento estándar en ciertos escenarios
Esos datos confusos no permitieron que la prueba fuera del todo -análisis de sitios web, por ejemplo-, las empresas construyen las
concluyente. No obstante, ésa no fue la forma en que fueron pre- capacidades para aplicarla también en otras circunstancias (para
sentadas las conclusiones a la alta dirección. una muestra de pruebas realizadas recientemente, vea el recua-
Esto no tiene por qué ser así. Gracias a la amplia disponibili- dro "Deje de adivinar"). No hay duda de que quedan muchas
dad de software nuevo y mediante ciertas inversiones sencillas situaciones de negocios donde no es fácil o práctico estructurar
para constnür capacidades, los ejecutivos ahora pueden basarse un experimento científicamente válido. Pero si bien el enfoque de
en experimentos científicamente válidos para tomar decisiones "probar y aprender" no puede ser siempre el adecuado (ningún
importantes. Por cierto que el método científico no es nuevo, ni método de gestión puede serlo), sin duda irá ganando terreno
lo es su aplicación en los negocios. Los centros de I&D de em- con el tiempo. ¿Ocurrirá en su organización? Si la suya es como
presas que van desde fabricantes de galletas hasta fabricantes de muchas empresas que he estudiado, una inversión en software

~a verdadera recompensa llegaráf---------,

cuando la organización como un todo adopte
una mentalidad de probar y aprender.

58 Harva rd Bu siness Review 1 Febrero 2009

 ~ LAIDEA
,- EN LA PRÁCTICA
y algo de capacitación generarán retornos
rápidos a partir de las oportunidades más
USTED O ALGUIEN en su equipo están Subway querían estimular el nego-
fáciles de lograr. No obstante, la verdadera
sugiriendo un cambio que puede fun- cio al poner a la venta sándwiches
recompensa llegará cuando la organización cionar. Pero, ¿por qué actuar sobre la de 30 centímetros a sólo US$ 5,
como un todo adopte una mentalidad de base de una corazonada cuando usted pero los dueños de la franquicia
probar y aprender.. puede insistir en obtener evidencia? estaban preocupados de que la
Según el autor, la mejor forma de promoción atrajera la atención
Cuando probar tiene sentido apoyar la toma de decisiones respecto de los clientes existentes de otros
Las pruebas formales pueden proporcionar de innovaciones potenciales es ... productos más caros de su menú.
un nivel de comprensión de lo que real- Un experimento riguroso enfren-
»Diseñar un experimento.
mente funciona que deja en vergüenza a tando puntos de prueba con puntos
Comience con una hipótesis sobre
de control probó que la promoción
los enfoques más intuitivos. En teoría, tiene cómo el cambio ayudará a la empresa.
sería exitosa, y de hecho lo fue.
sentido para cualquier parte de la empresa Si es buena, usted aprenderá bas-
donde una variación pueda generar resulta- tante, tanto refutándola como probán-
dos diferenciales. Sin embargo, en la práctica dola. Póngala a prueba midiendo qué »Hacer que las pruebas sean la
hay veces en que una prueba es imposible pasa en un grupo de prueba versus un
norma.
grupo de control. Desde el principio
o innecesaria. Algunas ofertas nuevas sim- Cree la capacitación y la infraestruc-
sea claro en cuanto a lo que necesita
plemente no pueden ser probadas a escala tura que permitirá a personas no
medir para producir un resultado deci-
pequeña. Por ejemplo, cuando Best Buy ex- expertas en estadísticas supervi-
sivo; y si es un indicador al que usted sar experimentos rigurosos. Los
ploró asociarse con Paul McCartney en un puede hacerle seguimiento.
software disponibles en el mercado
CD comercializado exclusivamente en dicha
»Actuar basándose en hechos. pueden guiarlo a través de los pasos
cadena y en una gira de conciertos patroci-
Nada debería ser implementado más y ayudarle a analizar los resultados.
nada, ningún componente de la promoción
ampliamente, a menos que haya sido Un grupo central de expertos puede
pudo ser probado a escala pequeña, así que prestar recursos y experticia, y man-
probado con éxito. Pero los fracasos
los ejecutivos de la empresa se guiaron por tampoco deberían descartarse así tener la biblioteca de aprendizaje. El
su intuición. En Toronto-Dominion, uno de como así. Perfeccione la hipótesis liderazgo debe cultivar una cultura
los bancos más grandes y rentables en Ca- sobre la base de los resultados y de probar y aprender, en parte
nadá, el hacer pruebas está tan bien estable- considere probar una variación . Más castigando a quienes actúen sin la
cido que ocasionalmente a los ejecutivos se importante, conserve lo aprendido y evidencia suficiente.
les recuerda que en aras de la rapidez, pue- póngalo a disposición de otros en la
den tomar una decisión sin probarla cuando organización a través de la "biblioteca A medida que sus ejecutivos se
de aprendizaje", de manera que no sientan más cómodos con las prue-
tienen suficiente experiencia en el área de
se desperdicien recursos probando la bas rigurosas, ellos descubrirán que
negocios relevante para la decisión.
misma cosa de nuevo. pavimentan el camino hacia las nue-
En términos generales, las pruebas dan
vas ideas prometedoras, en vez de
sus frutos en la ejecución de las estrategias, EJEMPLO Los ejecutivos de marke-
levantar barreras para llegar a ellas.
no en su formulación. Ya sea en marketing, ting en la cadena de restaurantes
análisis de ubicación de tiendas o sucursa-
les, o diseño de sitios web, el aprendizaje
más fidedigno dice relación con el impacto
potencial y el valor de los cambios tácticos: por ejemplo, un en un laboratorio científico donde cada decisión sobre el diseño
nuevo formato de tienda, de promoción de marketing o de pro- de productos, marketing, canales de comunicación, líneas de
ceso de servicios. El método científico no es muy adecuado para crédito, selección de clientes, políticas de cobros y decisiones
evaluar un cambio importante en los modelos de negocios, una de ventas cruzadas, podían estar sujetas a pruebas sistemáticas
gran fusión o adquisición, o alguna otra decisión trascendental mediante miles de experimentos". 1 Capital One adoptó lo que
para el negocio. Fairbank llama una estrategia basada en la infom1ación, y valió
La experiencia de Capital One da pistas sobre los límites na- la pena: la empresa se convirtió en el quinto proveedor más
turales de las pruebas experimentales en una empresa. Esta grande de tarjetas de crédito en Estados Unidos.
firma ha sido una de las más agresivas en cuanto a hacer prue- Sin embargo, cuando llegó el momento de tomar la decisión
bas desde 1988, cuando su CEO y cofundador, Rich Fairbank, más importante que había enfrentado la empresa en los últimos
se unió a su empresa predecesora, Signet Bank. Uno incluso años, la dirección de Capital One concluyó que hacer pruebas no
podría decir que la empresa fue fundada sobre esa idea. Una serviría de mucho. Al darse cuenta de que la empresa iba a nece-
cosa que atrajo la atención de Fairbanl< sobre la industria de las sitar otras fuentes de capital para permanecer independiente, el
tarjetas de crédito fue su "capacidad para convertir un negocio equipo pensó en adquirir algunos bancos regionales con el fin de

Febrero 2009 1 Harvard Business Review 59

Cómo diseñar experimentos inteligentes de negocios

pasar de ser un proveedor monolínea

~o_ng_a_s_u_s_id_e_as_apr_ueb_a_
de crédito a un banco con todo tipo de 1
servicios. La decisión no fue probada
por dos importantes razones. Primero,
la naturaleza de la oportunidad hacía
2
que fuera imperativo moverse rápido;
no se disponía de tiempo ní siquiera
para una prueba a escala pequeña.
Segundo, y más crucial, era imposible
diseñar un experimento que pudiera
predecir de manera fiable los resul-
tados de un cambio tan importante l
en la dirección del negocio. Aun así,
después de hacer las adquisiciones,
la empresa reafirmó su compromiso
con la estrategia basada en la infor-
mación. Sus ejecutivos emprendieron
la tarea de incorporar ese espúitu al
contexto de la banca multiservicios,
lo que requúió llevar el método más
lejos, a pruebas que involucraban
al servicio al cliente y la conducta
de los empleados. Corno me dijo un
empleado: "Es mucho más fácil hacer
pruebas aleatorias con sobres para
correo directo que con ejecutivos de Adaptado a partir de la Rueda "Test and Learn" de Applied Predictive Technologies
sucursales de banco".
Sears Holdings proporciona otro
ejemplo de qué es razonable probar y qué no. Es interesante que Sears en las tiendas Krnart, y viceversa, y también otros formatos,
ésta sea otra empresa que lleva mucho tiempo haciendo pruebas. como distribuir la mercadería en las tiendas de Sears de acuerdo a
Robert E. Wood, quien condujo a Sears del negocio de las ventas las habitaciones de las casas de los consumidores (cocina, pieza de
por catálogo al de las tiendas minoristas, dijo que su libro favorito lavado, dormitorio, etc.).
era el Statistical Abstract ofthe United States (el Informe Estadistica Aparte de usar el criterio de lo táctico versus lo estratégico,
de Estados Unidos). Cuando abrió las primeras tiendas de Sears existen otras formas de decidir si tiene sentido hacer una prueba
ubicadas independientemente, en 1928, instaló dos en Chicago. formal. Por ejemplo, es útil sólo en situaciones donde los resulta-
Cuando le preguntaron por qué necesitaba dos en una ciudad, dos deseados están definidos y son medibles. Usted puede propo-
Wood dijo que era para reducir el riesgo de equivocarse en la ner un nuevo programa de capacitación en ventas, pero antes de
elección de una ubicación o de un gerente de tienda. que usted pruebe su eficacia, necesitará identificar una meta (por
Hoy Sears Holdings ha empezado una nueva era: su principal ejemplo, "Queremos aumentar las ventas cruzadas"), y debe ser
propietario, el financista Edward Lampert, quien ha sido el pre- capaz de medir ese cambio (¿usted le hace algún seguimiento a las
sidente del consejo desde que Kmart adquirió Sears, está explo- ventas cruzadas?). Las ventas y las variaciones en las tasas de con-
rando formas alternativas para combinar estas dos cadenas en versión son frecuentemente usadas como variables dependientes
problemas. Hasta donde sé, Lampert no probó la idea de combi- en las pruebas, y son rneclidas de manera fiable para propósitos
nar las tiendas minoristas. Eso habria sido difícil si no imposible distintos. Otros resultados, como la satisfacción del consumidor y
de hacer (y aún está por verse si la adquisición fue una buena de- el compromiso de los empleados, pueden requerir más esfuerzo y
cisión). Sin embargo, él es un acérrimo defensor de las pruebas a acciones más invasivas para medirlos.
nivel táctico. En 2006 escribió una carta a los accionistas: "Una de Las pruebas son más fiables cuando muchos escenarios más
las grandes ventajas de tener aproximadamente 2.300 tiendas de o menos equivalentes pueden ser observados. Esto puede sig-
gran tamaño en Sears Holdings es que podemos probar conceptos nificar lugares físicos, como las tiendas de Sears, o escenarios
en unas pocas tiendas antes de asumir el riesgo y gastar el capital más efímeros, tales como versiones alternativas de sitios web.
implicado en la implementación de la idea en un número más Entre los más temprano y extensivos usuarios de las prue-
grande de tiendas o en la cadena completa". El minorista ha pro- bas están los minoristas y las cadenas de restaurantes. Debido
bado, por ejemplo, varios formatos para incluir la mercaderia de a que muchas cosas se m antienen constantes dentro de sus

60 Harvard Busin ess Revi ew 1 Febrero 2009

 CRI:íE O PERFECCIONU:
LA HiPÓTESIS
AVERIGÜE si las relaciones
que son objeto de la hipóte-
sis no han sido ya probadas
y medidas; y que pueden
serlo.
ASEGÚRESE de que la
' hipótesis genere un valor
económico sustancial.
DETERMINE si va a sugerir
una decisión o acción real
(en caso contrario, no siga
adelante).
\ cultura de probar y aprender.
EJ!EC!!.rB.. !E U.\ ?!R!!.J!:fBA
REÚNASE con los ejecutivos de los
puntos de prueba y de control y con
los expertos analíticos para discutir
qué puede salir mal y qué eventos
podrían confundir el proceso.
INSTRUYA al personal de terreno
para que informe eventos
anormales.
REMUEVA los puntos de prueba
donde ocurran eventos que confun-
dan el proceso.
AJUSTE los planes de evaluación y
compensación para los ejecutivos
de manera de que no sean afecta-
dos negativamente por las pruebas.
f Pi..Ai\!UfDGUIE LA
j H\iii?i..!EMiE~'\fi"AC!Ó!'\1
1 ESTUDIE los atributos de
¡ los puntos de prueba para
determinar si la implemen-
tación debería ser universal
o diferenciada.
EQUILIBRE la complejidad
de la implementación con
la fluidez de la puesta en
marcha y de la gestión.
BIBLIOTECA DE
APRENDIZAJE
DESARROLLE un resumen
de cada prueba: hipótesis,
dimensiones de la prueba, re-
sultados clave, interacciones, y
estrategias de implementación
y resultados.
EMPLEE una taxonomía
estándar para permitir que la
búsqueda en la biblioteca sea
sencilla .
HAGA que la biblioteca esté
ampliamente disponible para los
empleados; publique las pruebas
y los resultados de estudios
importantes para fomentar una

~~'
l!W3iE!i:t!E U.\ PiRUIE!BA ANAliCE LA PRUEBA 1MlPliEM:E i'4"1'~

ASEGÚRESE de que el número de ASEGÚRESE de que las "alzas" ESCALONE la implementación y

puntos de prueba y de control sea
suficiente para que los datos sean
estadísticamente significativos.
USE la simulación para explorar di-
versas estrategias para crear grupos
de control (por ejemplo, sean prácti-
camente idénticos pero diferentes en
una sola variable clave).
EVALÚE si bastará con las estra-
tegias de creación de grupos de
control usadas anteriormente para
pruebas similares; suele bastar.
REALICE análisis estadísticos para
minimizar el número necesario de
unidades de prueba.
EXTIENDA el periodo de pruebas si
los indicadores clave son altamente
variables.
causadas por las intervencio-
nes sean estadísticamente
significativas.
USE software para analizar resul-
tados y manejar datos complejos
de múltiples puntos de prueba y de
control.
DETERMINE la necesidad de más
pruebas.
EXAMINE la mayor cantidad de
atributos de los puntos como sea
posible para ver cómo interactúan
las variables clave.
considérela como una prueba en
sí misma. (¿Están los primeros
puntos produciendo el resultado
deseado 7 Si no es así, modifique
el enfoque en los puntos donde se
adoptará más tarde) .
ANIME a los gerentes de los
puntos de prueba a compartir
las estrategias y tácticas de la
implementación.

innumerables locales, es fácil designar cuáles servirán como El proceso de probar

experimentos y cuáles servirán como controles, y así atribuir
una causa a un efecto. De igual modo, los cambios de diseño
en el lugar del trabajo son en su mayoría fáciles de probar
en empresas que tienen oficinas en muchas ciudades. Sacar
conclusiones estadísticas a partir de unos pocos puntos de
prueba es mucho más difícil y representa el principal desafío
del enfoque "probar y aprender".
Finalmente, la prueba formal tiene sentido si se ha formulado
una hipótesis lógica sobre cómo una intervención propuesta afec-
tará a un negocio. Aunque es posible sólo hacer un cambio y luego
limitarse a ver qué sucede, ese proceso inevitablemente conducirá
a una hipótesis; y a menudo a darse cuenta de que pudo haber
sido formulada de ante mano y probada de manera m ás precisa.
Para incorporar más gestión científica en su empresa, usted ne-
cesitará poner a los ejecutivos de todos los niveles al tanto del
proceso de prueba de su organización. Probablemente sea fácil de
entender (una descripción típica se muestra en el gráfico "Ponga
sus ideas a prueba''), pero debe ser comunicado en los mismos
términos a todas las personas de la organización. Tener una com-
prensión compartida de lo que constituye una prueba válida per-
mite que los innovadores puedan hacerla y que los altos ejecutivos
puedan exigirla.
El proceso siempre comienza con la creación de una hipótesis
comprobable (debería ser posible pasar o fallar la prueba sobre la
base de los objetivos medidos de la hipótesis). Luego se diseñan las
características de la prueba, lo que significa identificar Jos locales

Febrero 2009 1 Harvard Business Revi ew 61

Cómo diseñar experimentos inteligentes de negocios
o unidades que serán probados, seleccionar los grupos de control
y definir las situaciones de prueba y de control. Una vez que la
prueba se lleva a cabo durante el tiempo especificado - que algu-
nas veces puede tomar varios meses, pero que suele realizarse en
menos tiempo-los datos son analizados para determinar los resul-
tados y las acciones apropiadas. Lo ideal es que los resultados sean
guardados en una especie de "biblioteca de aprendizaje" (aunque
lamentablemente muchas organizaciones se saltan este paso). Es-
tos resultados pueden conducir a una implementación más amplia
del experimento o a más pruebas de una hipótesis revisada.
Los ejecutivos deben entender cómo calza el proceso de prueba
con los otros procesos de negocio. Ellos realizan pruebas en el
contexto de, por ejemplo, gestión de pedidos, selección de locales,
o desarrollo de sitios web, y las pruebas forman parte de varios
subprocesos. En CKE Restaurants, que incluye las cadenas de res-
taurantes de servicio rápido Hardee's y Carl's Jr., el proceso para
la introducción de productos nuevos siempre requiere pruebas
rigurosas en un determinado momento. Comienza con un bra-
instorming, donde varios grupos interfuncionales desarrollan di-
versas ideas de productos nuevos. Sólo algunas de ellas pasan a la
próxima fase, la selección por criterio, durante la cual un grupo
de personas de marketing, desarrollo de productos, y operaciones
evaluarán las ideas sobre la base de su experiencia e intuición.
Aquellas ideas seleccionadas son en efecto desarrolladas y luego
probadas en las tiendas, con indicadores y grupos de control bien
definidos. En ese punto, los ejecutivos deciden si implementan o
no un producto a nivel de todo el sistema, si lo modifican para una
nueva prueba, o si desechan la idea por completo.
CKE ha logrado un envidiable índice de aciertos en la intro-
ducción de productos nuevos -aproximadamente uno de cuatro
productos nuevos es exitoso, versus uno de so o 6o para los pro-
ductos de consumo- y los ejecutivos dicen que su riguroso proceso
de prueba es una de las razones de ello. Si usted ha tenido la
oportunidad de disfrutar una hamburguesa Monster Thickburger
en Hardee's o una hamburguesa Philly Cheesesteak, o una ham-
burguesa Pastrarni en Carl's Jr., usted ha
sido el beneficiario de los esfuerzos de
CKE. Éstos son sólo tres de los productos
nuevos exitosos que fueron introducidos
después de que las pruebas demostraron
que se venderían bien.
En eBay existe un proceso de amplio
alcance para hacer cambios en el sitio
web, y las pruebas aleatorias son un
componente clave. Al igual que otras
empresas online, eBay se beneficia enor-
memente con el hecho de que es relati-
vamente fácil realizar pruebas aleato-
rias con las variaciones al sitio web. Sus
ejecutivos han llevado a cabo miles de
experimentos respecto de varios aspec-
tos de su sitio web, y dado que el sitio
tiene más de 1.000 mi !Jones de vistas de
62 Harvard Business Review 1 Febrero 2009
página al dia, es posible que realicen experimentos múltiples al
mismo tiempo y que siempre haya grupos experimentales y de
control. Los experimentos simples del tipo A/B (comparar dos
versiones de un sitio web) pueden ser estructurados en pocos
dias y normalmente duran al menos una semana, de manera que
cubran periodos completos de remates para artículos selecciona-
dos. Experimentos más grandes y con diversas variables pueden
ejecutarse durante más de un mes.
Las pruebas online en eBay siguen un proceso bien definido
compuesto por los siguientes pasos:
• Desarrollo de una hipótesis
• Diseño del experimento: determinar las muestras de la
prueba, métodos experimentales y otros factores
• Preparación del experimento: evaluar costos, determinar
cómo hacer prototipos, asegurar que calce con el desempeño del
sitio (por ejemplo, estar seguros de que la prueba no haga más
lento el tiempo de respuesta del usuario)
• Lanzamiento del experimento: determinar durante cuánto
tiempo debe ejecutarse, poniendo el experimento a disposición
de los usuarios.
• Seguimiento y monitoreo
• Análisis y resultados
La empresa también ha construido su propia aplicación, la lla-
mada eBay Experimentation Platform, para guiar a los encargados
de la prueba durante el proceso y hacer seguimiento de lo que está
siendo probado, cuándo y en qué páginas.
Sin embargo, como con las introducciones de productos nue-
vos de CKE, estas pruebas online son sólo una parte del proceso
general de cambio para el sitio web de eBay. También se realizan
exhaustivas pruebas offline, incluyendo estudios en laboratorios,
visitas a domicilio, sesiones participativas de diseño, focus groups,
y análisis de los trade-off que presentan las características del sitio
web; todas con clientes. La empresa también realiza una investiga-
ción cuantitativa sobre el diseño visual y estudios de seguimiento
de los ojos, como también estudios diarios para ver cómo se sien-
ten los usuarios respecto de los cambios
propuestos. Ningún cambio significativo al
sitio web es introducido sin un estudio y
pruebas exhaustivos. Este proceso meticu-
loso es claramente una de las razones de
por qué la mayoría de los cambios intro-
ducidos por eBay no despierta reacciones
negativas en su comunidad de vendedores
potencialmente impredecible. El minorista
online hoy tiene en promedio más de 113
millones de artículos para la venta en más
de so.ooo categorías, en todo momento.
EBay realizó exhaustivas pruebas on-
line y offline, por ejemplo, en 2007 y 2008,
cuando cambió su página para visualizar
los artículos que estaban a la venta. La pá-
gina no había sido rediseñada desde 2003,
y tanto los clientes como los diseñadores
 de eBay sentían que carecía de organi- Software para probar y aprender.
zación, tenia fotografías inadecuadas
de los artículos, los ubicaba al azar y Deje Algunas empresas, como Capital One
y eBay, han creado su propio software
su funcionalidad era redundante. Des-
pués de pasar por todos los pasos del
proceso de prueba, adoptó un nuevo
de adivinar para gestionar experimentos, pero
existen varias opciones disponibles en
el mercado, siendo más comunes los
diseño para el sitio. Publicó fotos 200% LAS PRUEBAS son usadas para tomar paquetes estadísticos y las herramien-
más grandes que aquéllas del diseño decisiones tácticas en una amplia gama tas analíticas como SAS. Con cada año
anterior, agregó un reloj automático de de escenarios de negocios, desde bancos, que pasa, estas herramientas hacen
cuenta regresiva para los remates que pasando por minoristas hasta puntocom. más posible que los usuarios con cono-
estaban a 24 horas o menos de tenni- Aquí se presentan algunas preguntas que cimientos básicos de aritmética, pero
nar, destacó más las condiciones y po- varias empresas están examinando: no expertos en estadísticas, realicen
líticas de devolución de los artículos, e experimentos realmente defendibles.
• ¿Los tanques para langostas aumentan la
incluyó pestañas que hicieran más fácil Facilitar el diseño y el análisis ha sido
venta de langostas en los supermercados
navegar por los campos para ~l envío un objetivo importante para Applied
Food Lion?
y pago. También incluyó elementos de Predictive Technologies, cuyo producto
• ¿Un Kmart con una tienda Sears adentro
seguridad para impedir los cambios no guía a los usuarios a través del proceso
vende más que una tienda íntegramente
autorizados en el contenido del sitio. de probar y aprender, hace seguimiento
Kmart?
cada característica y función nueva fue de los grupos de prueba y de control, y
• ¿Los usuarios de eBay ofrecen pagar más
probada independientemente con pági- proporciona un depósito para las con-
en los remates cuando pueden pagar con
nas de control. Los indicadores de visitas clusiones, de modo que se pueda acce-
tarjeta de crédito?
a la página y de cantidad de ofertas por der a ellas fácilmente en el futuro.
• ¿Cuál es el número óptimo de cheques
los productos sugieren que el rediseño Algunas herramientas de software
sueltos que debe aceptar un cajero ATM
fue muy exitoso. son hechas a la medida para proble-
deWells Fargo?
mas o sectores específicos. Por ejemplo,
• ¿Las promociones de Subway de sándwi-
Cómo construir una capacidad varias herramientas envasadas están
ches bajos en grasas aumentan la venta de
para hacer pruebas disponibles para el análisis de experi-
sándwiches?
Establecer un proceso estándar es el mentos sobre calidad de fabricación. Asi-
• ¿Una tienda Famous Footwear vende
primer paso hacia la construcción de mismo, existen herramientas altamente
menos zapatos cuando hay un competidor
una capacidad organizacional para especializadas para las pruebas de uso
en el mismo centro comercial?
probar y aprender, pero no basta con online, tales como los software analíti-
• Si una sucursaiToronto-Dominion está
eso. Las empresas que quieren que las cos de web vendidos por Omniture y
abierta durante 60 horas a la semana en lu-
pruebas sean un elemento fiable y efi- WebTrends y las hen:amientas gratis
gar de 40, ¿recibe muchos más depósitos?
caz de su toma de decisiones necesitan proporcionadas por Google Analytics.
• ¿Qué ofertas promocionales impulsarán
crear una infraestructura para que así Lamentablemente, hasta ahora nin-
más eficientemente la apertura de cuentas
ocurra. Necesitan programas de capaci- guna herramienta de software puede
corrientes en PNC Bank?
tación para perfeccionar las competen- ayudar a las organizaciones en todas las
Como resultado de sus pruebas, estas
cias, software para estructurar y anali- clases de pruebas y contextos.
organizaciones están concluyendo si
zar las pruebas, y medios para capturar Capturar el aprendizaje. Si una
formas supuestamente mejores de hacer
el aprendizaje, un proceso para decidir empresa realiza una cantidad sustan-
negocios son en verdad mejores. Una vez
cuándo repetir las pruebas, y una or- cial de pruebas, generará una cantidad
que aprenden de sus pruebas, pueden ex-
ganización central para brindar apoyo sustancial de aprendizaje sobre lo que
tender las mejores prácticas validadas con
experto a todo lo anterior. funciona y lo que no. Idealmente, los
las pruebas a toda su empresa.
Capacitación a los ejecutivos. empleados de toda la empresa com-
Como mínimo, los ejecutivos debe- partirían ese conocimiento y lo usarían
rían aprender qué es lo que constituye una prueba aleatoria y para guiar iniciativas futuras. Pero eso sucede en pocas organiza-
cuándo emplearla. Por ejemplo, Capital One ofrece un programa ciones. El jefe del área de pruebas de una empresa online admi-
de educación profesional en diseño de pruebas y experimentos tió: "Todo ese conocimiento está en mi cabeza y estaríamos en
a través de su función de capacitación interna, conocida como aprietos si yo fuera atropellado por un camión'~ Un ejecutivo de
Capital One University. Uno de Jos beneficios de contar con un un banco justificó esa falta de conocimiento compartido: "Proba-
programa como éste, en lugar de enviar fuera a los ejecutivos blemente deberíamos hacer más, pero hemos descubierto que las
para que se capaciten, es el mayor érúasis en cómo el proceso de personas necesitan aprender haciendo las pruebas ellas mismas,
pruebas se conecta con todas las actividades de la empresa. incluso si las hemos hecho muchas veces antes". Es cierto que las

Febrero 2009 1 Harvard Business Review 63

Cómo diseñar experimentos inteligentes de negocios
personas aprenden mediante la experiencia personal, pero uno
esperaría que ésta no fuera la única manera posible.
Algunas empresas han comenzado a abordar el tema. Capital
One conserva el aprendizaje a partir de sus miles de pruebas en un
sistema online de gestión del conocimiento y ha experimentado in-
cluso con un sistema más ambicioso que usaría dicho aprendizaje
para orientar a los gerentes de producto a medida que desarrollan
ofertas nuevas. Famous Footwear toma un enfoque de "cartel pu-
blicitario": para cada prueba, reproduce los resultados en un docu-
mento de una página, lo hace circular por toda la organización y lo
exlúbe en la pared que está fuera de la oficina de pruebas.
Revisiones regulares. Un aspecto complicado del estable-
cimiento a largo plazo de un enfoque de pruebas es determi-
nar cuándo es el momento de probar nuevamente. No hay
manera de saber con certeza cuándo una prueba se ha vuelto
obsoleta; un analista experimentado necesita evaluar si han
cambiado suficientes factores en el entorno como para sospe-
char de los resultados previos. Los ejecutivos de Famous Foot-
wear sienten que el contexto de ubicación de una tienda mino-
rista -su principal área de aplicación para las pruebas- cambia
lo suficiente como para justificar pruebas nuevas después de
aproximadamente un año. Netflix concluyó en 2006 que había
que volver a hacer sus pruebas con clientes, que tenían cinco
años de antigüedad; la base de usuarios había evolucionado en
ese tiempo desde pioneros de Internet a personas corrientes.
CKE Restaurants tiene dificultades para decidir si debe probar
nuevamente la fijación de precios, en especial en tiempos en
que los precios de los commodities están aumentando rápida-
mente. Es irónico que la intuición humana, no las pruebas o los
informes analíticos, sea lo que debe aplicarse para determinar
la necesidad de probar nuevamente.
Un grupo central de recursos. La mayoría de las empresas
que realizan pruebas exhaustivas ha establecido una organización
pequeña y en cierto modo centralizada para supervisarlas. El grupo
efectivamente hace las pruebas, como en PNC Bank, Subway y Fa-
mous Footwear, o -si las pruebas son hechas en toda la organiza-
ción- sirve como un recurso para las preguntas metodológicas y las
estadísticas, como en Capital One. En PNC Bank, el grupo de pro-
bar y aprender (parte de la función de gestión del conocimiento
del banco, que reporta al área de Marketing) ve como una priori-
dad la promoción de sus propios servicios dentro del banco. Trata
de construir relaciones y confianza con ejecutivos clave de manera
que ninguna iniciativa importante sea emprendida sin realizar
pruebas. Sin un punto central de coordinación, los métodos de
prueba pueden no ser lo suficientemente rigurosos y los grupos de
prueba y de control de los múltiples experimentos pueden confun-
dirse entre sí. Dicho eso, no siempre es fácil influenciar o coordinar
las pruebas, incluso cuando existe un grupo central.
Cómo crear la mentalidad de probar
Además de hacer los cambios requeridos en los procesos, tecnolo-
gía e infraestructura, las organizaciones también necesitan esta-
blecer la cultura de probar. Hacer pruebas cuesta dinero (aunque
64 Harvard Business Review 1 Febrero 2009
no tanto como la implementación total de tácticas nuevas que no
funcionan), y toma tiempo. Los altos ejecutivos tienen que acos-
tumbrarse, y hasta apasionarse, con la idea de que ningún cambio
importante en las tácticas debería ser adoptado sin ser probado
por personas que sepan hacer pruebas.
Exija evidencia. Los CEO que creen firmemente en hacer
pruebas pueden cambiar la perspectiva de toda su organización
respecto del tema. Cuando las personas afirmen que las pruebas
han confirmado la conveniencia de su idea, haga que le expliquen
detalladamente el proceso que usaron y exija al menos el nivel de
rigor expuesto en el gráfico "Ponga sus ideas a prueba':
Respáldela con fuerza. Gary Loveman en Harrah's Entertain-
ment ha dicho que "no usar un grupo de control" es razón sufi-
ciente para ser despedido de la empresa. Se ha informado que ]eff
Bezos, de Amazon, despidió a un grupo de diseñadores de web por
cambiar el sitio web sin hacer pruebas. Toronto-Dorninion tiene
una cultura en la cual los ejecutivos insisten en que se pruebe cada
iniciativa importante que involucre a los clientes o a las sucursales.
El CEO Ed Clark es un doctor en economía que una vez señaló que
aunque el banco puede no ser perfecto, "nadie nos critica por no
analizar los números".
Patrocine usted mismo las pruebas. Los mejores equipos de
gestión en este aspecto han institucionalizado el proceso de hacer
y revisar las pruebas. En Famous Footwear, ]oe Wood y su equipo
de alta dirección se reúnen con el jefe del área de pruebas cada dos
semanas para discutir sobre las pruebas pasadas y futuras, y sobre
los resultados preliminares y finales. Wood dice que la empresa ha
hecho de las pruebas una parte del diálogo dentro de la dirección
y de la cultura de la organización.
Hacer pruebas puede que no sea apropiado para todas las inicia-
tivas de negocios, pero funciona para la mayoría de los esfuerzos
tácticos. Y ya no es tan dificil. Necesitan ser sacadas del laborato-
rio y entrar a la sala de reuniones. Los desafios clave ya no son
tecnológicos ni analíticos; tienen más que ver simplemente con
hacer que los ejecutivos se familiaricen con los conceptos y con el
proceso. Hacer pruebas y aprender de ellas debería convertirse en
algo central en la toma de decisiones de cualquier organización.
Los principios del método científico funcionan tan bien en los
negocios como en cualquier otro aspecto de la vida. Llegó la hora
de reemplazar el "te apuestd' por el "yo sé". e
1. "Capital One Financia! Corporation;' caso HBS N° 9·700·124.
Thomas H. Davenport (tdavenport@babson.edu) es
President's Distinguished Professor de Tecnología y Gestión de
la Información en Babson College en Babson Park, Massachu-
setts. Su libro más reciente es Competing on Analytics: The
New Science of Winning, wíth jeanne C. Harris (Harvard
Business Press, 2007).
Reimpres ión R0902E-E
Para pedidos vea página 87 o www. hbral com