Estimando la reproducibilidad de la ciencia psicolgica

La reproducibilidad es principal para la ciencia, a pesar de que diferentes

autores afirman otras caractersticas para que un estudio sea creble, lo cierto
es que si no es replicable dificilmente lo ser.
La replicacin directa es un intento de recrear las condiciones que se
consideran suficientes para obtener los resultados ya observados y es un
medio para establecer la reproducibilidad de un resultado con nuevos datos.
Esta prove la posibilidad de evaluar y mejorar la reproducibilidad.
Mtodo
Se construy un protocolo para seleccionar y replicar los estudios, de modo
que primero se seleccionaba el estudio de un marco de muestreo y luego se
aplicaba el protocolo. El protocolo tiene: seleccin del estudio y efecto clave de
los artculos disponibles, contactar a los autores originales para los materiales
de estudio, preparar un protocolo de estudio y un plan de anlisis, obtener una
revisin del protocolo por los autores originales y otros miembros presentes en
el proyecto, registrar de manera pblica el protocolo, realizar la replica, escribir
el reporte final y hacer una revisin del proceso y anlisis para el control de
calidad.
Marco de muestreo y seleccin de estudio
Se construye el marco de muestreo y un proceso de seleccin para disminuir
los sesgos y maximizar la generalizacin, adems se emparejaron los artculos
con equipos que tengan inters y experticia en el tema. La muestra fue de
2008 artculos seleccionados de 3 revistas: Psychological Science (PSCI),
Journal of Personality and Social Psychology (JPSP), and Journal of Experimental
Psychology: Learning, Memory, and Cognition (JEP:LMC).
El ltimo experimento realizado en cada artculo fue el sujeto de replicacin,
solo se desvi esta condicin por viabilidad o por recomendaciones del autor,
adems de ser reportado en los informes. Para agregar los resultados de los
estudios para estimar la reproducibilidad, el resultado principal fue
seleccionado como el foco de replicacin.
Preparacin de datos agregados
Cada grupo condujo la replica del estudio y present un reporte al final,
despus analistas y revisores independientes del equipo realizaron una
audicin para cada estudio; adems para mayor reproducibilidad y precisin,
los anlisis de cada estudio se volvieron a realizar por un analista
independiente del grupo.
Medidas y moderadores

Se evalauaron caractersticas del estudio original y la replica que posiblemente

estuvieran relacionados con la reproducibilidad y se realizarn anlisis
exploratorios para inspirar nuevas investigaciones.
Revista de publicacin y subdisciplina
Las practicas de seleccin de las diferentes revistas pueden resultar en sesgos
de seleccin que covarin con la reproducibilidad. Se escogieron artculos de
las revistas: JPSP (n = 32), JEP:LMC (n = 28), and PSCI (n = 40), y se codificaron
como subdisciplinas de estudios en cognicin o social-personalidad, 4 estudios
nicamente fueron codificados como psicologa del desarrollo. La
reproducibilidad puede variar por subdisciplina por las diferentes prcticas.
Anlisis estadstico
No hay un estandar para evaluar el xito de la replica, as que se evalu la
reproducibilidad usando la significancia y los valores P, el tamao del efecto (se
transformaron a coeficientes de correlacin cuando fue posible), las
evaluaciones subjetivas de los equipos de replica y los meta-anlisis de los
tamaos de efecto; estos datos podan dar informacin sobre la relacin entre
la replica y el original.
Discusin
Ningn indicador describe completamente el xito de la replica, y los 5
indicadores aqu usados no son los nicos que pueden evaluar la
reproducibilidad. Sin embargo, de forma colectiva estos resultados ofrecen una
conclusin clara: gran parte de las replicas ofrecieron evidencias ms debiles
que las de os resultados originales, a pesar del uso de materiales
proporcionados por los autores originales, revisiones avanzadas para fidelidad
en la metodologa y un alto poder estadstico para detectar los efectos de
tamao original.
Adems, la evidencia de la correlacin es consistente con la conclusin que la
variacin en la fuerza inicial de la evidencia fue ms predictiva para determinar
el xito de la replica que la variacin en las caractersticas de los equipos
quienes condujeron el estudio.
Puntos de vista sobre la reproducibilidad
Es fcil concluir que una replica exitosa significa que la comprensin terica del
estudio original es correcta, una replica directa indica confiabilidad en los
resultados y si hay explicaciones alternas al estudio original tambin son
consideradas validas. Pero una falla al replicar el estudio, indica que la
evidencia original es un falso positivo.

A pesar de haber reducido los posibles sesgos que podran haber impedido la
realizacin de una replica confiable, inesperados factores ya sea en la muestra,
proceso o configuracin pudo alterar los efectos en la observacin. Incluso y de
manera ms general, hay indicadores que prcticas culturales de la comunidad
cientfica pueden ser responsables por los resultados observados. Diseos de
investigacin de bajo nivel combinados con sesgos de publicacin pueden
generar una literatura con grandes sesgos de tamao de efecto.
Aunque la variacin observada en los resultados de la replica y el estudio
original pueden reducir la certeza de los estudios originales, tambin es una
oportunidad para la innovacin terica que expliquen los diferentes resultados
y con ello se generen nuevas investigaciones al respecto.
Implicaciones y limitaciones
La reproducibilidad no es bien entendida debido a que los incentivos suelen ir a
la innovacin sobre los de replicacin.
Este estudio provee informacin sobre la reproducibilidad en general pero hay
poca precisin sobre los efectos individuales.
Es un error pensar que la reproducibilidad debe darse desde el primer
momento de la investigacin, y es que si as fuera y las ideas iniciales siempre
fuesen correctas no habra necesidad de investigar. Una disciplina sana tiene
inicios falsos que van confrontando los lmites del presente entendimiento.
Aclamar que nosotros ya conocemos eso desmiente la incertidumbre de la
evidencia cientfica. Si se desea mejorar el progreso en la investigacin, tanto
innovacin como replicacin deben realizarse.
El progreso ocurre cuando lo ya existente es contradicho y un resultado que
sorprende estimula a una nueva investigacin. La replicacin puede aumentar
la certidiumbre de un estudio y si no es as, puede promover la innovacin.
Este proyecto provee evidencia acumulada para muchos resultados de la
investigacin en psicologa y sugiere que hay ms trabajo por hacer y verificar
si realmente sabemos lo que creemos saber.
Conclusiones
El presente estudio indica que hay posibilidades de mejorar la reproducibilidad
en psicologa, ms al de que los resultados indiquen una derrota para la
psicologa o la ciencia, indica como la ciencia debera comportarse.
El progreso cientfico no es una ideologa, la ciencia no siempre proporcionar
el confort que buscamos, esta nos confronta con lo que realmente es.

Se condujo este estudio porque estamos preocupados profundamente acerca

de la salud de nuestra disciplina y creemos en su promesa por acumular el
conocimiento acerca del comportamiento humano que pueda mejorar la
calidad de la condicin humana. La reproducibilidad es central para este logro.
Acumular evidencias el el mtodo la comunidad cientfica de auto-corregirse y
la mejor opcin disponible para alcanzar la meta final: la verdad.