Open Science Framework (OSF)

Dra. Oriana Figueroa

Dr. Pablo Polo
14 de septiembre de 2023
Que veremos hoy
• ¿Por qué surge OSF?
• Conceptos básicos
• Que saber antes de inscribir un proyecto
• Ejemplos prácticos
• Discusión y preguntas
Crisis de
replicabilidad
• Crisis de replicabilidad
• ¿Qué significa hacer
una buena
investigación?
• ¿Cuáles deben ser los
criterios para hacer esta
evaluación?

Foster ED, Deardorff A. Open Science Framework (OSF). J Med

Libr Assoc. 2017 Apr;105(2):203–6. doi: 10.5195/jmla.2017.88.
PMCID: PMC5370619.
• Criterios científicos

• Validez externa y resultados confiables

• Reproducible
• Calidad de la revista en que se publicó →
competencia por publicar en las mejores
revistas con los mejores resultados

• Proyecto colaborativo de reproducibilidad en

psicología (Brian Nosek, Open Science
Collaboration, 2015).
Fraude en la
investigación
• Prácticas de investigación
fraudulentas

• Se considera fraude la fabricación,

falsificación y el plagio en la
propuesta, ejecución y
comunicación de los
experimentos”
Academia Nacional de Ciencias de Estados Unidos
Manipulación consciente y deliberada, por
alteración u omisión
Malas prácticas
en la
investigación
• Prácticas de investigación o
presentación de informes
cuestionables (QRPs):
• Prácticas de diseño, análisis
o presentación de informes
que han sido cuestionadas
debido a la posibilidad de
que la práctica se emplee
con el propósito de
presentar evidencia sesgada
a favor de una afirmación
(Banks, et al., 2016).
• Supone un problema ético grave

Banks, G.C., Rogelberg, S.G., Woznyj, H.M. et al. Editorial: Evidence on Questionable Research Practices: The Good, the Bad,
and the Ugly. J Bus Psychol 31, 323–338 (2016). https://doi.org/10.1007/s10869-016-9456-7
 Algunos ejemplos
• HARKing: Crear las hipótesis después de haber
analizado y visto los datos y hacerlas pasar
por hipótesis a priori
• Fishing: Realizar múltiples análisis en
búsqueda de patrones sin hipótesis a priori.
• Cherry-Picking: Presentación selectiva de
resultados o estudios previos que apoyan las
predicciones.
• P-Hacking: Analizar los datos desde diferentes
aproximaciones, incluyendo/excluyendo
variables hasta obtener los resultados
• Banks, et al., (2016) → de 64 estudios
revisados, 50 presentaban este tipo de
prácticas (91%).
• Evidencia de fallas en el sistema de
publicaciones
• Énfasis puesto en el resultado y no el
proceso de investigación
Sesgo
retrospectivo
• Prejuicio retrospectivo o recapitulación → activación de
recuerdos que nos convencen de haber previsto un
acontecimiento.
• "lo sabía desde el principio“
• Se manifiesta muy fuertemente luego de una
catástrofe o cuando los resultados son
desfavorables
• Caplan y colegas (1991) pidieron a dos grupos de
médicos que revisaran una serie de notas clínicas. Las
notas de ambos grupos eran idénticas, excepto los
resultados de los pacientes, que eran satisfactorios para
un grupo de revisores y malos para el otro.
• ¿Qué ocurrirá en ciencia?
 • Tendencia a buscar información que confirme
Sesgo de nuestras impresiones lo que nos ayuda a explicar
por qué la imagen de uno mismo permanece
confirmación extraordinariamente estable.
Investigación
exploratoria

• Se buscan relaciones potenciales dentro de un

conjunto de datos, efectos de un fármaco
candidato o diferencias entre dos grupos. El
investigador quiere minimizar la posibilidad de
cometer un error de tipo II, o un falso negativo,
porque encontrar algo nuevo e inesperado
podría ser un nuevo descubrimiento
importante.
Investigación
confirmatoria
• En el trabajo de confirmación, el investigador prueba
rigurosamente un efecto previsto. La hipótesis específica
es muy clara y ella ha especificado una forma de
probarla. El objetivo de la investigación confirmatoria es
minimizar la tasa de error tipo I o falsos positivos.

• El propósito del registro previo es garantizar que la

distinción entre estos dos procesos sea muy clara. Una
vez que un investigador comienza a cambiar ligeramente
la forma de probar la hipótesis, el trabajo debe
considerarse exploratorio.

• En cada preinscripción deberá especificarse al menos

una prueba confirmatoria.
Esto llevado a la generación de conocimiento
Posdicción → generación de explicaciones para un evento o resultado que ya se
dio. Los datos ya se conocen y la posdicción se genera para explicar por qué
emergieron ciertos patrones o resultados.

Predicción → adquisición de datos para comprobar explicaciones elaboradas

previamente. Los datos se utilizan para afrontar la posibilidad de que la
predicción sea incorrecta.

Ambas son necesarias para el avance de la ciencia y la prueba de modelos

(simplificaciones de la realidad).
Nace el pre-registro como herramienta de control de malas prácticas
• Práctica de investigación más transparente
• Aumenta la reproducibilidad de los trabajos
• Promueve mayor apertura y colaboración entre la comunidad científica
• Permite distinguir entre la etapa de generación de hipótesis (investigación exploratoria) y la etapa de prueba de hipótesis (investigación confirmatoria)

Sullivan, I., DeHaven, A., & Mellor, D. (2019). Open and reproducible research on open
science framework. Current Protocols Essential Laboratory Techniques, 18(1), e32.
Sesgos en ciencia
• Retrospectivo → lleva a generar posdicciones
• el observador utiliza los datos para generar
una explicación, una posdicción, y
simultáneamente percibe que habría
anticipado esa explicación de antemano, una
predicción.
• Hipótesis vagas
• Consideración los sesgos de la investigación y los
incentivos en el medio ambiente académico
• Resultados positivos v/s resultados negativos
• Confirmación → nos puede llevar a “elegir” la mejor
prueba para encontrar niveles de significancia estadística
que arroje resultados positivos.
• El registro previo es una solución que ayuda a los
investigadores a mantener la claridad entre la predicción
y la posdicción y a preservar la calibración precisa de la
evidencia.
• Existe una relación entre producir hipótesis previas y la
replicabilidad.
• Kaplan e Irvin (2015) observaron una caída dramática en
la tasa de resultados positivos luego del requisito de
registrar previamente los resultados primarios en una
muestra de ensayos clínicos.
¿Qué es la
preinscripción?
• Especificación del plan de
investigación antes de realizar el
estudio y enviarlo a un registro.
• Devuelve el foco al proceso de
investigación más que al resultado
• Objetivo → tener una hoja de ruta y
poder contrastar entre lo que se
planificó y lo que ocurrió
efectivamente.
• Evita el (auto) engaño

https://www.cos.io/blog/preregistration-plan-not-prison
• ¿Qué pasa si cometo un error en mi
preinscripción?
• ¿Estoy obligado a ceñirme a este plan
o puedo desviarme sin anular la
preinscripción?
• El pre-registro se puede hacer y
actualizar dependiendo del estado de
avance de un estudio
¿En qué momento
hacer un registro?
• Antes de la toma de muestra
• Durante la toma de muestra → incluye
todas las actividades asociadas al estudio
hasta antes de comenzar los análisis.
• Después de que se haya comenzado el
análisis de los datos → menos
recomendable
• Etiquetar los nuevos análisis como
“análisis exploratorios dependientes
de datos” → necesarios para el
avance de la ciencia
 • Transparencia
• Si los resultados no son interpretables porque los datos no cumplen con los supuestos de las
pruebas especificadas, indíquelo.
¿Puedo hacer • Indique el plan, el motivo del cambio, proporcione un enlace a los análisis obsoletos para
que el lector pueda evaluar la afirmación y luego continúe con la prueba adecuada.
cambios? • Se pueden hacer cambios en el proyecto → huella temporal con los cambios realizados
• Pregunta guía: ¿cómo puedo ser lo más transparente posible para que mi audiencia sepa
exactamente por qué estoy haciendo lo que estoy haciendo?
Que es OSF
• Desarrollado por el Centro para la Ciencia
Abierta (COS)→ organización sin fines de
lucro fundada en 2013
• Fomenta la apertura, integridad y
reproducibilidad de la investigación en
todas las disciplinas científicas.
• OSF nace con el objetivo de mediante
documentación, intercambio y
colaboración, cientific@s de todo el mundo
y los diferentes campos de investigación
adopten prácticas de ciencia abierta.

Foster, E. D., & Deardorff, A. (2017). Open science framework

(OSF). Journal of the Medical Library Association: JMLA, 105(2),
203.
Características
• Gran capacidad para crear y
desarrollar proyectos
• Proyecto → espacio de trabajo
(articulo, proyecto, laboratorio)
• Paso 1: crear una cuenta gratuita
en OSF
• https://osf.io/register/
Paso 2:
Crear un
nuevo
proyecto • Cree un proyecto y asígnele un título descriptivo que refleje la investigación que
realizará.
• Agregar afiliación
• Introduce un resumen de tu proyecto en el campo "Description" (Descripción).

https://help.osf.io/article/445-crear-un-proyecto-create-a-
project
Ingresar un
resumen del
proyecto
• En este proyecto estudiaremos la influencia de
conductas altruistas competitivas en las
estrategias reproductivas en hombres y mujeres y
en dos contextos diferentes. El primero será en
un entorno natural (aulas de estudiantes de
pregrado) y luego probaremos el mismo
protocolo en el laboratorio con personas
desconocidas.

¡Tu proyecto ya ha sido creado!

Resumen del
proyecto
• La página de resumen es la vista
principal del proyecto
• Desde ahí se puede acceder a la wiki
 • Herramienta para el equipo que colabora en el proyecto y permite guardar
información como notas de laboratorio u otros documentos relevantes

Wiki para el proyecto (resumen extenso, datos de contacto)

• Son carpetas editables que van quedando guardadas
• Se puede usar como cuaderno de laboratorio
 Registro
https://help.osf.io/article/448-editar-tu-borrador-de-registro-
edit-your-draft-registration
Estructura • Forma de compartir de manera honesta y transparente una investigación.
estándar de • Permite compartir desde las hipótesis, hasta el diseño y el plan de análisis
de datos y los resultados finales.
registro
• Seleccione una plantilla de
registro de investigación de la
lista y luego haga clic en el botón
Crear borrador. Aparecerá la
plantilla seleccionada.
• Existen 8 opciones diferentes
dependiendo de que tipo de
estudio estemos realizando y en
que estado de avance se
encuentra el estudio.
 • Incluye datos básicos (Titulo, descripción)

Metadatos de • Agregar/eliminar colaboradores y determinar cuánto pueden o

no editar en este registro (administrador, lector y comentador,
lector o si aparecerá en la cita final del trabajo)
registro • Licencia
• Etiquetas por campo disciplinar

https://help.osf.io/article/448-editar-tu-borrador-de-registro-
edit-your-draft-registration
Información del estudio

• Hipótesis → deben ser lo más

específicas y detalladas posible,
incluir la direccionalidad de la
relación entre variables que se está
buscando.
• Interacciones y/o moderaciones
• Recordar al menos una
hipótesis confirmatoria y
declarar las exploratorias
Datos

• Registro previo a la recolección de

datos
• Registro antes de cualquier
observación humana de los datos
• Registro previo al acceso de datos
• Registro previo al análisis de datos
Plan de diseño
• Se debe inscribir un solo plan. Si hay
varios estudios se deben preregistrar
por separado
• Tipo de estudio:
• Experimental
• Observacional
• Metanálisis
• Otro
¿Es un estudio
ciego?

• Transparentar quien/es están al tanto de las

manipulaciones experimentales
• Por ejemplo:
Diseño del estudio

• Refiere a un relato respecto del

procedimiento a utilizar
• La clave es ser tan detallado como sea
necesario teniendo en cuenta los
parámetros específicos del diseño
• Se debe señalar si habrá aleatorización
indicando como se hará y en qué nivel
• Ejemplo : utilizaremos la
aleatorización de bloques, donde
cada participante será asignado
aleatoriamente a uno de los cuatro
bloques predeterminados de igual
tamaño. La lista de números
aleatorios utilizada para crear estos
cuatro bloques se creará utilizando
las aplicaciones web disponibles en
http://random.org.
 • Indicar el estado de avance

Recolección de datos • Tamaño muestral

• Cálculos de poder estadístico
Variables
• En esta sección puede describir todas las variables (tanto
variables manipuladas como medidas) que luego se utilizarán en
su plan de análisis confirmatorio.
• Variables manipuladas
• Defina con precisión todas las variables que planea
manipular y los niveles o brazos de tratamiento de cada
variable. Esto no es aplicable a ningún estudio
observacional.
• Ejemplo: manipulamos el porcentaje de azúcar en masa
agregado a los brownies. Los cuatro niveles de esta
variable categórica son: 15%, 20%, 25% o 40% de caña
de azúcar en masa.
• Variables medidas
Plan de análisis

• Muy importante porque serán los que

aparecerán en el articulo final.
• Cualquier análisis adicional se debe reportar
como exploratorio y generador de hipótesis.
• Se deben especificar las variables dependientes
e independientes
• Modelos estadísticos (GLM, ANOVA, regresión
múltiple).
• ¿se proporcionan suficientes detalles para
ejecutar el mismo análisis nuevamente con la
información que estoy entregando?
• Transformaciones de variables
• El “Efecto del azúcar sobre el sabor del brownie” no
requiere transformaciones adicionales. Sin embargo,
si se utilizara un análisis de regresión y cada nivel de
dulce se hubiera descrito categóricamente (por
ejemplo, no dulce, algo dulce, dulce y muy dulce),
"dulce" podría codificarse de forma ficticia con "no
dulce" como categoría de referencia.
• Construcción de índices
• tomaremos la media de las dos preguntas anteriores
para crear una medida única de "disfrute del
brownie".
• Criterios de inferencia
• especifique los valores p, los factores de Bayes, los
índices de ajuste de modelos específicos.
• “utilizaremos el criterio estándar p<0,05 para
determinar si el ANOVA y la prueba post hoc sugieren
que los resultados son significativamente diferentes
de los esperados si la hipótesis nula fuera correcta. La
prueba post-hoc de Tukey-Kramer se ajusta para
comparaciones múltiples.”
Exclusión de datos

• ¿Cómo determinará qué datos o muestras, si

corresponde, excluirá de sus análisis? ¿Cómo se
manejarán los valores atípicos?
• ¿Que se hará con los datos perdidos?
• Ejemplo: Si un sujeto no completa ninguno de los
tres índices de sabor, ese sujeto no será incluido
en el análisis.
• Más información: Cualquier explicación relevante
es aceptable. Como recordatorio final, recuerde
que el análisis final debe seguir el plan
especificado y las desviaciones deben estar
fuertemente justificadas o incluirse como un
análisis exploratorio separado.
Análisis
exploratorio
• Cualquier análisis que se realice fuera del plan
inicial
• Si se realiza y no se reporta no hay problema. Pero
si se reporta se debe explicitar que es un análisis
exploratorio.
• esperamos que ciertos rasgos demográficos
puedan estar relacionados con preferencias
gustativas. Por lo tanto, buscaremos
relaciones entre las variables demográficas
(edad, género, ingresos y estado civil) y las
medidas de resultado primarias de las
preferencias gustativas.
Para terminar
• Siete razones egoístas para la preinscripción (Wagenmakers
y Dutilh, 2016).
1. La preinscripción le permite recibir crédito por sus
predicciones.
2. La preinscripción es emocionante.
3. La preinscripción evita que tus propios datos te
tomen como rehén.
4. La preinscripción es sencilla
5. La preinscripción fortalece su reputación.
6. La preinscripción le permite aceptar manuscritos
"en principio", independientemente de cómo
resulten los resultados.
7. La preinscripción puede protegerte de las críticas
post hoc. https://www.psychologicalscience.org/observer/seven-selfish-
reasons-for-preregistration#.WR3HblMrLOS