Te
CURSO AVANZADO DE
COMUNICACION CIENTIFICA
EN CIENCIAS DE’LA SALUD
REPRODUCIBILIDAD_DE LOS
Sein Tt h foe ey etd d.vele) |
Po UCN Se eC) a
f es ocr oh am , see
SS ERS Re et 5 ja OPS Ome Ots— |e .. 2/29
> El concepto de Etica en la
investigacién;
Reproducibility, ls known as repiabiliy nd repeatability, sa major prince
» El debate sobre la underpinning the scientific method. For the findings of a study to be reproducible means
tha rent ctsne by en experiment ean cbeeraional ety rin ltl analyse
confidencialidad de los resultados ‘of a data set should be achieved again with @ high degree of reliability when the study is
meaveniteer repleatd. Thee ar diferent kinds of replication but typical repletion studies involve
de ees » La reproducibilidad en los
ensayos clinicos. pinie | uma 3/29
Reproducibilidad de la investigacion
En las ultimas dos décadas, la investigacion
cientifica ha presentado una crisis de
reproducibilidad
“Most men only care for science so far as
they get a living by it, and they worship
even error when it affords them a
subsistence.”
Johann W. von Goethe (1749-1832)
Imagen. tpmartins
Fuente: Blog ScELO
Fuente: Goethe et al., 1850. Etica en la investigacion
eee ener ieccuiecniehciculemee creer
o reducir la mala conducta cientifica (scientific misconduct).
1 National Science Foundation, 2021
De acuerdo con las directrices(1) de la
National Science Foundation de los Estados
Unidos, la mala conducta cientifica incluye
ecere en ere tone meatekeltcs
> Plagio;
Falsificacién de datos;
Lele te-Telo las MCT L100
OT ee Mere ER Cimon)
La violaci6n de principios éticos en
relacién con pacientes.o animales de
ocol-alant nt alolg)
w
an
y
En virtud de la mala conducta cientifica,
en casos como los casos descritos, los
articulos publicados pueden ser
retractados por sus autores.
También puede ocurrir que un articulo
Sea retractado cuando los autores
constatan un error experimental o de
inteérpretacién de los resultados después
Peeve dale cimeciaa cnt)
representa una fraude, apenas la
admisi6n de un error. f #
Razones por las que 2 047 articulos
indexados en PubMed en 2012 fueram
retractados:
PA 10d 3
> 67% mala conducta cientifica
= 43% fraude o sospecha de fraude
= 14% publicacién duplicada
= 10% plagio
> 11% disputa de autoria y otras causas
ods {
éPor qué?
SCout Sig stelle era
perish”)
Pam MRC eee CNet emule ery
> Muestras pequefias (mayor
probabilidad de error)
> Modelo de loannidis* ({Seria el 50%
de los resultados de investigacion
irreproducible?)
Lavoe ual 6 P40)
Kea Puntos clave de las conclusiones de loannidis sobre la
confiabilidad de los resultados de investigacion
PRR eM eee Macs o1co.e (6 alo Co (6 Re Meal e-T6 oo MINN) dfel-le (eA Reo a Ue)
de la estrategia de considerar a los hallazgos de investigacién concluyentes
Unicamente sobre la base de un Unico estudio evaluado por significacion
estadistica formal, tipicamente p < 0,05.
Cuanto mas pequefia la muestra, menor es la probabilidad de que los resultados
representen hallazgos verdaderos.
Cuanto més pequeno es el tamano del efecto, menos probable es que los
hallazgos de la investigacién sean verdaderos.
Los resultados de investigacién tienen mayor probabilidad de ser verdaderos si
Tea ColoeR anc Vo lo Reon ilu Conde colo Cae MUN e Ree nto Ts [ory
aleatorizados de fase Ill o metaanalisis, mas que en experimentos generadores de
Drees rena
S ae
Oo
Fuente: Cartola
(eile)
ies
Puntos clave de las conclusiones de loannidis sobre la
confiabilidad de los resultados de investigacion
Oras. | aie
Cuanto mayores son la flexibilidadjdel.disefio, las definiciones, los
resultados y los modos analiticos, menor es la\probabilidad de que
los hallazgos sean verdaderos.
eta om Wolo N Mn) ice liao Ico) coe MLA UCR
prejuicio; es menos probable que los hallazgos de la investigacién,
EFT a elk fe (fo
Cuanto mas candente es el tema de la investigacion y mas
equipos involucre, menor es la probabilidad de alcanzar hallazgos
verdaderos.
“It is a capital mistake to theorize before one has data. Insensibly one
(ole OM Teal oR mtg ret Mayo (e Rel ele fn a [a ie
SifArthur Conan Doyle, escritor y médico escocés (1859-1930) 8/29
aan,
OPSOm:
La reproducibilidad en los ensayos clinicos
La falta de reproducibilidad es
particularmente costosa para las
compafiias farmacéuticas.
Las tasas de éxito de los nuevos medicamentos en la fase II de ensayos clinicos se
redujeron de 28% a 18% entre 2007 y 2011
La causa principal es el bajo indice de eficacia de los farmacos en evaluacién
Ejemplo 1: Estudio efectuado por Bayer que resulté en:
Inconsistencias: 65%
Confirmacion: 21%
Confirmaci6n parcial: 11%
Estudios en la compania: 3%
Fuente: Arrowsmith, 2011 Las causas probables mencionadas para explicar la
baja reproducibilidad
Ejemplo 2: Estudio efectuado por Amgen que resulté en apenas 11% de resultados
reproducibles
> El sistema de evaluacién académica para la contratacion y promocién
profesional y la obtencién de financiacién para la investigacién exigen
resultados positivos y publicaciones en revistas de alto impacto;
» Articulos que reportan resultados negativos y conclusiones alternativas no son
facilmente aceptados para publicacién en revistas cientificas, el que lleva
muchos autores a publicar falsos positivos;
> Los temas candentes son particularmente propensos a la publicacién de
resultados falsos positivos, p.ej., gendmica, neurociencias, terapia con células
Tai el ga cite en cee EMPA | OPS Ox @==~ |=
Porcentaje de resultados positivos
publicados por disciplina
Existe una correlacién inversa entre la publicacién
de resultados positives y la reproducibilidad de los
estudios
Porcentaje de resultados positivos y consecuente
menor confiabilidad
Seguin el diagrama al lado, las ciencias duras
son més confiables que ciencias de la vida, que
por su vez, son mas confiables que las ciencias
humanas y sociales aplicadas
Cuanto més resultados positivos, mayor es la
probabilidad de obtener resultados
irreproducibles
Fuente: Yong, 2012.
10/29
Ameraure ana aos dscns revel enene pblsh
one testes hypothesis.
See ee ee
Oro Simm S sox 1/29
Causas probables de la baja reproducibilidad
> Capacitaci6n inadecuada del equipo técnico e investigadores;
> Incentivo para publicar resultados positivos en revistas de
alto impacto;
NCR aR steerer anol Meola Urol ul lee]
fee Iirecaleli Ke Mette colo
Publicacién selectiva de resultados;
Ma
es
Protocolos experimentales mal desarrollados;
Numero pequefio de muestras;
Pruebas estadisticas inadecuadas;
Revision por pares insuficiente;
No se adoptan directrices disponibles sobre buenas
a a and
Ce ene Mater soa
a ool oon hteacce ne neeciccae OPS ORS O=R~| =
12/29
Algunos numeros sobre la reproducibilidad (0 su falta)
Investigacion en linea de Nature con mas de 1500 investigadores en 2016:
Para el 52% existe una crisis significativa sobre la reproducibilidad en la investigacion y para
38% existe una crisis discreta
Mas de 70% no logré replicar los experimentos de terceros
Mas de 50% no logré replicar sus propios experimentos
Menos de! 20% fueron contactados por otro investigador que no pudo reproducir sus
resultados
73% de los encuestados consideran que por lo menos 50% de los resultados en sus dreas
son reproducibles, con fisicos y quimicos entre los mas seguros
No lograr reproducir resultados de investigacién — propia o de terceros- es considerado un
“rito de paso” en la carrera cientifica
La “crisis en la reproducibilidad” impuls6 el proyecto Reproducibility initiative y, después,
el Reproducibility Project: Cancer Biology para investigar la reproducibilidad de estudios
preclinicos relacionados con la biologia del céncer IT cher, 2016. OPS OF Ome | s..... 13/29
Qué se puede hace
2012 - Reproducibility Initiative
Iniciativa conjunta de Science Exchange, PLOS, Figshare y Mendley
Asclense wero ae, @igshare fA,
MENDELEY
Los resultados validados reciben la certificacion “validado de
manera independiente”
Para saber més: Reproducibility Initiative. 14/29
OPS ORS O=s~
Los estudios de replicacion |
Experimento
original
Mayor confiabilidad del estudio
primario.
Es mas probable que los
resultados se generalicen
Esto no significa que los
resultados originales fueran
incorrectos, pero la confiabilidad
del estudio primario disminuye.
Hye] \
Experimento de
replicacion bien
conducido
Experimento de
replicacion no bien
conducido Reproducibility project: Cancer Biology
Iniciado @n 2013 para evaluar la replicabilidad de los “top 50” estudios de biologia del
cancer de mayor impacto publicados entre 2010 y 2012.
Los resultados de los cinco primeros estudios replicados hasta 2017 trajeron mas
Preguntas que respuestas
La falta de confirmaci6n de los resultados originales no invalida el estudio, pero disminuye
EUR clr
En 2018, el proyecto se redujo de los 50 estudias elegidos al principio a 18 estudios por
Tazones presupuestarias, pero principalmente por el amplio espectro de resultados
obtenidos.
REPRODUCIBILITY
PROJECT
Una compilaci6n de eLife retine los resultados, inclusive enlace a todos los estudios
individuales, en acceso abierto
https://elifesciences.org/collections/9b 183d 1/reproducibility-project-cancer-biology UI eE
https-//elifesciences.org/
fel d1/
reproducibility-project-
cancer-biology OPS Ox @=%. | 16/29
Conclusiones del estudio Reproducibility Project: Cancer Biology
Pee tec mentee cictieekekeuccmeen
reproducible como deberia
> Solo 50 experimentos de 23 articulos fueron reproducidos, y los resultados estan
publicados en 17 articulos en la revista cientifica de acceso abierto eLife, ademas de
Meco eicec ts
> La respuesta a la pregunta “qué tan replicables fueron los 50 experimentos que el
equipo logré repetir?” no es Unica ni simple. Una de las razones es que muchos
experimentos median mas de un efecto, en promedio, cada experimento involucraba
Pe ssaeecn ck aca cee CC aca cot aceite cheer nt os
Finalmente, algunos de los articulos originales reportaban los efectos en valores
numeéricos y otros por medio de imagenes
> Aunque no hubo conclusiones definitivas, el proyecto hizo posible decidir si una
hipotesis clinica debe ser continuada, por.ejemplo, como ensayo clinico. Ademas,
Cs gaTe od ee race (ogo COs CORN UN C=O Oe LRN CoA
Brasil y Holanda (véase la bibliografia). OPS ORE Ore | =... 17/29
Conclusiones del estudio Reproducibility Project: Cancer Biology
El estudio proporciona una indicacion importante sobre
Tere ete R A op crac) hen
Aeprodaly in Cancer Bcogy:Calnges for ring pct in
Temeleeg ls lel tM elccues precinical cancer Bology
Pee claeetie ts
eee ue aot
ese Meals eked e119 ac gel
PEE en nesters
Bren Ce ule ek eas ty
eo a eee cae ee ie
Mec cone nee en nee)
ieee eeaur nema eee cy
fice Res eel au oe us
eek Pause Meuron Okc)
vee Ng arena se ca
algunos articulo: OPS® OR Beaters = 18/29
Informes registrados
Los hallazgos de la iniciativa Reproducibility Project: Cancer Biol mostraron que
para que un experimento de replicacién tenga significado, debe realizarse en las
condiciones especificadas por los autores originales. El autor del articulo sabe, o
deberia saber, qué condiciones experimentales pueden alterar los resultados.
Alinear las condiciones establecidas entre los autores originales y los replicadores se
denomina compromiso previo (precommittment) y se hace posible a través de los
Informes registrados (registered reports).
toe} Stag
peerteview
Open Science Framework Registered Reports Fuente: Nosek y Errington, 2020. OPS Ome Ors. |= 19/29
Fuente: Nosek y
Errington, 2020.
Si_ las condiciones establecidas entre los autores originales y los replicadores no estan alineadas (como
en los dos cuadros de la figura), se dice que no hay compromiso previo (precommitment). En esta
situaci6n, ciertos pormenores del protocolo experimental, conocidos solo por los investigadores
originales, pueden comprometer el éxito de los experimentos de replicacién.
Por eso se propane el uso de los informes registrados, sometidos a revision por pares antes de la etapa
experimental del estudio, para el éxito de las pruebas de reproducibilidad. Diagrama de flujo de Nosek y Errington
sobre los estudios de replicacién con
LYM IAM oN Alcona 16 Vc 16 05)
Fepcacion
confrontation
Fuente: Nosek y Errington, 2020 7 21/29
Sugerencias para mejo
“Disefio experimental mas robusto, muestras mas grandes;”
“Mejorar la estadistica;”
“Tutoria més eficiente de estudiantes y técnicos;”
"Agencias de financiacion y casas editoras deben ejercer un rol mas proactivo;"
La evaluaci6n por pares prepublicacién puede ser un factor agravante para la falta de
reproducibilidad en la ciencia, pues no puede detectar muchos errores presentes en
los articulos y el “sello de calidad” - revisado por los pares - conferido, muchas veces
no se justifica
“Las promociones en la carrera y las contrataciones deben incluir una evaluacion de la
reproducibilidad.”
“La reproducibilidad de como cepillarse los dientes: es una buena practica, pero requiere
tiempo y esfuerzo. Tan pronto como aprendes, se convierte en un habito.”
Fuente: Baker, 2016. Orr Ors:
La evaluacion por pares prepublicac ser un factor
agravante para la falta de reproducibilidad en la ciencia
Los resultados y teorias cientificas deben ser evaluados criticamente antes de
que puedan ser agregados a lo que es’el consenso cientifico en un momento
dado
> La evaluacién por pares significa que algunos investigadores revisaron el
articulo cuidadosamente con el objetivo de mejorarlo y no simplemente que
aleatoriamente han respondido a la invitacion del editor para evaluar el
articulo.
>» ~Cémo distinguir una y otra revision? Promoviendo la evaluacién por pares
lea
eae SRC ORs CARTE tel n las rie tee Reece c-catle Meo tay
siempre se requiere el escrutinio de cualquier articulo publicado con una
actitud critica y profesionalmente escéptica. OPS Ore Oe |=
23/29
La significacion estadistica y el valor p
Valor p - Introducido en la década
de 1920 como una manera
informal de juzgar si la evidencia
era significativa. El valor p mide si
un resultado observado se puede
atribuir a la casualidad.
El valor p < 0,05 fue
erroneamente utilizado para
definir dos conjuntos de datos
distintos uno del otro y un
resultado ‘estadisticamente
significativo’; cuanto menor el
valor p, mayor serfa el efecto
evaluado.
nature
plore content ¥ About the journal» Publish withus ~ Subscibe
Scientists rise up against statistical
significance
Valentin Amrhein, Sander Greenland, Blake MeShaneand more than 00 signatories call
foranendo hyped claims and the dismissal of possibly crucial effects. La significancia estadistica y la veracidad de
los resultados de investigacion
mas especificamente los valores p, lleva a los investigadores
En pelicano earl OER Co [Te (ones
También podría gustarte
- Clase 5Documento29 páginasClase 5Matty DegurechaffAún no hay calificaciones
- Clase 4Documento23 páginasClase 4Matty DegurechaffAún no hay calificaciones
- Fundamento Teorico #9Documento7 páginasFundamento Teorico #9Matty DegurechaffAún no hay calificaciones
- Clase 1Documento48 páginasClase 1Matty DegurechaffAún no hay calificaciones
- Clase 3Documento22 páginasClase 3Matty DegurechaffAún no hay calificaciones
- Fundamento Teorico #7Documento6 páginasFundamento Teorico #7Matty DegurechaffAún no hay calificaciones
- Fundamento Teórico #6Documento27 páginasFundamento Teórico #6Matty DegurechaffAún no hay calificaciones
- Saponificación #9Documento8 páginasSaponificación #9Matty DegurechaffAún no hay calificaciones
- Acidos Carboxilicos #8Documento9 páginasAcidos Carboxilicos #8Matty DegurechaffAún no hay calificaciones
- Aldehidos y Cetonas #7Documento10 páginasAldehidos y Cetonas #7Matty DegurechaffAún no hay calificaciones
- Alcoholes #6Documento23 páginasAlcoholes #6Matty DegurechaffAún no hay calificaciones
