Traducido del inglés al español - www.onlinedoctranslator.

com

Rincón de las estadísticas

Verdades, mentiras y estadísticas.

Matthew S. Thiese, Skyler Walker, Jenna Lindsey

Rocky Mountain Center for Occupational & Environment Health, Department of Family and Preventive Medicine, School of Medicine, University of Utah,
Salt Lake City, UT 84108, EE. UU.
Correspondencia a:Matthew S. Thiese, PhD, MSPH. Rocky Mountain Center for Occupational & Environment Health, Department of Family and
Preventive Medicine, School of Medicine, University of Utah, 391 Chipeta Way, Suite C, Salt Lake City, UT 84108, USA. Correo electrónico:
matt.thiese@hsc.utah.edu .

Abstracto:La distribución de valiosos descubrimientos de investigación es necesaria para el avance continuo de la atención al

paciente. La publicación y la subsiguiente confianza en los resultados falsos del estudio serían perjudiciales para la atención al

paciente. Desafortunadamente, la mala conducta en la investigación puede tener su origen en muchas fuentes. Si bien hay

evidencia de mala conducta en la investigación en curso en todas sus formas, es un desafío identificar la ocurrencia real de la

mala conducta en la investigación, lo cual es especialmente cierto para la mala conducta en los ensayos clínicos. La mala

conducta en la investigación es difícil de medir y hay pocos estudios que informen la prevalencia o las causas subyacentes de la

mala conducta en la investigación entre los investigadores biomédicos. Es probable que las estimaciones de prevalencia

informadas de mala conducta sean subestimaciones y oscilan entre el 0,3 % y el 4,9 %. Ha habido esfuerzos para medir la

prevalencia de la mala conducta en la investigación; sin embargo, los relativamente pocos estudios publicados no son

libremente comparables debido a las diversas caracterizaciones de la mala conducta en la investigación y los métodos utilizados

para la recopilación de datos. Hay algunas señales que pueden indicar una mayor posibilidad de mala conducta en la

investigación, sin embargo, es necesario que los investigadores biomédicos sigan autocontrolándose. Hay recursos existentes

para ayudar a garantizar métodos estadísticos apropiados y prevenir otros tipos de fraude en la investigación. Estos incluyeron

los "Análisis y métodos estadísticos en la literatura publicada", también conocidos como las pautas SAMPL, que ayudan a los

científicos a determinar el método apropiado para informar varios métodos estadísticos; el “Fortalecimiento del Pensamiento

Analítico para los Estudios Observacionales”, o el STRATOS, que hace énfasis en la ejecución e interpretación de resultados; y el

Comité de Ética de la Publicación (COPE), que fue creado en 1997 para brindar orientación sobre la ética de la publicación. COPE

tiene una secuencia de visiones y estrategias fundamentadas en los valores de honestidad y precisión.

Palabras clave:Investigación de mala conducta; falsificación; fabricación; métodos analíticos

Enviado el 19 de agosto de 2017. Aceptado para su publicación el 28 de agosto de

2017. doi: 10.21037/jtd.2017.09.24

Ver este artículo en:http://dx.doi.org/10.21037/jtd.2017.09.24

Introducción basado en literatura publicada y revisada por pares para mejorar la

La difusión de los resultados de la investigación de calidad es necesaria
para la mejora generalizada de la atención al paciente. Sin una
investigación de calidad, la mejora de la práctica dependería de las
propias observaciones de los médicos individuales y del deseo de
mejorar. Esto es particularmente cierto para la medicina quirúrgica,
donde la difusión de investigaciones de calidad mejora exponencialmente
el tratamiento de las poblaciones de pacientes. El objetivo de la
investigación médica debe ser determinar la verdad científica con
respecto a un tratamiento, exposición o resultado. Los médicos confían
atención al paciente y continuar tomando decisiones de tratamiento
informadas mientras se considera la creciente complejidad en la atención
médica, incluidos nuevos tratamientos, procedimientos, pautas y
preocupaciones relacionadas (1).
La investigación, quirúrgica o de otro tipo, debe tener un diseño, una
ejecución y un análisis sólidos para ser considerada de calidad. El diseño
y la ejecución del estudio a menudo pueden tener deficiencias, lo que
afecta la calidad de la investigación. Los ejemplos de estos incluyen el uso
de un tratamiento de comparación deficiente, la falta de cegamiento, la
aleatorización deficiente y el tamaño de muestra pequeño. En general,

© Revista de enfermedades torácicas. Reservados todos los derechos. jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124
4118
tabla 1Indicar actividades o métodos de mala conducta en la investigación
Diseño del estudio y recopilación de datos
Diseño inapropiado
Distorsión del diseño
Descuido o incompetencia
Fabricación de datos
No seguir protocolo de seguridad o consentimiento informado
No obtener la aprobación de la junta de revisión institucional antes de
comenzar el estudio
métodos analíticos
Falsificación de datos
Análisis inadecuado
Comparaciones múltiples no informadas o ajustadas
Tergiversación de métodos/análisis estadísticos
Análisis post hoc no identificados
Exclusión de valores atípicos
Publicación
Informes selectivos
Falta de publicación/acuerdo de no publicación
Sobreinterpretación de los resultados
Debilidades del estudio no descritas Publicaciones
duplicadas o casi idénticas Conflictos de interés
significativos o no revelados No proporcionará datos
sin procesar
la mayoría de estos elementos se pueden detectar y considerar con una
lectura exhaustiva de los métodos y resultados de un estudio. Muchos
criterios pueden ayudar en la identificación de evidencia de calidad, que
se emplean al crear pautas de tratamiento (2,3). Por el contrario, el
análisis de los datos del estudio se puede manipular para lograr los
resultados deseados. En general, la mayoría de los estudios informan
relativamente pocas o ninguna decisión de análisis estadístico o
evaluaciones de validez (4-6). Los autores a menudo solo indican los
métodos analíticos empleados y el paquete de análisis estadístico
utilizado para realizar los análisis.
El desarrollo de un plan de análisis estadístico, el cumplimiento de ese
plan, el análisis estadístico específico utilizado, las decisiones tomadas
durante el análisis, las suposiciones hechas con respecto a los datos y los
resultados posteriores están influenciados por factores que incluyen la
calidad de los datos, la elección adecuada y la implementación de
métodos de análisis estadístico. , evaluación rigurosa de los datos e
interpretación veraz de los resultados (7,8).
© Revista de enfermedades torácicas. Reservados todos los derechos.
Thiese et al. Verdades, mentiras y estadísticas.
La investigación biomédica se ha vuelto cada vez más compleja, particularmente en la investigación clínica quirúrgica (1).
La revisión de la literatura encuentra análisis estadísticos que consisten principalmente en pruebas t y estadísticas descriptivas
(es decir, medias, desviaciones estándar, rango) (5,9). Los avances recientes en los métodos estadísticos y el poder
computacional cada vez mayor han dado lugar a herramientas analíticas cada vez más sólidas que se pueden utilizar en la
investigación clínica. Aunque los métodos de análisis estadístico se han vuelto más robustos, las pruebas estadísticas básicas
empleadas comúnmente en los años setenta continúan siendo la principal o, a menudo, la única herramienta analítica en la
investigación quirúrgica (10). Todavía es relativamente común encontrar evaluaciones estadísticas incorrectas realizadas para el
diseño de estudio dado y/o tipo de datos. Las pruebas paramétricas básicas siguen utilizándose con frecuencia, aunque la
mayoría de los datos no se distribuyen normalmente (11). Una revisión de 91 artículos quirúrgicos comparativos publicados
encontró que la mayoría (78%) contenía errores potencialmente significativos en la aplicación de estadísticas analíticas. Los
errores comunes incluían no realizar una prueba de significancia cuando estaba indicado, proporcionar valores de p sin
referencia a una comparación específica y la aplicación inadecuada de métodos estadísticos básicos (12). Otro estudio que
evaluó 100 artículos sobre cirugía ortopédica informó que el 17 % de los resultados no respaldaron las conclusiones exageradas
y el 39 % realizó un análisis incorrecto en conjunto (13). Las revisiones de otra literatura revisada por pares encontraron que
aproximadamente la mitad de la investigación clínica tiene uno o más errores estadísticos, algunos de los cuales influyeron en
los resultados y la interpretación de los hallazgos del estudio (14-16). Una revisión de 91 artículos quirúrgicos comparativos
publicados encontró que la mayoría (78%) contenía errores potencialmente significativos en la aplicación de estadísticas
analíticas. Los errores comunes incluían no realizar una prueba de significancia cuando estaba indicado, proporcionar valores de
p sin referencia a una comparación específica y la aplicación inadecuada de métodos estadísticos básicos (12). Otro estudio que
evaluó 100 artículos sobre cirugía ortopédica informó que el 17 % de los resultados no respaldaron las conclusiones exageradas
y el 39 % realizó un análisis incorrecto en conjunto (13). Las revisiones de otra literatura revisada por pares encontraron que
aproximadamente la mitad de la investigación clínica tiene uno o más errores estadísticos, algunos de los cuales influyeron en
los resultados y la interpretación de los hallazgos del estudio (14-16). Una revisión de 91 artículos quirúrgicos comparativos
publicados encontró que la mayoría (78%) contenía errores potencialmente significativos en la aplicación de estadísticas
analíticas. Los errores comunes incluían no realizar una prueba de significancia cuando estaba indicado, proporcionar valores de
p sin referencia a una comparación específica y la aplicación inadecuada de métodos estadísticos básicos (12). Otro estudio que
evaluó 100 artículos sobre cirugía ortopédica informó que el 17 % de los resultados no respaldaron las conclusiones exageradas
y el 39 % realizó un análisis incorrecto en conjunto (13). Las revisiones de otra literatura revisada por pares encontraron que
aproximadamente la mitad de la investigación clínica tiene uno o más errores estadísticos, algunos de los cuales influyeron en los resultados y la interpre
El objetivo de este artículo es describir los errores
estadísticos comunes en la literatura publicada y cómo
evitar y detectar estos errores.
Investigación de mala conducta
La mala conducta en la investigación, a menudo denominada fraude, puede
abarcar una variedad de actividades que incluyen: fabricación de datos o
resultados, plagio de ideas o texto sin otorgar el crédito adecuado, falsificación
de métodos o resultados de investigación (p. ej., omitir datos o desviarse
significativamente de la investigación). protocolo) y la manipulación del
proceso de revisión por pares. La mala conducta en la investigación
generalmente no incluye errores no intencionales, sino tergiversaciones
intencionales de los datos, procesos y/o hallazgos de la investigación.tabla 1
incluye prácticas de investigación que son indicadores de una posible mala
conducta en la investigación, si no de la propia mala conducta en la
investigación (17-19).
Es difícil identificar la verdadera prevalencia de la mala conducta en la
investigación, particularmente en los ensayos clínicos. Allí tienen
jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124
Jo
19.00
20.00
15.00
10.00 8.60
5.00
1.07
0.00
1955-2009 2010-2017 2015-2016
Figura 1Número medio de retracciones por año en la literatura
neuroquirúrgica publicada adaptada de Wangy otros. 2017 (26).
ha habido algunos intentos de cuantificar la prevalencia de la mala
conducta en la investigación; sin embargo, los diferentes estudios no son
fácilmente comparables debido a las distintas definiciones de mala
conducta en la investigación. Además, la población estudiada es difícil de
identificar y analizar. Teóricamente, cualquier persona que realice una
investigación podría cometer una mala conducta en la investigación,
desde asistentes de investigación en pequeños estudios piloto hasta el
investigador principal (PI) en un gran ensayo multicéntrico. La
identificación del PI es relativamente fácil; sin embargo, la enumeración
de todos los trabajadores investigadores involucrados en un estudio
generalmente no es factible. Además, es lógico creer que las personas en
ciertos niveles de carrera pueden tener una mayor probabilidad de
cometer una mala conducta en la investigación (p. ej., publicar para
obtener un puesto). El mayor problema para identificar la prevalencia de
la mala conducta en la investigación es el sesgo de respuesta hacia la
subdeclaración, incluso en encuestas anónimas. La investigación en esta
área ha tratado de abordar esto haciendo preguntas que no son de
autoinforme, como "¿conoce a alguien que haya cometido una mala
conducta en la investigación?" en lugar de preguntas de autoinforme
como "¿alguna vez cometió una mala conducta en la investigación?". Es
probable que la prevalencia informada de individuos que respondieron la
pregunta de autoinforme sea significativamente diferente de la
prevalencia imparcial o no autoinformada. A pesar de estas deficiencias,
hay un cuerpo de literatura pequeño pero creciente que evalúa la
prevalencia de la mala conducta en la investigación tanto en estudios
autoinformados como no autoinformados. Entre la prevalencia
autoinformada de mala conducta en la investigación, la prevalencia
media estimada es de aproximadamente el 2%, con una posible
tendencia a la baja levemente decreciente en el tiempo (20). Por el
contrario, la prevalencia general de mala conducta en la investigación no
autoinformada fue ligeramente superior al 14 % (20).
La detección de tergiversaciones, incluido el error
involuntario y la mala conducta intencional, debe dar lugar a la
retractación de los artículos publicados, lo cual es poco común.
© Revista de enfermedades torácicas. Reservados todos los derechos.
4119
con estimaciones de artículos retractados en 0,07% (21). Un
estudio de 1999 identificó artículos retractados indexados en
Medline desde 1966 hasta 1996 (22). El estudio identificó 198
declaraciones de retractación de publicación, retractando 235
artículos. Posteriormente, se clasificaron según el motivo
principal de la retractación, y la mayoría (38,7 %) se retractó por
errores, seguido de cerca por (36,6 %) por mala conducta (22).
Muchos de estos artículos retractados fueron luego citados por
1.893 artículos posteriores después de que se realizó la
retractación, siendo casi todas las citas explícitas (14,5 %) o
implícitamente positivas (77,9 %) y solo una pequeña proporción
(7,5 %) reconociendo la retractación (22 ). Un estudio reciente
que evaluó las retractaciones específicamente en la
investigación ortopédica encontró que la mayoría de las
retractaciones fueron por fraude (26,4 %) o plagio (22,7 %) (23).
Hay múltiples estudios que demuestran que las tasas de retracción
están aumentando (24). Un artículo que evaluó las retractaciones entre
2001 y 2011 informó un aumento de 10 veces en las retractaciones para
ese período de tiempo (25).Figura 1 muestra datos adaptados de Wang et
al que representan el aumento en la frecuencia de retracción de la
literatura neuroquirúrgica (26). El estudio de las retracciones en la
investigación ortopédica encontró tendencias crecientes similares en el
número de retracciones por año (26).
Se han sugerido algunas soluciones y se ha avanzado en el
intento de prevenir el fraude en la investigación clínica. Las posibles
soluciones incluyen la regulación legal (19) y el requisito de
compartir datos sin procesar para una evaluación independiente y la
replicación de los resultados (18).
Tergiversaciones estadísticas no intencionales
En muchos casos específicos, puede ser difícil o imposible identificar si un
problema con un estudio fue intencional y, por lo tanto, se consideró una
mala conducta en la investigación, o si no fue intencional y se atribuyó a
un error honesto, una diferencia de opinión u otra causa benigna. Es
probable que las estimaciones de prevalencia de errores no intencionales
en la investigación estén menos sesgadas que las estimaciones de mala
conducta en la investigación, aunque ambas siguen siendo
subestimaciones. Los errores no intencionales en el análisis de datos
representan solo el 15% de las publicaciones retractadas (21). Las causas
no intencionales informadas para las retractaciones incluyen informes
inadecuados de casos, exclusión inadvertida de valores atípicos que
conducen a interpretaciones erróneas y sesgos no reconocidos que
salieron a la luz al final del estudio o después de la publicación.
Detectar y evitar falsedades estadísticas
Existen múltiples recursos para ayudar a evitar
jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124
4120
Tabla 2Signos estadísticos que indican una posible mala conducta en la investigación
Emplear una prueba estadística incorrecta
Simplificación excesiva de los análisis
Exclusión de datos
Análisis exploratorios
Múltiples pruebas realizadas pero pocas estadísticamente significativas
Patrón de tamaño del efecto inconsistente
Valores de p no ajustados para comparaciones múltiples
Baja potencia estadística/alto error de tipo II
Identificación incorrecta del diseño del estudio
No siguió un plan de análisis a priori
Realizar solo pruebas unilaterales de significación
estadística sin justificación
presentación y procedimientos estadísticos inapropiados. Uno
de los cuales es el "Análisis y métodos estadísticos en la
literatura publicada", también conocido como las pautas SAMPL,
que ayudan a los investigadores a informar sobre diversos
métodos estadísticos (27). Otro recurso valioso es el
“Fortalecimiento del Pensamiento Analítico para Estudios
Observacionales”, o el STRATOS, que se enfoca en la orientación
de ejecución e interpretación de resultados (28). Por último, el
Comité de Ética de la Publicación (COPE) se estableció en 1997
para brindar orientación sobre la ética de la publicación. La
COPE cuenta con una serie de postulados y lineamientos, los
cuales se basan en los principios de honestidad y exactitud (29).
La honestidad, en forma de transparencia, divulgación y
autoevaluación crítica en la investigación quirúrgica, prohíbe las
tergiversaciones intencionales. La precisión evita
tergiversaciones estadísticas no intencionales. La inexactitud
demuestra comprensión metodológica, analítica o interpretativa
o atención al detalle.
La investigación clínica requiere autocontrol y obligar a los pares a cumplir
con altos estándares rigurosos para mantener la credibilidad (30). Los estudios
seleccionados identificaron acciones tomadas contra la mala conducta en la
investigación. En un estudio, se tomó alguna medida en el 46 % de los 78 casos
de mala conducta en la investigación no informados por los propios
encuestados (31). En otro estudio de casos de mala conducta en la
investigación no autoinformados, más de la mitad de las personas que
informaron de mala conducta no propia, también informaron haber
confrontado a la persona que cometió la mala conducta. Además, muchos
también denunciaron la mala conducta al supervisor (36,4 %) o a la Junta de
Revisión Institucional (IRB) (12,1 %) (32).
La identificación de la mala conducta en la investigación a menudo viene
© Revista de enfermedades torácicas. Reservados todos los derechos.
Thiese et al. Verdades, mentiras y estadísticas.
de muchas fuentes, incluidos: pares de investigación, revisores,
auditores del IRB e incluso participantes del estudio. Un estudio
informó que casi una cuarta parte (24,4 %) de los 115 casos de mala
conducta fueron informados por un participante del estudio (30).
También hay algunos signos estadísticos comunes que pueden
indicar una posible mala conducta en la investigación (4,8,17,30).
Estos se describen enTabla 2.
Elección de la prueba estadística
La selección del tipo correcto de prueba estadística para usar en el plan
analítico se elige según el tipo de datos y la pregunta de estudio que se
aborda (33). Las preguntas de estudio generalmente vienen en dos
formas diferentes, las que evalúan las diferencias entre los grupos y las
que evalúan las similitudes/igualdad entre los grupos. Por ejemplo, si la
pregunta del estudio es evaluar si existe una diferencia estadística entre
dos enfoques quirúrgicos, entonces hay un número selecto de pruebas
estadísticas que se pueden emplear para evaluar la diferencia entre los
enfoques quirúrgicos. Sin embargo, si la pregunta del estudio tiene como
objetivo demostrar que dos abordajes quirúrgicos son equivalentes,
entonces se debe emplear un conjunto diferente de pruebas estadísticas,
según el tipo de datos que se analicen (11). Se necesita una identificación
adecuada de la pregunta de estudio y el tipo de datos correctos antes de
hacer un plan de análisis para minimizar errores significativos y posibles
interpretaciones erróneas de los resultados del estudio. Los resultados
de emplear la prueba estadística incorrecta podrían convertirse en una
limitación menor o, en el peor de los casos, completando la invalidación
de los resultados del estudio (34).
Las evaluaciones estadísticas incorrectas a menudo caen en una de
dos categorías. La categoría más común es la prueba para evaluar si hay
una diferencia entre dos grupos (35) y se supone que los datos están
distribuidos normalmente, cuando en realidad no lo están. Las pruebas
de diferencias pueden ser pruebas de un solo lado, es decir, evaluar si
hay una diferencia entre los grupos en una sola dirección (solo mejorado,
solo más alto, etc.), o una prueba de dos lados que analiza las diferencias
estadísticas en cualquier dirección. (mejorado o peor, mayor o menor,
etc.). Las pruebas unilaterales son menos conservadoras que las pruebas
bilaterales y deben estar bien justificadas y descritas en un plan de
análisis antes de realizar el estudio. El otro tipo de pruebas estadísticas
son las pruebas de equivalencia y no inferioridad, que evalúan si dos
grupos o intervenciones son estadísticamente equivalentes (36,37). Estas
pruebas no indican que dos grupos simplemente no sean
estadísticamente diferentes (37). Además, se utilizan para evaluar si dos
cosas son estadísticamente intercambiables y, a menudo, se utilizan para
evaluar nuevos métodos de evaluación, abordajes quirúrgicos o
tratamientos (38). Un ejemplo de una prueba de no inferioridad diseñada
para evaluar si un nuevo
jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124
Journal of Thoracic Disease, Vol 9, No 10 Octubre 2017
enfoque quirúrgico tiene los resultados positivos como el enfoque
quirúrgico actual. La aplicación de pruebas de diferencias en lugar de
pruebas de similitudes puede aplicarse de manera inapropiada, lo que da
como resultado conclusiones falsas.
La identificación del tipo correcto de datos (numéricos o categóricos) y la
distribución (normal o no normal) dictan las pruebas específicas a usar (35), y a
menudo se simplifica demasiado en los ensayos quirúrgicos. Los ensayos
aleatorizados solían utilizar pruebas t para muestras apareadas si se evaluaba
al mismo paciente tanto antes como después de la intervención, o pruebas t
para muestras independientes en los ensayos experimentales tradicionales.
contraensayo de control. Sin embargo, las pruebas t suponen una distribución
normal de los datos y los datos biomédicos no suelen tener una distribución
normal. Cuando los datos no se distribuyen normalmente, se debe emplear el
uso de pruebas no paramétricas (p. ej., prueba de chi-cuadrado, prueba U de
Mann-Whitney, prueba de rango de signo de Wilcoxon, prueba de suma de
rango de Wilcoxon) (39). El uso inapropiado de estas pruebas paramétricas en
lugar de su equivalente no paramétrico probablemente haya resultado en
resultados falsos. La suposición de que todos los datos se distribuyen
normalmente es una indicación de descuido, ignorancia o incompetencia del
éter (11) y puede ser un síntoma de una mala conducta de investigación más
amplia y generalizada. Muchos estudios anteriores describen el tipo de análisis
apropiado dado el tipo de datos y el diseño del estudio (5,11,13,27,39-41).
Simplificación excesiva de los análisis
La complejidad estadística en la investigación en cirugía clínica está
creciendo (1); sin embargo, las pruebas y modelos estadísticos simples y
básicos todavía se emplean comúnmente en el análisis de datos
complejos. Una evaluación de 240 publicaciones quirúrgicas revisadas
por pares encontró que proporciones significativas de estudios tenían
uno o más signos de posible mala conducta en la investigación. De estas
publicaciones, el 60 % utilizó estadísticas paramétricas rudimentarias sin
que se informara una prueba de normalidad, el 21 % no informó una
medida de tendencia central (media, mediana o moda) para las medidas
primarias y el 10 % no identificó el tipo de prueba estadística. se utilizó
para calcular un valor P (10).
Exclusión de datos y tratamiento de valores atípicos
La exclusión de datos rara vez debe ocurrir. Además, solo es justificable
cuando existen errores documentados en el proceso de recopilación de
datos. La mejor situación es la planificación adecuada de los posibles
errores de recopilación de datos que se consideran antes de recopilar
datos y se escriben en un plan de análisis (12,20) La falla del protocolo, el
error de prueba, el error de laboratorio o la falla del equipo son
lamentablemente comunes en la investigación y son todas razones
razonables para excluir datos, dado que están documentados
© Revista de enfermedades torácicas. Reservados todos los derechos.
4121
fuentes de datos erróneos (11). Las posibles circunstancias que pueden resultar en datos individuales incorrectos e inexactos
deben considerarse antes de la recopilación de datos y deben reducirse a través de un protocolo de estudio (p. ej., estandarizar a
los médicos o calibrar el equipo antes de cada evaluación) o memorizarse en un plan para identificar y manejar estos
problemas. . Una circunstancia en la que la exclusión de datos a menudo se realiza sin explicación en la publicación son los
valores atípicos. Es aconsejable tener una definición establecida de lo que constituye un valor atípico (es decir, 3 desviaciones
estándar o 1,5 IQR) antes del análisis e incluir claramente esta información en la sección de métodos. Sin tener en cuenta las
restricciones de recuento de palabras ni dar demasiada información, es mejor ser lo más transparente posible al incluir análisis
de datos con valores atípicos y sin ellos. Los planes de análisis están cada vez más disponibles a través de fuentes secundarias,
como Clinicaltrials.gov, o los solicitan los editores de revistas antes de publicar un artículo. La explicación adecuada para excluir
cada dato debe ser el resultado de una desviación de protocolo documentada o un error de laboratorio, no simplemente puntos
de datos que están "más allá de lo esperado" (p. ej., 2 desviaciones estándar por encima de la media). Un estudio que analizó la
mala conducta en la investigación concluyó que más de un tercio (33,7 %) de los investigadores encuestados admitieron
metodologías de investigación deficientes indicativas de mala conducta en la investigación, incluida la exclusión de datos o datos
múltiples debido a una "intuición de que eran inexactos" y engañosos o selectivos. notificación del diseño, los datos o los
resultados del estudio (20). gov o solicitado por los editores de revistas antes de publicar un artículo. La explicación adecuada
para excluir cada dato debe ser el resultado de una desviación de protocolo documentada o un error de laboratorio, no
simplemente puntos de datos que están "más allá de lo esperado" (p. ej., 2 desviaciones estándar por encima de la media). Un
estudio que analizó la mala conducta en la investigación concluyó que más de un tercio (33,7 %) de los investigadores
encuestados admitieron metodologías de investigación deficientes indicativas de mala conducta en la investigación, incluida la
exclusión de datos o datos múltiples debido a una "intuición de que eran inexactos" y engañosos o selectivos. notificación del
diseño, los datos o los resultados del estudio (20). gov o solicitado por los editores de revistas antes de publicar un artículo. La
explicación adecuada para excluir cada dato debe ser el resultado de una desviación de protocolo documentada o un error de
laboratorio, no simplemente puntos de datos que están "más allá de lo esperado" (p. ej., 2 desviaciones estándar por encima de
la media). Un estudio que analizó la mala conducta en la investigación concluyó que más de un tercio (33,7 %) de los
investigadores encuestados admitieron metodologías de investigación deficientes indicativas de mala conducta en la
investigación, incluida la exclusión de datos o datos múltiples debido a una "intuición de que eran inexactos" y engañosos o
selectivos. notificación del diseño, los datos o los resultados del estudio (20). 2 desviaciones estándar por encima de la media). Un estudio que analizó la m
Detección de fraude
Hay tres tipos distintos de detección de fraude. Estos incluyen la
supervisión por parte de los comités de juicio, el seguimiento in situ y el
seguimiento estadístico central (42). Cada tipo es importante para
detectar diferentes aspectos del fraude. La supervisión por parte de los
miembros del comité del ensayo es mejor para evitar fallas en el diseño
del estudio, así como en la interpretación de los resultados (42). El
seguimiento in situ es útil para garantizar que no se produzcan errores
de procedimiento durante la recopilación de datos en los centros
participantes (42). Por último, el seguimiento estadístico es esencial para
eliminar errores de datos, así como la incidencia de equipos defectuosos
o descuidos. Desafortunadamente, la mayoría de los estudios solo
implementan un tipo de detección de fraude, el monitoreo en el sitio (43).
Si bien este tipo de detección de fraude es útil para garantizar que la
recopilación de datos se realice de manera eficiente y correcta (es decir,
asegurarse de que todos los participantes estén dando su
consentimiento, etc.). Desafortunadamente, este tipo de detección de
fraude no garantiza la verificación de los datos de origen sin ser costoso y
oportuno (44-46). Sin embargo, los datos de origen
jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124
4122
la verificación mediante el monitoreo estadístico central es necesaria
para asegurarse de que los datos recopilados sean confiables para
responder a su pregunta central, detectar fraude y cualquier patrón
anormal, especialmente en los ensayos multicéntricos (17,47,48). En
algunas circunstancias, principalmente para reducir el costo de la
verificación constante de los datos de origen, se pueden recomendar
auditorías de datos específicos para detectar fraudes además de
promover otras actividades de autocontrol (44-46,48).
Principios del seguimiento estadístico
El seguimiento estadístico es posible gracias a la naturaleza estructurada de los
datos clínicos. Con respecto a los ensayos multicéntricos, a menudo los datos
se recopilan utilizando formularios de recopilación similares, lo que facilita la
realización de análisis que evalúen cualquier anomalía en todas las variables o
variables específicas de un centro en comparación con otros (49-52). Los
senderos aleatorios también pueden aprovechar la naturaleza estructurada de
las variables para el seguimiento estadístico. En teoría, las variables de
referencia no deberían diferir significativamente entre todos los grupos
aleatorizados. Las fechas de las visitas de los participantes también pueden
monitorearse en busca de anomalías, incluido un número sospechosamente
elevado de visitas durante el fin de semana (42, 48, 53). Otro acto fraudulento
que realizan los investigadores es copiar y pegar datos de un participante a
otro. Se puede utilizar una prueba de similitud para garantizar la honestidad en
el informe de datos. En cambio, algunos investigadores adoptan un enfoque
más largo para fabricar datos inventando valores para las variables faltantes.
Sin embargo, los humanos no son buenos para hacer números completamente
aleatorios, usando la Ley de Benford sobre la distribución de los primeros
dígitos, los investigadores pueden ver si los investigadores han inventado
números (54).
Conclusiones
La mala conducta en la investigación puede tener su origen en muchas
fuentes. A menudo es difícil de detectar y se sabe poco sobre la
prevalencia o las causas subyacentes de la mala conducta en la
investigación entre los investigadores biomédicos. Es probable que las
estimaciones de prevalencia de mala conducta sean subestimaciones,
que van del 0,3 % al 4,9 %. Hay signos que pueden indicar una mala
conducta en la investigación y que se necesita un autocontrol continuo
por parte de los investigadores biomédicos. Además, existen algunas
mejores prácticas, incluido el desarrollo y la difusión de un plan de
análisis antes de recopilar datos, que pueden minimizar la oportunidad
de mala conducta en la investigación.
Agradecimientos
Fondos:Este estudio ha sido financiado, en parte, por subvenciones
© Revista de enfermedades torácicas. Reservados todos los derechos.
Thiese et al. Verdades, mentiras y estadísticas.
de la beca de capacitación del Centro de Educación e
Investigación del Instituto Nacional para la Seguridad y Salud
Ocupacional (NIOSH/CDC) T42/CCT810426-10.
Nota
Conflictos de interés:Los autores no tienen ningún conflicto de intereses que
declarar.
Referencias
1. Kurichi JE, Sonnad SS. Métodos estadísticos en la literatura
quirúrgica. J Am Coll Surg 2006;202:476-84.
2. Harris JS, Sinnott PL, Holland JP, et al. Metodología para
actualizar las recomendaciones de práctica en las Pautas de
práctica de medicina ocupacional del American College of
Occupational and Environmental Medicine, segunda edición. J
Occup Environ Med 2008;50:282-95.
3. Melhorn JM HK. Metodología. En: Melhorn JM, Ackerman WE.
editor. Guías para la evaluación de la causalidad de
enfermedades y lesiones. Prensa AMA; 2008.
4. Strasak AM, Zaman Q, Pfeiffer KP, et al. Errores estadísticos en la
investigación médica: una revisión de las trampas comunes. suizo
Semanal Med 2007;137:44-9.
5. Feinstein AR. Bioestadística clínica. XXV. Una encuesta de los
procedimientos estadísticos en revistas médicas generales. Clin
Pharmacol Ther 1974; 15:97-107.
6. Williams JL, Hathaway CA, Kloster KL, et al. Baja potencia, errores
de tipo II y otros problemas estadísticos en la investigación
cardiovascular reciente. Am J Physiol 1997;273:H487-93.
7. Thiese MS, Arnold ZC, Walker SD. El mal uso y abuso de la
estadística en la investigación biomédica. Biochem Med
(Zagreb) 2015;25:5-11.
8. Cassidy LD. Conceptos básicos de análisis estadístico para la
investigación quirúrgica. J Surg Res 2005;128:199-206.
9. Emerson JD, Colditz GA. Uso del análisis estadístico en el
New England Journal of Medicine. N Engl J Med
1983;309:709-13.
10. Oliver D, Salón JC. Artículos originales: uso de estadísticas
en la literatura quirúrgica y el fenómeno 'Huérfano P'.
Aust NZJ Surg 1989;59:449-51.
11. Greenland S, Senn S, Rothman K, et al. Pruebas estadísticas,
valores de P, intervalos de confianza y potencia: una guía para
las malas interpretaciones. Eur J Epidemiol 2016;31:337-50.
12. Salón JC, Colina D, Watts JM. Mal uso de métodos estadísticos
en la literatura quirúrgica de Australasia. Aust NZJ Surg
1982;52:541-3.
13. Parsons NR, Price CL, Hiskens R, et al. Una evaluación de
jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124
Journal of Thoracic Disease, Vol 9, No 10 Octubre 2017
la calidad del diseño estadístico y el análisis de la investigación
médica publicada: resultados de una encuesta sistemática de
revistas ortopédicas generales. Método BMC Med Res
2012;12:60.
14. Gore SM, Jones IG, Rytter CE. Mal uso de métodos
estadísticos: evaluación crítica de artículos en BMJ de
enero a marzo de 1976. Br Med J 1977;1:85-7.
15. Kim JS, Kim DK, Hong SJ. Evaluación de errores y estadísticas
mal utilizadas en la investigación dental. Int Dent J
2011;61:163-7.
16. Blanco SJ. Errores estadísticos en artículos del British Journal of
Psychiatry. Br J Psiquiatría 1979;135:336-42.
17. George SL, Buyse M. Fraude de datos en ensayos clínicos. Clin
Investig (Londres) 2015;5:161-73.
18. PO de Myers. Datos abiertos: ¿pueden prevenir el fraude en la investigación,
promover la reproducibilidad y permitir el análisis de big data en la
investigación clínica? Ann Thorac Surg 2015;100:1539-40.
19. Smith R. Regulación legal necesaria para exponer y detener el
fraude médico. BMJ 2016;352:i293.
20. Fanelli D. ¿Cuántos científicos fabrican y falsifican investigaciones?
Una revisión sistemática y metanálisis de los datos de la encuesta.
PLoS One 2009;4:e5738.
21. Moylan CE, Kowalczuk MK. Por qué se retractan los artículos: un
estudio transversal retrospectivo de los avisos de retractación en
BioMed Central. Abierto BMJ 2016;6:e012047.
22. Budd JM, Sievert M, Schultz TR, et al. Efectos de la retractación de
artículos sobre la citación y la práctica en medicina. Bull Med Libra
Assoc 1999;87:437-43.
23. Yan J, MacDonald A, Baisi LP, et al. Retracciones en la investigación
ortopédica. Articulación ósea Res 2016;5:263-8.
24. Frijol JR. Verdad o consecuencias: la creciente tendencia de retractación de
publicaciones. Neurocirugía Mundial 2017;103:917-8.
25. Van Noorden R. El problema con las retractaciones. Naturaleza
2011; 478:26.
26. Wang J, Ku JC, Alotaibi NM, et al. Retracción de publicaciones
neuroquirúrgicas: una revisión sistemática. World
Neurosurg 2017;103:809-14.e1.
27. Lang TA, Altman DG. Informes estadísticos básicos para
artículos publicados en revistas biomédicas: los "Análisis y
métodos estadísticos en la literatura publicada" o las
pautas SAMPL. En: Smart P, Maisonneuve H, Polderman A,
eds. Manual de editores científicos, Asociación Europea de
Editores Científicos, 2013.
28. Sauerbrei W, Abrahamowicz M, Altman DG, et al. Fortalecimiento del
pensamiento analítico para estudios observacionales: la iniciativa
STRATOS. Stat Med 2014;33:5413-32.
29. Apuesta E, Barbour V, Yentis S, et al. Retractaciones:
Orientación del comité de ética de publicaciones (COPE).
© Revista de enfermedades torácicas. Reservados todos los derechos.
4123
2009;50:532-5.
30. Tito SL, Wells JA, Rhoades LJ. Reparación de la integridad de la
investigación. Naturaleza 2008;453:980-2.
31. Tangney JP. El fraude saldrá a la luz, ¿o sí? Nuevo científico
1987; 115: 62-3.
32. MS de Kattenbraker. Investigación y publicación en educación
para la salud: consideraciones éticas y la respuesta de los
educadores en salud. Universidad del Sur de Illinois en
Carbondale, 2007.
33. Hulley SB, Cummings SR, Browner WS, et al. Diseño de
investigaciones clínicas. Lippincott Williams & Wilkins, 2013.
34. Jamart J. Pruebas estadísticas en la investigación médica. Acta Oncol
1992;31:723-7.
35. Woolson RF, Clarke WR. Métodos estadísticos para el
análisis de datos biomédicos. John Wiley & Sons, 2011.
36. Altman DG, Bland JM. Medición en medicina: el análisis de los
estudios de comparación de métodos. El estadístico
1983;32:307-17.
37. Wellek S. Prueba de hipótesis estadísticas de equivalencia y no
inferioridad. Prensa CRC; 2010.
38. D'Agostino RB, Massaro JM, Sullivan LM. Ensayos de no inferioridad:
conceptos y problemas de diseño: los encuentros de
consultores académicos en estadística. Stat Med 2003;22:169-86.
39. Hollander M, Wolfe DA, Chicken E. Métodos
estadísticos no paramétricos. John Wiley & Sons, 2013.
40. Gore A, Kadam Y, Chavan P, et al. Aplicación de la bioestadística en la
investigación por parte de docentes y estudiantes de posgrado de
último año en facultades de medicina moderna: un estudio
transversal. Int J Appl Basic Med Res 2012;2:11-6.
41. Pequeño RJ, Rubin DB. Análisis estadístico con datos perdidos.
John Wiley e hijos; 2014.
42. Baigent C, Harrell FE, Buyse M, et al. Garantizar la validez de los ensayos
mediante el aseguramiento de la calidad de los datos y la diversificación
de los métodos de seguimiento. Ensayos clínicos 2008;5:49-55.
43. Morrison BW, Cochran CJ, White JG, et al. Supervisión de la calidad
de la realización de ensayos clínicos: una encuesta de las prácticas
actuales. Ensayos clínicos 2011;8:342-9.
44. Eisenstein EL, Collins R, Cracknell BS, et al. Enfoques sensatos para
reducir los costos de los ensayos clínicos. Ensayos Clínicos
2008;5:75-84.
45. Christina Reith MB C, Martin Landray MB C, Granger CB, et al.
Ensayos clínicos aleatorizados: eliminación
obstáculos innecesarios. N Engl J Med 2013;369:1061-5.
46. Grimes DA, Hubacher D, Nanda K, et al. La guía de buenas
prácticas clínicas: un estándar de bronce para la investigación
clínica. Lancet 2005;366:172-4.
47. Administración de Alimentos y Medicamentos. Orientación para la industria:
supervisión de investigaciones clínicas: un enfoque basado en el riesgo
jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124
4124
al monitoreo. Silver Spring, MD: FDA 2013.
48. Buyse M, George SL, Evans S, et al. El papel de la bioestadística
en la prevención, detección y tratamiento del fraude en los
ensayos clínicos. Stat Med 1999;18:3435-51.
49. Edwards P, Shakur H, Barnetson L, et al. Supervisión central y
estadística de datos en el ensayo Clinical Randomization of an
Antifibrinolytic in Significant Hemorrhage (CRASH-2). Ensayos
Clínicos 2014;11:336-43.
50. Kirkwood AA, Cox T, Hackshaw A. Aplicación de métodos para el
control estadístico central en ensayos clínicos. Ensayos clínicos
2013;10:783-806.
51. Lindblad AS, Manukyan Z, Purohit-Sheth T, et al.
Citar este artículo como:Thiese MS, Walker S, Lindsey J.
Verdades, mentiras y estadísticas. J Thorac Dis
2017;9(10):4117-4124. doi:10.21037/jtd.2017.09.24
© Revista de enfermedades torácicas. Reservados todos los derechos.
Thiese et al. Verdades, mentiras y estadísticas.
Monitoreo del sitio central: resultados de una prueba de precisión en la identificación
de ensayos y sitios que no pasaron la inspección de la Administración de Alimentos y
Medicamentos. Ensayos Clínicos 2014;11:205-17.
52. Venet D, Doffagne E, Burzykowski T, et al. Un enfoque estadístico
para el control central de la calidad de los datos en los ensayos
clínicos. Ensayos clínicos 2012;9:705-13.
53. Buyse M, Evans SJ. Fraude en ensayos clínicos. Wiley statsref:
referencia de estadísticas en línea, 2005.
54. Al-Marzouki S, Evans S, Marshall T, et al. ¿Son reales estos
datos? Métodos estadísticos para la detección de fabricación
de datos en ensayos clínicos. BMJ 2005;331:267-70.
jtd.amegroups.com Enfermedad torácica J2017;9(10):4117-4124