Documentos de Académico
Documentos de Profesional
Documentos de Cultura
ANTONIO ESTEVE Nº 32
Cobo / Ventura
Esteve Fernández
-49-
Falacias en investigación epidemiológica
-50-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 32
usuarios de parches, cuando en ensayos clí- prospectivamente (hacia delante) tras la deter-
nicos previos y en estudios de resultados en minación de la información a recoger y cuando
la práctica real se alcanzan abstinencias a los los sucesos a observar aún no han aparecido,
6 meses del 15% al 20%. También sorprende pero también podemos hacer un seguimiento
cómo se administró el tratamiento en los gru- retrospectivo de la cohorte (hacia atrás) cuan-
pos, que bien podría condicionar la adherencia do la información ya existe y los sucesos ya
al tratamiento: mientras que los participantes se han producido. En los estudios de casos y
asignados a usar cigarrillos electrónicos los controles, la información sobre las exposicio-
recibieron directamente en sus casas, junto nes es retrospectiva, pues aun tratándose de
con las recargas, los participantes asignados nuevos casos van a proporcionar información
al parche de nicotina recibieron unos cupones de sus exposiciones pasadas. Sin embargo,
para retirarlos en su farmacia. el reclutamiento de casos y controles puede
Para acabar con esta falacia, también vale ser tanto prospectivo (a medida que van apa-
la pena recordar que algunas hipótesis no reciendo) como retrospectivo (si se buscan en
pueden ser evaluadas mediante un ensayo registros ya existentes).
clínico, por razones logísticas o sencillamente Por tanto, lo que tiene importancia es cómo
éticas. Sabemos que el tabaco causa cán- se obtiene la información, y cuán exactos y
cer de pulmón gracias a estudios observacio- válidos son los métodos de medida, ya sean
nales de casos y controles y de cohortes, y no cuestionarios, signos clínicos, parámetros bio-
ha sido necesario hacer, ni hubiese sido ético, químicos o diagnósticos basados en pruebas
un ensayo clínico en el que, tras una asigna- complementarias. Por ejemplo, en un estudio
ción aleatoria, tuviéramos un grupo de perso- de cohortes prospectivo en el que se recoja
nas fumando y otro grupo sin fumar durante información al inicio del seguimiento sobre la
20 años para analizar las respectivas tasas de exposición solar de los participantes mediante
incidencia de cáncer de pulmón. un cuestionario para relacionarlo con la inci-
dencia futura de melanoma maligno, será cru-
cial que dicho cuestionario sea válido y esté
2) Los estudios prospectivos son mejores
adaptado a la población del estudio. De lo
que los retrospectivos
contrario, el cuestionario no mide lo que debe
Esta falacia deriva del común error de haber medir, es decir, no es válido, y por ello la infor-
“asimilado” durante muchos años un estudio mación obtenida estará sesgada, y a pesar de
retrospectivo con un estudio de casos y contro- ser un diseño de cohortes y prospectivo los
les, que en el sistema GRADE tiene un menor resultados serán erróneos. Esta misma cohor-
grado de evidencia, junto con la concepción te, o incluso un estudio de casos y controles,
errónea de considerar de peor calidad la in- a priori más débil que la supuesta cohorte an-
formación recogida retrospectivamente que la terior, tendrían más valor si utilizaran un cues-
información recogida de manera prospectiva. tionario debidamente validado y adaptado.
La característica de prospectividad o re- En muchas ocasiones, la disponibilidad de
trospectividad de un estudio puede aplicarse la información condiciona la direccionalidad
tanto a estudios de cohortes (o longitudinales) del estudio. Los estudios de cohortes retros-
como a estudios de casos y controles, puesto pectivos y los estudios de casos y controles
que se refiere a cómo se sitúa el investigador han sido muy importantes para caracterizar
respecto a las observaciones a hacer, es decir, las causas de múltiples enfermedades, sobre
a la información que se va a recoger. Así, si todo en el ámbito de la salud laboral, gracias
el investigador anticipa qué información va a a los registros detallados de los puestos de
recoger, estamos ante un estudio prospecti- trabajo desempeñados por los trabajadores.
vo. Podemos diseñar un estudio prospectivo Por tanto, los estudios prospectivos no son
de cohortes, cuando el seguimiento se hace siempre garantía de resultados más válidos.
-51-
Falacias en investigación epidemiológica
-52-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 32
tral, pero esto es algo que no está en manos de estos fármacos y multitud de otros factores
del investigador). (dieta, tabaquismo, ejercicio físico, etc.) en la
incidencia y la mortalidad por numerosas enfer-
medades. Los resultados obtenidos mediante
4) La representatividad importa
esta cohorte han sido ampliamente generaliza-
Esta falacia, con un enunciado mimético al de dos, a pesar de estar formada por mujeres, en-
la tercera falacia por compartir un cierto ori- fermeras, con un rango de edad limitado y de
gen común derivado del muestreo estadístico, nivel socioeconómico bastante homogéneo.
consiste en creer que para hacer generali- La cohorte en sí misma es poco o nada repre-
zaciones válidas de un estudio es necesario sentativa de la población general, e incluso de
que los participantes en el estudio sean una la población femenina, pero sus resultados son
“muestra representativa” de la población dia- válidos y aplicables científicamente.
na. Esta falacia se deriva de la idea de que
la generalización (lo que también llamamos
5) La significación estadística da validez
“validez externa”) de un estudio implica la
al estudio
extrapolación mecánica de los resultados de
la muestra a la población fuente de la mues- Un error común entre los investigadores con
tra (1). Pero la generalización científica es real- menos formación o experiencia, y quizás en
mente el proceso de construir una proposición informadores y periodistas mal asesorados, es
correcta sobre cómo funciona la naturaleza. utilizar la significación estadística como proxy
Este tipo de generalización es el fin último de de la validez del estudio. La validez de una
la ciencia, y por ello los científicos en los labo- medición es el grado en que el resultado de
ratorios intentan maximizar la validez interna esta se corresponda realmente con lo que está
controlando todas las variables en estudio que sucediendo. De forma análoga, hablamos de
pudieran distorsionar los resultados. En los la- validez interna de un estudio cuando los resul-
boratorios experimentales no se seleccionan tados obtenidos en los sujetos de estudio son
muestras de animales representativas ni líneas correctos para esos sujetos. Es decir, la vali-
celulares representativas de supuestas pobla- dez de un estudio depende de la ausencia de
ciones de animales o células. El investigador sesgos o errores sistemáticos que pueden in-
básico controla todas las variables, usando troducirse tanto al seleccionar los sujetos que
animales, microorganismos o líneas celula- participan en el estudio (los miembros de la
res genéticamente idénticos y sometidos a cohorte, los casos y los controles, la población
las mismas variables ambientales, y que sólo diana…) como al recoger los datos (o realizar
difieren en la variable manipulada experimen- las observaciones); o bien por la falta de con-
talmente. A diferencia de algunas encuestas trol de variables que pueden estar interfiriendo
(electorales o incluso las encuesta de salud) las asociaciones estudiadas, los llamados “fac-
cuya finalidad es estudiar una muestra para tores de confusión”. Estos errores sistemáticos
poder extrapolar a toda la población diana, la poco tienen que ver con el azar o error alea-
generalización científica se mueve por conje- torio (o variación aleatoria) derivado del hecho
turas informadas, pero sólo desde la platafor- de estudiar una muestra en vez de toda la po-
ma de estudios válidos. blación. Justamente, la finalidad de la bioesta-
Un ejemplo clásico son las cohortes del dística es cuantificar la probabilidad de que el
Nurses’ Health Study, un estudio iniciado en azar o variación aleatoria sea la causa de los
1976 que actualmente incluye 238.000 enfer- resultados en los estudios de investigación.
meras colegiadas de los Estados Unidos (13). Por tanto, en muchas ocasiones se obtie-
Inicialmente diseñado para estudiar el riesgo nen resultados estadísticamente significativos
del consumo de contraceptivos orales, ha (p. ej., una diferencia entre dos tratamientos
aportado información relevante sobre el efecto de la que estamos muy seguros que no se
-53-
Falacias en investigación epidemiológica
-54-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 32
cia de los artículos sobre el sistema de ciencia no citación se reducía al 15% o menos solo en
e investigación, del impacto de la usabilidad las revistas con un factor de impacto mayor
y citación de los artículos en las redes socia- de 3. En efecto, a pesar de existir una gran
les (el movimiento altmetrics) (17) o de otros correlación inversa entre el factor de impacto
factores acaso altamente intangibles, como y el porcentaje de artículos no citados (a ma-
el prestigio de los editores o de la sociedad yor factor de impacto, menor porcentaje de
científica o institución promotora de la revista. no citación), llama tremendamente la atención
«Las buenas revistas llaman a buenos ar- que una revista como Nature Immunology,
tículos» sería la traslación del «efecto Mateo» con el mayor factor de impacto de la espe-
(por la frase «al que más tiene, más se le dará» cialidad en el año 2012 (27,868), tenga una
de la parábola de los talentos en el Evange- veintena de artículos que han recibido menos
lio de San Mateo) al mundo de las publicacio- de 15 citas.
nes científicas. Las buenas revistas atraen no A pesar de que la mayoría de las revistas
muchos, sino muchísimos manuscritos (BMJ, de primera fila suelen publicar artículos váli-
por ejemplo, recibe alrededor de 8000 ma- dos y relevantes, conviene no bajar la guardia
nuscritos cada año), por lo que tienen mucho porque un artículo venga refrendado por su
donde escoger y pueden ser muy exigentes en publicación en una gran revista. Los investi-
términos de validez, relevancia y originalidad gadores, los informadores y los periodistas
(siguiendo con BMJ, sólo acepta un 7% de no deben dejarse deslumbrar por el prestigio
esos manuscritos). Por todo ello, es muy fácil de las revistas. Por todo ello, es recomenda-
caer en la falacia de atribuir a los artículos las ble ser siempre críticos en la valoración de
características de la revista donde se publican, cualquier artículo, se publique donde se pu-
blique.
lo que en términos generales en epidemiología
denominamos la “falacia ecológica” (atribuir al
individuo una característica del grupo). Bibliografía
Evidentemente, la mayoría de los artículos 1. Rothman KJ. Six persistent research misconceptions.
publicados en las revistas más prestigiosas J Gen Intern Med. 2014;29:1060-4.
serán buenos artículos, pero no siempre será 2. Porta Serra M. Métodos de investigación clínica:
así. Las buenas revistas también se equivo- errores, falacias y desafíos. Med Clin (Barc.). 1990;
94:107-15.
can, y más de una vez encontraremos artícu- 3. Porta Serra M. La observación clínica y el razonamien-
los más que cuestionables (por su metodolo- to epidemiológico. Med Clin (Barc). 1986;87:816-9.
gía, por sus interpretaciones y conclusiones) 4. Álvarez Dardet C, Bolúmar F, Porta Serra M. Tipos de
estudios. Med Clin (Barc). 1987;89:296-301.
publicados, que sería lo mismo que decir “re-
5. Porta Serra M, Álvarez Dardet C, Bolúmar F, Plasencia
frendados”, por una buena revista. Si tomamos A, Velilla E. La calidad de la información clínica (I): vali-
como indicador de calidad las citas recibidas dez. Med Clin (Barc). 1987;89:741-7.
por los artículos (un artículo útil, en principio, 6. Plasencia A, Porta Serra M. La calidad de la infor-
mación clínica (II): significación estadística. Med Clin
debería ser más usado y por lo tanto citado
(Barc). 1988;90:122-6.
por otros investigadores) podemos llevarnos 7. Porta Serra M, Plasencia A, Sanz F. La calidad de
alguna sorpresa. Pues bien, en ciencias mé- la información clínica (y III): ¿estadísticamente sig-
dicas, el 12% de los artículos publicados no nificativo o clínicamente importante? Med Clin (Barc).
1988;90:463-8.
había recibido una sola cita a los 5 años de
8. Alonso Coello P. La confianza en los resultados de la
haberse publicado, y ese porcentaje era del investigación y el sistema GRADE. En: Casino G, editor.
27% en las revistas de ciencias naturales (18). Bioestadística para periodistas y comunicadores. Cua-
Un estudio sobre la no citación en revistas del dernos de la Fundación Dr. Antonio Esteve nº 26. Bar-
celona: Fundación Dr. Antonio Esteve; 2013. p. 25-32.
campo de la inmunología aporta interesantes
9. Alonso-Coello P, Rigau D, Solà I, Martínez García L. La
datos (19): el porcentaje mediano de artículos formulación de recomendaciones en salud: el sistema
no citados fue del 17,6%, y el porcentaje de GRADE. Med Clin (Barc). 2013;140:366-73.
-55-
Falacias en investigación epidemiológica
10. Bullen C, Howe C, Laugesen M, McRobbie H, Parag 15. Plasencia A, García AM, Fernández E. La revisión por
V, Williman J, et al. Electronic cigarettes for smok- pares: ¿buena, mala o todo lo contrario? Gac Sanit.
ing cessation: a randomised controlled trial. Lancet. 2001;15:378-9.
2013;382:1629-37. 16. Porta M, Fernández E, Bolúmar F. Commentary:
11. Francescutti P. Diálogo 2. Sobre los estudios observa- the “bibliographic impact factor” and the still un-
cionales y su tratamiento periodístico. En: Casino G, charted sociology of epidemiology. Int J Epidemiol.
editor. Bioestadística para periodistas y comunicado- 2006;35:1130-5.
res. Cuadernos de la Fundación Dr. Antonio Esteve nº 17. Priem J, Groth P, Taraborelli D. The altmetrics collec-
26. Barcelona: Fundación Dr. Antonio Esteve; 2013. tion. PLoS One. 2012;7:e48753.
p. 39-45. 18. Remler D. Are 90% of academic papers really never
12. Centers for Disease Control and Prevention (CDC). cited? Reviewing the literature on academic citations.
Pneumocystis pneumonia – Los Angeles. MMWR The impact blog. London School of Economics and
Morb Mortal Wkly Rep. 1981;30:250-2. Political Science. (Consultado el 3 de noviembre de
13. The Nurses’ Health Study. Website. (Consultado el 2 2014.) Disponible en: http://blogs.lse.ac.uk/impact
de noviembre de 2014.) Disponible en: http://www. ofsocialsciences/2014/04/23/academic-papers-cita
channing.harvard.edu/nhs/ tion-rates-remler/
14. Skrabanek P, McCormick J. Sofismas y desatinos en 19. Weale AR, Bailey M, Lear PA. The level of non-citation
la medicina. Barcelona: Doyma; 1992. of articles within a journal as a measure of quality:
a comparison to the impact factor. BMC Med Res
Methodol. 2004;4:14.
-56-