EVALUACIÓN DEL RIESGO DE SESGO

José Montes Alvis, MD, MSc (c)

jose.montes.alvis@gmail.com
Declaración de conflictos de interés

• El autor de la exposición no tiene conflictos de interés

• Afiliación actual:

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 2

Asociación estadística válida

• Necesitamos evaluar:
▪ Sesgo
▪ Confusión
▪ Azar

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 3

Asociación estadística válida

Este ECA muestra que la mortalidad fue

menor en el grupo que recibió el fármaco X
en comparación con el grupo que recibió
placebo (RR: 0.54, IC95%: 0.33 – 0.68)

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 4

Asociación estadística válida

Este ECA muestra que la mortalidad fue menor en el

grupo que recibió el fármaco X en comparación con el
grupo que recibió placebo (RR: 0.54, IC95%: 0.33 – 0.68)
Error:
• Error aleatorio (imprecisión)
• Error esperable al trabajar con una muestra y no con toda la población (si
repetimos el estudio varias veces, el RR será diferente)
• Se presenta como el intervalo de confianza al 95% (IC95%)
• Error sistemático (sesgo o bias)
• Distorsión de la verdad debido a fallas en la metodología del estudio
• Puede sub-estimar o sobre-estimar los resultados
• Al leer estudios, evaluamos el “riesgo de sesgo” (risk of bias)

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 5

¿Cómo evaluar el riesgo de sesgo?

• Ensayo clínico aleatorizado:

• Cochrane RoB
• Cochrane RoB 2.0 (2019, no totalmente aceptada)
• Estudios de intervención no randomizados:
• Newcastle Ottawa
• ROBINS-I (Risk Of Bias in Non-randomized Studies - of Interventions)
• MINORS (Methodological Index for NOn-randomized Studies)
• Estudio de diagnóstico:
• QUADAS-2 (QUality Assessment of Diagnostic Accuracy Studies)

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 6

¿Para qué evaluamos el riesgo de sesgo?

• Decidir qué tanto vamos a confiar en los

resultados del estudio

• En un meta-análisis, observar qué sucede

si excluimos los estudios con alto riesgo
de sesgo

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 7

1 Higgins JPT et al. The Cochrane Collaboration’s tool for assessing risk of bias in randomised trials. BMJ (Clinical research ed). 2011;343:d5928

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 8

Colaboración Cochrane

Manual Cochrane de Revisiones Sistemáticas de Intervenciones, versión 5.1. 0 [actualizada en marzo de 2011][Internet]. Barcelona: Centro Cochrane Iberoamericano; 2012.

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 9

Fuentes de Sesgo
Población diana

Aleatorización

Grupo Intervención Grupo Control

Evaluación del Evaluación del

resultado resultado

Publicación de los resultados

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 10
Fuentes de Sesgo
Población diana
Generación de la
secuencia aleatoria
Selección
Ocultación de la Aleatorización
secuencia de aleatorización

Grupo Intervención Grupo Control

Cegamiento de
Realización Participantes, personal

Cegamiento de los
Detección evaluadores del desenlace

Datos de desenlace Evaluación del

Desgaste Evaluación del
incompletos resultado resultado

Reporte selectivo de
Reporte resultados
Publicación de los resultados
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 11
Fuentes de Sesgo
Tipo de sesgo Dominio en inglés Dominio en español
Random sequence Generación de la secuencia
Aleatorización generation aleatoria
(selección) Ocultamiento de la
Allocation concealment
secuencia de aleatorización

Blinding (participants Cegamiento de participantes

Realización and personnel) y personal

Incomplete outcome Datos de desenlace

Desgaste data incompletos

Blinding (outcome Cegamiento de los

Detección assessment) evaluadores del desenlace

Reporte selectivo de
Reporte Selective reporting
resultados
Otros Other sources of bias Otras fuentes de sesgo

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 12

Riesgo de Sesgo – Risk of Bias (RoB 1.0)

1. Generación de la secuencia aleatoria

(Sesgo de selección)
2. Ocultación de la asignación
(Sesgo de selección)
3. Cegamiento de los participantes y del
personal
(Sesgo de desarrollo)
4. Datos del desenlace incompletos
(Sesgo de desgaste)
5. Cegamiento de los evaluadores del desenlace
(Sesgo de detección)
6. Reporte selectivo de resultados
(Sesgo de reporte)
7. Otras fuentes de sesgo
(Otros sesgos)

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 13

Riesgo de Sesgo – Risk of Bias (RoB 1.0)

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 14

 Riesgo de Sesgo
Dominio / Cita /
Juicio
Tipo de Sesgo Comentario
Generación de la secuencia aleatoria
(Sesgo de selección)
Ocultación de la secuencia de
aleatorización
(Sesgo de selección)
Cegamiento de los participantes y
del personal
(Sesgo de desarrollo)
Cegamiento de los evaluadores del
desenlace
(Sesgo de detección)
Datos del desenlace incompletos
(Sesgo de desgaste)
Reporte selectivo de resultados
(Sesgo de reporte) “
Otras fuentes de sesgo
(Otros sesgos)
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 15
 Riesgo de Sesgo
(Risk of Bias – RoB 1.0)
Dominio / Cita /
Juicio
Tipo de Sesgo Comentario

“Random-number–generating software, accessed through a

Web-based randomization system (www.randomize.net), which
used random block sizes of 4 and 6 and a 1:1 trial-group
assignment ratio stratified according to site, was used to
Generación de la secuencia aleatoria sequentially assign children to probiotics or placebo.”
(Sesgo de selección)
Se describe un proceso de aleatorización restringida/restrictiva
por de bloques (grupos) de 4 y 6 pacientes, en razón 1:1,
estratificada por el lugar de investigación (site); la cual fue
generada por un software vía internet (centralizada).

“The assignment sequence was restricted to the research

pharmacy at the coordinating center and www.randomize.net
Ocultación de la secuencia de until the databases were locked.”
aleatorización
(Sesgo de selección) Probablemente realizado y al parecer no se rompió. Se detalló
que la asignación fue centralizada (basada en la web y
controlada por farmacia)

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 16

1. Generación de la secuencia aleatoria

Importancia: si la aleatorización no está bien hecha, los grupos pueden tener características diferentes,
causando confusión

Bajo riesgo – no predecible

▪ Tabla de números aleatorios
▪ Generación de números aleatorios por ordenador
▪ Aleatorización estratificada o en bloque
▪ Minimización
▪ Recursos más rudimentarios (lanzamiento de una moneda, lanzar dados, etc)
Alto riesgo – predecible
▪ Método cuasi-aleatorio (fecha de nacimiento, día de visita, identificador o número de registro,
alternancia)
▪ Método no-aleatorio (elección por parte del clínico o del paciente, resultados de pruebas,
disponibilidad)

Riesgo de sesgo poco claro

▪ No se cuenta con información suficiente para concluir si el riesgo de sesgo es alto o bajo
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 17
2. Ocultamiento de la asignación

Importancia: Si los pacientes o investigadores pudieran preveer la asignación, podrían cambiar el grupo al que irá el
siguiente participante enrolado. Esto puede tener como consecuencia que los grupos sean diferentes, causando
confusión

Bajo riesgo – no predecible

▪ Asignación centralizada (teléfono, página web, servicio de farmacia )
▪ Sobres opacos, sellados y numerados de manera secuencial
▪ Envases de fármaco idénticos y numerados de manera secuencial

Alto riesgo – predecible

▪ Secuencia conocida previamente por parte del personal
▪ Sobres o envases sin una protección apropiada
▪ Secuencia no aleatoria, predecible

Riesgo de sesgo poco claro

▪ No se cuenta con información suficiente para concluir si el riesgo de sesgo es alto o bajo

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 18

3. Cegamiento de los participantes y del personal

Importancia: Si no hay cegamiento:

• Los pacientes de cierto grupo pueden manifestar otros efectos (efecto placebo, sesgo
de deseabilidad social, más probabilidad de buscar otras intervenciones o abandonar
el estudio).
• El personal del estudio podría tratar de manera diferente a los grupos de pacientes,
creando confusión.

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 19

3. Cegamiento de los participantes y del personal

Bajo riesgo
• El cegamiento es correcto y es poco probable que se haya roto
• Falta de cegamiento o cegamiento incompleto, pero no es probable que influya
en los resultados

Alto riesgo
• Falta de cegamiento, cegamiento incompleto o roto, y es probable que influya
en los resultados

Riesgo de sesgo poco claro

• No se cuenta con información suficiente para concluir si el riesgo de sesgo es
alto o bajo
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 20
4. Cegamiento de los evaluadores del desenlace

Importancia: Si los evaluadores de los outcomes saben a qué grupo perteneció cierto paciente, pueden influenciar
en la respuesta de dicho paciente, o pueden sesgar su evaluación.

Bajo riesgo
• El cegamiento es correcto y es poco probable que se haya roto
• Falta de cegamiento, pero no es probable que influya en la evaluación de los resultados

Alto riesgo
• Falta de cegamiento o cegamiento roto, y es probable que influya en la evaluación de
los resultados

Riesgo de sesgo poco claro

• No se cuenta con información suficiente para concluir si el riesgo de sesgo es alto o
bajo
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 21
4. Cegamiento de los evaluadores del desenlace

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 22

4. Cegamiento de los evaluadores del desenlace

Promueve una no preferencia:

• Menos propensos a administrar diferencialmente cointervenciones
• Menos propensos a retirar diferencialmente a los participantes
• Menos propensos a favorecer diferencialmente o desalentar a los
participantes a continuar con el estudio
• A evaluar de manera equitativa las escalas cuantitativas

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 23

5. Datos de resultado incompletos

Importancia: Si se han perdido muchos participantes de manera diferencial, los grupos podrían dejar de
ser comparables
• Cuando no se dispone de datos completos de los resultados para todos
los participantes
• Desgaste: pérdidas durante el seguimiento, abandono, otros datos
faltantes
• Exclusiones: algunos datos disponibles no están descritos en el
informe
• Puede dar lugar a un sesgo de desgaste (attrition bias)
• Problemas:
• Podría perderse la comparabilidad entre los grupos
• Analizar si las perdidas están relacionadas con el desenlace
• Si se pierden muchos, se pierde potencia estadística
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 24
5. Datos de resultado incompletos

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 25

5. Datos de resultado incompletos
Bajo riesgo
• Se dispone de los datos completos para todos los resultados
• Las razones que han motivado la falta de datos no se relacionan con el resultado
• Cantidad de datos de resultado faltantes equilibrados entre los grupos de
intervención, y con motivos similares;
• La proporción de datos faltantes o su posible efecto no es suficiente para tener un
impacto clínicamente relevante
Alto riesgo
• Razones relacionadas con los desenlaces, y desequilibrio en el número de datos
faltantes o en las razones que han provocado los datos faltantes
• La proporción de datos faltantes es suficiente para tener un efecto clínicamente
relevante
• Los resultados del análisis por protocolo difieren al análisis por intención a tratar
• Uso inapropiado de los métodos de imputación

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 26

6. Notificación selectiva de los resultados
Importancia: Si se evalúan varios outcomes, alguno saldrá “estadísticamente significativo” por azar. Reportar ese outcome podría
llevar a conclusiones erróneas

Bajo riesgo
• Se dispone del protocolo de estudio y todos los resultados de interés de la
revisión están descritos de la forma prevista en el protocolo
• No disponemos del protocolo, pero está claro que se notifican todos los
resultados esperables

Alto riesgo
• No disponemos del protocolo, y no está claro si se notificaron todos los
resultados esperables

Riesgo de sesgo poco claro

• Resultados no descritos como estaba pre-especificado o era esperable
• Ej. perdidos, añadidos, subconjuntos, medidas o métodos no esperados
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 27
6. Notificación selectiva de los resultados

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 28

7. Otras fuentes de sesgo

• Pueden existir otras fuentes de sesgo, pero se requiere una justificación clara de
por qué un factor puede ser causa de sesgo

• No incluir:
• Imprecisión (Ej. tamaño de la muestra pequeño)
• Heterogeneidad (Ej. dosis inadecuada, población inusual)
• Otras medidas de calidad (Ej. aprobación por el comité de ética,
financiación)

• Siempre que sea posible, buscar otras fuentes de sesgo en el protocolo

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 29

7. Otras fuentes de sesgo

Bajo riesgo
• El estudio parece no estar afectado por otras fuentes de sesgo

Alto riesgo
• Factores ligados a diseño de estudio específicos:
• Efecto de arrastre en los ensayos cruzados
• Sesgo de reclutamiento en los ensayos aleatorizados por conglomerados
• Desequilibrio inicial entre los grupos
• Asignación por bloques en ensayos no cegados
• Actividad diagnóstica diferencial
• ECA que terminan temprano (esto sobrestimaría el efecto)
• Otros sesgos

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 30

Interpretación

• No se suman puntajes
• Un solo dominio con alto riesgo de sesgo puede afectar gravemente nuestra
confianza en el estudio
• Puede que varios dominios se vean afectados, pero eso no afecte gravemente
nuestra confianza en el estudio

• Para cada dominio:

• ¿Este RoB subestima o sobreestima el resultado?
• ¿Cuál es la magnitud de esta sobreestimación o subestimación?
• No todos los dominios son igualmente importantes para cada desenlace
• Blinding para mortalidad

Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 31

• Algunas diapositivas han sido modificadas de la clase de Álvaro Taype Rondán.
Documentos de consulta:
• Fernandez-Chinguel et al. Aspectos básicos sobre la lectura de revisiones
sistemáticas y la interpretación de meta-análisis. Acta Med Peru. 2019;36(2):157-69
• Higgins et al. The Cochrane Collaboration’s tool for assessing risk of bias in
randomised trials. BMJ 2011;343:d5928 doi: 10.1136/bmj.d5928
• Cochrane. Manual Cochrane de revisiones sistemáticas de intervenciones, versión
5.1.0. Capítulo 8; 2012.

Gracias
Curso Taller de Lectura Crítica de ECA y RS | J. Montes-Alvis 32