Dra.

Victoria Wurcel
Lic. Giselle Balaciano
Calidad de una GPC
Confianza en que los sesgos potenciales del desarrollo de
la gua han sido sealados de forma adecuada.
Las recomendaciones son vlidas tanto interna como
externamente, y se pueden llevar a la prctica
3
.
Valorar beneficios, daos, costos y aplicabilidad de las
recomendaciones
3
.
Utilizar una sistemtica especfica validada en la
generacin de una GPC nueva.
Evaluar una GPC ya existente mediante la misma
sistemtica para decidir adaptarla al contexto local.
3 Colaboracin AGREE. OSTEBA.Evaluacin de GPC.Instrumento AGREE.2001.
Instrumento AGREE
Instrumento para la evaluacin e
investigacin de la calidad de las GPC
(Appraisal of Guidelines Research and
Evaluation)
Valora de forma objetiva la calidad de la
evidencia sobre la cual se basa la GPC.
Valora el proceso de armado de la GPC
y las recomendaciones.
Elaborado por investigadores de varios
pases que tienen amplia experiencia y
conocimiento sobre guas de prctica
clnica.
Concepto base
Debe estar explcito el nexo entre
cada recomendacin y la evidencia
cientfica que la sostiene.
La evidencia cientfica y el juicio
clnico deben anteponerse a las
opiniones de expertos
4
.
4 Scottish Intercollegiate Guideline Network. SIGN 50.A guideline developers handbook.Jan. 2008.
Por qu evaluar guas?
Una gua es una forma de intervencin sanitaria
Puede afectar a una gran cantidad de pacientes.
Los usuarios de las guas necesitan tener confianza en
sus recomendaciones
Los grupos profesionales y organismos oficiales deben
asegurar que las guas son confiables antes de
recomendarlas.
Por qu la colaboracin
internacional?
Las GPCs juegan un papel cada vez ms importante en
la prctica clnica de la mayora de los pases.
Asegurar su calidad es una preocupacin compartida.
Es necesaria un acuerdo internacional para la
elaboracin de GPCs.
El conjunto es superior a la suma de sus partes.
Antecedentes
Desarrollo en R.U.
Instrumento de evaluacin desarrollado y validado en
R.U. (financiado por el programa nacional de I+D)
Usado en R.U., Europa y Canad.
Financiacin de la U.E.
Financiacin obtenida del 4 Programa Marco de la U.E.
para tres aos (1998-2001)
HOLANDA
DINAMARCA
SUIZA
FINLANDIA
ITALIA
EEUU
Canada
Nueva Zelanda
ALEMANIA
ESCOCIA
ESPAA
INGLATERRA &
GALES
FRANCIA
LA COLABORACIN AGREE
Objetivos
Desarrollar aproximaciones compatibles para la
elaboracin de GPCs.
Establecer un modelo para la evaluacin y monitorizacin
de las GPCs.
Definir criterios de calidad relevantes para las guas.
Promover y estimular la difusin de esos criterios
mediante intercambios y relaciones de colaboracin.
Propsito del Instrumento AGREE
Aportar un marco sistemtico para la evaluacin de la
calidad de las GPCs.
Ayudar a quienes elaboran guas a seguir una
metodologa estructurada y sistemtica.
Ayudar a los proveedores de cuidados de salud a evaluar
guas antes de adoptar sus recomendaciones en la prctica
clnica.
Ayudar a los decisores de diferentes niveles y organismos
a recomendar guas para su uso en la prctica.
Definicin de Calidad
Se entiende por calidad de una GPC, cuando:
hay confianza en que se han evitado los sesgos
potenciales producidos en su desarrollo
y las recomendaciones son vlidas interna y
externamente y son tiles para la prctica clnica.
Proceso de desarrollo
Subgrupo de revisin de literatura
Circulacin del primer borrador para comentarios
Primera reunin de trabajo: modificacin del instrumento
Primer estudio de validacin
Segunda reunin de trabajo: revisin del instrumento
Estudio de validacin final
Proceso de Validacin (1)
Fase 1
El instrumento fue aplicado a 100 guas de 11 pases
Todos los pases siguieron el mismo protocolo
Cada gua fue evaluada independientemente por
cuatro evaluadores (194 en total)
El instrumento fue utilizado en ingls
Proceso de Validacin (2)
Fase 2
El instrumento refinado fue testado en 33 guas
seleccionadas aleatoriamente del primer estudio
Participaron los mismos pases
Se reclut un nuevo grupo de evaluadores (70)
Cada pas evalu 3 guas
Resultados
El tiempo medio de evaluacin (leer y completar el instrumento) fue
de 1,5 horas.
Tras el anlisis de componentes principales la versin final del
instrumento refinado contuvo 23 tems en 6 reas.
La fiabilidad fue satisfactoria para cada rea:
- Cronbachs Alpha 0.64 - 0.88
- ICC 0.57 -0.91
El instrumento fue til para un 95% y la gua de uso para un
98% de los evaluadores
Mejores resultados con mayor n de evaluadores
23 criterios
Escala de 4
puntos de
Lickert
Seis reas
Alcance y Objetivo (3)
Participacin de los
implicados (4)
Rigor en la elaboracin (7)
Claridad y presentacin (4)
Aplicabilidad (3)
Independencia editorial (2)
Gua del
Usuario
Evaluacin
global
Estructura
Instrumento AGREE
A cada tem se le puede asignar un puntaje
Muy
en desacuerdo
Muy
de acuerdo
1 4
A mayor valor , ms probabilidades de que sea
seleccionada la guia, por su mayor puntaje
Alcance y objetivo (3)
1. Los objetivos generales de la gua estn
especficamente descritos.
2. Los aspectos clnicos estn especficamente
descritos
3. Los pacientes a quienes se pretende aplicar la gua
estn especficamente descritos
Participacin de los implicados (4)
4. El grupo de desarrollo incluye todas las
profesiones relevantes
5. Se han tenido en cuenta los puntos de vista y
preferencias de los pacientes
6. Los usuarios diana de la gua estn claramente
definidos
7. La gua ha sido probada por los usuarios finales.
Rigor en la elaboracin (7)
8. Se han utilizado mtodos sistemticos para la
bsqueda de la evidencia
9. Se han descrito con claridad los criterios para
seleccionar la evidencia
10. Los mtodos para formular recomendaciones estn
claramente descritos
Rigor en la elaboracin (7)
11. Al formular las recomendaciones se han tenido en
cuenta los beneficios, los efectos secundarios y los
riesgos
12. Relacin explcita entre las recomendaciones y las
evidencias en que se basan
13. La gua ha sido revisada por expertos externos antes de
su publicacin
14. Se incluye un procedimiento para actualizar la gua
Claridad y presentacin (4)
15. Las recomendaciones son especficas y no son
ambiguas
16. Las distintas opciones de manejo estn
claramente presentadas
17. Las recomendaciones clave son fcilmente
identificables
18. La gua se apoya en herramientas para su
aplicacin
Aplicabilidad (3)
19. Se han discutido las barreras potenciales a la hora de
aplicar las recomendaciones.
20. Han sido considerados los costes potenciales de la
aplicacin de las recomendaciones.
21 La gua ofrece una relacin de criterios clave con el fin de
realizar monitorizacin y/o auditora.
22. La gua es editorialmente independiente de la
entidad financiadora
23. Se han registrado los conflictos de los intereses de
los miembros del grupo de elaboracin.
Independencia editorial (2)
Puntuacin de las reas:
Las puntuaciones de las distintas reas pueden calcularse sumando todos los puntos de los tems
individuales de un rea y estandarizando el total, como porcentaje sobre la mxima puntuacin
posible de se rea.
Ejemplo: 4 evaluadores dan las siguientes puntuaciones a los tems del rea 1, Alcance y objetivo
tem 1 tem 2 tem 3 Total
Evaluador 1 2 3 3 8
Evaluador 2 3 3 4 10
Evaluador 3 2 4 3 9
Evaluador 4 2 3 4 9
Total 9 13 14 36
Mxima puntuacin posible = 4 (Muy de acuerdo) x 3 (tems) x 4 (evaluadores) = 48
Mnima puntuacin posible = 1 (Muy en desacuerdo) x 3 (tems) x 4 (evaluadores) = 12
La puntuacin estandarizada del rea ser:
Puntuacin obtenida mnima puntuacin posible 36-12 24
= = = 0,67
Mxima puntuacin posible mnima puntuacin posible 48-12 36
Nota: Las puntuaciones de las seis reas son independientes y no
deben ser agregadas en una nica puntuacin de calidad.
Clculo de la puntuacin de las
reas
La puntuacin estandarizada del rea en una gua se calcula:
sumando todas las puntuaciones de los criterios individuales
de un rea
y
estandarizando el total como un porcentaje de la mxima
puntuacin posible en ese rea.
Criterio 1 Criterio 2 Criterio 3 Total
Evaluador 1 2 3 3 8
Evaluador 2 3 3 4 10
Evaluador 3
2 4 3 9
Evaluador 4 2 3 4 9
Total 9 13 14 36
Max. punt. posible =4(muy de acuerdo)x 3(criterios)x4(evaluadores)= 48
Min. Punt. posible = 1(muy en desacuerdo)x3(criterios)x4(evaluadores)= 12
Ejemplo de puntuacin de un rea (1)
Puntuacin obtenida mnima puntuacin posible
Mxima puntuacin posible mnima puntuacin posible
36-12 24
= = x 100 = 67%
48-12 36
La puntuacin estandarizada del rea ser:
Ejemplo de puntuacin de un rea (2)
Instrumento AGREE
Puntajes estandarizado
Puntaje real / Puntaje ideal = 63%
Cuanto ms cercano a 100%
mejor es el puntaje para la GPC.
Balance entre:
Los criterios AGREE que evalan principalmente la calidad en la elaboracin
y en la publicacin de la GPC
Y
El contenido clnico de las recomendaciones aplicadas al contexto local y su
impacto en los resultados en pacientes
Puede ser interpretado como un juicio ponderado entre el rigor cientfico del
proceso de elaboracin y las consideraciones prcticas de su aplicacin
Instrucciones para la evaluacin
global
Muy recomendada:
Cuando la gua punta alto (3 a 4) la mayora de los tems y la mayora de
las puntuaciones de las reas son superiores a 60.
Esto indica que la gua tiene una alta calidad general y que podra ser
considerada para su uso en la prctica sin tener que modificarla.
Gua para la evaluacin global
Recomendada (con condiciones o modificaciones):
La gua punta alto (3 a 4) o bajo (1 o 2) en un nmero similar de tems y la
mayora de las puntuaciones de las reas se encuentran entre 30 y 60%.
Esto indica que la gua tiene una moderada calidad general. (Podra ser debido a
una insuficiente informacin sobre los tems).
Se considera que introduciendo algunas modificaciones siempre que la informacin sobre el mtodo
de elaboracin est bien descrito esta gua podra ser considerada para su uso, especialmente cuando
no hay otras disponibles sobre el mismo contenido clnico.
Gua para la evaluacin global
No recomendada:
La gua punta bajo (1 o 2) en la mayora de los tems y la mayora de
las puntuaciones de las reas son inferiores a 30%.
Esto indica que la gua tiene una baja calidad general y serias
deficiencias. Por tanto no debera ser recomendada para su uso en la
prctica.
Gua para la evaluacin global
Evaluacin global
No agregar las puntuaciones de las seis reas en una
nica puntuacin de calidad!
Tomar en cuenta cada uno de los criterios de
evaluacin.
Naturalmente, usar el sentido comn!
Instrumento AGREE
Puntajes estandarizado
Al ser una puntuacin estandarizada
nos permite comparar este puntaje con
el puntaje obtenido en otra GPC
sobre el mismo tema.
Conclusiones
AGREE es el primer instrumento de evaluacin para GPCs que
ha sido desarrollado y testado internacionalmente
Puede ser usado consistentemente por un amplio rango de
profesionales que procedan de diferentes entornos culturales.
Para cada Gua son necesarios varios evaluadores.
Diseminacin
El Instrumento AGREE ha sido traducido a 7 idiomas.
La UE ha propuesto que todos los proyectos financiados evalen
las GPCs con el Instrumento AGREE.
La OMS ha suscrito el Instrumento AGREE.
El Consejo de Europa ha recomendado formalmente su uso.
Diseminacin
Osteba ha sido responsable de la traduccin y edicin al espaol.
El AGREE trust gestiona la web de AGREE:
http://www.agreetrust.org
Se ha recibido financiacin adicional de la UE para diseminar el
Instrumento AGREE en 22 pases Europeos.
Se ha establecido la International Guidelines Network (GIN):
www.g-i-n.org
Pautas para la incorporacin de GPC al PNGCAM
Recomendaciones
La jerarqua de la evidencia
cientfica para cuestiones teraputicas
alta
baja
c
a
l
i
d
a
d

d
e

l
a

e
v
i
d
e
n
c
i
a
Revisiones sistemticas / Meta-anlisis
Estudios de cohorte
Casos-controles
Est. de corte transversal / Serie de casos/
ecolgicos
Ensayos Clnicos Aleatorizados
Estudios controlados no aleatorizados
Revisiones sistemticas de estudios observacionales
Estudios fisiolgicos / Observaciones no sistemticas
Serie de
casos
Ia: evidencia desde meta-anlisis de ICCAs
Ib: evidencia desde al menos una ICCA
IIa: evidencia desde al menos un ensayo clnico
controlado no aleatorizado (cohorte prospectiva)
IIb: evidencia desde al menos un ensayo clnico cuasi-
aleatorizado
III: evidencia desde estudios observacionales (caso-
control, comparativos, descriptivos y de correlacin)
IV: evidencia generada en comits de expertos,
opiniones, experiencia clnica no controlada
Niveles de Evidencias:Proteccin de
Sesgos
Nivel de
Evidencia
Basada en evidencias de Nivel I
Basada en evidencias Nivel II o
extrapolada de la anterior
Basada en evidencias Nivel III o
extrapolada de las anteriores
Basada en evidencias Nivel IV o
extrapolada de las anteriores
A
B
C
D
Grado de
Recomendacin
Graduacin de la Evidencia
Niveles de Evidencias
Grado de
recomendacin
Nivel de
evidencia
Intervenciones
1a Revisin sistemtica de RCTs
A
1b Un ensayo randomizado controlado
2a Revisin sistemtica de cohortes
2b Cohorte individual
3a
Revisin sistemtica de estudios caso-
control
B
3b Caso-control individual
C 4 Series de casos
D 5 Opinin de expertos sin anlisis crtico


Graduacin de la Evidencia
Dra. Victoria Wurcel
Lic. Giselle Balaciano
dcsss@msal.gov.ar