Nueve criterios de calidad

Nueve criterios de calidad

Los nueve criterios que se describen a continuacin derivan de las normas
internacionales con las cuales son compatibles. Este apartado contiene una
explicacin detallada de cmo otorgar una calificacin a la calidad segn los
diferentes criterios.

1. Cumplimiento de los requisitos

El informe, trata de manera adecuada los pedidos de informacin formuladas
por los comanditarios? y tiene correspondencia con los trminos de referencia?

2. Pertinencia del campo

Se hace un examen completo de la razn de ser de la intervencin, de sus
realizaciones, resultados e impactos, as como de sus interacciones previstas e
imprevistas con otras polticas y sus consecuencias?

3. Justificacin del mtodo

El diseo de la evaluacin, est adaptado y es el adecuado para garantizar que
todos los hallazgos, junto con las limitaciones metodolgicas, sean accesibles a
fin de responder las preguntas de evaluacin principales?

4. Fiabilidad de los datos

Los datos primarios y secundarios seleccionados, estn adaptados?, son lo
suficientemente fiables para el uso que se espera de ellos?

5. Solidez del anlisis

Se analiza adecuada y sistemticamente la informacin cuantitativa y cualitativa
segn el estado del arte a fin de que las preguntas de evaluacin tengan una
respuesta vlida?

6. Credibilidad de los resultados

Los resultados se desprenden de manera razonable y justificada del anlisis de
los datos y de las interpretaciones basadas en supuestos y en una lgica
presentada con esmero?

7. Valor de las conclusiones

Las conclusiones, son exactas?, se desprenden del anlisis? y estn libres de
sesgos causados por consideraciones personales o partidistas?

8. Utilidad de las recomendaciones

Las recomendaciones, son equitativas y sin sesgos que favorezcan los puntos de
vista personales o de las partes interesadas?, adems, son lo suficientemente
detalladas como para ser aplicables concretamente?

9. Claridad del informe

El informe, describe claramente la intervencin evaluada, inclusive su contexto y
finalidad, as como el proceso y los hallazgos de la evaluacin de manera tal que
la informacin proporcionada sea comprensible con facilidad?
.

Cmo rellenar la plantilla de evaluacin de

calidad?
.

De qu se trata?
La calidad del informe de evaluacin recibe una calificacin basada en nueve
criterios con la ayuda de una plantilla que consta de cinco niveles: Excelente,
Muy bueno, Bueno, Pobre e Inaceptable.
Este documento ofrece descripciones indicativas correspondientes a cada uno de
los cinco niveles de cada uno de los nueve criterios de calidad. Est destinado a
facilitar y armonizar la evaluacin de la calidad.

Cul es la calificacin de los distintos criterios?

Criterio 1: Satisfaccin de las necesidades

Bueno: Los requisitos formulados en los trminos de referencia recibieron

una respuesta de manera adecuada. Las preguntas de evaluacin fueron
tratadas satisfactoriamente.

Muy bueno: El informe de evaluacin ha expuesto una buena perspectiva

general de cmo se alcanzaron los objetivos anunciados y ha aclarado la
lgica de intervencin. El informe de evaluacin ha superado lo exigido por
los trminos de referencia abordando otros temas de inters.

Pobre: Determinadas preguntas de los trminos de referencia fueron

tratadas de manera inadecuada o bien fueron abordadas parcialmente.

Inaceptable:Demasiadas preguntas de los trminos de referencia no

fueron abordadas o slo fueron abordadas parcialmente.

Excelente: Las preguntas abordadas cubren no slo lo exigido por los

trminos de referencia sino que ubican a la evaluacin en un marco mucho
ms general, vinculndola con las bases de la poltica de desarrollo, de
 cooperacin o exterior, as como con toda otra poltica comunitaria o
nacional.

Criterio 2: Pertinencia del campo

Bueno: El informe trata el conjunto de la intervencin en sus dimensiones

temporal, geogrfica y reglamentaria. Se han identificado los principales
efectos previstos e imprevistos.

Muy bueno: Adems de cumplir con lo establecido anteriormente, la

evaluacin se interesa en las interacciones con las otras polticas
comunitarias, las intervenciones de otros donantes y las polticas del
Estado o Estados asociados. Se trataron los efectos imprevistos.

Pobre: Una de las tres dimensiones de la intervencin y/o un efecto

importante est insuficientemente o mal tratado.

Inaceptable: Varias dimensiones de la intervencin y/o varios efectos

importantes estn insuficientemente o mal tratados.

Excelente: Adems de cumplir con lo requerido para alcanzar el nivel "Muy

bueno", el informe ha estudiado sistemticamente y en detalle los efectos
no esperados.

Criterio 3: Justificacin del mtodo

Bueno: Se explicita claramente el mtodo de evaluacin. En efecto, ste

ha sido aplicado a lo largo del proceso. Las elecciones metodolgicas
realizadas fueron las adecuadas, a fin de cumplir con los requisitos de los
trminos de referencia.

Muy bueno: Se precisaron con claridad los lmites inherentes al mtodo de

evaluacin y se debatieron y defendieron las opciones elegidas frente a
otras opciones.

Pobre: Al leer el informe de evaluacin, las elecciones metodolgicas

parecen haber sido realizadas sin haberlas explicado ni defendido.

Inaceptable: Ausencia absoluta de mtodo de evaluacin; o bien, las

elecciones metodolgicas realizadas no se adecuan a los resultados
buscados.

Excelente: Supera el nivel "Muy bueno"; el evaluador presenta una crtica

de su mtodo y de sus elecciones metodolgicas. Indica los riesgos que se
habran corrido si se hubieran adoptado otras opciones metodolgicas.

Criterio 4: Fiabilidad de los datos

Este criterio no juzga la validez intrnseca de los datos disponibles sino la manera
en la que el equipo de evaluacin ha obtenido los datos y cmo los ha utilizado.

Bueno: Se identifican las fuentes de datos cuantitativos y cualitativos. El

equipo de evaluacin comprob la fiabilidad de los datos y luego la
debati. Se explicitaron con claridad las herramientas de recoleccin y las
mismas estn adaptadas a la informacin buscada.

Muy bueno: Se han cruzado sistemticamente los datos a travs de

fuentes o herramientas de recoleccin independientes entre s. Se expuso
claramente cules eran los lmites de la validez y las herramientas de
recoleccin de los datos.

Pobre: La informacin cuantitativa y cualitativa proporcionada no es muy

fiable con respecto a la pregunta planteada. Las herramientas de
recoleccin de datos son discutibles (por ejemplo, muestras insuficientes o
estudios de casos prcticos mal conducidos).

Inaceptable: Determinados datos son manifiestamente errneos. Las

herramientas de recoleccin fueron aplicadas de manera incorrecta o
arrojan informacin sesgada o inutilizable.

Excelente: Mediante tcnicas reconocidas, se analizan y corrigen todos los

sesgos que derivan de la informacin proporcionada.

Criterio 5: Solidez del anlisis

Bueno: El anlisis de los datos cuantitativos y/o cualitativos se realiz

siguiendo rigurosamente los pasos reconocidos y pertinentes segn los
tipos de datos analizados. Se explicitan las relaciones de causa - efecto
entre la intervencin y sus consecuencias. Tambin se explicitan las
comparaciones (por ejemplo: antes / despus, beneficiarios / no
beneficiarios, con / sin).

Muy bueno: Se explicitan los pasos del anlisis y se especifica su lmite de

validez. Asimismo, se explicitan los supuestos causales subyacentes. Se
indican los lmites de validez de las comparaciones efectuadas.

Pobre: Uno de los tres elementos (enfoque del anlisis, relaciones

causales, comparaciones) est mal tratado o dos de los elementos no
estn lo suficientemente tratados.

Inaceptable: 2 de los 3 elementos estn mal tratados.

Excelente: Se examinaron sistemticamente todos los sesgos (a travs de

los 3 elementos) y se los presentaron junto con sus consecuencias sobre el
lmite de validez del anlisis.
Criterio 6: Credibilidad de los hallazgos

Bueno: Los hallazgos producidos por el anlisis parecen fiables y

equilibrados, en especial, habida cuenta del contexto en el que se evala
la intervencin. Los supuestos interpretativos y las extrapolaciones
realizadas son aceptables. Los hallazgos reflejan de manera aceptable, por
un lado, la realidad descripta por los datos y los elementos de prueba
registrados, y por el otro, la realidad de la intervencin tal como la
perciben los actores y beneficiarios.

Muy bueno: Se explicitan y debaten los lmites de los supuestos

interpretativos y las extrapolaciones realizadas. Se aslan los efectos de la
intervencin evaluada de los factores externos y de las restricciones del
contexto. Tanto la validez interna (ausencia de sesgos de anlisis) como la
validez externa (carcter generalizable de los hallazgos) son satisfactorios.

Pobre:Los anlisis parecen desequilibrados. No se explicita el contexto. Las

extrapolaciones realizadas y las generalizaciones del anlisis no son
pertinentes.

Inaceptable: Los anlisis parecen muy poco crebles. El texto contiene

afirmaciones sin ningn sustento. Las extrapolaciones realizadas y las
generalizaciones del anlisis no son pertinentes.

Excellente: Se analizan sistemticamente los desequilibrios entre la validez

interna y la validez externa de los hallazgos y se explicitan sus
consecuencias sobre la evaluacin. Se aislaron los factores contextuales y
se pudo demostrar su influencia. Se analizan los sesgos aportados en la
eleccin de los supuestos interpretativos y en las extrapolaciones
realizadas y se explicitan sus consecuencias.

Criterio 7: Validez de las conclusiones

Este criterio no juzga el valor intrnseco de las conclusiones sino la manera en la
que stas fueron obtenidas.

Bueno: Las conclusiones derivan del anlisis. Las conclusiones estn

argumentadas por hechos y anlisis fcilmente identificables en el resto
del informe. Se indican los lmites y el contexto de la validez de las
conclusiones

Muy bueno: Se debaten las conclusiones respecto del contexto en el que

se hizo el anlisis. Se explicitan y argumentan los lmites de la validez de
las conclusiones.

Pobre: Las conclusiones provienen de una generalizacin precipitada de

ciertos anlisis realizados. Los lmites de validez de las conclusiones no
estn indicados.
 Inaceptable: Las conclusiones no se sustentan en un anlisis pertinente ni
riguroso. Estn basadas en datos no comprobados. Son parciales porque
reflejan los prejuicios del evaluador ms que los anlisis de los hechos.

Excelente: Se jerarquizan las conclusiones. Estas ltimas guardan relacin

con la globalidad de la intervencin evaluada y tienen en cuenta las
relaciones de esta intervencin con el contexto en el que se sita, teniendo
en consideracin especialmente otros programas o polticas pblicas
cercanas.

Criterio 8: Utilidad de las recomendaciones

Este criterio no juzga el valor intrnseco de las recomendaciones sino la manera
en las que estn formuladas y el hecho de que deriven de las conclusiones.

Bueno: Las recomendaciones derivan de las conclusiones de manera

lgica. Adems, son imparciales.

Muy bueno: Adems de cumplir con lo anteriormente mencionado, las

recomendaciones estn jerarquizadas y se las presentan en forma de
opciones y de posibles acciones.

Pobre: Las recomendaciones son poco claras o son meras pruebas sin
valor agregado. Es debatible si son operativas o no. La relacin con las
conclusiones no es evidente.

Inaceptable: Las recomendaciones estn desconectadas de las

conclusiones. Son parciales porque reflejan de manera preponderante los
puntos de vista de ciertos actores o beneficiarios, o bien las ideas
preconcebidas del equipo de evaluacin.

Excelente: Adems de cumplir con los requisitos necesarios para alcanzar

el nivel "Muy bueno", las recomendaciones son comprobadas y sus lmites
de validez estn indicados.

Criterio 9: Claridad del informe

Bueno: El informe es de fcil lectura y su estructura es lgica. El breve

resumen es un reflejo del informe. Se presentan en anexo tanto los
conceptos especializados como las demostraciones tcnicas, con
referencias claras a lo largo del desarrollo del texto.

Muy bueno: El desarrollo del informe es breve, conciso y su lectura es

fluida. La estructura del informe se puede memorizar fcilmente. El
resumen es claro y presenta las conclusiones y recomendaciones
principales de manera equilibrada e imparcial.
 Pobre: El informe es difcil de leer y/o su estructura es compleja. Las
referencias cruzadas son poco comprensibles o dificultan la lectura. El
resumen es demasiado largo o no refleja el desarrollo del informe.

Inaceptable: Ausencia del resumen. Informe ilegible y/o de estructura

desordenada. Ausencia de captulo de conclusiones (y de
recomendaciones).

Excelente: El informe se deja leer "como una novela" y su estructuracin

tiene una lgica irrefutable. El resumen es operativo en s mismo.

Apreciacin general
La calidad general del informe emana del conjunto de los niveles acordados a
cada uno de los 9 criterios. A partir de 4 "inaceptables", se debe considerar el
informe como inaceptable.
.

Recomendaciones
.

Tener el contexto en consideracin en el momento de utilizar los criterios

de evaluacin en vez de aplicarlos de manera absoluta. En una situacin
dada, es posible y til precisar los criterios de calidad para tener en cuenta
los pedidos y / o restricciones particulares.
Escribir una sntesis cualitativa de los nueve criterios a manera de
evaluacin general de la calidad del informe. Otra opcin menos adecuada
consiste en darle un puntaje y una ponderacin a cada criterio y calcular
un puntaje promedio ponderado.
No hay que esperar el proyecto de informe final para efectuar la garanta
de la calidad. El proceso de garanta de calidad debe comenzar desde el
inicio. En particular, cabe efectuar controles de calidad en otras dos etapas
importantes: informe de inicio (inception) e informe de la primera fase
(desk).
Adjuntar en anexo los criterios de calidad a los trminos de referencia.
Hacer verificar la calidad por el responsable de la evaluacin, y luego
procurar que una segunda persona efecte una doble verificacin.
Sustentar las apreciaciones con ejemplos extrados del informe y con
referencias precisas a una u otra parte del texto.
Cuando una evaluacin es considerada como "inaceptable" o "excelente"
respecto de un criterio dado, la apreciacin deber estar sustentada con
varios ejemplos argumentados.