Documentos de Académico
Documentos de Profesional
Documentos de Cultura
INSTRUMENTO ROM
(RESULT ORIENTED MONITORING)
DEL SISTEMA DE SEGUIMIENTO Y
EVALUACIÓN DE LA COMISIÓN
EUROPEA:
APLICABILIDAD EN LA COOPERACIÓN
BILATERAL ESPAÑOLA
ROBERTO CANESSA
FERNANDO VARELA
Junio 2012
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
Índice de contenidos:
Este sistema se compone de varios elementos: en primer lugar, se hace un seguimiento de las
intervenciones por parte de las Delegaciones en el exterior que alimenta un sistema
centralizado de información; en segundo lugar, está bastante generalizado el que se haga
alguna evaluación a medio término y al final de cada intervención. En tercer lugar, la UE cuenta
con un sistema de monitoreo basado en resultados (ROM, Results Oriented Monitoring System)
que monitorea una vez por año las intervenciones y siempre que no haya habido alguna
evaluación durante ese año.
Adicionalmente, la Unión Europea (UE) lleva a cabo estudios más amplios de la cooperación a
través de evaluaciones específicas o a través de la agregación de información que produce el
monitoreo. Estos estudios más amplios pueden cubrir toda la cooperación que se hace en un
país, en una región, en un sector, en un eje estratégico, etc.
Este sistema le permite conocer los resultados de todas sus líneas presupuestarias, asegurar
el adecuado desempeño de su cooperación y nutrir la fase de programación para mejorar la
calidad de la Ayuda.
2
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
Sin embargo, la cooperación internacional brindada por agencias de los países donantes hacia
una variedad de destinos y a través de una multitud de actores, ha tenido históricamente
dificultad en retroalimentarse sistemáticamente sobre el éxito de sus iniciativas y la eficiencia
en el uso de los recursos empleados.
Siempre ha sido difícil, desde las oficinas centrales de los organismos donantes, conocer si uno
u otro proyecto estaba produciendo los esfuerzos deseados, sean estos en términos de
reducción de la pobreza, de mejora de la gobernabilidad o de otro objetivo. Los principales
obstáculos a la medición exacta de los efectos de la cooperación siempre han sido la lejanía de
los lugares donde los proyectos se ejecutan y los actores intermedios que ejecutan las
acciones, que establecen una distancia entre los donantes y los beneficiarios. Pero también por
la deficiente definición de los objetivos cuyos efectos debían medirse. Además, recientemente
esta medición se ha hecho más compleja dado que los proyectos de cooperación ya no se
centran solamente en aportar soluciones concretas al subdesarrollo como la construcción de
infraestructuras o la aportación de subsidios, sino también a incidir en procesos de
gobernabilidad, cuyos resultados son menos tangibles y por lo tanto difíciles de medir.
A partir de los años ochenta las principales agencias de cooperación empezaron a incluir en
sus organigramas unidades especializadas en seguimiento y evaluación y a desarrollar
métodos que facilitaran esta tarea. Las principales guías de SyE son de esta época. La
vinculación entre la manera de planificar las acciones y medir sus resultados se evidenció,
además, indispensable como parte la inserción de las diferentes etapas en un ciclo armónico,
denominado el ¨ciclo del proyecto¨.
3
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
en momentos específicos, el seguimiento se centra esencialmente en la medición de estos
indicadores y en la comparación entre el nivel alcanzado respecto al planificado.
Para desempeñar esta tarea, los proyectos más complejos se dotan de sistemas de
recopilación y tratamiento de información, con personal específico, al servicio permanente de
los decisores. Además los sistemas de seguimiento interno son la fuente para la rendición de
cuentas a los financiadores y para generar la información necesaria para las evaluaciones
periódicas.
Aunque las evaluaciones sirven para retroalimentar al donante con información puntual y
objetiva sobre la ejecución y los resultados obtenidos por los financiamientos externos, se han
demostrado una herramienta poco ágil y costosa y, por lo tanto, no generalizable a todos los
proyectos. La necesidad de asegurar que en los equipos evaluadores sean cubiertas todas las
diferentes competencias profesionales relacionadas con el proyecto, ha determinado una
excesiva complejidad y largo tiempo para la contratación de estos equipos. Además los
tiempos de realización de las evaluaciones, dictados por la necesidad de examinar en detalle
los diferentes aspectos del proyecto, son generalmente elevados y poco acordes con la
necesidad de disponer en tiempo útil de las recomendaciones para la corrección de eventuales
defectos de ejecución. Además, a pesar de existir lineamientos metodológicos estandarizados,
muchas evaluaciones terminan por dar productos muy heterogéneos, poco comparables.
En primer lugar, por seguimiento nos referimos al proceso continuo (normalmente interno) y
sistemático de recolección de datos para verificar lo realizado y sus resultados, tanto en
términos físicos como financieros. Ofrece información necesaria para mejorar aspectos
estratégicos, de gestión o ejecución de la cooperación.
4
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
Y en tercer lugar, por monitoreo aludimos al proceso continuo, periódico, sistemático, objetivo
y puntual (normalmente externo) de apreciación del progreso de la implementación de una o
varias intervenciones. Ofrece información similar a la evaluación pero derivada de un ejercicio
de análisis de menor profundidad.
Es decir, mientras que el seguimiento se visualiza como un proceso interno para dotar de
información a la organización y facilitar la toma de decisiones, el monitoreo y la evaluación se
entienden como valoraciones de lo realizado en momentos determinados; el monitoreo con un
carácter periódico y con menor alcance, y la evaluación de forma puntual pero con mayor
profundidad.
Las características peculiares de este sistema, respecto a los sistemas de SyE clásicos, son la
sistematicidad y la uniformidad del método empleado, la rapidez y reducido coste del mismo,
que permite cubrir anualmente cerca de 2000 proyectos, o sea un 30% de todas las iniciativas
de cooperación financiadas por la UE en el mundo. La otra peculiaridad, además, es el hecho
que este servicio está totalmente externalizado por la Comisión Europea, mediante la
contratación de empresas especializadas, seleccionadas sobre la base de concursos
renovados trianualmente y separados por lotes geográficos. La externalización añade agilidad y
objetividad al sistema y seguridad de costes.
5
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
Ventajas del ROM
• Un sistema funcional, barato, rápido, basado en los mismos criterios de la evaluación
• Genera una visión externa que se complementa con los conocimientos de los mismos
gestores de los proyectos y los servicios de la CE (Comisión Europea)
• El uso de cuestionarios estandarizados favorece la objetividad del juicio del observador
• Metodología homogénea: mediante un sistema de puntación basado sobre 16
preguntas principales y 72 sub preguntas se asegura la comparabilidad de los juicios y
la posibilidad de utilizar los mismos para fines estadísticos
• El ROM se complementa con el sistema de planificación, gestión y evaluación de los
proyectos, siendo una herramienta del Ciclo del Proyecto, refiriéndose estrictamente al
Marco Lógico y su sistema de indicadores
• Relación Coste/Beneficio muy favorable
• Valor agregado generalmente importante
La complejidad de la cooperación española, que cuenta con una gran diversidad de líneas de
acción, mecanismos y actores, ha dificultado la implantación de un sistema de seguimiento y
evaluación potente e integrado que suministrara información útil para la toma de decisiones y la
gestión. Todavía el sistema de seguimiento está muy centrado en los aspectos económicos,
sin haber transitado a un seguimiento basado en resultados como se había previsto en el
anterior Plan Director, aunque se han hecho esfuerzos reseñables en esa dirección
(seguimiento de las acciones de las Organizaciones No Gubernamentales, metodología de
seguimiento basado en resultados de la programación operativa, el sistema de seguimiento de
la Fondo de Cooperación en Agua y Saneamiento (FCAS), etc.). También respecto a la
evaluación, se ha llevado a cabo un incremento remarcable de actuaciones aunque el grado de
cobertura de las operaciones y el aprovechamiento por parte del sistema de la información
generada es escaso.
6
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
Conclusiones de las revisiones del Comité de Ayuda al Desarrollo (CAD) sobre la
Cooperación Española
La última revisión del CAD valoraba el incremento del número de evaluaciones en la ejecución
del anterior Plan Director, aunque llamaba la atención sobre la necesidad de aumentar el
ejercicio y, al mismo tiempo, de mejorar la integración de las conclusiones y aprendizajes por
parte del sistema de cooperación. En ésta línea, el CAD expresaba el interés en definir más
estratégicamente las evaluaciones a realizar al mismo tiempo que conminaba a instaurar una
cultura basada en el aprendizaje y cumplir con los objetivos de rendición de cuentas.
7
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
Este conjunto de innovaciones y el esfuerzo de modernización de la Cooperación
Española requiere más que nunca en estos momentos que se vele por la calidad del
sistema (esfuerzo éste que debe ser abordado en esta fase de restricción
presupuestaria justamente para extraer lecciones aprendidas y consolidar procesos
que permitirán un crecimiento sostenido de la AOD a medio plazo, y en un entorno más
favorable, sobre cimientos sólidos). El Seguimiento Externo (ROM) funcionaría en este
contexto como un útil sistema de “alerta temprana” y de “aprendizaje” con capacidad
para acompañar y medir el desempeño de los diferentes instrumentos utilizados por la
Cooperación Española, así como acompañar, medir y apuntalar los esfuerzos de
coherencia, complementariedad y coordinación en curso (no olvidemos que una de las
características del Sistema de Cooperación al desarrollo español es la multiplicidad de
actores que lo conforman, resultando a nuestro entender claro el potencial de un
sistema de seguimiento homogéneo y adoptado por, si no todos, sí una parte
sustancial de los principales actores – Administración General del Estado (AGE),
Comunidades Autónomas (CCAA) y Entidades Locales (EELL) de mayor envergadura-
).
8
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
Para operar un sistema de seguimiento externo se plantearon siempre dos opciones que de
hecho fueron aplicadas al interior de Europeaid de forma consecutiva en el tiempo. En un
primer momento se hizo depender orgánicamente el ROM de la Unidad de Evaluación de
Europeaid por razones obvias: si de aprendizaje y medición del desempeño se trataba, la
Unidad de Evaluación debía coordinar dicho esfuerzo. Sucedió sin embargo que los cuadros
encargados de la gestión de la AOD UE percibieron el ROM como otro ejercicio “demasiado
externo” a ellos por lo que la apropiación se vio mermada. Se optó entonces por anclar el ROM
en el nivel operativo, lográndose así su inserción en la gestión del ciclo del proyecto y su
consolidación como proveedor de “insumos” valioso para tomar decisiones en el nivel micro;
por el contrario se perdió capacidad de aprovechamiento de aprendizajes y la adopción de
lecciones del ROM para iluminar el nivel macro de programación.
Desde esta experiencia, y aun difiriendo por completo la estructura orgánica del Sistema de
cooperación Española al Sistema UE (DEVCO), creemos que: i) En un primer momento al
menos el SER/ROM debería anclarse en las agencias ejecutoras (AECID, etc) operándose
desde los niveles de programación y planificación estratégica (en la AECID sería la Unidad de
Programación y Calidad de la Ayuda dependiente a su vez de gabinete); de esta manera el
ROM/SER ayudaría a medir el desempeño de la aplicación del plan de acción para una ayuda
eficaz, como marco programático amplio y, en lo micro, el desempeño y aprendizaje del
portafolio en curso; ii) Sin embargo, la Unidad de Evaluación de la Secretaría General de
Cooperación Internacional para el Desarrollo (SGCID) debería estar involucrada en el sistema
SER/ROM al menos en dos aspectos: a) en el diseño de la propia herramienta de seguimiento
(asegurándose así que recoge las categorías, niveles y principios necesarios para garantizar la
complementariedad de la información generada con los procesos evaluativos a nivel meso y
macro liderados por la Unidad de Evaluación; b) La SGCID es el espacio institucional natural
desde donde velar por la coherencia de implantación de sistemas ROM/SER en los distintos
ámbitos de la AGE así como de la articulación con CCAA/EELL buscando claro está la
complementariedad entre ellos para facilitar la comparabilidad y el análisis agregado.
9
El instrumento ROM (Result Oriented Monitoring) del Sistema de Seguimiento y Evaluación de la Comisión Europea: aplicabilidad en
la cooperación bilateral española
LISTA DE ACRÓNIMOS
AECID Agencia Española de Cooperación y Desarrollo
AGE Administración General del Estado
AOD Ayuda Oficial al Desarrollo
CAD Comité de Ayuda al Desarrollo
CCAA Comunidades Autónomas
CE Comunidad Europea
EELL Entidades Locales
FCAS Fondo de Cooperación en Agua y Saneamiento
PIB Producto Interior Bruto
SGCID Secretaría General de Cooperación Internacional para el Desarrollo
SyE Seguimiento y Evaluación
UE Unión Europea
10