Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Mdulo 6
Seguimiento y evaluacin de los resultados
Autor: Mauricio Garca Moreno Equipo INDES: Equipo INDES: Juan Cristbal Bonnefoy, Jefe INDES Edgar Gonzlez, Coordinador General del curso GpRD Nydia Daz, Coordinadora Acadmica del curso GpRD Cynthia Smith, Coordinadora del aula virtual Gabriel Escalante y Josu Mendoza: coordinacin y apoyo operativo del aula virtual Equipo PRODEV Roberto Garca Lpez, Coordinador PRODEV Mauricio Garca Moreno, Coordinador del curso GpRD Colaboradores Cecilia Ortiz B., edicin, correccin orto-tipogrfica y correccin de estilo Diseo grfico: Manthra Editores info@manthra.net
Las opiniones incluidas en este documento corresponden y son responsabilidad del autor o los autores; no reflejan necesariamente la opinin del BID, el INDES o el PRODEV. Copyright 2011 Banco Interamericano de Desarrollo. Todos los derechos reservados. Cualquier reproduccin parcial o total de este documento debe ser solicitada a la direccin INDESVIRTUAL@iadb.org y debe ser autorizada por el INDES.
ndice
Glosario de siglas..............................................................................................................................................5 Presentacin ......................................................................................................................................................6 Objetivos del mdulo.......................................................................................................................................6 Preguntas orientadoras del aprendizaje.................................................................................................6 Unidad 1. El seguimiento de los resultados................................................................8 1.1 1.2 1.3 1.4 2.1 2.2 2.3 2.4 3.1 3.2 3.3 3.4 3.5 3.6 ndice de grficos 6.1 6.2 6.3 6.4 Componentes del ciclo de gestin..............................................................................................9 La cadena de resultados..................................................................................................................11 La Matriz del marco lgico y la cadena de resultados.......................................................12 Dimensiones del desempeo.........................................................................................................15 Conceptos bsicos..............................................................................................................................8 Elementos necesarios para implementar un sistema de seguimiento........................17 Sntesis de la unidad.........................................................................................................................25 Bibliografa de la unidad.................................................................................................................26 Conceptos bsicos..............................................................................................................................27 Pasos necesarios para implementar evaluaciones...............................................................32 Sntesis de la unidad.........................................................................................................................37 Bibliografa de la unidad.................................................................................................................38 Usos del sistema de seguimiento y evaluacin.....................................................................39 Los usuarios del sistema de seguimiento y evaluacin.....................................................43 Institucionalizacin del seguimiento y evaluacin..............................................................44 Integracin horizontal y vertical del sistema de seguimiento y evaluacin............49 Sntesis de la unidad.........................................................................................................................50 Bibliografa de la unidad.................................................................................................................51
Tasa especfica de participacin de la poblacin econmicamente activa de 12 a 15 aos.....................................................................................................................22 Tipos de evaluacin............................................................................................................................29 Usos del sistema de seguimiento y evaluacin.....................................................................42 Usuarios del sistema de seguimiento y evaluacin.............................................................43 Institucionalizacin del sistema de seguimiento y evaluacin......................................48
ndice de recuadros 6.1 6.2 6.3 ndice de cuadros 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 Ejemplo de indicadores segn componentes de la cadena de resultados................13 Indicadores de desempeo.............................................................................................................16 Indicadores segn dimensiones de desempeo y cadena de resultados...................17 Indicadores segn tipo de fuente................................................................................................21 Diferencias entre el seguimiento y la evaluacin.................................................................28 Costos y duracin de evaluaciones, de los efectos e impactos......................................34 Elementos que contienen los trminos de referencia de una evaluacin.................35 Ventajas e inconvenientes de contratar empresas de evaluacin o evaluadores individuales.............................................................................................................36 Componentes de la cadena de generacin de resultados................................................11 Elementos necesarios para desarrollar un sistema de seguimiento............................18 Pasos para realizar evaluaciones en un gobierno subnacional......................................32
GLOSARIO DE SIGLAS
ALC BID BM Amrica Latina y el Caribe Banco Interamericano de Desarrollo Banco Mundial
CLAD Centro Latinoamericano de Administracin para el Desarrollo GpRD Gestin para resultados en el desarrollo MML Matriz del marco lgico OCDE Organizacin para la Cooperacin y el Desarrollo Econmicos OECD Organizacin para la Cooperacin y el Desarrollo Econmicos (por sus siglas en ingls) OSC PIB SyE TR TIR Organizaciones de la sociedad civil Producto Interno Bruto Seguimiento y evaluacin Trminos de referencia Tasa interna de retorno PNUD Programa de las Naciones Unidas para el Desarrollo
UNEG Grupo de evaluacin de las Naciones Unidas (por sus siglas en ingls) VAN Valor actual neto
Presentacin
Este mdulo trata sobre los sistemas de seguimiento y evaluacin (SyE) de los resultados de la gestin de los gobiernos subnacionales. El seguimiento y la evaluacin son piezas clave de la gerencia pblica, pues permiten identificar si las estrategias y las acciones que se estn realizando se encaminan a alcanzar las metas y objetivos trazados por una institucin o gobierno. De esta manera, proporcionan elementos para corregir el rumbo de la gestin a medida que la sociedad cambia. El mdulo ofrece una sntesis de los principales elementos que un gerente pblico debe tomar en cuenta para implementar y administrar sistemas de SyE. Puesto que, como se postula aqu, el SyE es una funcin que atraviesa todos los sistemas de gestin pblica (planificacin, presupuesto, gestin financiera, programas y proyectos), el texto est dirigido no solamente a los gerentes de SyE sino a todos aquellos que actan en el mbito de los gobiernos subnacionales. El documento, por tanto, no pretende ofrecer conocimientos metodolgicos y tcnicos para realizar evaluaciones o para elaborar indicadores de desempeo, aspectos tcnicamente complejos que requeriran un espacio acadmico propio, sino sealar el enfoque y los elementos que deben considerarse para construir un sistema de SyE. Aquellos participantes interesados en conocer ms acerca de los aspectos metodolgicos del SyE encontrarn en la bibliografa textos en espaol que pueden encontrarse fcilmente en el Internet. El mdulo est compuesto por tres unidades: la primera trata acerca del seguimiento o monitoreo de la gestin pblica, la segunda versa sobre la evaluacin de los resultados y la tercera sobre los aspectos que deben tomarse en cuenta para la institucionalizacin del SyE.
de un sistema de seguimiento.
Evaluar
Hacer
Ajustar
Seguir/ Verificar
El seguimiento, por tanto, es crucial para una gestin orientada al logro de resultados; sin esta accin es improbable que cualquier actividad emprendida por los sectores pblico o privado logre los objetivos que la impulsaron. Conviene mencionar que en este documento se diferencia el seguimiento de la evaluacin, trminos que con frecuencia se usan como sinnimos. Como se puede observar en el grfico, la evaluacin es un proceso distinto al seguimiento debido a que, entre otros aspectos que se vern con detalle posteriormente, no es una funcin continua. Mientras la ejecucin, el seguimiento y el ajuste son funciones que se ejecutan permanentemente durante la gestin, la evaluacin se realiza en momentos determinados. El seguimiento se realiza mediante la recopilacin sistemtica de datos sobre la marcha de una institucin, programa o proyecto mediante la observacin de los distintos componentes de la cadena de resultados (insumos, actividades, productos, efectos e impactos). Los datos se organizan en forma de indicadores, es decir, de variables cuantitativas o cualitativas mediante la cuales se pueden medir los logros alcanzados, observar los cambios vinculados con una intervencin o analizar los resultados de un organismo de desarrollo (OECD, 2002). Entre los indicadores de uso ms comn se pueden citar la tasa de mortalidad infantil, el producto interno bruto (PIB), la tasa de desempleo y la
tasa de analfabetismo. Debido a su capacidad para medir los logros de la gestin pblica, los indicadores son usados con frecuencia por las autoridades para rendir cuentas a los ciudadanos, por los gerentes pblicos para dirigir las instituciones o proyectos y por los funcionarios para gestionar los servicios pblicos.
10
productos.
Productos: bienes y servicios elaborados. Efectos: cambios en el comportamiento o en el estado de los beneficiarios
RESULTADOS
Los insumos, procesos y productos son parte de la ejecucin, mientras los productos, los efectos y los impactos pertenecen al mbito de los resultados. En general, se puede decir que los elementos que componen la ejecucin dependen de la gestin institucional, mientras los efectos e impactos son consecuencia tambin de otros factores. As, por ejemplo, lograr que todos
11
los nios de una ciudad estn vacunados (producto) depende bsicamente de que se cuente con los insumos necesarios, que los procesos estn bien diseados y se ejecuten de manera adecuada, todo lo cual depende de una buena gestin institucional. Sin embargo, lograr que todos los nios estn sanos (impacto) depende tambin de muchos otros factores como la alimentacin y el medio ambiente en que viven, lo cual escapa a la gestin de una sola institucin. Nos detendremos, ms tarde, en esta distincin.
La identificacin de los elementos que componen la cadena de resultados de cualquier proceso de produccin de valor pblico, se realiza en la fase de planificacin. Para ello se usan distintos instrumentos, el ms conocido de ellos es la matriz del marco lgico (MML), cuyo uso se ha generalizado, no solamente entre los organismos internacionales como el Banco Interamericano de Desarrollo (BID) y el Banco Mundial (BM), sino entre los sistemas de SyE de varios pases1. La MML se basa en una estructura causal lgica similar a la cadena de resultados, tal como puede apreciarse en el grfico 6.3. La segunda columna de la izquierda obliga a establecer los indicadores de seguimiento para cada nivel de objetivos, trmino con el que la MML designa a la cadena de resultados.
Es necesario mencionar que la informacin para construir los indicadores de insumos, procesos y productos es comparativamente ms fcil de obtener que aquella relacionada con los efectos e impactos, tal como puede apreciarse en el cuadro 6.1. Efectivamente, la mayor parte de los datos de los primeros indicadores consta en los registros que mantienen las instituciones y proyectos, mientras que para producir los indicadores de efectos e impactos generalmente se necesita construir instrumentos especiales.
Procesos Productos
Tradicionalmente, la mayora de las instituciones pblicas de Amrica Latina y el Caribe (ALC), sean nacionales o subnacionales, han basado la funcin de seguimiento en la informacin sobre el uso de los insumos y la realizacin de las actividades (procesos), produciendo informes institucionales en los que abundan listas de las actividades realizadas y anlisis financieros de los recursos invertidos. Estos informes mencionan slo ocasionalmente los productos elaborados, mas no hacen referencia a los efectos o impactos logrados con el uso de los recursos pblicos.
13
El seguimiento basado en los informes financieros y de actividades es insuficiente para saber si se lograron o no los objetivos y si la gestin se realiz de manera eficiente. Un proyecto para mejorar la educacin bsica, por ejemplo, pudo haber realizado a tiempo todas las actividades previstas (obras de infraestructura, capacitacin a los docentes, compra y entrega de material didctico) y pudo haber manejado eficientemente los recursos. Sin embargo, el objetivo de que los nios aprendan ms y mejor, pudo no haberse cumplido debido a varios factores: estrategias inadecuadas de capacitacin, ausentismo de los docentes, textos escolares inapropiados, etc. Un sistema de seguimiento basado exclusivamente en la informacin sobre insumos y actividades, oculta los resultados reales de la gestin pblica; con ello impide rendir cuentas apropiadamente a los ciudadanos y no estimula el aprendizaje institucional.
14
Se aprecia que las dimensiones del desempeo son cuatro: eficiencia, eficacia, economa y calidad. Cada una de ellas brinda informacin sobre la medida en que la institucin o intervencin para el desarrollo logra los resultados esperados y cumple con las normas establecidas. En conjunto, proporcionan informacin valiosa y til para realizar un seguimiento slido y orientado a la obtencin de resultados. A continuacin, se definen cada una de las dimensiones del desempeo y se brindan ejemplos de indicadores para cada una de ellas.
Segn el Diccionario de la Real Academia de la Lengua Espaola, desempear significa cumplir las obligaciones inherentes a una profesin, cargo u oficio. En el mbito de las polticas pblicas, el desempeo se define como la medida en que una intervencin para el desarrollo o una entidad que se ocupa de fomentar el desarrollo acta conforme a criterios/normas/directrices especficos u obtiene resultados de conformidad con metas o planes establecidos.
(OECD, 2002: 29)
15
Eficacia
Grado de cumplimiento de los objetivos (efectos e impacto). Relacin entre los insumos y los productos.
Eficiencia
Economa
Calidad
A diferencia de los indicadores que consideran los componentes de la cadena de resultados aisladamente (cuadro 6.1.), los indicadores de desempeo establecen correspondencia entre esos componentes, lo cual los dota de una mayor capacidad para captar las complejas interrelaciones causales que se producen en la gestin institucional. Un buen sistema de seguimiento deber contener una mezcla adecuada de indicadores de todas las dimensiones del desempeo con los distintos componentes de la cadena de resultados. En el siguiente ejemplo, puede observarse una matriz que presenta indicadores tomando en cuenta ambos criterios.
16
Proceso
Producto
% de ahorro por reduccin Tasa de promocin de desercin escolar % alumnos que rinden satisfactoriamente las pruebas estandarizadas Porcentaje de graduados de educacin secundaria que obtienen empleo
Efecto
Impacto
en la toma de decisiones
Comunicar los resultados
El primer elemento y condicin sine qua non para desarrollar un sistema de seguimiento, es contar con objetivos claramente establecidos y con las estrategias correspondientes para lograrlos. La definicin de los objetivos parte del anlisis de los problemas que se vayan a enfrentar y supone la identificacin de los impactos y efectos que se busca obtener (cambios sociales), as como de los productos (bienes y servicios) con los que se espera lograrlo. Si los objetivos formulados para un gobierno, institucin o proyecto no responden a un anlisis riguroso de los problemas, o son ambiguos y confunden los procesos con los productos o efectos, no se contar con una base firme para la elaboracin de los indicadores, pues stos se elaboran a partir de los objetivos. Es muy frecuente observar planes o proyectos cuyos objetivos son vagos o no estn formulados adecuadamente, lo cual dificulta la tarea de disear un sistema de seguimiento. Por ejemplo, si un municipio emprendiera un proyecto para mejorar la calidad de la educacin y estableciera que el objetivo principal consiste en realizar talleres de capacitacin para mil docentes de
18
educacin primaria, estara colocando un producto (talleres de capacitacin) en lugar del efecto (mejorar el aprendizaje de los nios). Esto provocara que el indicador para medir el efecto del proyecto fuera el nmero de talleres realizados para los docentes y no el mejoramiento de los aprendizajes de los nios. Si el proyecto ejecutara los mil talleres de capacitacin programados, el indicador sealara que se ha cumplido el objetivo. Sin embargo, dichos talleres podran no haber sido suficientes para mejorar el aprendizaje de los alumnos, con lo cual el indicador habra brindado una informacin errnea. Por lo dicho, un buen sistema de seguimiento slo puede construirse con base en un proceso de planificacin estratgica realizado de manera sistemtica y ordenada. La calidad de los indicadores y su capacidad para expresar de forma ms o menos fidedigna la marcha de una intervencin de desarrollo, depende en gran medida de la rigurosidad del proceso de planificacin. Indicadores La elaboracin de los indicadores es un paso crucial en el desarrollo de un sistema de seguimiento. Como se ha dicho, los indicadores son expresiones de las variables cuantitativas y cualitativas mediante la cuales pueden medirse los logros alcanzados, observar los cambios vinculados con una intervencin o analizar los resultados de una institucin. Debern expresar el avance de los distintos elementos de la cadena de resultados y, en el mejor de los casos, dar cuenta de todas las dimensiones del desempeo.
los indicadores son expresiones de las variables cuantitativas y cualitativas mediante las cuales se pueden medir los logros alcanzados, observar los cambios vinculados con una intervencin o analizar los resultados de una intervencin para el desarrollo.
En varias reas del desarrollo, como la salud, la educacin y el empleo, existe un amplio acuerdo entre los especialistas sobre los indicadores que deben usarse para medir los efectos e impactos de las intervenciones para el desarrollo, por lo cual, cuando sea posible y conveniente, es adecuado usar esos indicadores. En otros casos, no obstante, no existen indicadores estandarizados y es necesario crear algunos que se ajusten a lo que la organizacin o proyecto pretenda lograr. Vale la pena resaltar que la elaboracin de los indicadores es una tarea tcnica especializada, por lo que se recomienda encargarla a profesionales con experiencia en este campo.
19
Ellos pueden apoyar a los funcionarios del gobierno subnacional a elaborar los indicadores y, al mismo tiempo, capacitarlos para que se encarguen de esa tarea en el futuro3. Por otro lado, es conveniente que al principio se establezca un nmero reducido de indicadores que midan los principales efectos y productos de la gestin del gobierno subnacional o de su plan de gobierno. Ese nmero puede incrementarse conforme el sistema vaya madurando y se compruebe la validez de tales indicadores. Adems, es preciso tener presente que la funcin de cualquier sistema de seguimiento es servir como instrumento de gestin y rendicin de cuentas, por lo cual, es importante que su implementacin se haga de manera progresiva. Informacin de la lnea base Una vez establecidos los objetivos e identificados los indicadores para medirlos, es necesario recopilar la informacin para determinar la situacin del indicador, al inicio del perodo de anlisis o antes de la intervencin; lo que define la denominada lnea base. La lnea base es el punto de partida de un indicador que servir como referencia para medir los avances que se logren en la consecucin de un objetivo. Es conveniente, adems, disponer de una serie de tiempo lo ms larga posible para cada indicador, pues eso permitir conocer su tendencia y proporcionar pistas a la hora de definir las metas. En el ejemplo que se muestra en el grfico 6.5., se puede observar la evolucin del trabajo infantil mediante el indicador de la tasa especfica de participacin de la poblacin econmicamente activa de 12 a 15 aos, durante cinco aos consecutivos. Si un municipio se planteara como objetivo reducir el trabajo infantil en un escenario como este, debera tomar como lnea base la tasa del ao 2010 que fue de 13.1. La informacin de la lnea base puede provenir de varias fuentes. Las principales son los registros administrativos, las encuestas peridicas y los instrumentos especficos. Estas fuentes, a su vez, pueden pertenecer al gobierno subnacional o a otro organismo, sea gubernamental o no gubernamental. A
3 Para una revisin minuciosa del proceso de elaboracin de indicadores se recomienda el texto Indicadores de Desempeo en el Sector Pblico elaborado por Juan Cristbal Bonnefoy y Marianela Armijo (2005). 20
continuacin se presentan algunos ejemplos de indicadores, segn el tipo de fuente del que comnmente provienen.
Es necesario tener en cuenta que la informacin para la lnea base de todos los indicadores no siempre est disponible. Por ejemplo, es posible que un municipio cuyo objetivo sea mejorar la calidad de la educacin primaria, no cuente con pruebas estandarizadas que permitan conocer si los alumnos han adquirido los conocimientos que el currculo de enseanza establece para cada uno de los grados escolares. En ese caso, ser necesario desarrollar y aplicar esa prueba, lo cual supondr invertir recursos para disearla, aplicarla y analizarla. En todo caso, la creacin de la lnea base requiere realizar un esfuerzo considerable de recoleccin y anlisis de informacin; mientras mayor sea el nmero de indicadores, mayor ser la demanda de trabajo para elaborar la lnea base. Metas Las metas son la expresin concreta y cuantificable de lo que se quiere alcanzar en un perodo definido, trtese de impactos, efectos o productos. Las metas son el compromiso ms visible y verificable que un gobierno subnacional establece con la ciudadana y, por tanto, deben ser definidas por las
21
autoridades de alto nivel, tomando en cuenta tanto los factores tcnicos y financieros, como los polticos. Para definir una meta, hay que considerar tres elementos: i) el objetivo que se pretende alcanzar, ii) el indicador con el que se vaya a medir el logro y iii) la informacin que se disponga de la lnea base. As, para el ejemplo mencionado anteriormente de reducir el trabajo infantil, podra proponerse una disminucin del 20% en un perodo de dos aos, lo que equivaldra a que la tasa de participacin de la poblacin econmicamente activa de 12 a 15 aos, disminuya de 13.1 a 10.5, y se ubique en el mismo nivel que el ao 2005, segn se muestra en el ejemplo del grfico 6.5.
2003
Adems del objetivo y de la informacin de la lnea base, debern tomarse en cuenta la viabilidad tcnica de cumplir la meta y los recursos necesarios y disponibles para lograrla. Retomando el ejemplo anterior, supongamos que la reduccin del 20% en la tasa de trabajo infantil en un municipio conlleva retirar de las actividades laborales a dos mil 500 chicos mediante una estrategia de becas escolares y subsidios, cuyo costo es de 500 dlares anuales por cada uno. De esta manera, cumplir la meta requerir una inversin de un milln 250 mil dlares anuales.
22
Como se puede apreciar, la definicin de metas est relacionada con la planificacin y programacin, tanto de actividades como de recursos. Aunque se las use como un medio de seguimiento, su definicin involucra factores complejos que deben ser examinados y discutidos de manera conjunta por los responsables de los asuntos polticos, tcnicos y presupuestarios de un gobierno subnacional. Recoleccin y anlisis de la informacin Una vez definidos los indicadores, las fuentes de informacin y las metas, los datos debern recopilarse y procesarse peridicamente. Para ello se requiere contar con un equipo de tcnicos y recursos dedicados especficamente a esas tareas, as que conviene crear una unidad institucional a cargo del seguimiento y la evaluacin. Con el propsito de promover el uso y apropiacin de la medicin del desempeo por parte de las direcciones de presupuesto o de planificacin del gobierno subnacional, se recomienda que la unidad de SyE est adscrita a estas direcciones. Debern crearse, adems, procedimientos y protocolos para que el proceso de recoleccin y anlisis de los datos se realice de manera regulada. Por otro lado, es necesario establecer acuerdos formales de coordinacin con las dependencias y organizaciones que proveern los datos, sean integrantes del gobierno subnacional o externas a l. La elaboracin de los indicadores depende de esas fuentes de informacin y es conveniente involucrar a sus responsables desde el inicio del proceso, pues son ellos quienes conocen en detalle la calidad, periodicidad y validez de la informacin que producen. Conviene enfatizar en que el seguimiento tradicional da cuenta de los insumos y actividades realizadas y, ocasionalmente, de los productos. El seguimiento, en el marco de un enfoque basado en los resultados, toma tambin en consideracin los efectos que se logran con los productos. Por ese motivo, el razonamiento que gua el anlisis de los indicadores est orientado a responder las siguientes preguntas bsicas: los insumos de los que dispongo y las actividades que realizo, son los adecuados para elaborar los productos?; los bienes y servicios producidos, estn provocando los efectos e impactos previstos? No es suficiente informar si los insumos se emplearon y
23
si las actividades se realizaron, tambin es necesario indicar si con ellos se logr producir la cantidad y calidad de bienes y servicios establecidos. Asimismo, no basta notificar si se elaboraron los productos programados, pues hay que determinar si esos productos estn logrando modificar la realidad social de la manera prevista inicialmente. Para dar respuesta a las preguntas planteadas, es necesario que el sistema de seguimiento use, adems de los indicadores, otros instrumentos como los informes de actividades, reuniones con los involucrados, estudios de caso, grupos focales, encuestas y evaluaciones. Aunque los indicadores son la columna vertebral del sistema de seguimiento, no son suficientes para establecer juicios sobre la obtencin de los resultados. Es necesario utilizar informacin adicional para explicar las causas y factores que influyen en el desempeo, para lo cual, se requiere emplear instrumentos como los mencionados. Incorporar la informacin sobre el desempeo en la toma de decisiones El objetivo de construir sistemas de seguimiento es usar la informacin sobre el desempeo institucional para tomar decisiones y rendir cuentas. La elaboracin de indicadores y la recoleccin y anlisis de los datos son actividades que no tienen sentido en s mismas, pues de nada sirven si no se las utiliza como insumos para tomar decisiones sobre los distintos aspectos de la marcha institucional, y para rendir cuentas a los ciudadanos y a las autoridades, sobre la gestin desarrollada. Por lo tanto, es necesario advertir que es ocioso implementar programas informticos con datos sobre el desempeo, que no vayan ligados a procesos de cambio organizacional; la decisin de implementar un sistema de seguimiento debe surgir de la voluntad de construir una estructura institucional orientada a la obtencin de resultados. Esto conlleva implementar cambios profundos en las prcticas tradicionales que estn basadas en la repeticin de conductas4 y en una cultura de gestin pblica excesivamente impregnada de consideraciones
4 El mejor ejemplo de la repeticin de conductas es el presupuesto incremental, vigente en casi toda Amrica Latina, que consiste en aumentar la misma proporcin de recursos a todos los ejecutores ao tras ao. 24
corporativas y polticas5. La nueva cultura debe crearse con base en prcticas y procedimientos que alienten el uso de la informacin sobre el desempeo de las personas e instituciones. As habrn mejoras en la forma de conseguir los objetivos de desarrollo social y econmico trazados por el gobierno subnacional. En la unidad 3 se exponen de manera ms detallada los usos de la informacin y algunos aspectos relacionados con la comunicacin de los resultados del seguimiento.
5 La poltica es un ingrediente consustancial de la gestin de las polticas pblicas, pero para que esa gestin est orientada al logro de resultados, es necesario que tambin tome en cuenta los ingredientes tcnicos.
25
6 sta es la versin en espaol del libro escrito originalmente en ingls. Esta es la versin en espaol del libro escrito originalmente en ingls How to Build a M&E Systems to Support Better Government. Desgraciadamente, la traduccin es descuidada y de mala calidad, lo que provoca equvocos en los trminos tcnicos. Por ello, si el interesado leer en ingls, se le sugiere optar por la edicin en ese idioma. Con respecto a esta publicacin, ver recomendacin en la nota 2 de esta unidad. 26
que deben tomarse en cuenta para implementar evaluaciones sistemticas de la gestin institucional.
27
estudia el proceso que se ha seguido para obtenerlos y proporciona recomendaciones para acciones futuras. Adems, mientras el seguimiento es una funcin que se ejecuta permanentemente durante la gestin de un programa, proyecto o poltica, la evaluacin se realiza en momentos determinados. El siguiente cuadro presenta sintticamente las diferencias ms importantes entre el seguimiento y la evaluacin.
789
7 Pertinencia es la medida en que los objetivos de una intervencin para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del pas, las prioridades globales y las polticas de los asociados y donantes. (OECD, 2002: 32). 8 La atribucin se refiere a la accin que explica los cambios observados o los resultados obtenidos. Representa la medida en que los efectos de desarrollo observados pueden atribuirse a una intervencin especfica o a la actuacin de una o ms partes teniendo en cuenta otras intervenciones, factores exgenos (prev istos o imprevistos) o choques externos. (OECD, 2002: 17). 9 En ALC, el agente evaluador es generalmente externo a la organizacin que implementa el proyecto. Esto no ocurre en todas las regiones. En la mayora de los pases de la OECD, por ejemplo, las evaluaciones son efectuadas por agentes internos (Mackay, 2008). Esto se debe al diferente grado de institucionalizacin del SyE que existe en las regiones. 28
Es necesario tener en cuenta que el seguimiento y la evaluacin son instrumentos complementarios. Aunque cada uno de ellos tiene su funcin y fortalezas propias, el objetivo de ambos es contribuir con informacin adecuada para que la gestin se realice con base en los resultados que las instituciones desean obtener. La construccin de un sistema en que los componentes de SyE estn debidamente articulados es condicin sine qua non para implementar una gestin orientada al logro de los resultados.
EVALUACIN EX POST
Insumos
Procesos EJECUCIN
Productos
Efectos
Impactos
RESULTADOS
10 La publicacin Seguimiento y evaluacin: instrumentos, mtodos y enfoques del Banco Mundial (2004) presenta varios mtodos con sus usos, ventajas, desventajas, requisitos, tiempo de ejecucin y costos correspondientes.
29
Aunque este documento trata solamente de las evaluaciones que se realizan durante y despus de la ejecucin, conviene mencionar que las evaluaciones ex ante tienen como propsito asegurar que el diseo de una intervencin para el desarrollo sea pertinente, idneo y rentable, segn sea el caso. Tradicionalmente, el examen ex ante se ha orientado a analizar la viabilidad econmica y financiera de los proyectos de inversin, utilizando tcnicas como el anlisis costo beneficio, la Tasa Interna de Retorno (TIR) y Valor Actual Neto (VAN)11. Sin embargo, desde la perspectiva de la GpRD, es necesario evaluar tambin aquellas intervenciones diferentes a los proyectos como, por ejemplo, las polticas y los programas. Adems, es importante analizar la estructura lgica de las propuestas y su contribucin al logro de los resultados establecidos en el plan de gobierno.
cualquier momento es adecuado para realizar una evaluacin, si existen preguntas que requieren respuesta para mejorar la gestin o resolver problemas surgidos en la marcha del programa o proyecto.
Por otro lado, las evaluaciones que se realizan durante la intervencin tienen la funcin de mejorar el desempeo. En el caso de los proyectos, es frecuente que estas evaluaciones se ejecuten una vez transcurrida la mitad de tiempo de ejecucin previsto o una vez al ao. No obstante, cualquier momento es adecuado para realizar una evaluacin, si existen preguntas que requieren respuesta para mejorar la gestin o resolver problemas surgidos en la marcha del programa o proyecto. Los instrumentos y tcnicas de recoleccin y anlisis de la informacin que se aplican en estas evaluaciones son muy variados: encuestas, grupos focales, entrevistas a informantes calificados, anlisis del marco lgico, estudio de casos, anlisis de informacin documental, anlisis de los indicadores de desempeo, etc. Pueden ser efectuados por evaluadores externos o por los mismos responsables del diseo e implementacin de la intervencin. Tambin pueden ser participativas, es decir, ejercicios en los que los representantes de las entidades y partes involucradas en el programa o proyecto trabajan conjuntamente en el diseo, implementacin e interpretacin de una evaluacin. Las evaluaciones que se realizan una vez concluidas las intervenciones, tienen el propsito de identificar sus resultados, la sostenibilidad de sus logros y los factores que contribuyeron a su xito o fracaso. Las tcnicas e instru11 El trabajo de Ortegn y otros (2005) presenta un anlisis detallado de las tcnicas de evaluacin ex ante de los proyectos de inversin.
30
mentos son los mismos que se usan para las evaluaciones intermedias. No obstante, hay un tipo de evaluacin que tiene caractersticas particulares: se trata de las evaluaciones de impacto12. stas buscan establecer las diferencias hipotticas que existiran entre la situacin de las personas luego de participar en un proyecto o programa, y la situacin de esas mismas personas en ese mismo momento, si no hubieran participado en el proyecto o programa. Esto equivale a preguntarse cul sera la situacin de esas personas si el proyecto o programa no se hubiera ejecutado? Dado que no se puede responder a esa pregunta mediante la verificacin de los hechos, los evaluadores usan tcnicas tomadas de los mtodos cientficos para dilucidarla. Mediante la observacin y comparacin entre grupos de personas que participaron y que no participaron en el programa, y usando tcnicas estadsticas, proyectan el posible impacto de la intervencin en los participantes. La evaluacin de impacto es costosa, tcnicamente compleja y emplea abundante tiempo. Generalmente se la reserva para proyectos estratgicos de gran envergadura y en los cuales las variables que se observan son pocas y estn bien definidas. La metodologa y tcnicas de evaluacin deben ser escogidas cuidadosamente, tanto por los gerentes pblicos como por los evaluadores, en funcin de los objetivos y preguntas de la evaluacin, las caractersticas del programa o proyecto, la disponibilidad de recursos financieros y personal experto con que se cuente. Es necesario enfatizar en que, as como el sistema de indicadores de desempeo se construye para observar el cumplimiento de los objetivos y metas institucionales, las evaluaciones merecen atencin porque son un insumo para el aprendizaje institucional, para perfeccionar la manera en que se crea valor pblico y para rendir cuentas a la ciudadana. Las evaluaciones que no se inscriben en estos propsitos se convierten en ejercicios acadmicos con poca utilidad prctica.
12 Se recomiendan los textos de Aedo (2005) y del Banco Mundial (2006) para una revisin ms exhaustiva sobre la evaluacin de impacto.
31
El primer paso para establecer un sistema de evaluaciones en el gobierno subnacional consiste en responder a la pregunta qu se va a evaluar? Para ello, es necesario considerar cuidadosamente los objetivos y estrategias establecidos en el plan de gobierno y determinar qu polticas, instituciones, programas o proyectos desempean un papel preponderante en la consecucin de sus resultados. Esto permitir seleccionar las intervenciones ms importantes y focalizar la atencin en ellas. Es necesario sealar que tradicionalmente la evaluacin estaba limitada al examen de los proyectos, sin embargo, en la actualidad se considera importante evaluar tambin las polticas, las instituciones y los programas, pues todos ellos forman parte del arsenal de intervenciones de las polticas pblicas. Una vez identificadas las intervenciones que se desea evaluar, es conveniente desarrollar un programa plurianual de evaluaciones que cubra todo el perodo gubernamental y que establezca aquellas que se realizarn cada ao. Dicho programa deber establecer el monto de recursos que se emplear en cada evaluacin, sus objetivos, la fecha en que se realizar, su duracin y la metodologa que se aplicar. El calendario de evaluaciones debe tomar en cuenta aspectos como el cronograma de ejecucin de las intervenciones, su
32
nivel de madurez, la demanda existente para el anlisis y otros elementos que pudieran influir en la ejecucin de los estudios. Para establecer los objetivos y la metodologa de las evaluaciones con mayor precisin, es conveniente realizar un anlisis de evaluabilidad13 de las intervenciones que se van a examinar. Este anlisis consiste en verificar si existe claridad en la intencionalidad de la intervencin que ser evaluada, indicadores mensurables suficientes, fuentes de informacin evaluables y fiables y ningn factor significativo que interfiera con un proceso de evaluacin imparcial (UNEG, 2005: 9). Adems, pretende comprobar si un evaluador, utilizando mtodos y tcnicas de evaluacin adecuados, en el tiempo estipulado y a un costo compatible con las restricciones existentes, ser capaz de responder a las preguntas de evaluacin con una alta probabilidad de alcanzar conclusiones tiles. (Merino, 2007: 19). Una vez definido el programa plurianual de evaluaciones, ser necesario asignar anualmente el financiamiento correspondiente para poder llevarlas a cabo. El costo de las evaluaciones depende de varios factores, entre ellos, la metodologa empleada, las caractersticas de las intervenciones y la disponibilidad de expertos en evaluacin. En tanto que los mtodos de evaluacin rpida son menos costosos, los de evaluacin del impacto requieren la inversin de ms recursos. El siguiente cuadro resume algunas indicaciones sobre los costos de cuatro modelos de evaluacin, de los efectos e impactos.
13 Para una revisin del concepto de evaluabilidad y su aplicacin a la gestin pblica se recomienda el texto La evaluabilidad: de instrumento de gestin a herramienta estratgica en la evaluacin de polticas pblicas, de Marisa Merino (2007).
33
Diseo semi experimental con comparaciones previas y ex post de la poblacin a la que estaba destinado el proyecto y la de control. Comparacin ex post de un grupo que participe en el proyecto y un grupo de control no equivalente. Evaluaciones rpidas de los efectos.
US $ 50.000 o ms. El costo suele ascender a la tercera parte o la mitad de un estudio comparable en que se usen los modelos 1 o 2. US $ 25.000 o ms. Algunos estudios llevan uno o dos meses, para otros se requiere ms tiempo.
Hay que advertir que es conveniente que la decisin de evaluar una intervencin sea tomada en consenso por la mayor cantidad de involucrados posible: las autoridades gubernamentales, el rgano deliberativo del gobierno local, los gerentes pblicos encargados de la intervencin, los sindicatos pblicos, las organizaciones de la sociedad civil (OSC) involucradas, etc. Esto contribuir a que el proceso de evaluacin no se perciba como una amenaza y, por el contrario, se realice en un ambiente propicio que permitir que los resultados de la evaluacin sean provechosos para todos. Elaborar los trminos de referencia de la evaluacin Una vez que se ha decidido evaluar una intervencin, es necesario elaborar los trminos de referencia (TR) de la evaluacin, como paso previo a su realizacin. Los TR deben explicar por qu, para qu, cmo, cundo, quin y con qu recursos se realizar la evaluacin. Los siguientes son algunos de los elementos que generalmente integran los TR de una evaluacin.
34
Cuadro 6.7. Elementos que contienen los trminos de referencia de una evaluacin
Elemento Descripcin de la intervencin Objetivos Definicin Incluye la informacin bsica sobre los objetivos, los involucrados, la ubicacin, los recursos de la intervencin. Establece por qu y para quin se hace la evaluacin. Debe especificar lo que la evaluacin pretende conseguir y la manera en que se emplearn los resultados. Son las interrogantes que se desea que responda la evaluacin. Estas preguntas, por lo general, se refieren a la pertinencia, eficiencia, eficacia, impacto y sostenibilidad de la intervencin. Establece los mtodos, tcnicas e instrumentos que se debern usar para realizar la evaluacin, as como las etapas que cumplir el proceso. Tambin se debe indicar la manera en que se tomar en cuenta a los distintos involucrados. Indica las fuentes de informacin que debern usarse durante la evaluacin: documentacin, informantes calificados, etc. Establece los productos que debern entregarse al final de la evaluacin: informes, talleres de retroalimentacin, publicaciones, etc. Se debe realizar un clculo preliminar del costo de la evaluacin para tenerlo como referencia interna. Identifica la fecha en la que se deber iniciar la evaluacin, su tiempo de duracin y el cronograma de ejecucin. Indica la composicin y calificaciones del equipo de evaluacin.
Preguntas
Metodologa
Fuentes de informacin
Productos que se entregarn Clculo preliminar del costo Plazos de ejecucin y cronograma Calificaciones del equipo de evaluadores
Contratar la evaluacin Una vez elaborados los trminos de referencia, se procede a contratar los servicios de empresas o personas expertas en evaluacin, de acuerdo a las normas de contratacin pblica que exista en cada pas. La decisin de contratar empresas o personas debe meditarse cuidadosamente, pues ambas tienen ventajas y desventajas, tal como se resume en el siguiente cuadro.
35
Ventajas
La empresa desarrolla la metodologa o El proceso de evaluacin puede brindar propuesta de evaluacin. la oportunidad para el fortalecimiento de las capacidades institucionales y para En caso de una indisposicin repentina de el aprendizaje de expertos nacionales. un evaluador (p.ej. enfermedad), la empresa es responsable de proporcionar un sustituto. La identificacin de los consultores independientes requiere ms tiempo y existe el riesgo de seleccionar a miembros del equipo con base solamente en la informacin de su postulacin. Inconvenientes Un equipo de profesionales que nunca ha trabajado en conjunto puede tener dificultades para cohesionarse y, adems, se pueden generar conflictos internos que afecten el proceso. Los cambios en el calendario pueden desembocar en costos adicionales en honorarios, dietas y arreglos de viaje. La logstica debe ser proporcionada por la entidad contratante. La logstica debe ser proporcionada por la empresa. Las tarifas pueden ser ms elevadas, ya que los costos generales de la empresa estarn incluidos. Si la firma ha tenido excesiva visibilidad en el tema o en la organizacin, la credibilidad del ejercicio podra quedar comprometida. Los miembros del equipo tienden a tener enfoques y perspectivas similares, de modo que se pierde algo de la riqueza de las diferentes posiciones. Los procedimientos de licitacin pueden ser largos y engorrosos. Las empresas pueden tener dificultades para proveer una combinacin de expertos nacionales e internacionales.
36
Comunicar y usar los resultados Una vez que se ha realizado la evaluacin, el paso final consiste en comunicar los hallazgos y utilizarlos, sea para mejorar la gestin de esa u otras intervenciones o para rendir cuentas. La comunicacin de los resultados de una evaluacin es un proceso que debe planificarse cuidadosamente a fin de que la informacin contribuya al aprendizaje institucional y a la toma decisiones acertadas. Debe tenerse en mente que se requieren formatos y medios especficos para cada uno de los pblicos usuarios: autoridades, gerentes y personal de la intervencin evaluada; beneficiarios, opinin pblica, etc. En la siguiente unidad, se analizan con mayor detalle tanto la comunicacin como el uso de los resultados de las evaluaciones.
37
38
lticas pblicas, as como los distintos usuarios que se benefician de dicho sistema.
Reconocer algunos elementos clave que un gobierno subnacional debera
se concretan en cambios sociales observables y susceptibles de medicin. Mediante los indicadores de desempeo y los estudios evaluativos, el sistema de SyE hace posible tal observacin y medicin. Aquellos instrumentos, adems de posibilitar la apreciacin de los cambios sociales logrados, permiten saber hasta qu punto fueron efectivas las estrategias empleadas para la solucin de problemas. En tal sentido, el sistema de SyE cumple dos funciones importantes en la gestin de la creacin de valor pblico: observa y mide el cambio social (los resultados) y determina la efectividad de las respuestas del gobierno a las demandas sociales. Estas dos funciones se concretan en una serie de aplicaciones durante el ciclo de gestin pblica que, adems del SyE, involucra los siguientes componentes: planificacin, presupuesto, gestin financiera pblica, gestin de programas y proyectos (Garca Lpez y Garca Moreno, 2010). Se examinar a continuacin, el uso del sistema de SyE en cada uno de estos componentes.
El sistema de SyE cumple dos funciones importantes en la gestin de la creacin de valor pblico: observa y mide el cambio social (los resultados) y determina la efectividad de las respuestas del gobierno a las demandas sociales.
El sistema de SyE proporciona a la planificacin, informacin valiosa para el diseo de estrategias idneas orientadas a resolver problemas institucionales o sociales. Las tres preguntas que debe responder una planificacin orientada a resultados son dnde estamos? a dnde queremos ir? y cmo podemos llegar? El sistema de SyE ayuda a los planificadores a responder la tercera pregunta. Efectivamente, a partir del anlisis de la efectividad de las intervenciones pasadas, los planificadores disponen de elementos de juicio que les permiten identificar las mejores soluciones a los problemas presentes. Les facilitan tambin establecer la mejor combinacin de insumos, procesos y productos para lograr determinados efectos e impactos. Adicionalmente, en un marco de presupuesto por resultados, la informacin sobre los resultados obtenidos mediante la ejecucin de los recursos del presupuesto, debe provenir de los indicadores de desempeo elaborados para dar seguimiento a los programas. Estos indicadores deben considerar no slo los productos (bienes y servicios) que se generan, sino tambin los efectos que generan en la poblacin. Los anlisis provenientes de las evaluaciones de las polticas, los programas y los proyectos tambin son un insumo importante para el proceso presupuestario, pues complementan los datos del sistema de seguimiento con el aporte de criterios sobre los efectos
40
y los impactos de la accin gubernamental. Con base en los indicadores de desempeo y en las evaluaciones, las autoridades presupuestarias identifican la efectividad del gasto pblico y pueden sustentar sus decisiones sobre la asignacin de fondos o establecer reglas del juego para el acceso a los recursos pblicos.14 La gestin financiera pblica est conformada por principios, normas, sistemas y procedimientos que intervienen en las operaciones de programacin, gestin y control necesarias tanto para la captacin como para el gasto de recursos, es decir, establecen las reglas del juego del los procesos financieros de la gestin pblica. Estas reglas del juego definen una buena parte de los procesos mediante los que se generan los productos. Al analizar la eficiencia de la gestin (relacin insumos productos), el sistema de SyE observa tanto la aplicacin de esas reglas como su idoneidad para lograr los resultados. La gestin de programas y proyectos es el centro de creacin de valor pblico, pues stos generan los bienes y servicios que producen los cambios sociales previstos en el plan de gobierno. El SyE permite a los gerentes pblicos contar con informacin sobre la eficiencia de los procesos, la calidad de los bienes y servicios y el efecto que provocan entre los ciudadanos. No es posible conseguir un alto desempeo institucional si no se cuenta con esa informacin. Adicionalmente, la funcin de control interno15 slo puede implementarse adecuadamente si las instituciones cuentan con un sistema de SyE adecuado.
41
tanto la rendicin de cuentas de parte de los gerentes pblicos a las autoridades, como de stas a los ciudadanos, deben basarse en pruebas sobre el valor pblico que se ha creado durante su administracin. No basta con que las autoridades informen la cantidad de recursos que se invirtieron o el nmero de obras pblicas inauguradas en su perodo de gobierno, sino que deben ser capaces de responder de qu manera esos recursos invertidos y esas obras construidas contribuyeron efectivamente a lograr los objetivos de gobierno para los que fueron elegidos por sus conciudadanos. El caso de la seguridad ciudadana puede ilustrar bien este punto. Si las autoridades de un gobierno subnacional fueron elegidas debido a su oferta de mejorar la seguridad, deben rendir cuentas de su gestin con informacin confiable acerca de indicadores relacionados con los delitos y la percepcin de los ciudadanos sobre la seguridad. Por tanto, no basta que las autoridades informen a la Polica sobre el incremento de los recursos, sobre el aumento del nmero de patrulleros o sobre la dotacin de equipo moderno, pues deben probar que todos esos elementos realmente contribuyeron a la reduccin del delito y a mejorar la seguridad ciudadana.
GESTIN FINANCIERA PBLICA: Reglas del juego que generen resultados PROGRAMAS Y PROYECTOS: Gestin de la produccin de bienes y servicios
INFORMACIN DESAGREGADA
INFORMACIN AGREGADA
Insumos
Procesos
Productos
Efectos
AUTORIDADES
Impactos
PRESTADORES DE SERVICIOS
GERENTES PBLICOS
Puesto que la informacin del sistema de SyE sirve tambin para rendir cuentas, la opinin pblica y los ciudadanos deben ser considerados tambin como usuarios. La informacin que se difunde entre ellos debe enfocarse en los resultados agregados (productos, efectos, impactos) y presentarse de manera que expliquen de forma sencilla los datos tcnicos y los vinculen con los objetivos del gobierno. Esto no impide, sin embargo, que se entregue informacin tcnica desagregada para dar cumplimiento a la poltica de trasparencia.
La institucionalizacin del sistema de SyE, es decir su uso como instrumento de gestin y rendicin de cuentas, es un proceso continuo de largo aliento que rebasa la gestin de una sola administracin gubernamental, tal como puede observarse en las experiencias de construccin de los sistemas nacionales de Brasil, Chile y Colombia (Banco Mundial y BID, 2006). Diversos estudios sealan varios factores que contribuyen a la institucionalizacin de los sistemas de SyE (Mackay, 2008; Zall Kusek y Rist, 2005) que deben tomarse en cuenta a la hora de emprender los procesos de construccin de estos sistemas. Dichos factores pueden dividirse en dos categoras: los relacionados con la operacin del sistema (mbito interno) y los relacionados con el entorno (mbito externo). Entre los elementos relacionados con los operadores del sistema existen dos que tienen una gran importancia en la institucionalizacin del SyE: la formalizacin del sistema y la capacitacin de los operadores y usuarios. La formalizacin supone, adems de la existencia de una norma que regule el sistema, la construccin de instrumentos y modelos de trabajo, la definicin de procesos y procedimientos, la elaboracin de guas, manuales y otros documentos tcnicos que sirven para la operacin del sistema. Todo esto permite su buen funcionamiento y crea un marco adecuado para la produccin de informacin de buena calidad, creble y oportuna. El proceso de elaboracin de todos estos elementos demanda tiempo y no se lo hace de una sola vez, por el contrario, requiere de aproximaciones sucesivas y de los
44
aprendizajes que se producen de los ensayos y errores frecuentes. En todo caso, la regla de oro de este proceso es partir de lo sencillo y, solamente con el trascurso del tiempo, aadir complejidad al sistema y a sus componentes. En ningn campo esto resulta ms cierto que en el de la construccin de los indicadores de desempeo: es mejor partir con pocos indicadores relevantes que efectivamente se usen, que con muchos indicadores que midan cada aspecto de la gestin institucional, pero que no se apliquen adecuadamente. Otro aspecto a tomar en cuenta en la formalizacin es la ubicacin de la unidad a cargo de la operacin del sistema de SyE. Es importante que esta unidad est vinculada de alguna forma a las mximas autoridades del gobierno subnacional, sea que se ubique dentro de los departamentos de planificacin o de presupuesto, o que forme una oficina independiente. La experiencia muestra que la consolidacin del sistema de SyE requiere de un fuerte respaldo de las autoridades que se complemente con un liderazgo tcnico slido por parte de los operadores del sistema y una coordinacin adecuada con las funciones de planificacin y presupuesto. Otro factor relacionado con el mbito interno del sis- No se trata solamente de brindar tema de SyE es la capacitacin tanto de los fun- cursos y talleres sobre la importancia cionarios a cargo de operar el sistema, como de los del SyE y el funcionamiento del distintos usuarios: autoridades, gerentes pblicos, pres- sistema, sino de acompaar a cada tadores de servicios y OSC. En gran medida, la insti- uno de los usuarios para que pueda tucionalizacin del sistema descansa en su apropia- ejercer adecuadamente el rol que cin por parte de los usuarios; son ellos quienes, en le corrresponde desempear en la funcin de SyE. ltima instancia, deciden si el sistema funciona o no. Un instrumento valioso para fomentar esta apropiacin es la capacitacin. Por ello, los encargados del sistema deben establecer una estrategia de capacitacin a mediano plazo con componentes diferenciados para cada uno de los pblicos usuarios. No se trata solamente de brindar cursos y talleres sobre la importancia del SyE y el funcionamiento del sistema, sino de acompaar a cada uno de los usuarios para que puedan ejercer adecuadamente el rol que les corresponde desempear en la funcin de SyE que, como se ha visto anteriormente, atraviesa el conjunto del ciclo de la gestin pblica. Igual importancia tiene el acompaamiento a los usuarios para que utilicen adecuadamente la informacin, propsito central del SyE. Esta tarea implica que los operadores del sistema vayan ms all de la mera entrega de la informacin, y acten como consultores de sus usuarios.
45
Otro aspecto que la capacitacin debe considerar con especial cuidado, son las resistencias al uso del SyE. En el sector pblico de Amrica Latina existe la idea muy extendida de que el SyE es parte de un sistema punitivo al arbitrio de las autoridades. Desterrar esta idea, surgida de la ausencia de meritocracia en la cultura burocrtica de nuestros pases, y sembrar la nocin de que el seguimiento y la evaluacin son instrumentos para el aprendizaje institucional y personal, son desafos que la capacitacin debe enfrentar.
Las autoridades, los gerentes pblicos y todos aquellos que tienen responsabilidades de jefatura en el gobierno subnacional son los usuarios primordiales de la informacin de SyE
Respecto al mbito externo, hay que considerar dos factores esenciales para la institucionalizacin del sistema de SyE: i) la demanda por parte de las autoridades y gerentes pblicos y, ii) la demanda por parte de las OSC y la opinin pblica. Las autoridades, los gerentes pblicos y todos quienes tienen responsabilidades de jefatura en el gobierno subnacional son los usuarios primordiales de la informacin de SyE, sea que pertenezcan a las reas de planificacin, presupuesto, gestin financiera o gestin de programas y proyectos. En su mayor parte, ellos desempean una doble funcin en el sistema: por un lado, proveen informacin y por otro, la demandan. En un entorno institucional que no est organizado con base en los resultados, es ms fcil conseguir que los usuarios desempeen su papel como proveedores de informacin, mientras que es arduo lograr que demanden informacin sobre los resultados, pues no la necesitan. Con seguridad, demandarn informacin sobre la ejecucin fsica y financiera de la institucin, pero no les interesar saber acerca de dimensiones tales como la eficacia y la calidad. Por ello, la nica manera de conseguir una demanda continua de informacin sobre SyE es construir una estructura y una cultura institucionales orientadas hacia el logro de resultados. En ltima instancia, esto conlleva generar nuevas reglas del juego que coloquen a la obtencin de resultados en el centro de la accin institucional. Solamente de esa manera, se generar una demanda permanente de informacin de SyE. En cuanto a la demanda por parte de las OSC, hay que decir que se la puede promover de manera activa publicando regularmente en el Internet informes explicativos sobre los resultados de la gestin institucional. Aunque el Internet es un instrumento poderoso para difundir informacin, es necesario anotar que el tipo de informacin que se publique marca la
46
diferencia en cuanto al consumo y demanda por parte de la sociedad civil. As, por ejemplo, publicar el presupuesto y los informes presupuestarios anuales sin ningn anexo que explique de manera sencilla la relacin entre el gasto realizado y los objetivos de gobierno, puede resultar intil pues, debido a su naturaleza tcnica, slo los especialistas pueden comprenderlos. Lo mismo puede ocurrir al publicar el listado de indicadores de desempeo sin anexos explicativos. Por lo dicho, la publicacin peridica de informacin sobre los resultados de la gestin gubernamental es un medio para fomentar la demanda de esa misma informacin por parte de la sociedad civil. Las consideraciones sealadas anteriormente tambin deben tenerse en cuenta para fomentar la demanda de informacin sobre SyE por parte de los medios de comunicacin y de la opinin pblica. Conviene mencionar, adems, que es ms fcil generar demanda cuando el gobierno local implementa mecanismos participativos para la elaboracin del plan de gobierno, de las polticas sectoriales o del presupuesto, pues las OSC requerirn informacin sobre la gestin pblica para orientar su participacin en tales procesos. Adems de los aspectos ya mencionados, existe un ele- Si una institucin establece como mento clave, que configura los mbitos tanto externo requisito para los ascensos de como el interno, sin el cual no es posible instituciona- su personal cierto historial de lizar el sistema de SyE y, por extensin, un modelo de desempeo, es ms probable que GpRD. Se trata de las reglas del juego que regulan la all se desarrolle un sistema de gestin del proceso de creacin de valor pblico, en par- evaluacin con base en indicadores ticular los incentivos que se ofrecen a las instituciones y de desempeo que en una a los funcionarios con el fin de mejorar el desempeo y organizacin en la cual basta cumplir un nmero determinado de aos de las consecuencias que resultan de no hacerlo. Estas reservicio para ser promovido. glas bsicas tienen el poder de potenciar el cambio institucional ms que ningn otro elemento y, con ello, logran un efecto positivo en la institucionalizacin del sistema de SyE, puesto que a travs de este instrumento, se mide y examina el desempeo. Si una institucin establece como requisito para los ascensos de su personal cierto historial de desempeo, es ms probable que all se desarrolle un sistema de evaluacin con base en indicadores de desempeo que en una organizacin en la cual baste cumplir un nmero determinado de aos de servicio para ser promovido. De la misma forma, si existen reglas que establecen la asignacin de recursos
47
a las instituciones con base en su buen desempeo, ser necesario que se desarrolle el instrumental adecuado para medir ese desempeo y as asignar los recursos. Por otro lado, tambin deben establecerse las consecuencias de la ineficiencia e ineficacia, tanto si se trata de instituciones como del personal. Es importante estimular el logro mediante incentivos, pero esta medida debe complementarse con sanciones que inhiban las conductas no deseadas16. El siguiente grfico resume, de manera esquemtica, los elementos que coadyuvan a la institucionalizacin del sistema de SyE.
MBITO EXTERNO
MBITO INTERNO
Formalizacin
Capacitacin
16 El libro de Mackay (2008: p 63 - 66) presenta un conjunto de incentivos, sanciones y consejos tiles para promover la institucionalizacin de los sistemas de SyE. Esta es la versin en espaol del libro escrito originalmente en ingls How to Build a M&E Systems to Support Better Government. Desgraciadamente, la traduccin es descuidada y de mala calidad, lo que provoca equvocos en los trminos tcnicos. Por ello, si el interesado lee en ingls, se sugiere optar por la edicin en ese idioma. 48
49
50
51
52