Está en la página 1de 74

Liderando el

Desarrollo
Sostenible de las
Ciudades

Casos de estudio
Seguimiento, Monitoreo y
Evaluación de Proyectos, Programas
y Políticas Públicas
Liderando el Desarrollo Sostenible de las Ciudades

Gerente del Sector de Conocimiento y Aprendizaje:


Federico Basañes

Jefe del Instituto Interamericano para el Desarrollo Económico y Social – INDES:


Juan Cristóbal Bonnefoy

Coordinador General del Programa:


José E. Yitani

Equipo del programa:


Ana Haro
Alison Elías
Andrea Dusso

Autor:
Julio Franco Corzo

Corrección de estilo y maquetación:


Manthra Comunicación

Copyright©2015 Banco Interamericano de Desarrollo. Esta obra se encuentra sujeta a una licencia Creati-
ve Commons IGO 3.0 Reconocimiento-NoComercial-SinObrasDerivadas (CC-IGO 3.0 BY-NC-ND) (http://
creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode) y puede ser reproducida para cualquier uso
no-comercial otorgando crédito al BID. No se permiten obras derivadas.

Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se
someterá a arbitraje de conformidad con las reglas de la CNUDMI (UNCITRAL). El uso del nombre del BID
para cualquier fin distinto al reconocimiento respectivo y el uso del logotipo del BID, no están autorizados
por esta licencia CC-IGO y requieren de un acuerdo de licencia adicional.

Note que el enlace URL incluye términos y condicionales adicionales de esta licencia.

Las opiniones expresadas en este video son de los autores y no necesariamente reflejan el punto de vista
del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.
Contenido

1. Objetivo y estructura de la unidad�������������������������������������� 3

2. ¿Por qué es importante el seguimiento, el monitoreo .....y la


evaluación de proyectos, programas y políticas públicas?� 3
2.1 Proyectos, programas y políticas públicas�������������������� 4
2.2 ¿Qué es el seguimiento o monitoreo?�������������������������� 7
2.3 ¿Qué es la evaluación?������������������������������������������������ 10
2.4 Casos de fracaso de seguimiento o monitoreo
y evaluación en América Latina����������������������������������� 12

3. Indicadores������������������������������������������������������������������������� 17
3.1 ¿Qué son los indicadores y para qué sirven?�������������� 17
3.2 Uso de los indicadores������������������������������������������������ 27
3.3 Construcción de indicadores��������������������������������������� 30

4. Sistemas demonitoreo y evaluación���������������������������������� 37


4.1 Utilidad del sistema de monitoreo y evaluación����������� 37
4.2 Elementos básicos para construir sistemas de
monitoreo y evaluación����������������������������������������������� 38
4.3 Herramientas para implementar un sistema de
monitoreo y evaluación���������������������������������������������� 41
4.4 Experiencias de implementación de sistemas de moni-
toreo y evaluación subnacional����������������������������������� 46
5. La evaluación���������������������������������������������������������������������� 50
5.1 Utilidad de la evaluación de proyectos, programas y
políticas públicas y su relevancia para la gestión del
desarrollo sostenible de las ciudades������������������������� 50
a. Evaluación ex-ante................................................... 52
b. Evaluación ex-post................................................... 59
c. Estudio de caso........................................................ 61

6. Conclusiones���������������������������������������������������������������������� 63

7. Bibliografía������������������������������������������������������������������������� 64
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Unidad temática
Seguimiento, Monitoreo y Evaluación
de Proyectos, Programas y Políticas Públicas

“Lo que no se define, no se puede medir.


Lo que no se mide, no se puede mejorar.
Lo que no se mejora, se degrada siempre.”

Sir William Thomson, Lord Kelvin

1. Objetivo y estructura de la unidad


Este documento tiene como objetivo fortalecer el conocimiento en
temas de seguimiento, monitoreo y evaluación de proyectos, pro-
gramas y políticas públicas, a partir de la identificación del papel y
el impacto de estos instrumentos en la gestión pública local y en el
desarrollo sostenible de las ciudades.

En primer lugar, se analizará la importancia del monitoreo y la eva-


luación en la gestión de proyectos, programas y políticas públicas.
A continuación, se definirá qué es el seguimiento,el monitoreo y
la evaluación. Esta explicación se ilustrará con dos casos no exito-
sos de la región, en los que se constatan las consecuencias de no
tomar en cuenta ni el monitoreo ni la evaluación. Posteriormente,
se presentará y profundizará el estudio de los indicadores, por lo
que se explicará su importancia para la gestión pública en gene-
ral y para el monitoreo y la evaluación en particular. Asimismo, se
analizarán los componentes y tipos de indicador y los indicado-
res proxy. Finalmente, se presentarán las diferentes herramientas y
metodologías de monitoreo y evaluación.

2. ¿Por qué es importante el seguimiento, el monitoreo


y la evaluación de proyectos, programas y políticas
públicas?
Servidores públicos de gobiernos subnacionales en América Latina
comparten el deseo de que sus ideas y proyectos se concreten;
desafortunadamente, en muchas ocasiones, no lo logran debido

3
Liderando el Desarrollo Sostenible de las Ciudades

a tres circunstancias: un diseño erróneo de proyectos, programas


y políticas públicas; mecanismos inadecuados para detectar fallas
o situaciones que necesitan ser corregidas, y la ausencia de datos
oportunos y veraces que permitan tomar decisiones que mejoren
la gestión pública.

Uno de los principales errores en el diseño de proyectos, progra-


mas y políticas públicas radica en la falta de una metodología ri-
gurosa que permita identificar las causas y efectos del problema
público que se pretende atender, un análisis de factibilidad de las
alternativas más viables y un plan de acción para la alternativa ele-
gida. En varias situaciones, las decisiones se toman según informa-
ción poco seria y, a veces,mediante la intuición.

Incluso si el diseño del proyecto, programa o política pública se rea-


lizara de manera adecuada, la inexistencia de herramientas de se-
guimiento que muestren los avances y obstáculos y adviertan a los
servidores públicos responsables sobre potenciales problemas en la
gestión impide que los objetivos se cumplan. Además, si no existen
ni se utilizan datos sobre el desempeño del proyecto, programa o
política pública de forma veraz y oportuna,se incrementan las proba-
bilidades de que los resultados se alejen de los objetivos planeados.

Esta unidad pretende evitar los tres problemas anteriormente des-


critos. Si bien el seguimiento, monitoreo y la evaluación comparten
características, es importante conocer sus diferencias, saber cómo
se complementane identificar los momentos en los que se deben
accionar. Se explicarán sus similitudes y dferencias a partir de casos
de gobiernos subnacionales de América Latina.

Los objetivos general y de aprendizaje de este apartado son:

Objetivo general
Explicar los conceptos seguimiento, monitoreo y evaluación de proyectos, programas
y políticas públicas, destacando su utilidad en la gestión de las ciudades.
Objetivo de aprendizaje
Diferenciar los conceptos seguimiento, monitoreo y evaluación de proyectos, pro-
gramas y políticas públicas para la gestión del desarrollo sostenible de las ciudades.

2.1 Proyectos, programas y políticas públicas


El gobierno interviene con diversas estrategias de acción, con dis-
tintos alcances, para atender las necesidades y problemáticas de la
sociedad. Estas estrategias se materializan en proyectos, programas
y políticas públicas. Conocer la diferencia entre estas intervenciones

4
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

permite identificar el ámbito de acción y los límites de cada de


una y,al mismo tiempo, enfatizar la importancia del seguimiento, el
monitoreo y la evaluación para alcanzar los objetivos y metaspla-
neados.

A continuación, se presentan las definiciones y las diferencias entre


proyectos, programas y políticas públicas.

¿Qué son los proyectos?


Los proyectosson la unidad mínima de asignación de recursos para
lograr uno o más objetivos específicos. Un proyecto es un conjun-
to de actividades interrelacionadas y coordinadas para alcanzar un
objetivo según un presupuesto y periodos determinados (Cohen y
Franco, 2003). Constituye el punto de partida más adecuado para
valorarel desempeño de los programas.

Un ejemplo de proyecto en Latinoamérica es el Portal de comer-


cialización y encadenamiento de micro, pequeñas y medianas em-
presas, impulsado por el Gobierno de Costa Rica. Este es uno de
los tantos (más de 20) que conformaron la estrategia del Gobierno
para impulsar su plataforma digital. Su objetivo es crear un portal
web para facilitar la comercialización y encadenamiento de pro-
ductos, a las micro, pequeñas y medianas empresas, poniéndoloa
su disposición para que den a conocer sus bienes y servicios.

Los interesados ingresan a la página electrónica e identifican tien-


das en su localidad, con las características que buscan. De esta
forma, se trata de mejorar la competitividad de las ciudades y los
mecanismos de venta y promoción lo que, a su vez, beneficia al
mercado local.

¿Qué son los programas?


Los programas se conforman de un conjunto de proyectos que
persiguen los mismos objetivos. En ellos se establecen las prio-
ridades de la intervención al identificar y organizar los proyectos,
definir el marco institucional y asignar los recursos (Cohen y Fran-
co, 2005). Dos requisitos indispensables de un programa son: que
exista legalmente en una administración pública y que se le asig-
nen recursos públicos.

Un programa debe ser diseñado a partir de un análisis riguroso que


compare sistemáticamente las alternativas y permita elegir la más efi-
caz; sin embargo, es común identificar programas que representan

5
Liderando el Desarrollo Sostenible de las Ciudades

simples actos de autoridad ya que otorgan recursos públicos para


ocurrencias de un político o un servidor público (Franco Corzo,
2013).

El Programa Girasoles, implementado por el Gobierno de Monte-


video, Uruguay, es un ejemplo. Dirigido a adolescentes y jóvenes
(15 y 24 años de edad), sus objetivos son favorecer el proceso de
socialización de la población joven en situación de vulnerabilidad
social, así como promover la creación y recuperación de espacios
en la ciudad. De esta manera, el programa ofrece orientación ocu-
pacional-vocacional y actividades específicas como albañilería, jar-
dinería, pintura e informática (Gobierno de Montevideo, 2014).

¿Qué son las políticas públicas?


Las políticas públicas son “acciones de gobierno con objetivos de
interés público que surgen de decisiones sustentadas en un proce-
so de diagnóstico y análisis de factibilidad, para la atención efecti-
va de problemas públicos específicos, en donde participa la ciuda-
danía en la definición de problemas y soluciones” (Franco Corzo,
2013: 90).

De acuerdo con esta definición, resaltan tres elementos: las políti-


cas públicas buscan el interés público, son tiros de precisión que
buscan resolver las principales causas de una problemática deter-
minada, e incluyen las opiniones de la ciudadanía para otorgar le-
gitimidad al proceso de diseño e instrumentación.

En opinión de Franco Corzo (2013), una acción de gobierno “que


no esté sustentada en un proceso de diagnóstico y análisis, no es
una política pública, es simplemente un acto de autoridad”. Según
esto, es posible concluir que “las políticas públicas son antes que
nada una forma particular de decidir y ejecutar las acciones de
gobierno, pero no la única posible” (Arellano y Blanco, 2013: 19).

Ejemplo subnacional de proyecto, programa y política pública


De los países de la Organización para la Cooperación y el Desarro-
llo Económico (OCDE), México tiene la tasa de natalidad más altas
en adolescentes entre 15 y 19 años. Los estados con alto grado
de rezago social presentan los más altos índices de maternidad
en adolescentes; en Oaxaca, por ejemplo, , el 7,5% de los adoles-
centes entre 12 y 19 años tiene uno o más hijos. Estudios como el
Informe de Maternidad en la Niñez (OCDE,2013), señalan que los
niveles de fecundidad están relacionados con los de escolaridad.

6
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

De esta manera, la agencia de gobierno encargada de diseñar e


implementar políticas de atención a la familia –Sistema para el De-
sarrollo Integral de la Familia (DIF)– del gobierno local de Oaxa-
ca, diseñó una política de planificación familiar, con el objetivo de
orientar a los miembros de los hogares sobre el número de hijos y
los cuidados que deben recibir niños y adolescentes, así como en
temas de salud reproductiva.

La política pública del municipio contempló la implementación de


un programa dirigido a adolescentes que cursen el tercer año de
secundaria. Este se denominó Todo a su tiempo y tiene como obje-
tivo la prevención de embarazos durante la adolescencia y la toma
de conciencia por parte de adolescentes sobre la responsabilidad
de tener hijos.

Para la operación del programa se pusieron en marcha dos pro-


yectos. El primero consistió en la impartición de talleres, los cuales
incluían charlas acerca del uso de métodos anticonceptivos, plan
de vida y prevención de adicciones. El segundo proyecto propuso
la experiencia de cuidar a un “bebé virtual” durante 48 horas, el
cual, mediante sensores, simulaba las necesidades de un recién
nacido y detectaba actitudes violentas de la persona a su cargo
(e-Oaxaca.mx, 2013).

De acuerdo con el DIF, a partir de este proyecto se logró un cam-


bio en la percepción de los adolescentes, sobre la responsabilidad
que implica tener un hijo o hija a temprana edad (UAN, s.f). Cabe
mencionar que esta iniciativa fue reconocida como una “buena
práctica subnacional en políticas públicas de desarrollo social”, por
el Regional Center for Learning on Evaluation and Results (CLEAR),
el Banco Mundial y la Secretaría de Desarrollo Social (SEDESOL).

A partir de esta sección, se tratará a las políticas públicas y progra-


mas como un mismo conjunto de acciones de gobierno debido a
que comparten el objetivo (o al menos la intención) de generar be-
neficios de interés público; a diferencia de los proyectos los cuales
son de tipo administrativo o de gestión y, por tanto, no necesitan
un contacto directo con la ciudadanía.

2.2 ¿Qué es el seguimiento o monitoreo?


La literatura especializada en políticas públicas coincide en que
“seguimiento” y “monitoreo” son conceptos similares. Ortegón,
Pacheco y Prieto (2005) muestran, en un documento de la CEPAL,

7
Liderando el Desarrollo Sostenible de las Ciudades

que dichos términos se utilizan con el mismo significado. De igual


forma, Di Virgilio (2012) y Cohen y Martínez (s.f), en un documento
publicado por la UNICEF y la CEPAL, definen y explican la utilidad
del monitoreo utilizando la palabra “seguimiento”: “el monitoreo
es el seguimiento que se realiza durante la ejecución de una políti-
ca, programa o proyecto” (Di Virgilio, 2012: 41).

El motivo de la utilización indistinta de estos términos en español


tiene una justificación de carácter semántico. De acuerdo con el
diccionario Oxford, la palabra inglesa monitoring (of process, pro-
gress) se refiere a la palabra “seguimiento”. En el idioma español,
la Real Academia Española no incluye la palabra “monitoreo”, ya
que la considera un anglicismo.

De esta manera, en unidad, los términos “seguimiento” y “monito-


reo” se utilizarán como sinónimos.

¿Qué es el seguimiento o monitoreo?


El seguimiento, o monitoreo, se define como el conjunto de acti-
vidades de investigación y recopilación sistemática de información
relevante para medir el grado de cumplimiento de objetivos y me-
tas, que permitan a los tomadores de decisiones reorientar la gestión
de proyectos, programas y políticas hacia los objetivos planeados.

Dicha definición tiene dos partes. La primera (“conjunto de activi-


dades de investigación y recopilación sistemática de información
relevante para medir el grado de cumplimiento de objetivos y me-
tas”) se refiere a los diversos trabajos que se deben realizar para ob-
tener datos relevantes y concretos que permitan determinar el grado
de avance o los resultados alcanzados, pudiendo identificar si estos
son positivos o negativos. Este proceso se realiza gracias al diseño e
instrumentación de métodos sistemáticos de recopilación y análisis.

La segunda parte (“que permitan a los tomadores de decisiones


reorientar la gestión de proyectos, programas y políticas hacia los
objetivos planeados”) se refiere a que, a partir del monitoreo, se
obtiene información relevante que debe ser incorporada al proce-
so de toma de decisión y, de esta forma, contribuir a la definición
de acciones que permitan cumplir con el propósito de un proyec-
to, programa o política pública.

Los objetivos del seguimiento son mejorar la eficacia y efectividad


de la intervención realizada, ayudar a que se siga una línea de tra-
bajo basada en las actividades planificadas y permitir a la adminis-
tración conocer cuando algo no funciona.

8
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

De esta manera, se utilizan indicadores –es decir, variables cuantita-


tivas o cualitativas– mediante los cuales se miden las metas (OCDE,
2002). De preferencia, estos deben ser diseñados o seleccionados
durante la etapa de planeación. Son usados con frecuencia por las
autoridades, para rendir cuentas a los ciudadanos; por los gerentes
públicos, para dirigir los programas, y por los funcionarios, para
gestionar los servicios públicos (BID, 2011). En el segundo apar-
tado de esta unidad, se explicará en detalle qué es un indicador y
cuáles son los pasos para su construcción.

El seguimiento o monitoreo debe adecuarse a las necesidades del


destinario de la información que se producirá y a los indicadores e
instrumentos que se utilizarán para su recolección, registro y pro-
cesamiento. Durante este proceso se recolecta información sobre:

• la ejecución de las actividades planificadas

• los resultados parciales

El seguimiento o monitoreo está estrechamente ligado con la pla-


nificación y presupuestación; permite el análisis tanto de la con-
secución de objetivos, como de los recursos que se invierte para
lograrlos (García, 2010). Si se lleva a cabo adecuadamente, propor-
ciona una base para la evaluación y, además, permite determinar si
los recursos disponibles son suficientes y están bien administrados,
si la capacidad de trabajo es suficiente y adecuada y si se se cum-
ple planeado (CIVICUS, s.f).

Las siguientes preguntas ayudarán a determinar si un seguimiento


o monitoreo es adecuado:

• ¿En qué medida el proyecto cumple las actividades estipuladas


en la planeación?

• ¿Los recursos se utilizan de manera apropiada?

• ¿Qué coincidencias se presentan entre la cantidad, la oportuni-


dad y la calidad de los logros en términos de actividades y pro-
ductos esperados?

• ¿En qué medida los productos llegan a los beneficiarios apropiados?

• ¿La iniciativa cumple con los objetivos de manera eficiente, equi-


tativa y sostenible?

9
Liderando el Desarrollo Sostenible de las Ciudades

2.3 ¿Qué es la evaluación?


Existen diversas definiciones de evaluación de proyectos, programas
y políticas públicas. A continuación, se presentan aquellas que refle-
jan, en mayor medida, el objetivo de aprendizaje de esta unidad.

Cardozo (2012) considera la evaluación como una investigación


aplicada de tendencia interdisciplinaria, realizada mediante el em-
pleo de un método sistemático cuyo objetivo es conocer, explicar
y valorar una realidad, así como aportar elementos al proceso de
toma de decisiones, que permitan valorar los efectos de la activi-
dad evaluada.

Por otro lado, Nirenberg, Brawerman y Ruiz (2000) la definen como


una actividad programada de reflexión sobre la acción, basada en
procedimientos sistemáticos de recolección, análisis e interpreta-
ción de información, cuyos propósitos son emitir juicios valorativos
fundamentados y comunicables sobre las actividades, resultados e
impactos de proyectos o programas y formular recomendaciones
para tomar decisiones que permitan corregir la acción presente y
mejorar la acción futura.

La tercera propuesta define la evaluación como un proceso de in-


vestigación que genera información para el análisis y el apoyo de
decisiones en cuanto a situaciones, operaciones y resultados, que
mediante juicios basados en metodologías, permite afirmaciones
causales y reconocimiento de efectos que pueden favorecer la ac-
tuación (Mejía, 2003).

De esta manera, en esta unidad se entenderá por evaluación al


conjunto de actividades que se realizan mediante un método de
análisis sistemático que utiliza información, tanto cualitativa como
cuantitativa, para valorar el desempeño de un proyecto, programa
o política pública.

La primera parte de esta definición (“conjunto de actividades que


se realizan mediante un método de análisis sistemático”) hace re-
ferencia a la respuesta a las preguntas que guían el análisis del
proyecto, programa o política pública, a partir del uso de meto-
dologías rigurosas. La segunda (“utiliza información cualitativa y
cuantitativa para valorar el desempeño de un proyecto, programa
o política pública”) describe el uso potencial de instrumentos cuali-
tativos o cuantitativos para la captura y procesamiento de informa-
ción, así como el análisis y valoración de los resultados en determi-
nado punto del ciclo de un proyecto, programa o política pública.

10
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

En la gestión pública, la evaluación se utiliza para analizar y va-


lorar el desempeño, los resultados, los procesos e impactos de
una intervención pública. La información que arroja la evaluación
debe ser institucionalizada e incorporada sistemáticamente a la ac-
tividad de los operadores de los proyectos, programas y políticas
públicas.

El fin que persigue la evaluación es emitir recomendaciones para


mejorar la eficacia y eficiencia de los proyectos, programas y políti-
cas públicas, por lo que se interesa en los contextos, procesos, re-
sultados, efectos y destinatarios de las intervenciones de gobierno
(AEVAL, 2010). No busca la sanción.

A diferencia de la evaluación, la auditoría verifica la adecuación de


los procedimientos legales y administrativos (Cardozo, 2012). Re-
coge información, pregunta y escucha a fin de analizar y apreciar el
uso de los recursos y la organización. El auditor1 controla y justifica
el empleo de los recursos relativos a un organismo o programa2,
a partir de un referencial determinado que permite conocer a los
auditados. Este emite un diagnóstico y formula recomendaciones
para mejorar la estructura o los procesos (AEVAL, 2010). En caso
de que el resultado de la auditoría fuese negativo, suele haber una
sanción.

Un ejemplo en el orden subnacional es la auditoría que realiza


el órgano de control institucional del gobierno regional de Lima,
Perú, a los estados financieros del gobierno regional de Lima, es decir,
al balance general, los estados de gestión, los cambios en el patrimo-
nio neto y los flujos de efectivo, los cuales son responsabilidad de la
sub-gerencia de administración (Gobierno Regional de Lima, 2005).

En el tercer apartado de esta unidad, se analizará con mayor preci-


sión cómo la evaluación se incorpora como actividad prioritaria al
sistema de seguimiento y monitoreo, así como los beneficios que
proporciona.

1 La Asociación Internacional de Auditores Internos define la actividad de sus miembros en el interior de la empresa, del
organismo o de la institución a la que pertenecen, como una “función independiente y objetiva del refuerzo y asesora-
miento a fin de aportar un valor añadido y mejorar el funcionamiento de la organización auditada” (Institute of Internal
Auditors: https://na.theiia.org/standards-guidance/mandatory-guidance/Pages/Definition-of-Internal-Auditing.aspx .

2 El control de eficacia se vincula a la búsqueda de ahorro, así como a propuestas para mejorar la rentabilidad o el rendimiento.

11
Liderando el Desarrollo Sostenible de las Ciudades

2.4 Casos de fracaso de seguimiento o monitoreo y evaluación


en América Latina
A continuación, se presentan dos casos de malas decisiones por
parte de gobiernos subnacionales de América Latina, comúnmen-
te denominados “elefantes blancos”. Los ejemplos expuestos
muestran la importancia del seguimiento o monitoreo y evaluación
debido a su aporte de información para la toma de decisiones.

La expresión “elefante blanco” tiene su origen en una anécdota


según la cual el Rey de Siam (ahora, Tailandia) regalaba un elefante
blanco al colaborador o enemigo al que deseaba arruinar. El animal
era muy venerado y requería cuidados especiales y alimentación
de primera calidad, lo cual era muy costoso. Esto obligaba a que
la familia destinase muchos recursos a un fin que no representaba
beneficios ni provecho, hasta quedar en la pobreza (Franco Corzo,
2013: 45 y 46).

De acuerdo con la definición de Franco Corzo (2013), “un elefan-


te blanco es un acto de autoridad en el que un gobierno destina
recursos financieros o humanos a una obra de infraestructura, pro-
grama o proyecto del cual no se obtiene beneficio social alguno”.
El autor identifica tres tipos de elefantes blancos: el programa u
obra que se implementó y no funciona, aquél para el que la in-
versión no fue suficiente y el que se terminó pero no cuenta con
recursos para funcionar.

Caso Puerto La Unión, El Salvador. Destrucción del valor


público por falta de evaluación
El siguiente caso ejemplifica una inversión insuficiente,debido a la
falta de una evaluación ex ante.

El 16 de enero del año 2005, se inició el proceso de construcción


del nuevo Puerto de La Unión Centroamericana (CEPA, 2013), cu-
yos objetivos consistían en incentivar la actividad comercial e im-
pulsar el desarrollo nacional. Este representaba la obra de infraes-
tructura portuaria más importante de El Salvador de los últimos
30 años, a partir de la cual el gobierno pretendía impulsar una
estrategia de despegue económico que traería progreso a toda la
zona oriental del país.

La construcción comprendía muelles de 820 metros lineales y un


área total de 72,4 manzanas, con capacidad para el manejo de
contenedores; un frente de atraque de 360 metros con capacidad

12
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

instalada de 385 000TEU3, y un área disponible para desarrollar


patios de contenedores de 20 manzanas4, una terminal multipro-
pósito5 y una Terminal Ro-Ro6 (CEPA 2013).

Para este, se requirió una inversión de USD 157 047 795 (CEPA,
2013), de los cuales USD 64 032 303 correspondían a los fondos
propios de la Comisión Ejecutiva Portuaria Autónoma de El Salva-
dor (CEPA) y los USD 93 015 491 restantes provenían de la adqui-
sición de un préstamo otorgado por el Banco Japonés de Coope-
ración Internacional (JBIC, por sus siglas en inglés). Así, se edificó
el puerto como un centro logístico de distribución regional, loca-
lizado en la zona oriental del país, a 185 kilómetros de la capital.

Desde el inicio de la obra, se planteó que la construcción estaría


en manos del Ministerio de El Salvador a través de CEPA, mientras
que la operación sería licitada a una empresa privada internacio-
nal. Ante la premura del cierre del año fiscal, la construcción se in-
auguró en enero de 2009; la infraestructura no estaba terminada ni
se contaba con los instrumentos jurídicos adecuados para operar
el puerto.

De acuerdo con los reportes emitidos por Trasparencia Activa


(2013)7, la obra entregada carecía de bodegas para consolidación
de carga, taller de mantenimiento y estación de combustible. Los
patios no estaban pavimentados y el canal de acceso no era ade-
cuado para el tráfico de buques. Esto retrasó por un periodo de
cuatro años la posibilidad de promocionar el puerto para la par-
ticipación de una empresa privada. El actual presidente de CEPA
señaló que los costos que implica mantener el nuevo puerto gene-
ran, aproximadamente, una pérdida de alrededor USD 3 millones
al año para el país (Transparencia Activa,2013).

Actualmente, el gobierno de El Salvador requiere una inversión pú-


blica adicional para adecuar el puerto y rehabilitar las zonas que han

3 TEU:según el Banco Mundial,son unidades equivalentes a 20 pies que, en el tráfico portuario, miden el flujo de con-
tenedores del modo de transporte terrestre a marítimo y viceversa, respecto a un contenedor de tamaño estándar. Los
datos se refieren al transporte de cabotaje, como también a los viajes internacionales.

4 De las cuales 11 se encuentran construidas.

5 El área total fue 17,4 manzanas, una profundidad de -14 metros en la marea más baja y un frente de atraque de 220
metros de longitud, que proveería una capacidad adicional de 235 000 TEU para el manejo de contenedores.

6 Cuenta con un área total de ,.3 manzanas con una profundidad en la marea más baja de –9,5 metros, con un frente
de atraque de 240 metros. Una terminal Ro-Ro hace referencia al acrónimo del término inglés Roll On-Roll Off, con el
cual se denomina a todo tipo de buque o barco que transporta cargamento rodado, tanto automóviles como camiones.

7 Transparencia Activa es un medio orientado a ampliar el acceso a la información y la rendición de cuentas del Gobierno de
El Salvador. Su producción es realizada por las Oficinas de Comunicaciones de las dependencias del Gobierno de El Salvador,
y su responsabilidad editorial corresponde a la Subsecretaría de Trasparencia y Anticorrupción (SSTA), de la Secretaría para
Asuntos Estratégicos de la Presidencia de la República, de manera coordinada con la Secretaría de Comunicaciones.

13
Liderando el Desarrollo Sostenible de las Ciudades

sido afectadas por el paso del tiempo y, así,ofertar su licitación a un


operador privado internacional. De igual manera, se manifestó la ne-
cesidad de realizar estudios de factibilidad que muestren la futura ren-
tabilidad del proyecto al ceder la operación del puerto a un operador
internacional; sin embargo, estos análisis se llevarán a cabo después
de haber realizado las inversiones y esfuerzos antes mencionados.

Foto 1. Puerto La Unión

Fuente: Foto tomada del portal oficial de CEPA.

Este ejemplo es una muestra de cómo la ausencia de una eva-


luación previa (ex-ante)8 que mostrara las necesidades financieras
reales yde planeación de obras, impidió a los servidores públicos
responsables del proyecto tomar decisiones adecuadas que ase-
guraran el financiamiento y la operación del puerto. En un capítulo
posterior, se presentarán los tres tipos de evaluación y la utilidad
de cada uno.

Caso Línea 12 del Metro, Distrito Federal, México. Un error de


seguimiento perjudica la movilidad en el sur de la ciudad más
grande de América Latina
El siguiente caso ejemplifica los efectos de un seguimiento o moni-
toreo inadecuado. El 31 de octubre de 2008, se inició la construc-
ción de la Línea 12 del Metro del Distrito Federal (DF), Tláhuac–
Mixcoac (la más larga del Sistema de Transporte Colectivo (STC)9
de la Ciudad de México), la cual comprendía 25,1 km de línea,

8 La evaluación ex-ante se explicará en el apartado tres de la presente unidad.

9 Organismo público descentralizado que se encarga de la operación del Metro de la Ciudad de México (Sistema de
Transporte Colectivo de la Ciudad de México, recuperado de: http://www.metro.df.gob.mx/).

14
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

20 estaciones y 30 trenes de ocho vagones cada uno. Esta conec-


taría el sur con el oriente de la ciudad y atendería la demanda de
367 000 pasajeros diarios.

Su construcción, a cargo de las empresas Ingenieros Civiles Aso-


ciados S.A de C.V, Alston Mexicana S.A de C.V y Carso Infraes-
tructura y Construcción, S.A.B. de C.V., finalizó el 30 de abril de
2012. Previamente, en 2007 y 2008, se desarrollaron los siguientes
estudios y proyectos: determinación de la demanda, exploración
geotécnica, detección de interferencias, ingeniería básica, proyec-
to operativo, especificaciones y estudios de impacto ambiental,
estudios para detección de grietas y fisuras del subsuelo, geofísica
e impacto urbano.

Para el proyecto (estudios y análisis previos, construcción, pruebas


y puesta en funcionamiento), se destinó alrededor de USD 1 348
millones (Transparencia DF,2012)10. Adicionalmente,la supervisión
de la obra, los apoyos técnicos, la rehabilitación de vialidades y
obras relacionadas con las afectaciones de las instalaciones exis-
tentes a lo largo del trazo de la Línea 12, representaron un presu-
puesto de aproximadamente USD 170 millones.

El financiamiento para cubrir el costo total de la obra provino de


recursos locales del DF y transferencias por parte del Gobierno
Federal. Asimismo, la Secretaría de Comunicaciones y Transportes
autorizó un crédito de USD 329 millones y el Fondo Metropolitano
aportó con USD 53 millones (Transparencia DF,2010).

De acuerdo con comunicados del STC, un mes antes de la inau-


guración de la Línea 12, esta presentó fallas técnicas debido al
desgaste ondulatorio de ocho de las 66 curvas que la integran, por
lo que fue necesario sustituir los rieles en dos curvas dañadas. Por
otro lado, cabe añadir que, entre mayo de 2013 y febrero de 2014,
se cambiaron 4 335 durmientes11, ya que el proyecto no contó un
seguimiento adecuado que permitiera a los tomadores de decisio-
nes actuar de forma rápida y eficaz para resolver el problema.

El 12 de marzo de 2014 se emitió un aviso en la Gaceta Oficial del


DF, en el que se informaba a los usuarios sobre la suspensión en
11 de las 20 estaciones de dicha línea, en ambos sentidos, debido

10 Transparencia DF es un medio para someter la gestión gubernamental al escrutinio cotidiano de la sociedad, divul-
gar el derecho de acceso a la información y promover su ejercicio. (Gobierno del DF, recuperado de: http://www.df.gob.
mx/index.php/transparencia)

11 Piezas que integran el tendido de las vías (ADN Político, 2014, recuperado de: http://www.adnpolitico.com/gobier-
no/2014/03/11/estudio-advierte-sobre-4-fallas-en-la-linea-12-del-metro).

15
Liderando el Desarrollo Sostenible de las Ciudades

al desgaste y desnivelación de los trenes. Fue evidente, por tan-


to, que a pesar de los estudios técnicos y análisis de factibilidad
realizados, se cometieron errores.. Posiblemente, la situación más
grave fue que la obra funcionó durante poco más de un año antes
de que dichas fallas fueran identificadas.

Para justificar estas ineficiencias, las empresas constructoras argu-


mentaron que el STC impidió el mantenimiento de la vía por más
de cuatro meses, lo que generó un grave deterioro, y que el go-
bierno del DF seleccionó los trenes sin la participación de las em-
presas involucradas en el proyecto. Sin embargo, el STC aseguró
que, gracias al mantenimiento constante y el cumplimiento de los
protocolos técnicos, se detectaron las anomalías en la Línea 12. Ade-
más, señaló que dichas empresas se basaron en la Línea A, cuyas es-
pecificaciones de terreno no eran compatibles con las de la Línea 12.

La Secretaría de Obras y Servicios del Distrito Federal (SOSDF)


contrató los servicios de Tricaud Societé Organisé (TSO), para re-
pararla. Esta se encargó de verificar el desgaste de los rieles, las
características y calidad de los durmientes, la capacidad portante
del viaducto y la circulación de los trenes. Esto representó un costo
de USD 2 millones, de acuerdo con la SOSDF.

Foto 2. Línea 12 del metro DF

Fuente: Foto tomada del Periódico El Universal, 2014.

16
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

De esta manera, si bien se llevaron a cabo diversas evaluaciones


previas, las acciones de seguimiento o monitoreo no fueron las
adecuadas y no se les atribuyó la importancia necesaria para un
proyecto de esa magnitud.

3. Indicadores
Conceptos clave para el aprendizaje de este apartado
•• Indicador •• Dimensión de los indicadores •• Indicadores proxy
•• Indicador de •• Ámbito de medición
desempeño de los indicadores

Objetivo general del segundo apartado

Señalar la importancia de los indicadores para medir el desempeño y proporcionar


información cuantitativa de los avances y resultados alcanzados.

Objetivos de aprendizaje

Conocer las principales características de los indicadores.


Explicar el procedimiento para la construcción de indicadores.

3.1 ¿Qué son los indicadores y para qué sirven?


Los procesos de monitoreo oseguimientode proyectos, programas
y políticas públicasnecesitan contar con indicadores. Si bien en
América Latina se utiliza una amplia variedad de indicadores, en
este documento se hará referencia los indicadores de desempeño,
los cuales son reconocidos para su utilización a nivel regional por
la CEPAL y el BID.

El uso de estos indicadores permite conformar un sistema de in-


formación útil no solo para un proceso continuo de monitoreo o
seguimiento, sino también para mejorar el diseño de proyectos,
programas y políticas públicas ya implementados, así como por
desarrollar.

De esta manera, un indicador de desempeño permite establecer


una línea de medición para describir el avance en el cumplimiento
de objetivos. En el diagrama 1, se observa tanto la definición como
la principal utilidad de esta herramienta.

17
Liderando el Desarrollo Sostenible de las Ciudades

Diagrama 1. Definición y utilidad del indicador de desempeño

una expresión cuantitativa


Un indicador
se define como construida a partir de variables
de desempeño
cuantitativas o cualitativas

sirve para

1 medir logros (objetivos y metas)

2 reflejar cambios vinculados a las acciones del programa

3 monitorear y evaluar resultados

Fuente: Elaboración propia con base en la definición adoptada por SHCP, SFP y CONEVAL, 2013: 17.

El uso de indicadores de desempeño por parte de los gobiernos


subnacionales permite conocer de forma precisa los resultados ob-
tenidos e identificar la dirección que se toma o se desea tomar. De
acuerdo con Armijo y Bonnefoy (2005), estos cumplen dos funcio-
nes principales:

• Función descriptiva. Aportar información sobre el estado real


de un programa o acción pública; por ejemplo, el número de
becas que reciben los estudiantes de nivel superior.

• Función valorativa. Añadir un “juicio de valor”, basado en an-


tecedentes objetivos, para determinar si el desempeño es o no
el adecuado; por ejemplo,el número de becas programadas con
relación al número de becas entregadas.

Clasificación de indicadores de desempeño


Los indicadores de desempeño son herramientas metodológicas
clave para la toma de decisiones en la gestión pública, ya que se
centran en los aspectos básicos y necesarios para entender el des-
empeño de una intervención pública y permiten comprender la
interrelación entre el proceso productivo de bienes y servicios y las
dimensiones del desempeño (Armijo,2011).

Se clasifican de acuerdo con sus dimensiones (eficacia, eficiencia,


economía y calidad) o su ámbito de medición (insumos, actividades,

18
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

productos, efectos e impactos).12 La primera clasificación busca


evaluar qué tan aceptable es el desempeño de la intervención pú-
blica analizada. La segunda permite conocer el cumplimiento de
los objetivos, qué insumos se utilizaron, qué actividades se realiza-
ron, qué resultados se obtuvieron, cuántos productos se entrega-
ron y cuáles son los efectos e impacto de la iniciativa.13

Clasificar los indicadores permite identificar los aspectos relevan-


tes de medición y disponer de una gama de posibilidades en fun-
ción de lo que se pretender medir: cumplimiento de objetivos, efi-
ciencia en el uso de recursos, cuantificación de las actividades para
proveer apoyos. Las dimensiones y ámbitos de medición permiten
elaborar y seleccionar los indicadores que mejor se adapten a cada
programa, proyecto o política pública.

Las dimensiones se definen en el siguiente diagrama:

Diagrama 2. Dimensiones de los indicadores de desempeño


Capacidad de alcanzar el efecto que se espera o se desea tras la
realización de una acción (grado de cumplimiento d elos objetivos o
Eficacia metas establecidas).
Se centra en los resultados finales como: la cobertura, la focalización y la
capacidad del programa para responder a las necesidades planteadas.

Cumplimiento de un objetivo utilizando el mínimo de recursos en el


menor tiempo posible (”hacer más con menos”).
Eficiencia
Se centra en los factores que retrasan el proceso de enrega de
resultados finales.

Capacidad con la que cuenta la institución encargada del programa


para obtener y movilizar adecuadamente los recursos humanos y
Economía
financieros para el cumplimiento de los objetivos.
Se centra en la correcta administración y uso de los recursos asignados.

Se relacionan con la capacidad de la institución para responder de


forma rápida y direta a las necesidades de sus usuarios.
Calidad
Se centra en la aceptación y juicio de valor que emiten los usuarios,
como la accesibilidad y la atnción.

Fuente: Elaboración propia con base en Bonnefoy y Armijo, 2005.

12 En el caso de México se definen dos tipos de indicadores de desempeño: estratégicos y de gestión. Estos indica-
dores son usados para la construcción de la Matriz de Indicadores para Resultados (MIR). La MIR es un instrumento
utilizado por diversas instituciones y organismos para el diseño, organización, ejecución, seguimiento, evaluación y
mejora de los programas, resultado de un proceso de planeación realizado con base en la Metodología de Marco
Lógico (MML).

13 Información basada en los contenidos del curso “Gestión para Resultados en Gobiernos Subnacionales del INDES/BID.

19
Liderando el Desarrollo Sostenible de las Ciudades

En la tabla 1 se ejemplifica la construcción de indicadores de des-


empeño según cada dimensión.

Tabla 1. Ejemplos de indicadores de desempeño según su dimensión


Ejemplo de un programa que apoya a jóvenes de familias conbajos recursos paraconcluir la
educación media superior
Resultado
Dimensión Indicador Fórmula del indicador
esperado

Beneficiar fa-
milias conbajos Porcentaje de estudi- ; donde
ingresos con antes de familias con
Eficacia
estudiantes de bajos ingresos que
educación me- recibieron apoyo. número de estudiantes con
dia superior. bajos ingresos, beneficiarios del
programa en el año t
total de estudiantes
con bajos ingresos en el año t

Disminuir la ;
tasa de deser- donde
Tasa de deserción enla
Eficiencia ción en la ed-
educación superior
ucación media
jóvenes estudiantes
superior.
que no concluyeron su educación
media superior en el año t
jóvenes estudiantes
que ingresaron a la educación me-
dia superior en el año t

Apoyar a ; donde
estudiantes con
Porcentaje del costo de
Economía bajos ingresos
pasaje subsidiado
enel pago de
monto del apoyo
transporte.
otorgado por el programa a los
beneficiarios, para el pago del pasa-
je, en el año t
Monto total del pasa-
je en el año t

Porcentaje de estudi-
Incrementar la
antes de educación
educación sexu- ; donde
media superior que
Calidad al a estudiantes
consideraron satisfac-
de educación
toria la campaña de número de usuarios
media superior.
educación superior. con notas superiores a 6 en el año t
número total de
encuestados en el año t

Fuente: Elaboración propia con datos recopilados de SHCP (2011).

20
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Como se mencionó con anterioridad, los indicadores de desem-


peño –además de construirse según determinadas dimensiones–
también se clasifican de acuerdo con su ámbito de medición en
indicadores de insumo, actividades, productos, efectos e impactos. El
diagrama muestra las características principales de estos indicadores.

Diagrama 3. Ámbito de medición de los indicadores de desempeño

Son utilizados para la cuantificación de los resultados físicos, humanos y


contables necesarios para la formulación, desarrollo y ejecución de
Insumo
proyectos y programas públicos.
Reflejan la adecuada gestión y buena administración de los recursos.

Se usan para suspervisar la realización de las actividades.


Se usan para registrar y medir la eficiencia de las actividades y procesos
Actividad que realizan los gestores del programa público.
Este indicador hace énfasis anto en los procesos de los programas,
como en los actores que los desarrollan y ejecutan.

Se utilizan para cuantificar y medir los bienes y servicios generados por


los programas.
Producto
Muestran la producción, la entrega y las características específicas de
estos bienes y servicios.

Se usan para medir el efecto que provoca la implementación de un


determinado programa y permiten la verificación de su impacto social,
administrativo y económico.
Efecto El efecto se puede ver reflejado en los juicios de valor que emiten los
usuarios en cuanto al desempeño de las instituciones, la gestión de los
gobiernos, así como de los programas y recursos presupuestarios que
su administración ejecute.

Se utilizan para medir las cocecuencias de un determinado proyecto o


Impacto programa.
Se utilizan para medir el valor público de un programa o proyecto.

Fuente: Elaboración propia basada en el curso Gestión para resultados en gobiernos subnaciona-
les,INDES/BID.

En la tabla 2, se ejemplifican los indicadores de acuerdo con el


ámbito de medición.

21
Liderando el Desarrollo Sostenible de las Ciudades

Tabla 2. Indicadores de desempeño con base en su ámbito de medición


Ámbito de
Nombre del indicador Método de cálculo
medición

Costo global de las


políticas públicas que ;
atienden a la juventud donde
Indicador de
(¿Cuánto es la inversión Costo global de las políticas
insumo
per cápita promedio in- públicas destinadas a la juventud en el año t
vertida en la población
Cantidad de población atendi-
meta?)
da en el año t

Porcentaje de uti-
lización de los recur- ; donde
Indicador de sos presupuestarios Monto total de bonificaciones
actividad autorizados para el pagadas en el año t
pago de bonificaciones
Monto total de recursos
en el año
autorizados para el pago de bonificaciones
en el año t

; donde
Acciones o cambios
que surgieron como
Indicador de Número de acciones, que
producto de im-
producto surgieron a partir de la implementación de
plementación de la
estrategia la estrategia, orientadas a rehabilitar alter-
aciones visuales en el año t
Total de acciones esperadas en
prevención como producto de la imple-
mentación de la estrategia en el año t

Porcentaje de bene- ;
ficiarios que evalúan donde
satisfactoriamente los Número de beneficiarios que
Indicador de
servicios otorgados de evalúan satisfactoriamente los servicios otor-
efecto
capacitación, asesoría gados, capacitación, asesoría y participación
y participación para para negocios establecidos en el año t
negocios establecidos
Número de beneficiarios en-
trevistados en el año t

Porcentaje de ben-
eficiarios que han
Indicador de ; donde
implementado los
impacto
conocimientos en la
ø_t= Número de beneficiarios que han
creación de un negocio
creado un negocio en el año t
ψ_t= Número total de beneficiarios en el
año t

Fuente: Gestión para resultados en gobiernos subnacionales, INDES/BID

22
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Para entender esto, se puede suponer que un programa,cuyo fin


es contribuir en la prestación de servicios de salud y seguridad
de calidad mediante la conservación y el mantenimiento de la in-
fraestructura física, tiene un indicador de producto definido de la
siguiente forma:

Donde:

u2012 = Unidades con conservación y mantenimiento terminadas en


el año 2012

Tu2012 = Total de unidades programadas para conservación y man-


tenimiento en 2012

El indicador señala que 60% de las unidades tuvieron manteni-


miento, mientras que 40% no fue reparado. Se trata de un indica-
dor de producto puesto que hace referencia al producto obtenido
(en este caso, las unidades con mantenimiento) gracias a la imple-
mentación de la estrategia.

En la tabla 3, se observa la relaciónentre los ámbitos de medición


y las dimensiones de desempeño.

Tabla 3. Relación entre el ámbito de medición y las


dimensiones de desempeño
Dimensión
Eficacia Eficiencia Economía Calidad
Ámbito de medición
Indicador de insumo X X
Indicador de actividad X X
Indicador de producto X X X X
Indicador de efecto X
Indicador de impacto X

Fuente: Gestión para resultados en gobiernos subnacionales, INDES/BID

Los indicadores de impacto obedecen a la eficacia puesto que, en


el establecimiento de metas, se relacionan directamente con la ob-
tención de resultados;los de producto, así como los de producto,
los cuales dan cuenta de la maximización de los recursos reque-
ridos y utilizados para producir y lograr el resultado esperado, ya
que determinan la correcta administración y uso de los recursos
asignados, y pueden ser valorados por los usuarios.

23
Liderando el Desarrollo Sostenible de las Ciudades

Por otra parte, los indicadores de insumo obedecen a las dimen-


siones de eficiencia y calidad, y los de efecto a la de eficacia. Final-
mente, los indicadores de actividad consideran aspectos relaciona-
dos con eficiencia y economía.

Características básicas de los indicadores de desempeño


Los indicadores de desempeño, como se observa en el siguiente
diagrama,presentan seis características básicas: claridad, relevan-
cia, pertinencia, monitoreabilidad, independencia y confiabilidad.

Diagrama 4. Características de los indicadores de desempeño


Claridad

No deben ser ambiguos, ni dejar espacio a interpretaciones diferentes a las deseadas.


Su definición deberá ser de fácil comprensión.

Relevancia

La información que arroje debe ser importante para la toma de decisiones.


Debe estar construido en relación a los aspectos fundamentales del programa.

Pertinencia

Debe describir puntualmente una situación determinada.


También debe ser pertinente en relación al costo que genera su construcción y cuidar
que la información que proporcione no represente un problema para la medición.

Monitoreable

Debe ser medible y operable, por lo que la información que arroje debe establecer
variables de comparación.
Debe ser establecido bajo métodos de cálculo determinados.

Independencia

Debe arrojar un dato específico.


No debe estar condicionado a la construcción de otro indicador para ser utilizado
o interpretado.

Confiabilidad

Debe arrojar informacióm real y confiable que pueda ser sujeta a comprobación.
Su construcción debe estar basada en información confiable y demostrable.

Fuente: Elaboración propia basada en Armijo y Bonnefoy, 2005.

Por otro lado, Kusek y Rist (2005) proponen la metodología CRE-


MA la cual señala cinco criterios para la validación técnica de los
indicadores. Estos deben ser:

24
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

• Claros, precisos e inequívocos

• Relevantes, apropiados para el tema en cuestión

• Económicos, disponibles a un costo razonable

• Medibles, abiertos a validación independiente

• Adecuados, ofrecen una base suficiente para estimar el desem-


peño.

La tabla 4 resulta útil para corroborar la pertinencia del diseño de


indicadores:

Tabla 4. Plantilla para seleccionar un indicador


Cómo seleccionar un indicador
Tipo de indicador Calificación de criterios Puntaje total Seleccionado
C R E M A Sí No
Indicador 1
Indicador 2
Indicador 3
C= ¿Es el indicador suficientemente preciso para garantizar una
medición objetiva?
R= ¿Es el indicador un reflejo directo del objetivo?
E= ¿Es el indicador capaz de emplear un medio práctico y asequible
para la obtención de datos?
M= ¿Las variables del indicador están lo suficientemente defini-
das para asegurar que lo que se mide hoy es lo mismo que se
medirá posteriormente, sin importar quién haga la medición?
A= ¿El indicador puede ser observado periódicamente?

Fuente: Adaptación del Departamento Nacional de Evaluación Bogotá, 2009.

Indicadores proxy
Se recomienda utilizar un indicador proxy cuando la construcción
de un indicador no cumpla con alguna de las características básicas
mencionadas anteriormente, sea difícil de cuantificar, su construc-
ción sea muy costosa o dependa de otro indicador, pero la infor-
mación sea necesaria (CONEVAL, 2013).

Los indicadores proxy –también llamados indirectos– son aquellos


que miden un fenómeno usando una medida aproximada. Por de-
finición, estos son menos precisos pero deben guardar una alta co-
rrelación con el objetivo del indicador; es decir, para tener validez,
deben establecer una relación entre el objetivo del indicador de

25
Liderando el Desarrollo Sostenible de las Ciudades

desempeño y la medida seleccionada. En este sentido, el PNUD


(2013) señala que los indicadores proxy son indicadores aproxima-
dos o sustitutos fáciles de implementar y deben fundamentarse en
la variable que se desea medir y la medida escogida.

Para ilustrar la construcción de los indicadores proxy, se toma como


ejemplo el Programa Conjunto de Naciones Unidas sobre el SIDA
(ONUSIDA). Este programa busca, entre sus múltiples objetivos,
disminuir a la mitad la mortalidad materna relacionada con esta en-
fermedad, de 2011 a 2015. El indicador proxy alude, por tanto, a la
disminución del número de muertes de mujeres embarazadas con
sida en dicho periodo. Los pasos que se recomienda seguir para la
elaboración de dicho indicador se muestran en el diagrama 5.

Diagrama 5. Formulación del indicador proxy

Se toma el verbo (A) y el sujeto (B) del objetivo:


1 Disminuir a la mitad la mortalidad materna relacionada con el sida.
(A) (B)

Se invierte su orden y el verbo se conjuga en participio:


2 Muertes por sida de mujeres embarazadas que + han disminuido.
(A) + (B)

Se incluyen elementos de la fase descriptiva del objetivo que den


cuenta de la localización, periodo de tiempo o incluso el nombre
3 específico de la intervención pública asociada:
Muertes por sida de mujeres embarazadas que
+ han disminuido + en América Latina.

No se deben incluir elementos cuantitativos del objetivo, ya que


estos únicamente sirven como referencia para identificar la meta
4 o el valor objetivo del indicador en el tiempo:

50% de muertes por sida de mujeres embarazaas que ha disminuido.

Definr la unidad de medida.


5
Porcentaje de muertes por sida de mujeres embarazadas.

Fuente: Elaboración propia basada en el Departamento Nacional de Planeación de Bogotá, 2009

A partir de lo anterior se puede formular un indicador proxy. Si


para el indicador “Ingreso familiar de los alumnos inscritos en edu-
cación superior”, no existen los medios necesarios para recolectar
información,se puede utilizar una medida aproximada referente al
ingreso familiar. En este caso el indicador proxy sería: “número de

26
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

focos utilizados en la casa-habitación de los alumnos inscritos en


educación superior” (ver tabla 5).

Tabla 5. Indicadores Proxy


Programa Objetivo del indicador Indicador Proxy
Calcular el ingreso familiar
Número total de focos utiliza-
Becas PRONABES de los alumnos inscritos en
dos en la casa-habitación del
en México educación superior que tienen
beneficiario.
beca para cursar sus estudios.

Fuente: Elaboración propia basada datos la SEP, 2002

Los indicadores proxy también sirvencomo instrumento de reco-


lección de datos, por ejemplo, en las encuestas. La Encuesta de
Seguridad Alimentaria en Emergencia (ESAE) es un ejemplo; algu-
nos indicadores proxy de seguridad alimentaria son:

Tabla 6. Indicadores proxy de seguridad alimentaria


Variable de interés Indicadores proxy ¿Qué permiten observar?
Estas estrategias dañan la
salud, el estado nutricional, la
Estrategias de supervi-
capacidad productiva debi-
vencia en los hogares
Seguridad alimen- do a cambios drásticos en el
taria en el hogar consumo de alimentos.
Diversidad de alimen-
Indicativo de una ingesta de
tos consumidos en los
macro y micro nutrientes
hogares
Fuente: Elaboración propia basada en Manual para la evaluación de la seguridad alimentaria en
emergencia

En resumen, los indicadores, tanto directos como indirectos (proxy),


son un mecanismo de suma importancia para estructurar los pro-
cesos de monitoreo o seguimiento y evaluación de proyectos,
programas y políticas públicas. Su establecimiento genera datos
suficientes para conformar un sistema de información verificable y
de calidad, que contribuye a mejorar los proyectos, programas y
políticas públicas.

3.2 Uso de los indicadores


Para la elección de indicadoreses necesario contar con información
veraz y oportuna que sirva como insumo para obtener el valor de
cada uno. Estos datos provienen de fuentes internas (información
contable-presupuestaria, estadísticas de producción física, cargas
de trabajo del personal, encuestas, benchmarking, registros de la

27
Liderando el Desarrollo Sostenible de las Ciudades

institución, estadísticas oficiales) o externas (estudios especiales,


publicaciones de revistas académicas o especializadas, evaluacio-
nes externas).

Es posible que la información integre una base de datos; existe la


posibilidad de contar con bases de datos relevantes para el pro-
yecto programa o política pública. Sin embargo, para que la base
de datos sea útil, es necesario el procesamiento y análisis de la
información (Görgens y Zall, 2010).

La información que se obtiene de estas fuentes se aplica a fórmu-


las matemáticas, cuyo resultado permite valorar el comportamien-
to del indicador.

Existen criterios de validación para decidir si los indicadores elegi-


dos cuentan con los requisitos técnicos y las necesidades de infor-
mación sobre los usuarios. Armijo (2011) señala algunos aspectos
que se deben tomar en cuenta para seleccionar indicadores:

• vínculo con la misión

• medición de resultados intermedios y finales

• mensurabilidad

• datos válidos y confiables

• identificación de los responsables desu cumplimiento

• prioridades que reflejen una gestión integrada (ámbitos de efi-


ciencia, eficacia, calidad y economía).

A continuación, se resumen las principales utilidades de los indicadores:

• Mejorar la gestión interna de un proyecto para el cumplimiento


de sus objetivos.

• Mejorar la eficiencia en la asignación de recursos.

• Mejorar la transparencia frente a los agentes internos y externos.

• Permitir integrar un sistema de información para el monitoreo y


evaluación de programas y políticas públicas.

Cabe señalar que un indicador por sí solo no expresa mucho sobre


el programa al que pertenece. Por tal motivo, se requiere que la
información que proporciona cada indicador se vincule con el resto

28
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

para, así, integrar un sistema de información, como el desarrollado


por la Secretaría de Medio Ambiente y Recursos Naturales (SE-
MARNAT) del gobierno federal mexicano. En este sistema se ma-
neja un conjunto de indicadores básicos del desempeño ambien-
tal de México, que conforman el Sistema Nacional de Indicadores
Ambientales (SNIA).

Su objetivo principal es brindar información que describa las ten-


dencias de cambio, la situación actual del medio ambiente, los re-
cursos naturales del país y las respuestas institucionales que atien-
den problemáticas asociadas. El sistema está conformado por 115
indicadores que cubren temas ambientales como atmósfera, agua,
suelos, residuos y recursos forestales y pesqueros. En el gráfico 1,
se observan dos de estos indicadores, los cuales miden la genera-
ción total y per cápita de residuos sólidos urbanos y, además, han
sido revisados anualmente y de manera constante.

Gráfico 1. Generación total de residuos sólidos urbanos


Generación total Generación per cápita
45 000 1,05

Generación per cápita


40 000
(millones de toneladas)

1,00

(kg/habitante/día)
35 000
Generación total

30 000 0,95
25 000 0,90
20 000
15 000 0,85
10 000 0,80
5 000
0,75
0
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011

Fuente: Elaboración propia basada en datos disponibles en SEMARNAT

En la siguiente tabla se puede observar una breve descripción de


los indicadores.

29
Liderando el Desarrollo Sostenible de las Ciudades

Tabla 7. Breve descripción de los indicadores: generación de


residuos sólidos urbanos
Generación total de residuos sólidos urbanos
Nombre:
Generación per cápita de residuos sólidos urbanos
Definición Generación total anual de residuos sólidos urbanos para todo el
breve: país y por habitante
Unidad de Generación total: toneladas anuales
medida: Generación por habitante: kilogramos/habitante/día
Generación: acción de producir residuos a partir de procesos pro-
ductivos o de consumo.
Residuos sólidos urbanos: los generados en casas habitación, que
Definiciones y resultan de la eliminación de los materiales utilizados en las activi-
conceptos: dades domésticas, productos consumidos y sus envases, embalajes
o empaques. Asimismo, son aquellos residuos con características
domiciliarias resultantes de cualquier otra actividad en establec-
imientos la vía pública o lugares públicos.
Generación por habitante: Conforme a lo establecido en la norma
NMX-AA-61-1985 sobre la Determinación de la generación de
residuos sólidos(Secretaría de Comercio y Fomento Industrial,
Método de 1985), la medición de la generación se basa en el promedio de
medición: residuos sólidos por habitante, medido en kg/hab-día, a partir de
la información obtenida de un muestreo estadístico aleatorio en
campo, con duración de ocho días para cada uno de los estratos
socioeconómicos de la población.
Periodicidad: Anual
Fuentes de SEDESOL. Dirección General de Equipamiento e Infraestructura en
datos: Zonas Urbano-Marginadas. 2011. México. 2012.

Fuente: Elaboración propia basada en los datos disponibles en SEMARNAT

Estos indicadores son útiles para la planeación de proyectos, pro-


gramas y políticas públicas, ya que permiten visualizar si hay un
aumento en el volumen de residuos sólidos urbanos y el posible
riesgo al ambiente y la salud humana. Por tanto, evidencian tanto
la demanda de infraestructura para el manejo de residuos, como
la potencial magnitud de un riesgo ante el manejo inadecuado los
mismos.14

3.3 Construcción de indicadores


En este apartado, se describirán los ocho pasos para la construc-
ción de indicadores, enumerados en el siguiente diagrama:

14 Estos indicadores están presentes en la mayoría de las iniciativas de indicadores para desarrollo sustentable; de
maneraparticular, son parte delos indicadores ambientales para el desarrollo sustentable de la OCDE.

30
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Diagrama 6. Pasos para la construcción de indicadores

1 2 3 4

Revisar el objetivo Establecer el objetivo


del identificador e Establecer Recolectar
del proyecto
identificar factores responsbles datos
o programa relevantes a medir

8 7 6 5

Analizar e Determinar la
Construir las Definir nombre
interpretar el frecuencia de
fórmulas pertinentes del indicador
indicador medición

Fuente: Elaboración propia basada en Guzmán, 2007; Bonnefoy y Armijo, 2005, y Salcedo, 2005.

Paso 1. Revisardel objetivo del programa


Para la construcción de indicadores, primero se debe revisar los
objetivos del proyecto, programa o política pública. Esto permitirá
retomar palabras clave para la definición de los indicadores (Bon-
nefoy y Armijo, 2005).

Debido a que la identificación de objetivos constituye el punto


de partida para la formulación de indicadores, es útil realizar una
validación a partir de los criterios utilizados por la metodología de
selección de objetivos SMART (Departamento Nacional de Eva-
luación Bogotá, 2009).15 Esta metodología señala que el objetivo
debe ser:

• Específico: que sea claro sobre qué, dónde, cuándo y cómo va a


cambiar la situación.

• Medible: que sea posible cuantificar los fines y beneficios.

• Alcanzable: que sea posible de lograr a partir de la situación inicial.

• Realista: que sea posible obtener el nivel de cambio reflejado en


el objetivo.

• Limitado en el tiempo: que obedezca a un periodo de tiempo


determinado.

15 El acrónimo SMART proviene de la palabra inglesa smart, que significa inteligente y alude a los siguientes adjetivos:
Specific (especifico), Measurable (medible), Achievable (realizable), Realistic (realista) y Time-Bound (limitado en tiempo).

31
Liderando el Desarrollo Sostenible de las Ciudades

Que el/los objetivo/s del programa se encuentren claramente es-


pecificados y aprobados, permitirá retomar la información para
una correcta construcción de indicadores.

Paso 2. Establecer el objetivo del indicador y los factores


relevantes a medir
Se debe establecer un objetivo claro y sólido para la construcción
de un indicador y, así,medir el avance de su cumplimiento (Bonne-
foy y Armijo, 2005). Para que un indicador tenga sentido debe es-
tar asociado a un objetivo; si este está mal planteado, el indicador
también lo estará. Por eso, es imprescindible identificar los factores
que se desea medir (CONEVAL y CEPAL, 2009).

Para formular el objetivo de un indicador primero se expresa el ob-


jeto a cuantificar por un sujeto y, posteriormente, con la condición
deseada, descrita por un verbo en participio, lo cual se muestra
en el siguiente diagrama (Departamento Nacional de Evaluación
Bogotá, 2009).

Diagrama 7. Estructura del indicador

Becas en
educación media Generadas
superior en
localidades de + (verbo en
participio)
= Estructura del
indicador
alta marginación

Fuente: Elaboración propia

Esta estructura permite delimitar el área de medición del indicador.


Al definir el sujeto “Becas en educación media superior en loca-
lidades de alta marginación”, se deja afuera a los demás niveles
educativos,así como a las escuelas que no estén ubicadas en loca-
lidades de alta marginación. Mientras más precisa sea la definición
del objeto a cuantificar y de la característica deseada, la medición
del indicador tendrá mayor exactitud (Departamento Nacional de
Evaluación Bogotá, 2009).

Debido al conocimiento práctico por parte de los operadores de


los programas públicos sobre los indicadores, es recomendable su
participación durante la construcción de los mismos.

32
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Paso 3. Establecer responsables


Durante la construcción de indicadores, es necesario establecer
una unidad responsable de su avance y seguimiento para su inte-
gración en una Matriz de Indicadores16, de manera que la informa-
ción pueda ser intercambiada y recopilada de modo que sea posible
una retroalimentación entre los actores involucrados en los proyectos,
programas y políticas públicas (Bonnefoy y Armijo, 2005).

En los gobiernos subnacionales, existen diferentes formas de orga-


nización pública, por lo que sería arriesgado tener una estructura
específica del área administrativa para la construcción de indica-
dores. Sin embargo, para su elaboración, el responsable de esta
tarea debe poseer el conocimiento suficiente sobre la operación
de los programas públicos y la capacitación necesaria para una
correcta construcción de indicadores. Asimismo, dicha área debe
concentrar la información relativa al seguimiento de los valores
que adquiera cada uno, para conocer su grado de pertinencia o
corregirlos, en caso de ser necesario.

Paso 4. Recolectar datos


La recolección de datos es muy importante. Se debe obtener y selec-
cionar información pertinente y relevanterelacionada con el funciona-
miento y desarrollo del proyecto, programao política pública. Esta in-
formación es clave ya que definirá las bases de datos que alimentarán
a los indicadores.

Para la integración de dichas bases, se recomienda destinar fondos


del proyecto, programa o política pública para la adquisición y gene-
ración de información necesaria, ya que su obtención no puede de-
pender únicamente de la institución a cargo, sino de otras entidades
y organizaciones. La información se genera a partir de encuestas, cen-
sos, estudios e investigaciones sobre un tema específico; también se
adquiere de bases de datos disponibles sobre información financiera,
contable, administrativa o de otra índole (Bonnefoy y Armijo, 2005).

La información utilizada en los indicadores debe provenir de fuentes


confiables y de calidad. De esta forma, se garantiza que, ante cualquier
ejercicio de validación, esta siempre será consistente. Se recomienda
que dicha información sea de acceso público y de fácil obtención.

16 En el apartado cuatro se explica endetalle la Metodología de Marco Lógico (MML), la cual incluye la Matriz de
Indicadores (MI).

33
Liderando el Desarrollo Sostenible de las Ciudades

Paso 5. Definir el nombre del indicador


El nombre de un indicador debe ser claro y guardar relación directa
con el objetivo de medición. A continuación, se enumera una lista
de recomendaciones (SHCP, SFP y CONEVAL, 2011) para definirlo:

• Debe ser claro y entendible, pero no ser una definición.

• Debe excluir el método de cálculo, pero ser consistente con él.

• Debe ser único y corto: máximo de diez palabras.

• Debe definir claramente su utilidad.

• No debe reflejar una acción, por tanto, no incluir verbos en in-


finitivo.

El nombre del indicador permite identificar lo que se mide, por lo


que su adecuado planteamiento corroborará la pertinencia de su
utilidad en el futuro.

A primera vista, nombrar un indicador parece tarea fácil; sin em-


bargo, un nombre incorrecto implica confusiones respecto alo que
se mide y, por tanto, una percepción errónea sobre el desempeño
del programa público.

Paso 6. Construir fórmulas pertinentes


Para construir fórmulas para el cálculo de indicadores, según Bon-
nefoy y Armijo (2005), “el método de cálculo debe ser una ex-
presión matemática definida de manera adecuada y de fácil com-
prensión, es decir, deben quedar claras las variables a medir”. A
continuación, se presentan algunos ejemplos:

34
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Tabla 8. Ejemplo de construcción de indicadores


Nombre del
Método de Cálculo
Indicador

Tasa de variación
del valor real Tasa de variación
de los activos
Valor real en los activos en las unidades
en las unidades
económicas rurales apoyadas durante este año
económicas rurales
Valor real en los activos en las unidades
económicas rurales apoyadas durante el año pasado
Inversión
promedio
por escuela
beneficiada para Inversión promedio
la recuperación de Monto en inversión gastado en el año t
espacios Número de escuelas beneficiadas en el año t

Componente de salud para


conformar el IDH
Índice de Media del componente de salud en el año t
Desarrollo
Humano (IDH) Mínimo del componente de salud en el año
t
Máximo del componente de salud en el
año t
El componente de salud usado en el IDH es la esperanza de vida
al nacer.

Fuente: Adaptado de CONEVAL, 2011

La fórmula del indicador resume los elementosnecesariospara co-


nocer las variables que lo conforman. No existe una fórmula es-
tándar: cada gestor público decide qué resultado quiere conocer
y, partir de eso, elige los elementos que incluirá en ella. Adicional-
mente, se debe tomar en cuenta la disponibilidad y periodicidad
de la información, entre otros factores.

Paso 7. Determinar la frecuencia de la medición


La frecuencia de la medición se establecerá a partir de la necesidad
de información de los servidores públicos que la utilizarán. Esta
puede ser semanal, mensual, trimestral, semestral o anual según
se requiera (Salcedo, 2005). En la mayoría de casos, la construcción
de un indicador obedece a la periodicidad de la publicación de las
fuentes de información.

35
Liderando el Desarrollo Sostenible de las Ciudades

Paso 8. Análisis e interpretación de datos


La interpretación de los datos arrojados por los indicadores permi-
te tomar decisiones sobre un proyecto, programa o política pública
determinados, como aumentar o disminuir los recursos asignados
o identificar los aspectos de la implementación que necesitan ser
corregidos. En caso de que el resultado sea poco favorable, dicha
interpretación brinda la posibilidad de optar por alternativas más
eficientes. Por otro lado, el análisis del conjunto de indicadores
permite prever o corregir las desviaciones entre lo esperado y lo
logrado.

A partir ambos elementos, se logra dar una explicación del funcio-


namiento y operación de un proyecto, programa o política pública
y, por tanto, con el cual se da revisión a los factores que contribu-
yeron al éxito o fracaso de éste (Salcedo, 2005).

A continuación, se propone una plantilla para controlar los pasos


para formular indicadores:

Figura 1
Tipo de Unidad de Frecuencia
Nombre Objetivo Variables Fórmula Responsables
indicador medida de medición

Fuente: Elaboración propia

De acuerdo con la Metodología del Marco Lógico (MML), cuan-


do existan factores exógenos que intervengan en la obtención del
valor del indicador, se recomienda incluir una categoría llamada
“Supuestos”, en la que se incorporan los riesgos que están fuera
del control de la gerencia del proyecto, programa o política pú-
blica, así como la presencia de posibles eventualidades (Ortegón,
Pacheco y Prieto, 2005).

Finalmente, la información obtenida de los indicadores debe ser


incorporada en informes y entregada a los tomadores de decisio-
nes,según los plazos establecidos (Bonnefoy y Armijo, 2005).

36
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

4. Sistemas demonitoreo y evaluación


Conceptos clave para el aprendizaje de este apartado
•• Sistema de monitoreo •• Tablero de control •• Metodología de
y evaluación Marco Lógico

Objetivo general

Explicar la importancia de los sistemas de información para el seguimiento de la


gestión, los cuales permiten que los equipos gerenciales dispongan de datos con-
fiables sobre el desempeño de los proyectos, programas y políticas públicas y, por
tanto, tomen decisiones que contribuyan a mejorar los resultados esperados.

Objetivo de aprendizaje

Identificar la utilidad de la información de desempeño para el mejoramiento de la


gestión pública.
Conocer los sistemas de seguimiento y monitoreo para desempeñar mejores proyec-
tos, programas y políticas públicas.

4.1 Utilidad del sistema de monitoreo y evaluación


Una vez comprendidos los conceptos de monitoreo y evaluación,
en este apartado se desarrollará cómo el monitoreo y la evaluación
se vinculan mediante un sistema denominado Monitoreo y Evalua-
ción (M y E), el cual ha sido utilizado por gobiernos subnacionales
para mejorar la gestión pública, de manera exitosa.

Un sistema de M y E proporciona información certera y precisa


sobre los avances, resultados y efectos alcanzados en un determi-
nado periodo de tiempo de las acciones del gobierno. Además,
sirve para dar seguimiento y evaluar todos los ámbitos de la acción
pública –es decir, proyectos, programas y políticas públicas–.

Dicho sistema representa una manera más efectiva e inteligente


de administrar los programas y, así, incrementar la eficacia del con-
trol y ejecución de los mismos, así como mejorar su desempeño
y aprender de la experiencia para una mejor toma de decisiones
(Zegarra y Alvarado, 2010).

La importancia del sistema de M y E radica en que brinda informa-


ción sobre desempeño a todos los actores que intervienen en el
proceso de generación de valor público: las autoridades, los ge-
rentes públicos y los prestadores de servicios. Por esta razón, es
necesario considerar las necesidades de cada usuario para que el
proceso de recolección, análisis y devolución de información sea
apropiado y útil para cada uno (BID, 2011).

37
Liderando el Desarrollo Sostenible de las Ciudades

Los propósitos de este sistema son:

• Establecer de forma explícita los propósitos y las líneas de ac-


ción que fundamentan un proyecto gubernamental, para facili-
tar el consenso.

• Rendir cuentas a la sociedad con transparencia; explicar los re-


sultados alcanzados, así como la línea de razonamiento y justifi-
cación de la acción gubernamental, a partir de la definición de
los objetivos, medios, productos y resultados.

• Fortalecer una administración a partir de la valoración de re-


sultados e impactos (Arellano Gault et al, 2012; Noordegraaf y
Abma, 2003).

Un sistema de M y E es de utilidad para los gobiernos subnaciona-


les ya que les permitirá (Mackay, 2010):

• Mejorar proyectos, programas y políticas públicas

• Disponer de evidencia para elaborar presupuestos

• Medir resultados de las acciones de gobierno

Por lo tanto, este sistema constituye una herramienta de gestión


pública que permite, a los responsables de la formulación de po-
líticas públicas, tomar decisiones a partir de información sobre los
avances, resultados e impacto de un proyecto, programa política
pública (Kusek y Rist, 2004).

4.2 Elementos básicos para construir sistemas de monitoreo


y evaluación
El sistema M y Ese basa en la evidencia y la información que le per-
mite a un gobierno hacer explícitos sus objetivos y responderqué
se quiere alcanzar, por qué determinado logro u objetivo es im-
portante, trascendente o útil. Además, permite vincular procesos
y productos con los resultados e impactos, para conocer su cohe-
rencia con el sentido y misión de la organización, plan, programa
o política pública ala que responden (Arellano Gault et al, 2012).

Algunos instrumentos en los que este sistema se apoya son:

• Indicadores: permiten medir los insumos, procesos, productos,


resultados y efectos.

38
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

• Evaluaciones: permiten analizar y comprender, de forma más


profunda, aspectos como el diseño, funcionamiento o benefi-
ciarios de las acciones del gobierno.

• MML: permite identificar las relaciones de causalidad entre el


problema público identificado y la solución definida.

• Encuestas formales: permiten recopilar información estandari-


zada sobre un aspecto de interés.

• Estudios de seguimiento del gasto público: permiten dar se-


guimiento al flujo de fondos públicos, su uso y destinatarios.

• Métodos participativos: son mecanismos que incorporan en la


toma de decisiones a todos los involucrados en proyectos, pro-
gramas y políticas públicas (Banco Mundial, 2004).

Estos instrumentos deben proporcionarinformación útil: no siem-


pre lo que se mide con facilidad arroja información que sirva para
mejorar la gestión. Las herramientas deben medir aquellas cosas
que están directamente vinculadas con los objetivos estratégicos
de la organización o de la acción pública, de manera que se tomen
decisiones que mejoren el desempeño.

Para la integración de sistemas de M y E se necesitan elementos


que una administración pública elabora durante sus procesos de
planeación y organización. De acuerdo con el BID (2011), son los
siguientes:

• Definir objetivos y estrategias

• Contar con indicadores

• Establecer información de línea base

• Establecer metas

• Recolectar y analizar información

• Incorporar la información sobre el desempeño en la toma de


decisiones

• Comunicar los resultados

• Desarrollar planes estratégicos de desarrollo a nivel nacional y


subnacional.

39
Liderando el Desarrollo Sostenible de las Ciudades

Desarrollar un sistema de M y E representa un reto técnico difícil,


puesto que se necesita contar con una gran demanda del sistema
por parte de altos funcionarios, una base de datos de buena cali-
dad y evaluaciones fiables (BM y BID, 2006). Entre los elementos
relacionados con la instrumentación se encuentra:

• Formalización del sistema y capacitación de operadores y


usuarios. La formalización del sistema supone, además de una
norma que lo regule, la construcción de instrumentos y modelos
de trabajo, la definición de procesos y procedimientos, y la ela-
boración de guías, manuales y otros documentos técnicos útiles
para la operación del sistema.

La generación de documentos depende del aprendizaje de los


sistemas de M y E; es decir, parte de conocimientos básicos
que se adquieren a partir de una iniciativa y, más adelante, se
añade complejidad al sistema y a sus componentes según la
experiencia adquirida. Por ejemplo, durante la construcción de
indicadores de desempeño, es pertinente comenzar con pocos
indicadores de utilidad y no con uno para cada aspecto de la
gestión institucional. Así se evitará errores durante su aplicación
(BID, 2011).

• Ubicación de la unidad encargada de la operación del siste-


ma. Es importante que la unidad encargada de la operación del
sistema de M y E esté vinculada a las máximas autoridades del
gobierno,sea en los departamentos de planificación o presu-
puesto, o en una oficina independiente, como la Subsecretaría
de Planeamiento y Control de Gestión (Buenos Aires, Argenti-
na), la cual depende del Ministerio de Jefatura del Gabinete.

Esta se encarga de generar un sistema de M y E para los resul-


tados de la gestión pública. Sus facultades son elaborar sistema
de indicadores, analizar presupuestos, crear sistemas de infor-
mación, monitorear programas y evaluar el desempeño. De esta
manera, asiste al Jefe de Gabinete para garantizar la correcta
ejecución del Plan General de Acción de Gobierno (Gobierno
de Buenos Aires, 2014).

Adicionalmente, la instrumentación de este sistema requiere la de-


finición de reglas que regulen la gestión durante el proceso de
creación de valor público. Por un lado, se debe disponer de la
legislación necesaria para la implementación de dicho sistema, así
como el cumplimiento por parte de los servidores públicos. Por
otro, es necesario contar con un sistema de incentivos, tanto para

40
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

las instituciones como para los servidores públicos, de modo que se


evidencien las consecuencias positivas o negativas de su ejercicio.

La Ley 715 de 2001, por ejemplo, exige la implementación de sis-


temas de seguimiento en Colombia, por parte del Ministerio de
Salud y Protección Social. Por tanto, dicha entidad es responsable
de reglamentar y administrar el sistema integral de información
sobre salud y el sistema de vigilancia de salud pública. En este
contexto, el sistema de M y E ayuda a identificar y monitorear las
condiciones que inducen cambios en la salud de las poblaciones,
influye en los comportamientos y conductas de riesgo para la salud
de las personas y realiza un seguimiento de la equidad en cuanto
a salud en el país.17

Los gobiernos subnacionales que han implementado un sistema


de M y E, encontraron dificultades para homogeneizar las herra-
mientas que lo integran. De acuerdo con Rojas (2007), en América
Latina, a nivel municipal, existen entre diez mil y doce mil defini-
ciones sobre monitoreo y evaluación, así como sobre sus posibles
usos, cada una con fortalezas y debilidades. Por lo tanto, para ejer-
cer mayor control de los sistemanas y lograr mejores resultados, es
necesario diseñar lineamientos y conceptos comunes.

4.3 Herramientas para implementar un sistema de monitoreo


y evaluación
En esta sección, se presentará las herramientas más utilizadas a la
hora de implementar sistemas de M y E: los tableros de control y la
Metodología de Marco Lógico (MML).

1. Tableros de Control
Una de las herramientas de monitoreo que los gobiernos naciona-
les y subnacionales utilizan para implementar un sistema de M y
E es el Tablero de Gestión (o Control), instrumento organizacional
informático destinado a facilitar y mejorar la toma de decisiones en
la gestión de proyectos, programas o políticas públicas. Además,
busca mejorar la eficiencia, eficacia y equidad en la gestión de la
organización que lo utiliza (UNICEF, 2012).

17 Ministerio de Salud y Protección Social.(2013). Guía Metodológica para Registros, Observatorios, Sistemas de
Seguimiento y Salas Situacionales Nacionales en Salud.

41
Liderando el Desarrollo Sostenible de las Ciudades

El Tablero de Control18, para los gobiernos subnacionales, puede


considerarse como un conjunto de indicadores ya que su moni-
toreo permite conocer el estado de los proyectos, programas y
políticas públicas de una ciudad.

Esta herramienta se basa en los objetivos estratégicos de un go-


bierno. Su ventaja es que permite que los niveles gerenciales acce-
dan al estado de avance de las actividades, proyectos, políticas y
programas diseñados en los niveles más cercanos a la implementa-
ción. El Tablero tiene como objetivos (UNICEF, 2012), sistematizar
mediciones, transformar datos, ajustar los procesos a los objetivos
estratégicos, monitorear las acciones de la administración de ma-
nera periódica, mejorar los servicios y los trabajos internos de la
municipalidad, detectar desvíos de los estándares ideales,formular
recomendaciones y estrategias para mejorar los errores detecta-
dos y desarrollar una cultura de gestión por resultados.

Por otra parte, este tablero tiene la capacidad para juntar y medir
información estratégica de la ciudad y por tanto, permite que los
tomadores de decisión cuenten con un panorama completo del
desempeño de la gestión. De esta forma, los servidores públicos
de un gobierno subnacional tienen la posibilidad de encaminar la
gestión hacia los resultados deseados.

Para ejemplificar, se retomará la experiencia del gobierno de la


ciudad de Buenos Aires. A finales de 2007, durante el cambio de
administración, la nueva autoridad propuso el desarrollo de un sis-
tema para monitorear y evaluartanto las acciones en curso como
las futuras. De esta manera, para establecer un Tablero de Control,
se creó la Jefatura de Gabinete de Ministros (JGM), cuya respon-
sabilidad consistía en controlar la gestión de la ciudad y diseñar e
implementar instrumentos de monitoreo.

Si bien las cuatro subsecretarías que constituyen la JGM partici-


paron de manera transversal en el funcionamiento del Tablero de
Control, se designó responsable a la Subsecretaría de Control de
Gestión (SCG) cuyo principal propósito es generar un sistema que
permita dar seguimiento a los proyectos y evaluar los resultados
de la gestión gubernamental. De esta manera, dicha entidad bus-
ca que todas las acciones públicas estén alineadas con los ejes de
planeación y que se cuente con los recursos necesarios.

18 Sanín (1999) realiza un análisis del control de la gestión y de la evaluación de resultados de la gerencia pública, de
tal forma, plantea el término mesoespacio como una región donde se ubican los territorios y las instituciones. En con-
secuencia, afirma que las entidades territoriales –por ejemplo, regiones, departamentos (provincias, estados o munici-
pios)– realizan sus acciones en la búsqueda del cumplimiento de los objetivos de desarrollo. Así mismo, asegura que
las acciones de la gerencia pública requieren el acompañamiento de un Tablero de Control que se puede estructurar en
tres subsistemas: 1) evaluación de resultados, 2) control de procesos y 3) control de proyectos.

42
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Actualmente, el Tablero está en operación y la SCG coordina di-


chas actividades a través de la Dirección de Tablero de Control
(DTC), la cual trabaja de manera conjunta con el resto de minis-
terios y organismos que conforman el aparato gubernamental de
la ciudad. Semanalmente, se realizan reuniones en las cuales se
analiza la ejecución de cada iniciativa, así como los temas coyun-
turales que afectan el desarrollo del Tablero y se toman decisiones
de gestión basadas en la información generada.

Asimismo, la DTC verifica de manera permanente que la informa-


ción porveniente de las distintas áreas cumpla con principios de
calidad, oportunidad, confiabilidad y consistencia.

Para la acción de monitoreo, el Tablero de Control hace uso de más


de mil indicadores, los cuales fueron propuestos por cada área.
Posteriormente, se hizo un ejercicio de revisión conjunta, cuyo re-
sultado fue la adaptación de los indicadores para incorporarloa a
dicho tablero y, así, disponer de indicadores tanto de resultados
como de impacto.

De acuerdo con el Centro de Implementación de Políticas Públicas


para la Equidad y el Crecimiento (CIPPEC, 2009), el Tablero creció
de manera sostenida: de 20 usuarios, pasó a registrar más de 420.
A finales de 2008, se registró 2728 visitas por mes y, en el último
cuatrimestre de 2009, 5400 visitas por mes.

Además de ser una herramienta útil para el seguimiento de las ac-


ciones públicas y para la toma de decisiones, en el caso de Buenos
Aires, el Tablero de Control es un instrumento que transparenta la
administración pública, ya que permite que la ciudadanía observe
los avances y desempeño del proyecto.

2. La Metodología de Marco Lógico (MML)


Como se dijo anteriormente, la MML es otra de las herramientas
más utilizadas para implementar un sistema de M y E, debido a
que permite estructurar y homogeneizar la información clave de
los proyectos, programas y políticas públicas de una gestión local.

Esta metodología se originó en la Agencia para el Desarrollo In-


ternacional de Estados Unidos (USAID, por sus siglas en inglés)
en los años sesenta. Se utilizó para planear y ejecutar proyectos y
programas. Posteriormente, la Agencia Alemana de Cooperación
Técnica (GTZ, por sus siglas en alemán) la ajustó a sus necesidades.
Finalmente, otros organismos multilaterales y países, entre los que
se destacan los de América Latina, la adoptaron.

43
Liderando el Desarrollo Sostenible de las Ciudades

La MML brinda ventajas para estructurar información de manera


ordenada y simple, durante el ciclo de vida de un proyecto o pro-
grama. Por ejemplo, permite delimitar y cuantificar los bienes y ser-
vicios que dichas iniciativas proporcionan. Asimismo, debido a su
estructura, esta metodología facilita el seguimiento de los posibles
resultados e impactos, así como de las cadenas causales ligadas al
problema (Norad, 2008). Con respecto al análisis ex-post, la MML
facilita la evaluación de los resultados de los bienes o servicios en-
tregados al área o población atendida e identifica si la actividad se
llevó a cabo de manera eficiente.

No obstante, es necesario tener presente que también tiene cier-


tas limitantes. Su principal debilidad es que se formula en un mo-
mento determinado y la situación cambia en el tiempo. Por eso, se
requiere actualizar las metas de manera constante para hacer fren-
te a los nuevos escenarios(Ortegón et al., 2005). Otra debilidad se
presenta cuando, aunque la MML se aplique de forma adecuada,
el programa no fue diseñado correctamente, ya que se dará segui-
miento a un proyecto destinado al fracaso.

La implementación de la MML requiere de cuatro pasos clave: el


análisis de involucrados, la elaboración de un árbol de problemas,
la definición del árbol de objetivos y la construcción de la Matriz de
Indicadores para Resultados (MIR).

Paso 1. Análisis de involucrados


Primero, es necesario realizar un análisis de los involucrados, para
identificar a los distintos grupos o personas que influirán en el cur-
so del programa o proyecto. Estos actores intervienen de mane-
ra positiva, negativa o neutra, pero de acuerdo con la sucesión
de eventos o incentivos que se presenten, es posible modificar su
comportamiento. Este análisis permite implementar distintas estra-
tegias para buscar grupos de apoyo o evitar aquellos de oposición.

Paso 2. Elaboración del árbol de problemas


Durante esta etapa, se trabaja en la búsqueda y delimitación de las
causas y efectos del problema público que busca atender el pro-
yecto o programa. Las causas se estructuran como los fenómenos
y condiciones que crean el problema, mientras que los efectos son
las implicaciones y resultados negativos.Una vez que se establece
el árbol de problemas, se se construye el de objetivos.

44
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Paso 3. Definición del árbol de objetivos


En el árbol de objetivos, se invierte la situación identificada en el
árbol de problemas se invierte, suponiendo que se trata de una
situación positiva en la que no existe un problema público. De esta
manera, las causas se convierten en medios y los efectos, en fines.
Por lo tanto, éstos son el producto y los resultados favorables deri-
vados de la situación positiva.

Paso 4. Construcción de la MIR


El último paso consiste en la construcción de la MIR–también cono-
cida como Matriz de Marco Lógico–. Durante esta fase, se retoma
la información del árbol objetivos y se integra en dicha matriz, la
cual se presenta de la siguiente forma:

Diagrama 10. Esquema de la Matriz de Indicadores para Resultados


Medios de Cadena de
Objetivos Indicadores Supuestos
verificación resultados

Fin Impactos

Propósito Efectos

Componentes Productos

Actividades Procesos

Fuente: Elaboración propia basada en CEPAL y BID

La primera columna (de izquierda a derecha) reúne información so-


bre los efectos del programa en el tiempo: el objetivo se fija como
la situación que se busca generar en el largo plazo; el propósito
se refiere a los resultados inmediatos; los componentes son los
bienes y servicios que el programa entrega en el tiempo, y las acti-
vidades son las acciones para generar y entregar los componentes.

En la primera fila, se incluye información para dar seguimiento,


primero, a los objetivos del programa. Después, se presentan los
indicadores, que son los instrumentos que se utilizarán para mo-
nitorear los avances. Luego se presentan los medios de verificación,
que constituyen las fuentes o documentos mediante los cuales se
calcularán los indicadores. Por último, se establecen los supuestos
prioritarios, cuyo cumplimiento es necesario para lograr los objetivos.

45
Liderando el Desarrollo Sostenible de las Ciudades

Posiblemente, este esquema sea el elemento más importante de


la MML, ya que la información que contiene es útil para el segui-
miento o monitoreo y la evaluación. De hecho, los principales in-
dicadores de la MIR pueden incluirse en el Tablero de Control de
una ciudad.

El caso de educación en la ciudad de Casanillo, Paraguay, ubicada


en una zona montañosa, es un ejemplo. Los habitantes de esta re-
gión se dedican principalmente a actividades agropecuarias pero,
por ciertos conflictos civiles, la calidad de vida de la población dis-
minuyó significativamente. Además, de acuerdo con la Fundación
CIDEAL (s.f) existen altos niveles de analfabetismo (población in-
fantil y adulta), lo que repercute en una baja cualificación labo-
ral de la población y, por tanto, afectando de forma negativa la
calidad de vida de la población. Por tal motivo, el Gobierno de
Paraguay solicitó a dicha ONG que diseñara una intervención en
materia educativa.

La fundación analizó a los implicados, formuló un árbol de proble-


mas, otro de objetivos, analizó las alternativas y realizó la MIR. El
problema se dividió en dos áreas: la escasa cualificación laboral de
la población adulta y las altas tasas de analfabetismo infantil.

Asimismo, se planteó mejorar la educación infantil en la población


de Casanillo. El propósito de la MIR se estableció como: “reduci-
dos niveles de fracaso escolar entre la población infantil escolariza-
da en la educación primaria en el departamento de Casanillo”. La
MIR incluyó más de 20 indicadores para dar seguimiento a dicha
intervención.19

4.4 Experiencias de implementación de sistemas de monitoreo


y evaluación subnacional
En este apartado, se desarrollarán dos ejemplos de implementa-
ción de sistemas de monitoreo y evaluación:uno subnacional y otro
nacional- subnacional.

19 Para más información, ver http://www.olacefs.com/Olacefs/ShowProperty/BEA%20Repository/Olacefs/Even-


tos/2013/Archivos/Enfoque_Marco_Logico.

46
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Caso de sistema de monitoreo y evaluación nacional-subnacional,


SIEMPRO
El gobierno de Argentina creó un programa denominado Siste-
ma de Información, Evaluación y Monitoreo de Programas Sociales
(SIEMPRO), que opera tanto a nivel nacional como subnacional. El
objetivo de este sistema es diagnosticar la situación socioeconómi-
ca de la población y efectuar análisis útiles para la formulación de
políticas (Gobierno de Argentina, s.f).

El SIEMPRO recopila información sobre los programas sociales en


marcha, permite verificar el grado de avance en el cumplimiento
de las metas propuestas en dichos programas y evalúa el grado de
correspondencia entre el impacto previsto y el alcanzado (Gobier-
no de Argentina, s.f.).

Para la operación del SIEMPRO se construyen y sistematizan bases


de datos de diversas fuentes, como la encuesta de desarrollo so-
cial, encuesta permanente de hogares, censo nacional de pobla-
ción y vivienda, estadísticas sectoriales, censo educativo e informa-
ción provincial, entre otros.

Por otra parte, el SIEMPRO utiliza el Sistema Integrado de Moni-


toreo de Programas Sociales (SIM), software integrado por un con-
junto de indicadores con información trimestral sobre la ejecución
de los programas nacionales de lucha contra la pobreza. Dichos
indicadores se elaboran a partir de la información que proveen
los programas según criterios definidos (Mattalini, 2013). Además,
el SIEMPRO complementa su actividad de monitoreo con la rea-
lización periódica de encuestas y estudios de diagnóstico (Banco
Mundial, 2006).

El SIM tiene como objetivos relevar, procesar y administrar la infor-


mación referentea la implementación y ejecución de planes y pro-
gramas sociales, tanto nacionales como subnacionales. Se realiza
a través de 18 agencias gubernamentales de cada provincia de Ar-
gentina, las cuales generan información acerca del diagnóstico de
la situación política, social y económica, así como de la cobertura y
situación de los programas sociales nacionales.

47
Liderando el Desarrollo Sostenible de las Ciudades

Caso del Sistema de Seguimiento y Evaluación del Estado de


Yucatán, México (SSEEY)
El gobierno subnacional de Yucatán, en México, creó el SSEEY20
con el objetivo de dar seguimiento y evaluar las intervenciones pú-
blicas, para retroalimentar y valorar sus resultados y contribuir en el
mejoramiento de su diseño e implementación. El sistema surge a
partir de la reforma en la Constitución Política del Estado de Yuca-
tán (CPEY) del año 2010. Dicha reforma obedece al artículo 134 de
la Constitución Política de los Estados Unidos Mexicanos,en el que
se señala la obligación por parte de las entidades federativas y mu-
nicipios, de administrar con eficiencia, eficacia, economía, transpa-
rencia y honradez los recursos económicos con que disponen.

Por otro lado, el artículo 96 de la CPEY establece las bases para


la implementación y el desarrollo del Presupuesto basado en Re-
sultados, lo que implicó un replanteamiento de las estructuras y la
gestión gubernamental del estado así como cambios en el modelo
de gestión utilizado hasta ese momento, caracterizado por la frag-
mentación de las etapas de la política pública (Paz Pineda, Ortegón
Espadas, Candila Flores, Suárez Solís y Jiménez Rodríguez, 2013).

Por su parte, el artículo 107 de la CPEY establece que la valoración


de los resultados de la ejecución de los programas y del ejercicio
de los recursos públicos es responsabilidad de un órgano de eva-
luación. Además, determina que la evaluación del desempeño se
puede ejecutar de forma interna a mediante evaluadores externos,
siendo los resultados considerados en los procesos de programa-
ción y presupuestación de los programas y actividades del gobier-
no del estado.

En 2009, los trabajos de ajustes y modernización de la gestión


pública contaron con la asistencia técnica de tres instituciones.
El Banco Interamericano de Desarrollo (BID) proporcionó coope-
ración técnica de apoyo al desarrollo del Sistema de Inversión
Pública (SIP) en el estado, el Banco Mundial (BM) participó en la
elaboración de una estrategia de fortalecimiento del Sistema de
Información Estadística y Geográfica y de Evaluación de Yucatán
(SIEGEY), y el Instituto Nacional de Estadística y Geografía (INEGI)
realizó un diagnóstico y propuso recomendaciones sobre la infor-
mación geográfica incorporada en la estrategia de fortalecimiento
del SIEGEY (SPP, 2011).

20 Hasta el 2013, el SSEEY no había iniciado operaciones formalmente.

48
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Los principales hallazgos derivados de la asistencia técnica fueron:

• La información disponible no cumplía con los requerimientos


del proceso de formulación, implementación y evaluación de
políticas públicas.

• Los indicadores de resultados eran escasos y no correspondían


a una lógica secuencial.

• No existía una vinculación entre indicadores, lo que complicaba


el seguimiento y evaluación de la cadena de valor (SPP, 2011).

La respuesta del gobierno del estado fue un plan de trabajo que


entre las principales acciones incluyó: reformar la CPEY y la Ley de
Presupuesto y Contabilidad, capacitar las dependencias relaciona-
das al desarrollo social en cuanto a la MML para la elaboración de
matrices de resultados de los diez programas prioritarios y diseñar
el SSEEY.

El SSEEY se apoya en metodologías rigurosas para el análisis y


medición sistemática de la congruencia entre la actividad guber-
namental y las metas establecidas, identificando las relaciones cau-
sales entre ellas a partir del uso de evidencia rigurosa (SPP, 2011).
Lo integran dos subsistemas, uno de evaluación y otro de segui-
miento.

El subsistema de evaluación se encarga del Instituto de Evalua-


ción del Estado de Yucatán (INEVAL), responsable de la realización
de evaluaciones para los tres poderes, los órganos autónomos,
los municipios y las entidades paraestatales. El plan de trabajo del
subsistema comprende la capacitación del personal, autoevalua-
ciones y realización de evaluaciones a lo largo del ciclo de la po-
lítica pública. Sin embargo de acuerdo a Paz Pineda et al (2013),
actualemente este subsistema enfrenta importantes restricciones
que impiden su operación adecuada: presupuesto limitado para
contratar evaluaciones externas, altos costos de las evaluaciones,
falta de personal especializado para la realización de evaluaciones
de desempeño, capacitación del personal que requiere tiempo y
recursos.

El subsistema de seguimiento, por otro lada, se basa en indica-


dores que miden los resultados a lo largo de la cadena de valor.
Las reglas para el seguimiento de los indicadores se basa en infor-
mación rigurosa, así como en las normas para que la información
generada comprenda datos estadísticos y geográficos de calidad
que fortalezcan los procesos de seguimiento y evaluación.

49
Liderando el Desarrollo Sostenible de las Ciudades

Del proceso de implementación del SSEEY se identificaron aspec-


tos importantes: el apoyo por parte de instituciones externas fue
importante para identificar los retos y áreas de oportunidad en el
estado;la reforma de la normativa aplicable en el estado fue clave
para sustentar la implementación del presupuesto basado en re-
sultados en el estado así como del seguimiento y la evaluación de
las acciones del gobierno, y la capacitación es imprescindible para
facilitar el seguimiento y monitoreo de los programas, así como la
incorporación de la información en los procesos de toma de deci-
siones.

5. La evaluación
Conceptos clave para el aprendizaje de este apartado
•• Metodología de •• Evaluación ex-ante •• Evaluación ex-post
evaluación
•• Evaluación ex-dure

Objetivo general

Presentar diversas metodologías para la evaluación de proyectos y programas que


permitan estimar los logros alcanzados por una política pública.

Objetivo de aprendizaje

Incorporar los conceptos aprendidos sobre evaluación en los procesos de gestión


gubernamental.

6.

5.1 Utilidad de la evaluación de proyectos, programas y


políticas públicas y su relevancia para la gestión del
desarrollo sostenible de las ciudades
Hasta el momento,se han revisado los conceptos de monitoreo o
seguimiento y evaluación, por qué son importantes y cuál es su in-
terrelación. Este apartado tiene como objetivo plantear los propó-
sitos y la utilidad de la evaluación, respondiendo a las preguntas:
¿para qué y por qué se evalúa?

¿Para qué se evalúa?


Como se estableción anteriormente, la evaluación es el conjunto
de actividades que se realizan mediante un método de análisis sis-
temático, el cual utiliza información cualitativa y cuantitativa para
valorar el desempeño de un proyecto, programa o política pública.

50
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

Respecto a su utilidad, Gertler, Martínez, Premand, Rawlings y Ver-


meersch (2011) señalan que la evaluación sirve para:

• Retroalimentar o mejorar la intervención pública al permitir el


aprendizaje sobre la propia práctica.

• Aprovechar la experiencia adquirida para facilitar la toma de de-


cisión y mejorar las decisiones futuras.

• Identificar áreas de oportunidad y plantear recomendaciones-


para mejorar los programas o proyectos.

¿Por qué se evalúa?


La evaluación contribuye a la mejora administrativa al reforzar la
eficiencia de las acciones públicas, alpromover la lógica relacional
entre las distintas esferas administrativas y al potenciar sus capaci-
dades, recursos y sinergias.En este sentido, principalmente se eva-
lúa por cuatro razones (Sttuffebeam y Shinkfiled, 1987):

• Planificación. Ayuda en el diseño de los proyectos, programas o


políticas públicas evitando cuellos de botella que pudieran afec-
tar su implementación y propicia una mejora en la asignación de
recursos públicos.

• Rendición de cuentas. Permite saber en qué y cómo se utiliza-


ron los fondos públicos.

• Desarrollo. Facilita el aprendizaje organizativo y el cambio ins-


titucional.

• Conocimiento. Explica cómo se desarrollan las intervenciones


públicas.

En el caso de las ciudades, la evaluación juega un papel impor-


tante. Dada la cercanía de las autoridades subnacionales con la
población a la que representan, suele ser este el orden de gobier-
no donde los servidores públicos se aproximan a las necesidades
o problemáticas que enfrentan. Por eso es relevante el papel que
desempeñan en la solución de problemas, pues las decisiones to-
madas en este orden de gobierno tienen amplias repercusiones en
la calidad de vida de los habitantes.

51
Liderando el Desarrollo Sostenible de las Ciudades

Tipos de evaluación
En la evaluación a nivel de programas y proyectos, se distinguen
diferentes tipos de evaluación, según el momento en que se realiza
y su contenido, como se observa en la siguiente tabla:

Tabla 9. Clasificación de las evaluaciones según momento


y contenido
Clasificación
de evaluación Tipo Descripción
según:
Se elabora antes de ejecutar una política pública
Ex-ante con el objetivo de conocer su adecuación a las
necesidades observadas y su grado posible de éxito
Se realiza durante el periodo de ejecución del pro-
Momento de
Ex-dure grama para analizar cómo se desarrolla e identificar
ejecución
posibles cuellos de botella.
Se puede hacer tanto durante el periodo de
Ex-post ejecución como al final; proporciona un panorama
general sobre los éxitos o fracasos incurridos.
Analiza el diagnóstico que sirvió para establecer
Diseño el programa, observando la adecuación entre los
objetivos establecidos y los problemas detectados.
Valora el alcance de los objetivos planteados (efi-
Contenido de la Proceso cacia) y el costo en términos de tiempo y recursos
evaluación (eficiencia).
Estudia la forma en que se ejecutó el programa y su
Resultado
desempeño global, para mejorar su gestión.
Examina los efectos de largo plazo después de la
Impacto
intervención.

Fuente: Elaboración propia con base en Todd y Wolpin, 2006; PNUD, 2009; y Cardozo, 2012

La tabla anterior ofrece un panorama general sobre la diversidad


de evaluaciones que se realizan según el objeto de estudio. Aun-
que ambas clasificaciones tengan algunos rasgos en común –por
ejemplo, tanto en la evaluación ex-dure como en la de proceso se
valora cómo se está ejecutando el programa–, esta unidad se en-
foca en los tipos de evaluación ex-ante y ex-post.

a. Evaluación ex-ante
La evaluación ex-ante es un examen o valoración de una propues-
ta, programa o proyecto que busca solucionar o mitigar un proble-
ma o necesidad que aqueja a una comunidad antes de que este
se ejecute (Ministerio de Planificación y Cooperación, 2000). La
importancia de este tipo de evaluación reside en que un gobierno
debe racionalizar la asignación de recursos frente a las restriccio-
nes presupuestarias existentes.

52
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

De esta manera, la evaluación ex-ante permite diseñar un progra-


ma óptimo a fin de que obtenga los resultados deseados con el
menor costo posible (Todd y Wolpin, 2006). Existen distintas me-
todologías para el diseño de políticas públicas; en esta unidad se
presenta la recomendada por Franco Corzo (2013), por la claridad
y forma didáctica en la que se detallanlas cinco etapas para lograr
queun proyecto, programa o política pública sea implementado.

Diagrama 8. Metodología para formular una política


pública viable
Las cinco etapas para el diseño de políticas públicas viables

Análisis del Análisis de Análisis de Recomendación Plan de acción de


problema soluciones factibilidad de política pública política pública

Entender el Establecer los Realizar seis Esribir un Escribir un plan de


problema objetivos y la análisis de memorándum de acción política
público población factibilidad: política pública pública
potencial - Presupuestal para dar una - Planeación legal
Cuantificar el - Socioeconómica recomendación - Planeación
problema Realizar una - Legal administrativa y
lluvia de ideas - Política Toma de decisión programación
Realizar el - Ambiental presupuestal
análisis Analizar - Administrativa - Reglas de
casual acciones operación
actuales y de Integrar el - Cabildeo
Aplicar el mejores análisis - Recomendación
enfoque prácticas de de factibilidad en de evaluación y
80/20 políticas una monitoreo
públicas matriz de - Estrategia de
alternativas de comunicación
Seleccionar política pública
las mejores
soluciones y
cuantificar sus
costos

Establecer la
población
objetivo

Fuente: Franco Corzo, 2013

Franco Corzo (2013) propone que para diseñar un proyecto, pro-


grama o política pública viable se debe realizar un procedimien-
to conformado por cinco etapas concatenadas. En la primera, se
plantea el análisis del problema, para lo cual se sugieren los si-
guientes pasos:

• Se debe entender que un problema público es una situación que


afecta a un gran número de personas,que tiene amplios efectos
(Cobb, 2004) y produce una insatisfacción en la ciudadanía que
necesita una solución pública (Anderson, 2003). Además, es un

53
Liderando el Desarrollo Sostenible de las Ciudades

problema social reconocido políticamente como público (Subirats,


2008).

• Se debe cuantificar el problema para conocer el número de per-


sonas afectadas a partir de las siguientes preguntas: ¿cuántas
personas están directamente afectadas por el problema?, ¿cuál es
su perfil?, ¿ha crecido el número de afectados?; las áreas geográfi-
cas en las que se manifiesta (¿en qué áreas geográficas se manifies-
ta el problema),y los costos que ha generado el problema público.

• También se debe realizar un análisis causal del problema, que


permita evaluar si las soluciones que se plantean atacan las cau-
sas del problema. Para este fin, se puede utilizar como herra-
mienta el diagrama de Ishikawa o de causa-efecto. Las causas
de un problema público se conocen a partir de diversas fuen-
tes. Para tener un mejor panorama del problema, Franco Cor-
zo (2013) recomiendarealizar un análisis de afectados mediante
entrevistas,analizar la opinión de expertos académicos y servi-
dores públicos, y realizar un análisis económico para justificar la
intervención del gobierno en la economía.

• Por último, para analizar el problema se debe realizar un enfo-


que 80/20 para identificar las causas más importantes. Este es
un principio de Pareto cuya idea central es que una minoría de
causas o esfuerzos generan la mayoría de las consecuencias o
resultados. Según esta premisa, una quinta parte de las causas
generan la mayor parte del problema, por lo que son estas las
que deben considerarse para el diseño de la política pública,
para generar más resultados con menos recursos y, así, lograr
uno de los dos principios básicos de las políticas públicas: la
eficiencia y la eficacia (Franco Corzo, 2013).

En la segunda etapa de la metodología, se analizan las soluciones.


Estas de definen como cursos de acción alternativos que mitigan
las causas de un problema público. Este análisis implica:

• Establecer objetivos técnicos, en lo posible cuantificándolos en


términos de volumen, distribución y tiempo, especificados en
relación con el espacio al que se refieren (OPS y OMS, 1975).

• Establecer la población potencial, la cual representaa todas las


personas que se ven afectadas por el problema público, así
como la población objetivo, definida como un subconjunto de
la población potencial que un programa es capaz de atender en
el corto y mediano plazo, tomando en cuenta las limitaciones
financieras.

54
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

• Realizar una lluvia de ideas con un grupo pequeño para propo-


ner soluciones creativas, evaluar las respuestas y agruparlas en
conceptos similares.

• Analizar las acciones actuales que se llevan a cabo para atender


el problema público en cuestión y analizar las mejores prácticas
de políticas públicas para considerar su adecuación a la proble-
mática actual.

• Seleccionar las mejores soluciones, a partir de una lista que las


enumera,cuantificar sus costos –de inversión y de operación–,
así como los beneficiarios anuales.

Para la tercera etapa, Franco Corzo (2013) propone realizar un aná-


lisis de factibilidad. Para decidir qué alternativa tiene más posibili-
dades de implementación y la probabilidad más alta de resolver el
problema público, se deben realizar los siguientes estudios:

• Factibilidad presupuestal. Permite identificar la disponibilidad


de recursos financieros para la implementación del programa o
proyecto que se esté diseñando. Si no existen los fondos dispo-
nibles, se deben analizar alternativas de fondeo que permitan
identificar las áreas de trabajo donde es posible racionalizar re-
cursos. En el caso de los gobiernos estatales y municipales, se
debe:

1. Verificar que la propuesta de inversión inicial y de costos de


operación de la política pública sea sensata .

2. Analizar sobre el margen de maniobra que tienen los gobiernos.


3. Desarrollar una proyección de recursos que se obtendrán me-
diante transferencias por parte del gobierno federal, que pue-
dan ser utilizados para el programa o proyecto.

4. Elaborar indicadores para medir la eficiencia en el uso de los


recursos respecto a las metas planteadas para la propuesta.

En análisis de los factores dará como resultado la proyección de los


gastos, además de diversos escenarios en el caso de que la situa-
ción inicial se modifique.

El análisis de factibilidad presupuestal se realiza a nivel micro, es


decir, a nivel de propuesta del proyecto, programa o política pú-
blica. A nivel macro se realiza el Marco Fiscal de Mediano Plazo,
que es una proyección de los ingresos y gastos para periodos

55
Liderando el Desarrollo Sostenible de las Ciudades

superiores a tres años, lo que permite conocer la viabilidad presu-


puestal del proyecto, programa o política respecto a los objetivos
y metas planteadas.

En el orden nacional, las actividades realizadas son similares, pero


se diferencian por dos aspectos. Por un lado, no es necesario un
análisis sobre el margen de maniobra para conocer si se pueden
financiar con recursos propios; por otro, en el caso de acciones con
alcance nacional que requieran la participación de entes públicos
subnacionales, se tendrá que identificar y utilizar los mecanismos
e instrumentos de coordinación y de intercambio de información
presupuestal y de monitoreo de resultados.

Una propuesta de proyecto, programa o política pública es presu-


puestalmente factible cuando la relación entre la programación y la
disponibilidad de los recursos presupuestarios permita alcanzar los
objetivos y las metas establecidas en la política pública.

La factibilidad presupuestal es alta, media y baja. En la siguiente ta-


bla se presenta un sistema de semaforización que permite identificar
el nivel de factibilidad del proyecto, programa o política pública.

Tabla 10. Factibilidad presupuestal


Factibilidad presupuestal
Factibilidad La disponibilidad de recursos per-
Descripción
presupuestal mite cubrir actividades sustantivas
Es posible financiar la totalidad de
Alta 75-100% Verde
las actividades.

Es posible financiar una parte de


Media 50-74% Amarillo
las actividades.

Es posible financiar menos de la


Baja <50% Rojo
mitad de las actividades sustantivas.

Fuente: Franco Corzo (2013)

• Factibilidad socioeconómica. Trata de realizar una valoración


tanto económica como social de los costos y los beneficios de
la política pública. Permite priorizar y comparar los beneficios
de diferentes alternativas de políticas públicas y mostrar si los
recursos planeados serán utilizados eficientemente. En caso de
solicitar recursos de fuentes alternativas, será la base para mos-
trar la viabilidad de la propuesta. Se considera que la propuesta
de política pública es socioeconómicamente viable, cuando el
valor actual de los beneficios es mayor que el valor actual de los
costos basados en la misma tasa de descuento. Se utilizan sobre
todo tres tipos de análisis socioeconómicos:

56
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

1. Análisis costo-beneficio o de pre-factibilidad: para determinar si


una política pública generará más beneficios que costos.

2. Análisis costo-beneficio simplificado o de perfil: se realiza a par-


tir de un cálculo de costos y beneficios atribuibles al proyecto,
tomando en cuenta los efectos sobre la población objetivo.

3. Análisis costo-efectividad: permite comparar el grado de efi-


ciencia relativa de proyectos diferentes, para obtener los mis-
mos productos.

La justificación económica es una descripción detallada del proble-


ma que se busca resolver, que comprende el desglose del monto
de los componentes del proyecto, programa o política pública y
la fuente de recursos con los que se llevará a cabo la inversión.
Se elegirá que tipo de estudio realizar según el tipo de proyecto,
programa o política pública y será responsabilidad de personal es-
pecializado.

Si bien cada análisis de factibilidad socioeconómica necesita espe-


cificaciones distintas, comparten dos elementos comunes. El pri-
mero se relaciona a la información de los costos de la propuesta de
proyecto, programa o política pública;el segundo representa la ne-
cesidad de cuantificar los beneficios que se generarán. Es impor-
tante proyectar los beneficios directos –la resolución del problema
público, específicamente–y los beneficios indirectos –beneficios
alternos que existirían en caso de proyectos, programas o política
públicas exitosos–.

Por último, es necesario la estimación del valor neto de la propuesta


del proyecto, programa o política pública, para determinar su ren-
tabilidad. Dicho valor se obtiene de la diferencia entre el flujo de
ingresos (beneficios) y el flujo de egresos (costos). Se debe conside-
rar la tasa de descuento o costo de oportunidad. En caso de que el
resultado sea positivo, se considera que la propuesta es viable.

A continuación, se presenta una matriz para registrar la informa-


ción obtenida en ambos niveles.

57
Liderando el Desarrollo Sostenible de las Ciudades

Tabla 11. Identificación de costos y beneficios de una propuesta


de política pública
Identificación de costos y beneficios de una propuesta de política pública

Costos Costos Beneficios Beneficios


directos indirectos Costo directos indirectos Beneficio
Propuesta Actividades
total total
$ % $ % $ % $ %

1.1

1 1.2

1.3

2.1

2 2.2

2.3

Fuente: Franco Corzo (2013)

Es importante que se consideren los costos y beneficios totales;


es decir, no solo los de inversión, sino también de operación. Para
eso, es necesario establecer un periodo de tiempo determinado.

Se considera que la propuesta de proyecto, programa o política


pública es socioeconómicamente viable cuando el valor actual de
los beneficios es mayor que el de los costos, de acuerdo con la
misma tasa de descuento. En caso de que sea negativo, la pro-
puesta generaría pérdidas en términos socioeconómicos, por lo
que sería necesario replantear una alternativa distinta.

• Factibilidad legal. Consiste en verificar si la solución propuesta


responde a algún mandamiento establecido en la Constitución,
la normatividad o los reglamentos específicos. Esto quiere de-
cir que permite decidir, según la posibilidad y la conveniencia,
desde el punto de vista jurídico, la mejor manera de aplicar una
política pública.

• Factibilidad política. Permite conocer los intereses y el poder de


las personas, grupos y organizaciones que se manifiestan a favor
como en contra de la política pública propuesta. De esta manera,
muestra qué tan adverso o favorable es el contexto político. La
política pública es políticamente factible cuando sus opositores no
tienenuna reacción activa y no cuentan con los recursos para gene-
rar una masa crítica que se opongan a la propuesta.

58
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

• Factibilidad ambiental. Evalúa el impacto de la propuesta de


política pública en el medio ambiente. El estudio del impacto
ambiental deberá valorar el grado de afectación de la propuesta
yplantear alternativas que subsanen su degradación en el corto
y mediano plazo.

• Factibilidad administrativa. Indica la condición organizacional


que posibilita la política pública. Se trata de la valoración de los
recursos organizacionales y técnicos con los que se dispondrá
para la implementación de una propuesta,basada en la estruc-
tura organizacional según la que operará. La política pública,
por consiguiente es administrativamente factible cuando la or-
ganización que la ejecutaría dispone de los recursos materiales
y humanos necesarios para alcanzar el propósito planteado.

Gracias a las etapas anteriores, es posible recomendar una política


pública, ya que se cuenta con la información relevante para la toma
de decisiones. Si larecomendación es aceptada, se inicia un plan
de acción.

b. Evaluación ex-post
La evaluación ex-post–también llamada evaluación de impacto–
permite conocer los efectos de la política pública en la población
objetivo.

Cardozo (2012) la define como el tipo de evaluación que identifica,


mide, compara y califica los resultados o impactos obtenidos. Sin
embargo, no se trata de una evaluación final, sino que constituye
un proceso de seguimiento continuo de reflexión y análisis sobre los
avances y limitaciones que se generan durante el desarrollo de una
actividad. Esto representa una oportunidad para adoptar medidas
correctivas oportunas y permite un proceso de aprendizaje y creci-
miento por parte de las personas involucradas.

Por otra parte, Mejía (2003) plantea que la evaluación ex-post –tam-
bién llamada evaluación terminal o evaluación a posteriori– observa
si se obtuvieron los resultados previstos y los efectos, tanto busca-
dos como colaterales, atribuibles a las acciones o proyectos instru-
mentados. Así, la evaluación puede ser entendida como parte de la
planeación, como un sistema de seguimiento, como un control de
las acciones y recursos, o un juicio sobre los mismos.

Mejía (2003) indica que este tipo de evaluación debe contestar las
preguntas: ¿qué es diferente gracias al programa o política instrumen-
tada?, ¿cuáles son los efectos a largo plazo? y ¿cuáles son sus efec-
tos no intencionados?

59
Liderando el Desarrollo Sostenible de las Ciudades

En este sentido, Franco Corzo (2013) señala que, durante la fase


de evaluación del impacto, se deben responder al menos dos pre-
guntas: ¿la política pública generó los efectos deseados? y ¿cuáles
son las áreas de oportunidad para mejorar el diseño de la política
pública?

La evaluación ex-post se aplica en distintos casos y desde dife-


rentes perspectivas. Algunas miden el grado de satisfacción de la
sociedad, a partir de encuestas, discusiones o diálogos,consultas
entre agentes clave de la política (Silva, 2003). Otras analizan la
elaboración o diseño del programa o política para determinar si
cubrió las necesidades o demandas por satisfacer. También, otras
miden el nivel de operación de los recursos con una visión centra-
da en la eficiencia de la evaluación.

De esta manera, ya que todos los impactos de la política pública,-


tanto deseados como colaterales, son medibles,existen distintos
tipos de evaluación: de insumos, de estructura, de procesos, de
productos o de impacto. Las evaluaciones de impacto ponen én-
fasis en los resultados logrados según los beneficiarios. Estos estu-
dios identifican los cambios de las condiciones de grupo-objetivo
o de la comunidad, como resultado de una actividad o programa
político,e identifican en qué medida los cambios obedecen a los
que se buscaban.

Según Salcedo (2011), la evaluación ex-post comprende un análi-


sis ex-post simple y otro de profundidad, los cuales se diferencian
por su sentido de aplicación y el nivel de detalle de la información
analizada. El análisis ex-post simple se realiza inmediatamente des-
pués de finalizar la fase de ejecución del programa o proyecto,
por lo que solo evalúa los resultados a corto plazo –registrados en
variables como costos y tiempo de ejecución– y las desviaciones.

Por otra parte, el análisis ex-post en profundidad detalla, analiza y


comparalos resultados estimados con los realesa partir delas variables
relevantes. Se realiza cuando las etapas e iniciativas de la política pú-
blica están en plena operación y permite establecer si la ejecución y
operación de los programas o proyectos cumplieron con las proyec-
ciones especificadas en el análisis ex-ante, si generaron los beneficios
y costos sociales esperados. Por otra parte, valida las metodologías
aplicadas. De esta manera, mediante este proceso, es posible consta-
tar la validez de las proyecciones de las variables relevantes, la validez
de los supuestos y parámetros adoptados y la magnitud de los resul-
tados estimados en los estudios de evaluación ex-ante.

60
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

El BID (2005), a través de la Oficina de Evaluación y Supervisión


(OVE), propone una metodología específica para evaluar sus pro-
yectos cada año, la cual comprende:

• Preguntas evaluativas. Para determinar en qué medida se al-


canzaron los objetivos de desarrollo de las operaciones y si se
hizo de manera eficiente.

• Estrategia de muestreo. Este puede ser aleatorio en caso de


que se busque eliminar algún tipo de sesgo. También se pue-
deoptar por un muestreo no aleatorio.

• Selección de un método. Este debe admitir afirmaciones cuan-


titativas sobre la evaluación de los resultados u objetivos de de-
sarrollo, que sean atribuibles al proyecto o programa.

• Formación de redes, integradas por funcionarios del BID,


profesionales en la evaluación de programas en América La-
tina y el Caribe y entidades públicas involucradas en labores
de evaluación. Esto asegura la eficiencia al realizar un gran nú-
mero de evaluaciones de proyectos.

Finalmente, el BID (2005) señala que una evaluación de impacto


ayuda a analizar los resultados logrados, ya que separa los efectos
derivados de la operación de los de otras fuerzas. Para evaluar
dichos efectos,es necesario recolectar datos adicionales durante la
ejecución del proyecto sobre los que no se beneficiaron o el grupo
de control.

c. Estudio de caso
En este apartado, se retomará el ejemplo de política pública para
resolver el problema del sistema de transporte público Transmile-
nio, en Bogotá, Colombia, de acuerdo con Franco Corzo (2013).

Caso Transmilenio de Bogotá. Una evaluación ex-ante permite la


adecuada toma de decisiones para mejorar la movilidad en Bogotá
El Sistema Transmilenio de Bogotá, Colombia, se ha convertido
en un referente a nivel internacional, para aquellas ciudades que
buscan soluciones en cuanto al transporte urbano. Transmilenio
es un sistema de Transporte Público Rápido (TPR), compuesto por
autobuses individuales o articulados que transitan en un espacio
confinado, con paradas fijas yestaciones exclusivas.

61
Liderando el Desarrollo Sostenible de las Ciudades

La Agencia Japonesa de Cooperación Internacional (JICA) financió


el “Estudio del plan maestro del transporte urbano en Bogotá”,
el cual consistió en la aplicación de una encuesta domiciliaria de
movilidad, en cuyos resultados se basaron estudios futuros (Cha-
parro, 2002 citado en Franco Corzo, 2013). Por su parte, el Banco
Internacional de Reconstrucción y Fomento (BIRF) participó con el
gobierno en la realización del Proyecto de Reforma Regulatoria,
el cual sirvió de base para la introducción de privatizaciones y li-
citaciones en diversos sectores de la economía. Además, apoyó
con financiamiento y asistencia técnica en el diseño conceptual de
Transmilenio.

Las metodologías utilizadas para la implementación de este mode-


lo de TPR han sido reconocidas internacionalmente por la Organi-
zación de las Naciones Unidas (ONU), la International Organization
for Standardization (ISO) y el BM. El proyecto contó además con
el financiamiento y la asistencia técnica del BM a través del BIRF y
el BID.

En Colombia, el modelo se replicó en Pereira-Dosquebradas, con


el Megabús; en Cali, con el sistema Mio, y en Bucaramanga, con
la Metrolínea. A nivel internacional, se identifican versiones de la
iniciativa en el Distrito Federal y la ciudad de León, Guanajuato, en
México; en Ciudad del Cabo, Sudáfrica; en Yakarta,Indonesia, y en
Ahmedabad en India.

El sistema Transmilenio fue la punta de lanza del Programa Na-


cional de Transporte Urbano (PNTU) de Colombia, cuyo objetivo
consistía en crear redes eficientes y accesibles en diez ciudades del
país, en un periodo de diez años.

Cabe mencionar que el PNTU fue diseñado, en 1996, para resol-


ver problemas públicos vinculados con el tema de la movilidad:
alto nivel de informalidad en las empresas de transporte público
(impago de impuestos y ausencia de protección social para los
trabajadores de este sector) y la ausencia de regulaciones relacio-
nadas con la operación, supervisión y fiscalización del transporte
público urbano.

El diagnóstico de la ciudad de Bogotá evidenció los serios proble-


mas de congestionamiento vial a causa de una desordenada circu-
lación y la ausencia de condiciones que rigieran la forma de trabajo
de las diferentes líneas de transporte urbano. Específicamente, el
transporte público representaba fuertes pérdidas económicas deri-
vadas de los accidentes viales, los altos niveles de inseguridad oca-

62
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

sionados por sobrecupo en las unidades y una tendencia creciente


en los indicadores de contaminación acústica y del aire debido a la
obsolescencia de los vehículos.

En el año 2000, el alcalde de Bogotá anunció la creación del siste-


ma de transporte Transmilenio, haciendo énfasis en la integración
de los antiguos concesionarios del sistema de transporte. A nueve
años de su implementación, los resultados alcanzados mostraban
que 1,4 millones de pasajeros (27% de la demanda de transporte
público) utilizaban el servicio; el tiempo de traslado se redujo en
promedio 20 minutos en comparación con el sistema anterior; se
disminuyó a 90% los accidentes en los corredores donde el sistema
opera, así como el ruido en la calle (entre tres y diez decibeles). En
cuanto al tema ambiental, se redujo las emisiones de dióxido de
carbono a 0,25 toneladas métricas por año.

La adecuada evaluación ex-ante de los proyectos que formaron


parte del programa Transmilenio permitió mejorar la calidad de
vida de miles de bogotanos.

6. Conclusiones
1. Establecer un sistema de medición de proyectos, programas
y políticas públicas en un gobierno permite que los servidores
públicos tengan información sobre el desempeño de interven-
ciones públicas: es decir, les otorga información para mejorar la
toma de decisiones.

2. Instrumentar un sistema de monitoreo y evaluación es una for-


ma inteligente de ejecutar y administrar proyectos, programas
y políticas públicas, ya que permite que servidores públicos di-
rectivos y operativos conozcan el grado de cumplimiento de los
objetivos de los proyectos y programas y, así, sean capaces de
detectar fallas o retrasos de manera oportuna y, por tanto, im-
plementar acciones correctivas.

3. Un sistema de medición requiere indicadores ya que permiten


establecer una línea de medición que describa el avance en el
cumplimiento de objetivos de un proyecto, programa o política
pública. Además, la información recopilada a partir de los indi-
cadores permite mejorar el diseño de proyectos, programas y
políticas públicas en ejecución y por desarrollar.

63
Liderando el Desarrollo Sostenible de las Ciudades

4. Los sistemas de medición también necesitan evaluaciones. Estas


permiten que los gobiernos valoren el desempeño y resultados
de sus proyectos, programas y políticas públicas en un momen-
to determinado. La evaluación ex-ante proporciona información
sobre la calidad inicial de un proyecto, programa o política pú-
blica, y determina si se cuenta con los elementos mínimos para
generar resultados. La evaluación ex–post, por otro lado, permi-
te analizar los cambios en la situación de la población atendida
a partir de la intervención pública.

5. Las herramientas más utilizadas por los gobiernos subnaciona-


les de América Latina para instrumentar sistemas de monitoreo
y evaluación son la MML y los Tableros de Control. Por un lado,
la MML permite estructurar y homogeneizar la información de
los programas de manera ordenada y simple, para darles segui-
miento mediante indicadores específicos. Por otro, el tablero
de control representa un instrumento organizacional informáti-
co destinado a facilitar y mejorar la toma de decisiones en la
gestión de los proyectos, programas o políticas públicas y, así,
permite conocer el estado de la instrumentación.

7. Bibliografía
Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad
de los Servicios (2010) Fundamentos de Evaluación de Políticas Pú-
blicas. Madrid: Ministerio de Política Territorial.

Arellano Gault, D. et al. (2012)Sistema de Evaluación del Desem-


peño para organizaciones públicas. ¿Cómo construir efectivamen-
te. Colección Coyuntura y Ensayo. CIDE. México, D.F.

Banco Interamericano de Desarrollo (2012). Guía Metodológica In-


dicadores de la Iniciativa Ciudades Emergentes y Sostenibles.

––– (2013) “Anexo 2”.Guía Metodológica Indicadores de la Inicia-


tiva Ciudades Emergentes y Sostenibles.

Banco Mundial (2006). Desarrollo de la Capacidad de Evaluación.


DCE Serie de documentos de trabajo. No.16. Disponible en http://
ieg.worldbankgroup.org/Data/reports/ecd_wp16_spanish.pdf

Bastidas-Delgado, O. y M. Richer (2001) “Economía social y econo-


mía solidaria: intento de definición”. CAYAPA Revista Venezolana

64
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

de Economía Social. (1). Disponible enhttp://www.dhl.hegoa.ehu.es/


ficheros/0000/0138/economia_social_y_economia_solidaria.pdf

Bonnefoy, J. y M. Armijo (2005) Indicadores de desempeño en el


sector público. Instituto Latinoamericano y del Caribe de Planifica-
ción Económica y Social ILPES, Santiago de Chile. Disponible en
http://biblioteca.cepal.org/record=b1093870~S0

Camacho, H., L. Cámara, R. Cascante y H. Sáinz (nd.) El enfoque


del Marco Lógico: 10 casos prácticos. Cuaderno para la identifi-
cación y diseño de proyectos de desarrollo. Disponible en: http://
www.olacefs.com/Olacefs/ShowProperty/BEA%20Repository/Ola-
cefs/Eventos/2013/Archivos/Enfoque_Marco_Logico

Cardozo Brum, M. (2012)Evaluación y metaevaluación en las políti-


cas y programas públicos. México: Universidad Autónoma Metro-
politana, División de Ciencias Sociales y Humanidades.

Cejudo, G. y C. Maldonado (2011) De las recomendaciones a las


acciones: la experiencia del premio 2011. Programas Federales
Comprometidos con el Proceso de Evaluación. México: CIDE, SFP.

CIVICUS Alianza Mundial para la participación ciudadana (n.d) Se-


guimiento y evaluación. Disponible en: https://www.civicus.org/
new/media/Seguimiento%20y%20evaluacion.pdf

Comisión Europea (2003). Evaluating EU activities. A practical gui-


de for Commission Services.Luxemburgo: Oficina de Publicaciones
Oficiales de las Comunidades Europeas.

Crespo, M. (2010)Guía de diseño de proyectos sociales comuni-


tarios bajo el enfoque del marco lógico (Conceptos esenciales y
aplicaciones). 38-39 Caracas. Disponible enhttp://www.eumed.
net/libros/2009/575

Cruz León, J. (n.d.) “Obras Inconclusas: Imágenes de la ciudad de


los sueños” en Conexión Brando. Disponible en: http://www.co-
nexionbrando.com/1394416-obras-inconclusas-la-ciudad-de-los-
suenos

Curnill, N., y S. Ospina(2003)Evaluación de resultados para la ges-


tión pública moderna y democrática: experiencias latinoamerica-
nas. CLAD, AECI-MAP-FIIAPP, Venezuela.

Departamento Nacional de Evaluación Bogotá (2009)Guía meto-


dológica para la formulación de indicadores. Bogotá: Departamen-
to Nacional de Evaluación.

65
Liderando el Desarrollo Sostenible de las Ciudades

Di Virgilio, M. y R. Solano (2012)Monitoreo y evaluación de po-


líticas, programas y proyectos sociales. Buenos Aires: Fundación
CIPPEC. Disponible en: http://www.unicef.org/argentina/spanish/
cippec_uni_monitoreo_evaluacion.pdf

EFE (2013) “Carmen Vela confirma que el CSIC recibirá 50 millones


el próximo trimestre” en El Diario.es. Publicado el 11 de septiem-
bre de 2013. Disponible en http://www.eldiario.es/politica/Car-
men-Vela-CSIC-millones-trimestre_0_152584904.html

Espinoza, L., y H. Van de Velde (2007) Monitoreo, Seguimiento y


Evaluación de Proyectos Sociales. Facultad Regional Multidiscipli-
naria FAREM, Managua. Disponible en:http://www.asociacionfra-
ga.com.ar/t4/Manual%20Cicap.pdf

Feinstein, O.(1986) “Aspectos metodológicos de la evaluación


continua” en Estudios Rurales Latinoamericanos. Vol. 9. No 2.

Fernández, N. y L. Schejtman (2012) Planificación de políticas, pro-


gramas y proyectos sociales.CIPPEC, UNICEF. Disponible en http://
www.unicef.org/argentina/spanish/cippec_uni_planificacion.pdf

Forero, F. (2013) Así será el parque Bicentenario sobre la calle


26 en El Tiempo. Publicado el 10 de septiembre de 2013. Dis-
ponible en http://www.eltiempo.com/colombia/bogota/ARTICU-
LO-WEB-NEW_NOTA_INTERIOR-13057160.html

Franco Corzo, J (2013) Diseño de Políticas Públicas. México: IEXE


Editorial

García, M, y García López (2011) Gestión para resultados en el de-


sarrollo de gobiernos subnacionales. BID, Módulo 6: Seguimiento
y evaluación de resultados, PRODEV, INDES, pp. 8-9.

Gobierno de Argentina (n.d). Dirección Nacional del Sistema de


Información, Monitoreo y Evaluación de Programas Sociales. Dis-
ponible en http://www.siempro.gov.ar/

Gobierno Regional de Lima.Órgano de Control Institucional (2006)


Informe Nº 001-2006-2-5344.Disponible en:http://www.regionli-
ma.gob.pe/transparencia/oci/Informe%20001-2006-GRL-OCI.pdf

Gobierno Constitucional del Estado de Puebla (2010) “Acuerdo


del Honorable Cabildo del municipio de Puebla, de fecha 17 de
diciembre de 2010, que aprueba el dictamen presentado por la
Comisión de Patrimonio y Hacienda Municipal, referencia al Presu-

66
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

puesto de Egresos del Honorable Ayuntamiento del municipio de


Puebla, para el ejercicio fiscal 2011” en Periódico Oficialdel Estado
de Puebla.

Gobierno Municipal de Puebla (2011) Plan Municipal de Desarrollo


2011-2014.

Gómez, M. (2009) “Reseña de políticas públicas, formulación, im-


plementación, y evaluación de Andre Noel Roth” enRevista Ope-
ra 8, Universidad Externado de Colombia: 202-204. Disponible en
http://www.redalyc.org/articulo.oa?id=67500811

Groisman, Bustelo y Arrieta. 2009. Implementación del Tablero de


control en la ciudad Autónoma de Buenos Aires. Documento de
trabajo No. 34. CIPPEC.

Hernández-Mora, S (2007). “Los elefantes blancos colombianos”


en El Mundo.es. Publicado el 8 de noviembre de 2007. Disponi-
ble en http://www.elmundo.es/elmundo/2007/11/08/internacio-
nal/1194492115.html

Hintze, J (2003) Instrumentos de Evaluación de la gestión del va-


lor público. Ponencia en el VIII Congreso Internacional del CLAD
sobre la Reforma del Estado y la Administración Pública. 28 de
octubre al 31 de octubre en Panamá. Disponible en http://www.
top.org.ar/ecgp/FullText/000000/HINTZE%20Jorge%20-%20Ins-
trumentos%20de%20evalucion.pdf

Institute of Internal Auditors (2015): https://na.theiia.org/stan-


dards-guidance/mandatory-guidance/Pages/Definition-of-Inter-
nal-Auditing.aspx .

Jody, Z. y C.R. Ray (2004) Ten Steps to a Results-Based Monitoring


and Evaluation System: A Handbook for Development Practitio-
ners. EUA: World Bank Publications.

Kusek, J. y R. C. Rist (2004)Diez pasos hacia un sistema de segui-


miento y evaluación basado en resultados.EUA: Banco Intermeri-
cano de Reconstrucción y Fomento/Banco Mundial.

Licha, I. (2000)El Análisis del Entorno: Herramienta de la Gerencia


Social. Notas de Clase. EUA: BID/INDES.

Mackay, K.(2007)Cómo crear sistemas de SyE que contribuyan a


un buen gobierno.EUA: Banco Mundial-Grupo de Evaluación In-
dependiente IEG.

67
Liderando el Desarrollo Sostenible de las Ciudades

––– (2010) Conceptual Framework for Monitoring and Evaluation.


The Nuts & Bolts of Government M&E Systems. (1) The World Bank.

Martínez C. (2013) “Fotos: Un recorrido por el “Elefante Blanco”,


el ex Hospital Ochagavía” en Plataforma Urbana. Publicado el 23
de agosto de 2013. Disponible en: http://www.plataformaurbana.
cl/archive/2013/08/23/fotos-un-recorrido-por-el-elefante-blan-
co-el-ex-hospital-ochagavia/

Mattalini, M., (2013). Estructuras evaluativas y seguimiento de pro-


gramas en Argentina. Programa de Evaluación de Políticas Públicas.
Disponible en http://www.jgm.gob.ar/archivos/politicas-publicas/
Estructuras_evaluativas_y_seguimiento_de_programas_Argenti-
na-Matias_Mattalino.pdf

Ministerio de Salud y Protección Social (2013) Guía Metodológica


para Registros, Observatorios, Sistemas de Seguimiento y Salas Si-
tuacionales Nacionales en Salud. Colombia. Disponible en http://
www.minsalud.gov.co/Documentos%20y%20Publicaciones/Gu%-
C3%ADa%20metodol%C3%B3gica%20para%20registros,%20
observatorios,%20sistemas%20de%20seguimientos%20y%20
salas%20situacionales%20nacionales%20en%20salud.pdf

May, E., et al (ed.)(2006) Hacia la Institucionalización de los Siste-


mas de Monitoreo y Evaluación en América Latina y el Caribe: Ac-
tas de una Conferencia Del Banco Mundial. Banco Interamericano
de Desarrollo.

Martínez Nogueira, R.(1998) Los proyectos sociales: de la certeza


omnipotente al comportamiento estratégico. Santiago de Chile:
CEPAL, Serie Políticas Sociales 24.

Mejía Lira, J. (2003)La evaluación de la gestión y las políticas públi-


cas. México: Miguel Ángel Porrúa.

Ministerio de Hacienda y Crédito Público (2013). Guía para la eje-


cución, monitoreo, seguimiento y control a los recursos del Siste-
ma General de Participaciones. Colombia. Disponible en: http://
www.minhacienda.gov.co/portal/page/portal/HomeMinhacienda/
asistenciaentidadesterritoriales/Publicaciones/Manuales/Guia%20
SGP.pdf

Mokate, K. y J. Saavedra (2006) Gerencia Social: Un Enfoque In-


tegral para la Gestión de Políticas y Programas. Departamento
de Integración y programas regionales. BID. Disponible en http://

68
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

www.comfama.com/contenidos/servicios/GerenciaSocial/Cursos/
Indes/Documentos%20generales%20sobre%20Gerencia%20So-
cial/Mokate-Saavedra.pdf

Murray, L. y L. Rossi (2007) Guía de Monitoreo y Evaluación. Pact


Brasil. Disponible en http://www.geolatina.net/IDEAS/documen-
tos/guia_me.pdf

Neirotti, N. (2001) La función de evaluación de programas sociales


en Chile, Brasil y Argentina. Ponencia presentada en el VI Congre-
so del CLAD, Buenos Aires.

Nirenberg, O., J. Brawerman y V. Ruiz. (2003) Evaluar para la trans-


formación. Innovaciones en la evaluación de programas y proyec-
tos sociales. Paidós. México, D.F.

Noticaribe (2013) “‘ELEFANTE BLANCO…’ INUNDADO: Sigue


abandonado Centro de Educación Climática de QR, víctima de una
negligencia presupuestal” en Noticaribe. Publicado el 16 de agos-
to de 2013. Disponible en http://noticaribe.com.mx/2013/08/16/
elefante-blanco-inundado-sigue-abandonado-centro-de-educa-
cion-climatica-de-qr-victima-de-una-negligencia-presupuestal/

Ortegón, E., J. Pacheco y A. Prieto(2005) Metodología del marco


lógico para la planificación, el seguimiento y la evaluación de pro-
yectos y programas.(42) ILPES, CEPAL. Disponible en http://www.
eclac.org/publicaciones/xml/9/22239/manual42.pdf

Organización para la Cooperación y el Desarrollo Económico


(2013). Informe de Maternidad en la niñez. Enfrentar el reto del
embarazo en adolescentes

Paz Pineda A., Ortegón Espadas, J., Candila Flores, C., Suárez So-
lís, W. & Jiméne Rodríguez, S. (2013). Diseño del Sistema de Segui-
miento y Evaluación del Estado de Yucatán. Maldonado Trujillo C. y
Galíndez Hernández C. (Eds). Monitoreo, Evaluaicón y Gestión por
Resultados. Aprendizaje y Cooperación Sur-sur para la innovación:
el papel de los actores subnacionales. CLEAR y CIDE

PNUD (2009)Manual de planificación, seguimiento y evaluación de


los resultados de desarrollo. USA: PNUD.

--- (2013)SIGOB Indicadores. Disponible en http://www.sigob.org/


guias/indicadores/!SSL!/Printed_Documentation/SIGOB_Indica-
dores_(Actualizado_al_14_de_Junio_2013).pdf

69
Liderando el Desarrollo Sostenible de las Ciudades

Rede Nossa Sao Paulo (2013) Disponible en http://www.nossasao-


paulo.org.br

Rojas, F (2007). “Monitoreo y evaluación a nivel subnacional” en


Hacia la Institucionalización de los Sistemas de Monitoreo y Eva-
luación en América Latina y el Caribe. II Conferencia Regional de
M&E. Banco Interamericano de Desarrollo BID, Banco Mundial.

Salcedo, R. (2011)Evaluación de políticas públicas. México: Siglo


XXI Editores, Biblioteca Básica de Administración Pública DF.

Sánchez Uzábal, A. (rev.)(2004)“Programa de agricultura urbana


(Rosario Argentina)” enCiudades para un futuro más sostenible.
Disponible en http://habitat.aq.upm.es/dubai/04/bp1297.html

Sanín, H. (1999) Control de gestión y evaluación de resultados en


la gerencia pública. (Metaevaluación y Mesoevaluación). Disponi-
ble en: http://unpan1.un.org/intradoc/groups/public/documents/
uneclac/unpan014539.pdf

--- (2011) Gestión Integral del Desarrollo Económico Territorial.


Módulo V Unidad 2. Gerencia de Proyectos. BID, INDES. Dispo-
nible en http://idbdocs.iadb.org/wsdocs/getdocument.aspx?doc-
num=35860425

Santamaría, L., J. Hortal, M. Rodríguez-Girones, F. Valladares y A.


Escudero (2013) “Cuando los elefantes luchan, sufre la ciencia” en
El Diario.es. Publicado el 17 de julio de 2013. Disponible en http://
www.eldiario.es/cienciacritica/CSIC-ministerio_de_economia-Car-
men_Vela-Lora-Tamayo-corralito-recortes-I-D-i_6_154394579.html

Secretaría de Planeación y Presupuesto. (2011). Construcción del


Sistema de Seguimiento y Evaluación en el Estado de Yucatpan
2007-2010. Disponible en http://www.coneval.gob.mx/coordina-
cion/entidades/Documents/Yucatan/eventos/conferencia_yuc.pdf

Silva Lira, I. (1990) Seguimiento físico-financiero de proyectos de


inversión: una metodología para el sistema de información de pro-
yectos. Instituto Latinoamericano y del Caribe de Planificación Eco-
nómica y Social ILPES. Disponible en http://biblioteca.cepal.org

SHCP, SFP y CONEVAL (2011)Guía para el diseño de indicadores


estratégicos. México: SHCP, CONEVAL.

Seisdedos, G. (2008) “Nosotras, las ciudades: estrategias urbanas


para una ética del cuidado o que hacer cuando mis proyectos es-

70
Seguimiento, Monitoreo y Evaluación de Proyectos, Programas y Políticas Públicas

trella se convierten en elefantes blancos” en Análisis Local. Núme-


ro 81, VI/2008.

Siempro y UNESCO (1999) Gestión integral de programas sociales


oreintada a resultados: Manual Metodológico para la planificación
y evaluación de programas sociales. Argentina: Fondo de Cultura
Ecónómica.

Semana (2013) “Los elefantes blancos de Bogotá” en Semana. Pu-


blicado el 21 de septiembre de 2013. Disponible en: http://www.
semana.com/nacion/articulo/los-elefantes-blancos/358380-3

Río Negro (2013) Brasil lucha contra fantasma de “elefantes blan-


cos” tras el Mundial en “Río Negro”. Publicado el 11 de junio
de 2013. Disponible enhttp://www.rionegro.com.ar/diario/bra-
sil-lucha-contra-fantasma-de-elefantes-blancos-tras-el-mundial-
1183661-9574-nota.aspx

Todd, P. y K. Wolpin (2006)Ex ante evaluation of social programs.


Universidad de Pensilvania. Disponible enhttp://www.stanford.
edu/group/SITE/archive/SITE_2007/segment_5/todd_exante-
jul2007.pdf

Transparencia Activa (2013)Puerto de La Unión se inauguró sin es-


tar listo para operar. Disponible en http://www.transparenciaactiva.
gob.sv/puerto-de-la-union-se-inauguro-sin-estar-listo-para-operar/

Vera, M., (editor) 2006. “Evaluación para el desarrollo social: apor-


tes para un debate abierto enAmérica Latina”. INDES, INAP, Real
Ministerio de Asuntos Exteriores, BID. Disponible en:http://issuu.
com/idb_publications/docs/book_es_6038

Zerraga, L. y M. Alvarado (2010) Sistema de Monitoreo, segui-


miento y evaluación.Viceministerio de Coca y Desarrollo Integral.
La Paz, Bolivia. Disponible en: http://www.vcdi.gob.bo/archivo-
paps/Sistema%20de%20Monitoreo%20&%20Evaluacion%20-%20
VCDI%20[3].pdf

Zimmerman, H. (1999) Tres mil historias de frases y palabras que


decimos a cada rato. Editorial Aguilar.

71

También podría gustarte