Evaluaciones de Gestión:

Evaluando el cómo en
lugar del qué.


ÍNDICE

IV. Evaluaciones de Gestión: Evaluando el cómo en lugar del

qué.

4.1.- ¿Qué es una evaluación de gestión? (2)

4.2.- Las evaluaciones de gestión vs. las evaluaciones de

política. (4)

4.3.- Evaluaciones de gestión en procesos. (14)

4.4.- Actividades complementarias al proceso existente. (24)

4.5.- Importancia de las evaluaciones de gestión. (35)

4.6.- Cómo identificar oportunidades de evaluaciones de

gestión. (38)

!1
!


4.1.- ¿Qué es una evaluación de gestión?

Una evaluación de gestión es aquella que mide el impacto de un
cambio en algún proceso o actividad de una institución (su gestión) y
que busca aumentar la efectividad de la misma. Para el logro de sus
objetivos, las instituciones ofrecen variados bienes y servicios.
Por ejemplo:
Una institución que recauda impuestos tiene como objetivo contribuir
a las finanzas públicas a través del fomento del pago voluntario de las
obligaciones tributarias por parte de empresas y personas. Y para
lograrlo puede: realizar actividades de cobro a contribuyentes con
deudas pendientes; ofrecer incentivos para el pago temprano de las
obligaciones; o diseñar procesos de gestión de cobro en línea.
Las escuelas tienen como objetivo formar ciudadanos educados y
productivos, y este objetivo se puede lograr a través de: la
contratación de docentes bien formados; o una dotación física y
tecnológica adecuada; o un diseño curricular educativo moderno y
pertinente.
Detrás de cada uno de estos servicios, hay una multiplicidad de
actividades y procesos que las instituciones deben realizar, y que a
menudo no son visibles para los beneficiarios finales de las políticas y
programas. A continuación tomaremos uno de los bienes y servicios
!2
!


mencionados en los dos ejemplos anteriores para explicar algunos

procesos.
En cuanto a las actividades de cobro a los contribuyentes, las
agencias tributarias deben decidir si contactan a los contribuyentes
morosos personalmente, telefónicamente o a través de
comunicaciones escritas. De igual forma, deben decidir qué
contenido deben llevar las comunicaciones.
Por su parte, las escuelas pueden contratar docentes bien formados.
Para ello, la escuela debe decidir si utiliza bonos para atraer a
docentes con estudios de post-grado o si ofrece becas para que los
docentes que ya se encuentran en los establecimientos aumenten su
nivel de educación.
Si las instituciones tienen éxito con estas actividades, como
ciudadanos veremos en un caso, mayor recaudo y cumplimiento
tributario, y en el otro caso, un mejor rendimiento escolar. Pero como
ciudadanos, difícilmente habremos visto las decisiones y procesos
que tuvieron que realizarse para el logro de los objetivos
institucionales.
Por lo tanto, tiene una enorme importancia para las instituciones
garantizar que estos procesos se realizan de la forma más eficiente
posible, porque su efectividad como institución no solo depende de
qué actividades hacen, sino también de cómo se hacen esas

!3
!


actividades y cómo se mejora su funcionamiento a través de

actividades complementarias.
Cuando las instituciones hacen evaluaciones de impacto de estos
procesos o de las actividades complementarias con el fin de mejorar
la gestión de sus recursos, entonces estamos hablando de una
evaluación de gestión.
Las evaluaciones de gestión se concentran principalmente en las
actividades y procesos intermedios que realizan las instituciones, y
que no necesariamente tienen un beneficiario directo. Benefician a la
sociedad porque ayudan a mejorar la gestión de los bienes y
servicios, pero lo hacen indirectamente.
El objetivo en estos casos es determinar la mejor manera de realizar
los procesos intermedios, comparando varias alternativas de
implementación, o añadiendo pequeños cambios en la forma como
se ejecutan las actividades.

4.2.- Las evaluaciones de gestión vs. las evaluaciones de política.

La evaluación del programa Progresa (ahora Oportunidades) en
México fue una de las primeras evaluaciones donde se usaron
técnicas experimentales para medir el impacto de una política
pública. Entre otras cosas, se evaluó si una transferencia condicionada
en efectivo lograba mejorar la salud de los niños en zonas pobres de
México (Gertler y Boyce, 2001).
!4
!


Como vemos, Progresa es una política de inclusión social que tiene

unos beneficiarios finales muy bien definidos, que son las familias que
reciben la transferencia. Esta es una típica evaluación de política que
busca conocer el impacto que tiene el programa sobre las familias
beneficiadas. La gran mayoría de las evaluaciones de impacto son de
este mismo tipo.
Las evaluaciones que miden el impacto de cambios en los procesos o
actividades intermedias (gestión) son menos comunes en el ámbito
académico, aunque hay buenas excepciones, como lo son las
evaluaciones en temas tributarios.
Dado que los procesos internos de las instituciones suelen tener
menos visibilidad y pueden ser incluso secundarios en comparación
con los programas que afectan directamente a la población, hay
menos preguntas sobre su efectividad, y por lo tanto es normal que
haya menos evaluaciones de impacto. En las evaluaciones de gestión,
por lo tanto, el vínculo entre las instituciones y el equipo evaluador
tiene que ser muy cercano desde el principio para identificar el
proceso alrededor del cual se va a hacer la evaluación y diseñar la
misma.
En este módulo, queremos presentar una visión diferente en la que
las evaluaciones que giran alrededor de los procesos de la institución
tienen una importancia grande, y en donde su poca visibilidad

!5
!


representa quizás una oportunidad para evaluar su impacto, y no

necesariamente una desventaja.

La pregunta que responden

En las evaluaciones de política se quiere evaluar el impacto de ofrecer
algún bien o servicio o de realizar una actividad. En este caso, las
instituciones tienen un objetivo, y la evaluación consiste en determinar
en qué medida la actividad determinada ayuda a lograr el objetivo
institucional.

Por ejemplo:
● ¿Comunicarse con los contribuyentes aumenta la probabilidad
de que paguen sus obligaciones tributarias?
● ¿Docentes con mayor nivel educativo aumentan el aprendizaje y
el rendimiento escolar de los niños?

En las evaluaciones de gestión el énfasis está más bien en los

procesos intermedios y en determinar la mejor forma de llevar a cabo
esos procesos, con miras a mejorar la gestión de la institución.

!6
!


● Supongamos que se ha decidido que se dedicarán recursos a

aumentar la comunicación con los contribuyentes morosos. Una
pregunta diferente es: ¿Se realiza la comunicación por vía
telefónica, se hace presencialmente o se envían comunicaciones
escritas? Aquí el énfasis no está en determinar la efectividad de
la actividad (la comunicación), sino en determinar cuál es la
mejor forma de realizar esa comunicación.

● Estamos convencidos de que es necesario contar con docentes

con mayor nivel educativo. Esta es la pregunta de política. Una
pregunta de gestión alrededor esta política es: ¿atraemos a
nuevos docentes con un mayor nivel educativo u otorgamos
becas para que los docentes actuales adquieran un mayor nivel
de educación?

En las preguntas de gestión hay una intención clara de mejorar la

implementación de alguna actividad. 


En el módulo 3 vimos que la efectividad de un programa depende de

varios pasos intermedios que podemos identificar a través de un
ejercicio de teoría de cambio. Una manera de entender la distinción
entre las evaluaciones de política y las de gestión, es pensar que en el
primer caso, nos estamos concentrando en medir los impactos finales,
!7
!


mientras que en el segundo caso, nos concentramos en medir qué

tanto mejora la implementación del programa cuando realizamos
pequeños cambios en los procesos intermedios, con el fin de mejorar
estos procesos, que a su vez, esperamos aumenten los impactos
finales.

En el Diagrama 1, vemos que la evaluación de impacto trata de

determinar si una política o programa, implementado por una
institución dada, tiene o no impactos sobre los beneficiarios finales.
Hay una cantidad de procesos intermedios que determinan cómo es
que la institución elige y focaliza la política en un grupo de
beneficiarios y finalmente la implementa. Posteriormente, mide las
variables de impacto y determina si los beneficiarios fueron
impactados positivamente, negativamente o no recibieron impacto
alguno. Los procesos intermedios son parte del “paquete” de política
que se evalúa, pero no son el foco de la evaluación.

!8
!


Diagrama 1. Evaluaciones de políticas públicas

!9
!


Diagrama 2. Evaluaciones de gestión

!10
!


En el Diagrama 2, por su parte, vemos que alrededor de la política

que se evaluaba en el diagrama anterior, hay un énfasis en los
procesos que ocurren durante la implementación y entrega del bien o
servicio público a los ciudadanos. Estos procesos pueden o no tener
impactos sobre la implementación de la política, y las evaluaciones de
gestión se enfocan por lo tanto en cuantificar dichos impactos.

El usuario de la evaluación
En general, cualquier evaluación de impacto genera aprendizajes
sobre el impacto y sobre temas de implementación alrededor de las
actividades evaluadas, que son valiosos para las instituciones que
implementan, y quizás también para otras instituciones.
Las evaluaciones de gestión, en particular, tienen una utilidad
primordial para los implementadores porque a través de ellas se
busca, explícitamente, generar conocimiento que permita introducir
modificaciones en las actividades que hace la institución. De esta
forma, aunque los resultados pudieran ser interesantes para externos,
en general, al ser muy específicos a la institución generan menos
interés y expectación fuera de la misma.

!11
!


Las evaluaciones de política, por el contrario, tienen un grupo de

usuarios potenciales mucho mayor ya que por lo general, atienden a
problemas fundamentales de la política pública y del desarrollo, y
afectan directamente las necesidades de la ciudadanía.
En el Módulo 2 se mencionó que cuando los resultados de una
evaluación de impacto se pueden extrapolar a un contexto diferente,
la misma tiene validez externa, lo que hace que los resultados puedan
ser aprovechados no solo por los implementadores de la política
evaluada, sino por externos que también podrían aprender de ella
para el diseño y ejecución de sus propias políticas. Las evaluaciones
de política pueden o no tener validez externa, y esto se determinará
en cada caso dependiendo de las características del programa
evaluado. Sin embargo, las evaluaciones de gestión por lo general
suelen tener menor validez externa porque se enfocan en procesos
que son muy específicos a las instituciones y que son difícilmente
replicables en otros contextos.
El contenido del mensaje o el canal que se utilice para enviar la
comunicación son decisiones importantes para la institución dado que
afectan su efectividad en el cobro de impuestos, y la eficiencia en el
uso de recursos. Sin embargo, para el público en general, estos
procesos carecen de interés, al contrario de lo que sucedería por
ejemplo, si la institución cambiara las penalidades por incumplimiento
en el pago.

!12
!


Estas diferencias en el público potencial de interesados en los

resultados, tienen implicaciones importantes sobre los incentivos para
realizar un tipo de evaluación u otro. Las evaluaciones de política son
muy públicas y por lo tanto, suponen un riesgo reputacional para la
institución que las realiza, mientras que las evaluaciones de gestión, al
tener un público interesado más restringido, pueden ser más
atractivas dado que generalmente suponen un bajo riesgo
reputacional.
Los cambios en procesos y actividades requieren por lo general,
reasignar recursos que ya se estaban usando en la institución para
fines adicionales. En otros casos, el costo de implementar estos
cambios es muy bajo en comparación con la cantidad de recursos que
manejan las instituciones implementadoras. Por el contrario, un nuevo
programa (un nuevo bien o servicio público) requiere recursos
adicionales que dependiendo de la magnitud de lo que se quiera
implementar, pueden ser cuantiosos.
Lo anterior pone de relieve el hecho de que implementar un cambio
de proceso y evaluar su efecto puede ser menos costoso que
implementar un cambio de programa o de política y evaluar su
efecto. Por lo tanto, en la mayoría de los casos, sujeto a la factibilidad
técnica, a veces una evaluación de gestión es mucho más factible de
implementar que una de política.

!13
!


La agencia tributaria podría considerar un cambio en la legislación

para medir el impacto de aumentar las penalidades por el pago tardío
de las obligaciones tributarias. Naturalmente, un cambio como este
puede tomar tiempo y algo de capital político. Una evaluación de
gestión, en la que se mide el impacto de enviar correos electrónicos
en vez de enviar a los funcionarios a hacer la cobranza personalmente,
sería más fácil de promover porque no necesariamente utilizará
recursos adicionales, sino que en el peor de los casos, implicará
reasignar recursos de una actividad a otra.

4.3.- Evaluaciones de gestión en procesos.

Mejorando el proceso de investigación criminal en Colombia

La investigación criminal es una de las actividades principales de la rama
judicial y los servicios de investigación. En todos los casos el resultado de
la investigación depende de la capacidad de recolectar, guardar, procesar
y analizar material relevante de manera efectiva. La correcta gestión de
estos procesos permite concluir que se cometió un crimen y atribuir la
responsabilidad del mismo de manera creíble y oportuna.
Dadas las bajas tasas de imputación en los casos de homicidios, la Fiscalía
General de la Nación (FGN) de Colombia decidió analizar el proceso de
investigación de este tipo casos con el fin de identificar posibilidades de

!14
!


mejora en la organización de los recursos que condujeran a un proceso de

investigación más efectivo.
En un estudio para la Fiscalía, Bernal y La Rota (2014) identificaron dos
factores que afectan la continuidad del proceso de investigación y su
resultado:
● Existencia de múltiples funcionarios en diferentes etapas del
proceso de investigación bajo un liderazgo difuso; y
● Retrasos derivados de la constante reasignación del caso
entre distintos fiscales.

Lo anterior podría estar causado por el hecho de que no hay una persona
o grupo de personas que lideren de forma única la investigación desde su
inicio.
En función de este análisis, la FGN decidió reestructurar el proceso de
investigación buscando evitar la pérdida de información entre las distintas
fases del mismo. Principalmente, se decidió que cada caso se iba a asignar
a un equipo de investigación que lideraría el proceso de principio a fin.
En comparación con el proceso normal, los cambios más importantes
fueron:
● El equipo del laboratorio criminalístico sabe desde el
momento en que van a la escena del crimen, quién es el fiscal

!15
!


asignado al caso. Esto permite que haya comunicación desde

el principio, para recibir directrices o proveer información.
● Un único fiscal es responsable del proceso de investigación
desde los actos urgentes hasta la acusación.
● El fiscal se puede reunir en cualquier momento con su equipo
para discutir la estrategia de investigación y las hipótesis
criminales.
● En el momento de la acusación el caso se transfiere a otro
fiscal de la Unidad Vital, para que este se encargue del
proceso de judicialización. El objetivo de este cambio es que
el fiscal inicial se concentre solo en el proceso de
investigación.

Antes de escalar este nuevo proceso a todos los casos de investigación de

homicidios, la FGN con el apoyo de la CAF, decidió realizar una evaluación
de impacto rigurosa para determinar si el nuevo proceso de investigación
era más o menos efectivo que el anterior en resolver los casos de
homicidios en Bogotá.
Para responder a esta pregunta, se diseñó un experimento donde el 66%
de los 1.683 casos de homicidios ocurridos en Bogotá durante 2.016, fue
asignado al nuevo procedimiento y el resto al procedimiento de
costumbre.

!16
!


Transcurrido el año de implementación, se comparó el desempeño de los

casos atendidos bajo cada tipo de procedimiento. La conclusión principal
fue que la estructuración de equipos investigativos sin rotación de sus
miembros parece ser un factor importante en la calidad de las
investigaciones de homicidio, evitando problemas de comunicación,
pérdida de información y fragmentación del liderazgo.
Algunos resultados específicos importantes:
● La nueva estructura mejoró los resultados iniciales de la
investigación. Tanto el conjunto de acciones investigativas
mínimas como los procedimientos y pruebas forenses
aumentaron.
● El grupo de tratamiento se demora 17 días más para realizar
una imputación, pero esto no retrasa el escrito de acusación.
Esto es consistente con un análisis inicial más detallado, que
toma tiempo, pero mejora la calidad de la imputación, de
modo que el escrito de acusación se hace más rápido.

Esta evaluación de gestión parte de haber detectado la necesidad de

mejorar la efectividad del proceso de investigación de homicidios, y de
haber dedicado recursos a analizar el problema e identificar posibles
causas. Sus resultados permitieron a la FGN aprender sobre sus procesos y
sobre posibles cambios a los mismos con el fin de mejorar su gestión.

!17
!


La necesidad de probar los cambios en un piloto antes de escalarlos a

todo el país, la disponibilidad de datos administrativos y la disposición de
la FGN para realizar una asignación aleatoria, abrieron la oportunidad de
generar aprendizajes rigurosos y de gran utilidad para la institución.

¡Tan sólo un clic! Minimizando las barreras para aumentar la

recaudación tributaria
El cobro de impuestos es una actividad fundamental para el sector
público, particularmente para los gobiernos locales. Los ingresos
obtenidos a partir de la recaudación representan un porcentaje no
despreciable de los ingresos totales de estos gobiernos. Sin embargo, la
tasa de morosidad ha sido tradicionalmente muy alta, limitando la
capacidad de acción del sector público. Entonces, ¿cómo podemos lograr
un cambio en el comportamiento de los ciudadanos para aumentar la
recaudación tributaria?
En el año 2017 el Servicio Desconcentrado de Administración Tributaria
del Municipio Sucre (SEDAT) junto con la CAF, decidió iniciar un proceso
para identificar qué cambios o actividades adicionales e innovadoras
podrían realizarse con el fin de disminuir la morosidad en el municipio.
Después de un análisis de los patrones de morosidad y de revisar la
evidencia existente sobre la efectividad de distintas opciones de política,
se decidió realizar algunas pruebas dirigidas a alterar el comportamiento
de los contribuyentes a través de pequeños empujones (“nudges”). El
!18
!


comportamiento deseado (pagar los impuestos) implica costos en

términos de tiempo y dinero y posiblemente ninguna contraprestación
visible en el corto plazo para el ciudadano. Por lo tanto, es fundamental
identificar y limitar las barreras que reducen la probabilidad de que el
comportamiento se realice.

Bajo la premisa de que es posible disminuir la morosidad facilitando el

proceso de pago, se decidió introducir algunos cambios en el
procedimiento y medir su efectividad:

1) Probar nuevas vías de comunicación con los contribuyentes

para informar sobre los saldos pendientes y las fechas límite de
pago, así como para ofrecer información sobre alternativas de
pago y vínculos a sitios de las preguntas más frecuentes.

2) Incluir en los correos un botón de pago a través del cual los

ciudadanos podían cancelar su deuda inmediatamente. De
esta forma, se estaba ofreciendo una alternativa de pago a los
contribuyentes que permitió disminuir el esfuerzo que estos
debían realizar para pagar

Las fricciones existentes

!19
!


Para pagar el impuesto sobre vehículos en el Municipio Sucre en Caracas,

los ciudadanos tienen tres métodos de pago disponibles (1) pagar online
con tarjeta de crédito a través de la oficina virtual del SEDAT, (2) en un
banco autorizado o (3) directamente en las oficinas del SEDAT con tarjeta
de débito o crédito.

Todas las opciones de pago vienen acompañadas de costos de

transacción que los ciudadanos deben asumir para poder pagar el
impuesto, lo que disminuye la probabilidad de que efectivamente lo
hagan. Es fácil identificar alternativas que son menos costosas que otras,
sin embargo, la falta de información sobre su existencia, se convierte en
una barrera adicional que disminuye su uso y efectividad.

Una solución a dos tiempos: simplificar y recordar

En este contexto, el SEDAT, con el apoyo de CAF, diseñó una intervención
que consistió en determinar la efectividad del envío de notificaciones de
cobro por correo electrónico y anuncios publicitarios en Facebook sobre el
nivel de recaudación del impuesto sobre vehículos.
A través de este experimento, la institución buscaba responder las
siguientes preguntas (1) ¿Los correos electrónicos masivos incrementan la
recaudación del impuesto de vehículos en el Municipio Sucre? (2) ¿La
publicidad en Facebook, dirigida a audiencias específicas, incrementa la
recaudación del impuesto de vehículos en el Municipio Sucre?
!20
!


A partir de una muestra de 6.183 contribuyentes morosos, se asignaron

aleatoriamente a los siguientes grupos de igual tamaño:

Correos electrónicos: los contribuyentes asignados a este grupo recibieron

un correo personalizado que informaba sobre la deuda, la fecha límite de
pago y la información de la(s) cuenta(s) de vehículo(s). El correo incluía un
botón de pago, las instrucciones para pagar, un hipervínculo a las
preguntas frecuentes en la página del SEDAT y un mensaje disuasivo
acompañado por una imagen que reforzaba el mensaje.
Este correo cumplía dos grandes funciones (1) servir de recordatorio y (2)
disminuir las fricciones asociadas al proceso de pago. En particular, la
inclusión del botón de pago ofrecía a los contribuyentes la posibilidad de
cancelar su deuda sin necesidad de movilizarse o acceder a páginas
adicionales. Este elemento buscó minimizar las barreras para aumentar la
probabilidad de que los contribuyentes pagaran efectivamente el
impuesto.

!21
!


Anuncio en Facebook: el anuncio incluía la fecha límite de pago, un

mensaje disuasivo, una imagen que reforzaba el mensaje y un
hipervínculo que dirigía a los contribuyentes a la página del SEDAT.
Con el uso del correo de los contribuyentes asignados a este grupo,
se creó una audiencia específica a la cual estaba dirigida esta
campaña.
Anuncio en Facebook y correo: este grupo recibió ambos
tratamientos mencionados anteriormente.
Control: no recibió ningún tipo de intervención.

Pequeños cambios con grandes impactos

La intervención tuvo una duración de 20 días, después de los cuales fue
posible calcular los resultados a partir de los datos administrativos
facilitados por el SEDAT (ID, deuda, monto del pago, fecha y método de
pago) y las tasas de apertura y lectura de los correos.
Los datos obtenidos indican que los contribuyentes que recibieron el
correo tuvieron una probabilidad 6 veces mayor de pagar que el grupo
control, cuyo porcentaje fue cercano al 2%. Por su parte, el anuncio en
redes sociales complementó el efecto de los correos masivos, al aumentar
la probabilidad de pago en 2 puntos porcentuales, con una probabilidad
de pago 7 veces mayor al grupo control.
Los contribuyentes que recibieron el correo tuvieron una probabilidad tres
veces mayor de pagar en línea que el grupo control. Además, la
!22
!


probabilidad de utilizar el método online fue significativamente mayor que

los otros métodos (entre 2 y 3 puntos porcentuales) para aquellos
contribuyentes que recibieron el correo. Estos resultados resaltan la
incidencia del botón de pago en la disminución de barreras y por ende en
la probabilidad de cancelar la deuda.

Superando retos y sumando aprendizajes a la gestión tributaria

La intervención permitió incluir un proceso de pago alternativo a los
tradicionalmente ofrecidos por la institución. Para ello fue fundamental
desarrollar las capacidades internas necesarias para poder realizar, de
forma efectiva, las actividades enmarcadas en esta intervención.
Esto representó un gran reto, ya que, el funcionamiento incorrecto de los
elementos claves del correo (personalización, botón de pago e
hipervínculos) podría generar reclamos e inconformidad por parte de los
contribuyentes, una consecuencia contraria al objetivo deseado y, por
demás, contraproducente.
Además, la evaluación vino acompañada de muchas externalidades
positivas para la gestión tributaria; entre ellas, permitió simplificar el
proceso de pago y disminuir las fricciones, enviar notificaciones de cobro
como solución a otros impuestos y, finalmente, permitió priorizar las
estrategias de cobro, enviando correos como primera línea de defensa y
luego estrategias más costosas (como visitas de los fiscales), dirigidas a
aquellos contribuyentes que permanecen morosos.
!23
!


Esta intervención representa un ejemplo de una evaluación de gestión

porque tuvo como fin aumentar la recaudación tributaria por medio de la
implementación de un cambio en el proceso de pago. La inclusión del
botón de pago buscó generar un cambio en el comportamiento de los
ciudadanos a través de la simplificación del proceso y la minimización de
las barreras existentes, y el envío de correos y anuncios por Facebook
permitió pilotar una forma alternativa de enviar información a los
contribuyentes con el fin de agilizar el cumplimiento de las obligaciones.

4.4.- Actividades complementarias al proceso existente.

Un “empujón” para aumentar las inscripciones en un programa público

en Argentina
En el año 2013 la Ciudad de Buenos Aires, Argentina, experimentó un
aumento en el índice de mortalidad infantil: pasó de 6,7 por mil nacidos
vivos a 8,5 por mil nacidos vivos. Para hacer frente a esta situación, surge
el programa social "Red Primeros Meses" pues el Gobierno de la Ciudad
logró identificar que existen algunas causas de este fenómeno que
pueden ser evitadas con controles médicos oportunos.
La Red Primeros Meses (RPM) tiene el objetivo de garantizar la salud, tanto
de las mujeres como de los bebés, a través del otorgamiento de una
transferencia a madres y embarazadas condicionada a que asistan a todos
sus controles médicos durante el embarazo y el primer año del bebé. El
!24
!


Gobierno ha identificado, sin embargo, un problema en la adherencia al

programa por parte de mujeres en situación de vulnerabilidad, ya que
solamente 23% de la población potencialmente elegible para el programa
está inscrita en la Red. Por tanto, el programa está dejando de atender
una fracción importante de la población para la cual fue diseñado y para la
cual hay recursos públicos disponibles y subutilizados.
Para fortalecer el alcance y aumentar la inscripción de madres en la Red, el
Gobierno de la Ciudad de Buenos Aires, con el apoyo de la CAF, inició un
proceso para analizar su funcionamiento e identificar innovaciones útiles.
Con el fin de investigar acerca de posibles intervenciones a evaluar, el
equipo de CAF decidió profundizar más en las causas de las bajas tasas de
inscripción: ¿por qué las potenciales beneficiarias no se inscriben en la
RPM? Para responder esta pregunta, se realizó un estudio cualitativo que
contemplaba grupos focales tanto con madres y embarazadas ya inscritas,
para tener su perspectiva sobre cómo se enteraron del programa y por
qué se inscribieron; como con madres y embarazadas no inscritas (pero
elegibles al programa), para conocer sus necesidades y explorar el
atractivo del programa RPM para ellas.
Los resultados de esta investigación cualitativa señalaron como principal
obstáculo la falta de comunicación acerca de la existencia del programa y
sus beneficios. Asimismo, las participantes presentaron opiniones diversas
en relación a si consideraban más importantes los beneficios económicos

!25
!


del programa (hasta ARS 3.000) o los no económicos (ejemplo: más salud
y protección al bebe y embarazada).
A partir de la reflexión con equipo del Gobierno y de los resultados de la
evaluación cualitativa, se diseñó una intervención basada en la difusión de
información de la RPM y sus beneficios a las potenciales beneficiarias, para
aumentar las tasas de inscripción. Para tal fin, se decidió enviar mensajes
vía Whatsapp, ya que en los grupos focales se señaló esta herramienta
como la más utilizada por el programa. Por otro lado, se decidió evaluar la
efectividad de dos tipos de mensajes al momento de incentivar a las
personas a inscribirse en la RPM, uno enfocado en los beneficios
económicos del programa, y otro en sus beneficios no económicos.
Con los datos administrativos, se identificaron 7.834 hogares utilizando
como criterio de selección el hecho de no tener algún miembro inscrito en
la RPM y de poseer al menos una embarazada, madre o mujer entre 12 y
49 años (edad fértil).
Se prosiguió entonces a dividir la muestra en tres grupos de evaluación:
• Grupo de mensaje enfocado en beneficio económico: 2.610
hogares.
• Grupo de mensaje enfocado en beneficio no económico:
2.613 hogares
• Grupo de control: 2.611 hogares.
Los mensajes contemplarían aspectos conductuales que motivaran y
facilitaran la acción deseada (inscribirse en la RPM). De estos, se destacan
!26
!


aspectos como personalizar el mensaje, indicar claramente los pasos a

seguir, hacerlo atractivo (se incluyeron emojis e imágenes adjuntas) y fácil
de leer (corto en longitud). Cada uno de estos componentes se adaptaba
al grupo de evaluación respectivo, por ejemplo, si el mensaje era del
grupo de beneficio económico, el texto indicaba claramente la
oportunidad de obtener recursos financieros al inscribirse. En total, se
enviaron 10 mensajes a cada grupo de evaluación, por un periodo de 5
semanas.

!27
!


Ejemplo de mensajes (grupos beneficio económico y grupo no económico)

Para verificar el impacto de los mensajes, podrá constatarse a través del

registro de beneficiarias de la RPM, quiénes se han inscrito y si han
recibido las transferencias. Además, se explorará la posibilidad de analizar
en qué medida las usuarias están cumpliendo con los controles, a cuántos
han ido y si lo han hecho a tiempo, según el grupo de evaluación al que
estén asignadas.
Los resultados de esta evaluación de impacto tendrán implicaciones
importantes para el Gobierno de Buenos Aires y su estrategia de difusión
de la RPM. Primero, se podrá identificar si existe un efecto diferenciado
entre los dos tipos de mensaje y, en caso de ser así, se podrán alinear las
comunicaciones actuales al enfoque más efectivo (centrarse en beneficios
económicos o no económicos) o incluso conocer si los mensajes resultan
ser algo efectivos respecto al grupo de control.
Asimismo, los aprendizajes pueden ser de fácil adopción por parte del
Gobierno, al tratarse de una intervención de bajo costo y con lineamientos
comunicacionales ya propuestos por CAF.
Por último, se podría esperar que, si más mujeres se inscriben en la RPM,
esto se pueda traducir en mejores resultados en indicadores de salud de
!28
!


las embarazadas y sus bebés, por lo que se podría realizar un seguimiento

de estos impactos en el mediano/largo plazo con información
administrativa que sea proporcionada por el Gobierno.
En esta evaluación de gestión se busca identificar una estrategia efectiva
para aumentar la inscripción a un programa de transferencias
condicionadas a través del envío de información. Sus resultados pueden
ayudar al equipo del programa de la RPM a mejorar el funcionamiento del
mismo aumentando su alcance de una forma poco costosa y novedosa.
Entre otras cosas, la evaluación fue posible gracias a la existencia de datos
administrativos detallados, y al bajo riesgo reputacional que supuso para
los administradores del programa enviar información de estímulo a las
familias focalizadas.

Racionalización de trámites en Colombia

En Colombia, el Departamento Administrativo de la Función Pública
(DAFP) es la institución que tiene la responsabilidad de promover la
racionalización de todos los trámites que se ofrecen en el Sistema Único
de Información de Trámites (SUIT).
El SUIT tiene tres objetivos primordiales:
1. constituirse como la única fuente válida de información de los
trámites que las instituciones del Estado ofrecen a la ciudadanía;

!29
!


2. promover el uso de las tecnologías de la información y las

comunicaciones (TIC) para facilitar el acceso de la ciudadanía a la
información y ejecución de los trámites; y
3. promover una mayor eficiencia en la gestión de las entidades,
de modo que puedan proporcionar respuestas ágiles ante las
solicitudes de la ciudadanía en lo que respecta a la gestión de los
trámites que ofrecen.
Por tanto, el SUIT resulta ser una herramienta de gestión que promueve y
garantiza una mayor cercanía y transparencia en las relaciones entre el
gobierno y los ciudadanos.

Diagnóstico y problemática
La política de racionalización de trámites, busca tener los trámites
registrados dentro del sistema de información SUIT para agilizar los
procesos para los ciudadanos, pero el avance promedio de las entidades
en este proceso es de aproximadamente 39%; lo que quiere decir que, en
promedio, los entes registrados en el SUIT han inscrito alrededor de 4 de
cada 10 trámites que se encuentran dentro de su inventario.
Adicionalmente, dentro de las fases de inscripción, la mayoría de los
trámites que ya han iniciado su registro se encuentran en fases iniciales.
Por este motivo, la DAFP decidió buscar el apoyo de la CAF con el fin de
identificar actividades innovadoras que permitieran aumentar la tasa de
registros y mejorar el funcionamiento del SUIT.
!30
!


En primer lugar, con objetivo de identificar los principales problemas

asociados con el registro de trámites, entender mejor el proceso de
racionalización y las acciones implementadas para mejorarlo y caracterizar
a las entidades que conforman la muestra, se decidió llevar a cabo una
etapa de diagnóstico a través de técnicas de carácter cuantitativo y
cualitativo.
En lo que respecta al análisis cuantitativo, se revisaron y analizaron a
profundidad el compendio de datos administrativos provistos por el DAFP,
y así se identificaron aspectos como las tasas de avance de las entidades
en el registro de sus trámites, la duración y el número de trámites en cada
una de las fases del registro, el tipo de entidades que avanzan más y sus
características, entre otros aspectos de relevancia.
El análisis cualitativo estuvo basado en un grupo focal dirigido a los ocho
asesores de política que trabajan en el DAFP, allí se discutieron los
siguientes temas:
● Conocer a fondo el funcionamiento de la política de
racionalización desde la perspectiva de los asesores
● Caracterizar y entender el esquema de trabajo de los
asesores,
● Indagar sobre las principales causas de los retrasos en el
registro de trámites

!31
!


● Identificar algunas estrategias ya empleadas por los

asesores y la manera cómo estos interactúan e incentivan a las
entidades a avanzar con el registro de sus trámites.
De este trabajo se pudo concluir de manera general que las instituciones
no avanzan en sus trámites por: cambios frecuentes en administradores del
SUIT dentro de las entidades, falta de capacidades (personal disponible)
dentro de las entidades para llevar a cabo registros.
Esta experiencia de complementar el trabajo cuantitativo y cualitativo fue
valiosa para el diseño de la intervención a evaluar y para fortalecer el
trabajo en equipo que se estaba llevando a cabo en la DAFP. Así mismo,
brindó luces sobre las posibles razones por las cuales no se estaba
cumpliendo con el objetivo de registro de trámites del Gobierno.
Dentro del marco de uso de la información como mecanismo para mejorar
los esquemas de gestión pública, la intervención tenía por objetivo
encontrar diversos mensajes y/o piezas de comunicación que
promovieran, tanto el registro de los trámites en el SUIT, como su calidad.
Basado en la comunicación tradicional que realizaba la DAFP se diseñó un
mensaje disuasivo y otro comparativo. El primero buscaba alertar al ente
de los posibles costos económicos y legales que se tienen al no cumplir
con el registro de trámites. Por su parte, el mensaje comparativo busca
replicar un “comportamiento manada” mostrando algunas entidades con
alto avance en su registro de trámites para tratar de promover este buen
ejemplo.

!32
!


El aspecto más importante, el mensaje disuasivo, hacía referencia a la

posibilidad de que los ingresos de la entidad disminuyeran si los
ciudadanos se abstenían de realizar pagos dado que el trámite no estaba
presente en el SUIT.
En el caso del mensaje comparativo o de “comportamiento manada”, se
destacó, entre otras cosas, la existencia de 664 entidades en toda
Colombia que habían registrado 8 de cada 10 trámites ofrecidos a la
ciudadanía.

Población estudiada y recolección de información.

El universo de entidades públicas en Colombia supera las 7.000
instituciones, sin embargo, la muestra para el estudio está conformada por
2.794 entidades territoriales y nacionales que, antes del envío de los
mensajes, son las que se encuentran registradas en el SUIT y poseen
información de contacto.
Dentro de estas 2.794 instituciones se tienen 122.295 trámites. Definimos
a las instituciones como nuestra unidad de tratamiento para llevar a cabo
la intervención. De esta forma las instituciones se dividieron
aleatoriamente en 3 grupos.
Una intervención a nivel de trámite va a generar problemas de
contaminación/derrame para otros trámites dentro de una misma
institución. De la misma forma podríamos pensar que las instituciones
dentro de un municipio intercambian información, pero creemos que este
!33
!


problema es menor y sopesamos tener un mayor tamaño de muestra para

nuestra intervención, por esta razón la unidad de aleatorización es la
institución.
Al contar con una selección aleatoria de un tamaño relativamente grande
se obtienen tres grupos idénticos en características observables y
presumiblemente también los son en características no observables. El
primer grupo recibió un mensaje de carácter disuasivo, el segundo recibió
un mensaje de carácter comparativo y el tercero, como grupo de control,
no recibió comunicación.
Este grupo de control es el que permitirá conocer las tasas de avance y la
calidad del registro de las entidades en ausencia de la intervención o del
recibimiento de cualquier tipo de comunicación de parte del DAFP.
Este diseño de corte experimental permitirá contestar a la pregunta de si
el envió de mensajes disuasivo y comparativo ayuda a aumentar el registro
de trámites de las instituciones públicas tratadas respecto a las no tratadas
o control.
Cualquier diferencia encontrada entre el grupo que recibe comunicación
(ya sea la disuasiva o la comparativa) y el grupo de control, en términos de
las tasas de avance y de las otras variables de interés del estudio, se
deberá única y exclusivamente al efecto de la comunicación sobre las
entidades y no a otro factor externo que pudiera incidir también en tales
variables.

!34
!


Asimismo, las diferencias entre el grupo que recibe la comunicación

disuasiva y el grupo que recibe el mensaje comparativo, permitirán
determinar cuál de los dos mensajes es más efectivo en impulsar a las
entidades con el registro de sus trámites, así como en la calidad de dicho
registro.
Todos los resultados intermedios y variables de impacto para esta
evaluación han sido organizados de la información administrativa
recopilada por el SUIT. Mensualmente se puede generar un cierre de
información sobre los diferentes indicadores y de esta manera se puede
mirar la evolución de los indicadores a lo largo del tiempo. Esto resulta
muy importante para entender si los efectos de la intervención son
permanentes o se van diluyendo en el tiempo.
Esta es una evaluación de gestión y no se considera una evaluación de
política debido a que la intervención que se dio fue un envío de mensajes
diferenciado, incorporando una modificación a los procesos de contacto
que tradicionalmente estaba llevando a cabo la Función Pública. Esta
intervención buscaba mejorar la manera de realizar los procesos
intermedios, comparando varias alternativas de implementación, como
son los mensajes disuasivos y comparativos.

4.5.- Importancia de las evaluaciones de gestión.

Cada instancia de implementación de una iniciativa es una oportunidad
para aprender sobre su efectividad para alcanzar el objetivo que se
!35
!


propone. En principio, desde el punto de vista del bienestar social,

siempre es deseable tener mejor conocimiento sobre el impacto de las
iniciativas. Sin embargo, esta no es la única consideración de un
formulador de políticas al decidir si somete alguna de sus iniciativas a un
escrutinio metódico, especialmente si tiene un interés político inmerso en
las iniciativas.
Partiendo de la base de que el formulador de políticas públicas está
motivado, hasta cierto punto, por un interés electoral o político, decidir
poner una iniciativa bajo la lupa de analistas implica ciertos riesgos:
● descubrir problemas básicos en la implementación de los
programas
● mostrar que el programa tiene efectos menores de lo que se
esperaba o de lo que las autoridades prometían e incluso efectos
contraproducentes.

En estos escenarios, generar conocimiento tiene un costo en términos de

reputación y de apoyo político. Por otra parte, si la evaluación muestra
resultados positivos el beneficio político también puede ser muy grande.

En suma, someter una iniciativa a un escrutinio metódico tiene grandes

beneficios potenciales pero también grandes riesgos, y el formulador de
políticas decidirá en cada caso implementar una nueva intervención y
evaluar dependiendo de su expectativa sobre los mismos.

!36
!


Cuando la evaluación se percibe como más riesgosa o menos provechosa

desde el punto de vista político, será menos probable que el formulador
de políticas decida implementarla. Para incrementar el atractivo de las
evaluaciones de iniciativas públicas es entonces necesario, entre otras
cosas, minimizar el costo político de llevarlas a cabo.
Las evaluaciones de gestión son menos riesgosas (políticamente), y por lo
tanto, su factibilidad institucional puede ser mayor.
Por ejemplo, si un ente público decide implementar un esquema de pago
por desempeño para sus empleados y lleva a cabo un experimento para
medir cuantitativamente la efectividad de la medida, no es claro que el
riesgo al que se enfrenta sea electoral, al menos en una primera instancia,
lo que podría aumentar la disposición a implementar el esquema de pago
por desempeño y evaluarlo.
De esta forma, las evaluaciones de gestión, al ser potencialmente menos
riesgosas, pueden ser más atractivas para las instituciones, lo que puede
llevar a que se hagan más evaluaciones de impacto de programas
públicos. Más evaluaciones de gestión implica por un lado que las
instituciones están utilizando su propia experiencia para generar
aprendizajes que las pueden ayudar a mejorar la gestión de sus recursos,
lo que debería redundar eventualmente en mejores bienes y servicios
públicos.
Por otro lado, más evaluaciones de gestión implica que hay más
instituciones involucradas en el mundo de la evaluación de impacto,

!37
!


intercambiando experiencia entre ellas, y pavimentando el camino hacia

una cultura de gestión pública donde el monitoreo, la evaluación y el
aprendizaje constantes son práctica común y poco riesgosa, en general.

4.6.- Cómo identificar oportunidades de evaluaciones de gestión.

En principio, una evaluación de gestión es posible siempre que se quiera
mejorar un proceso o se quiera introducir una actividad complementaria a
lo que ya hace la institución. Sin embargo, quisiéramos destacar algunos
elementos que podrían ayudar a identificar cuándo estamos ante la
posibilidad de evaluar el impacto de una iniciativa de gestión.

1. Posibilidad de modificar procesos:

Independientemente de si la política actual cumple con sus objetivos,
siempre hay espacio para mejorarla. Si se revisa el proceso de
implementación, es posible identificar cambios que potencialmente
podrían mejorar los resultados. Si probar estas alternativas no implica
grandes costos, ¿por qué no evaluar el impacto de las diferentes
alternativas de implementación para así saber cuál es la más efectiva?
Cuando en una política es posible logísticamente introducir un cambio,
realizar una evaluación de impacto es más viable, además, políticamente
puede ser aún más factible hacer la evaluación, ya que si el cambio es
menor habrá menos resistencia.



Ejemplo: el patrullaje policial normalmente consiste en asignar a equipos
!38
!


de policías a que patrullen ciertas áreas de la ciudad, a ciertas horas del

día. Sin embargo, comúnmente existe poca estructura acerca de cómo
debe ser la rutina de patrullaje y sobre qué deben hacer los policías
cuando estén estacionados en algún lugar. Esta situación ha dado paso al
patrullaje de puntos calientes que da algo más de estructura al patrullaje
ordinario, planificando con detalle dónde tienen que estar las patrullas,
cuánto tiempo y que deben hacer los policías en cada punto donde
patrullan. Además, el patrullaje de puntos calientes selecciona con
criterios muy específicos qué puntos de la ciudad se van a patrullar, en vez
de permitirle a los policías rodar aleatoriamente por las calles. Aquí,
claramente hay un cambio de proceso que podría evaluarse sin demasiado
costo para la institución y que puede arrojar respuestas realmente útiles
para la gestión de los recursos policiales.

2. Posibilidad de agregar, a bajo costo, actividades innovadoras

complementarias:
En la cadena de eventos que tiene que ocurrir para que una política
cumpla con su objetivo, usualmente se pueden identificar algunas
actividades innovadoras de bajo costo que podrían aumentar la
efectividad de la política. Esta es una excelente oportunidad para realizar
una evaluación de impacto, dado que podrían identificarse cambios con el
potencial de aumentar la efectividad de la política, sin que esto suponga

!39
!


un cambio drástico en la forma en que ya se está implementando la

misma.

Ejemplo: como vimos arriba, la efectividad de la política de transferencias

condicionadas para aumentar los controles pre- y post- natales en el
programa Red Primeros Meses de Argentina, depende crucialmente de
que las familias beneficiarias potenciales estén enteradas de la existencia
del programa y de sus requisitos y procedimientos. De lo contrario, el
programa llegaría a una fracción menor de la deseada y no tendría el
impacto deseado de aumentar los controles sobre la población total.
Alrededor de este obstáculo de gestión, pueden intentarse distintas
alternativas para informar de la existencia del programa, hacer énfasis en
distintos tipos de mensaje y evaluar qué opción es más efectiva en
aumentar la inscripciones. Luego, este conocimiento queda disponible
para que la institución lo adapte e incorpore a sus procedimientos
rutinarios.

3. Cuando hay dudas sobre el mejor curso de acción … lo mejor

son los pilotos
Cuando no haya consenso institucional sobre el cambio específico que
debe realizarse para mejorar un proceso o sobre la innovación que se va a
intentar, o cuando haya abiertamente dudas sobre el mejor curso de
acción, estamos ante la oportunidad de oro para proponer una evaluación
!40
!


de gestión. En estos casos, también puede ser muy útil proponer que se
implemente el cambio como piloto para probar antes de escalar.

En el cambio del proceso de investigación de homicidios en la Fiscalía

General de la Nación en Colombia, el cambio se implementó inicialmente
como piloto, y esto además abrió la oportunidad de diseñar una
evaluación rigurosa ante el desconocimiento sobre el efecto real del
cambio de procedimiento.

En el siguiente módulo se abordarán temas relacionados con los retos que

se enfrentan al evaluar, incluyendo los de identificar una posibilidad de
evaluación.

Conclusiones.
● Una evaluación de gestión es aquella que mide el impacto del
cambio en algún proceso o actividad de una institución (su gestión) y
que busca aumentar la efectividad de la misma.

● Las evaluaciones de gestión se concentran principalmente en las

actividades y procesos intermedios que realizan las instituciones, y
que no necesariamente tienen un beneficiario directo.

!41
!


● Las evaluaciones de impacto de política buscan evaluar el impacto

de ofrecer algún bien o servicio o de realizar una actividad en los
beneficiarios finales (que suele ser la ciudadanía), mientras que las
evaluaciones de gestión, miden el impacto de cambios en los
procesos o de la introducción de actividades innovadoras dentro de
la entrega de bienes o prestación de servicios a la ciudadanía .

● Las evaluaciones de gestión, en particular, tienen una utilidad

primordial para los implementadores porque a través de ellas se
busca explícitamente generar conocimiento que permita introducir
modificaciones en las actividades que hace la institución.

● Puede haber importantes ventajas de costos y de disponibilidad de

datos a la hora de hacer evaluaciones de gestión, lo que aumenta su
factibilidad técnica e institucional respecto a la posibilidad de hacer
evaluaciones de política.

● Hay mucho espacio en las instituciones para hacer evaluaciones de

gestión de distinta índole, lo que puede ayudar a impulsar una
mayor cultura de aprendizaje y experimentación con el fin de
mejorar la gestión de las instituciones.

!42
!
2018