Está en la página 1de 14

1

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


2

Créditos

Secretaría de Hacienda y Crédito Público


Rogelio Ramírez de la O • Secretario de Hacienda y Crédito Público
Juan Pablo De Botton Falcón • Subsecretario de Egresos
Jaime Adrián Zambrano Matar • Titular de la Unidad de Evaluación del
Desempeño

Coordinación del Diplomado


Lorena Caballero López

Responsables de contenidos:
Gabriela Cantón Santana
Carlos Cruz González

Diseño gráfico y audiovisual:


Diana Laura Cruz Ramírez
Jessica Estrada Sánchez

Staff de apoyo:
Alicia Isabel Gómez Reyes
Julio César Alemán Sánchez
Sandra Mercedes Vázquez Barrios

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


3

LECCIÓN 14
LA EVALUACIÓN DE PROCESOS

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


4

LECCIÓN 14........................................................................................................................................ 3
LA EVALUACIÓN DE PROCESOS .................................................................................................... 3
Contenido

Lección 14. LA EVALUACIÓN DE PROCESOS ................................................................................. 5


Elementos mínimos de una evaluación de Procesos .................................................................. 5
Objetivos de la evaluación de Procesos ...................................................................................... 7
Procedimiento de las evaluaciones de Procesos ...................................................................... 10
¿Qué esperar de una evaluación en materia de Procesos? ..................................................... 13

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


5

En el marco del PbR-SED, se entiende como “proceso” al conjunto de actividades, subprocesos y


recursos relacionados que transforman elementos de entrada en resultados o elementos de salida,
LECCIÓN
y que 14. LAformar
a su vez pueden EVALUACIÓN DE PROCESOS
parte de macroprocesos. En este sentido, la evaluación de procesos
se realiza durante la implementación del Programa con el fin de estudiar el correcto funcionamiento
de los flujos de trabajo que se requieren para la consecución de los objetivos plasmados en su
correspondiente Instrumento de Seguimiento del Desempeño (MIR o FID). Así, la evaluación de
Procesos brinda información para contribuir a la mejora de la gestión operativa de los programas.
Esta evaluación es útil para fortalecer y mejorar la implementación de los programas. Se sugiere que
la evaluación de proceso se realice a partir del tercer año de operación de los programas
(CONEVAL, 2019).

Elementos mínimos de una evaluación de Procesos

La evaluación de Procesos analiza y describe si los Programas presupuestarios (Pp) realizan sus
procesos operativos de manera eficaz y eficiente. Esta evaluación examina por medio de
metodologías cuantitativas y cualitativas si los procedimientos plasmados en los documentos
normativos son adecuados con la realidad, identifica cuellos de botella en la operación del Pp o
cuando un requisito impone una barrera de entrada para los beneficiarios. De este tipo de
evaluación se pueden obtener recomendaciones concretas para mejorar el desempeño de los Pp y
de su análisis se desprenden cambios con efectos en el corto plazo. Por ejemplo, derivado de las
recomendaciones de una evaluación de Procesos, se puede llegar a un consenso dentro de una
dependencia para la implementación de un sistema en línea para capturar las solicitudes de apoyo.
La evaluación de Procesos requiere de un equipo de evaluadores pragmáticos, con
suficiente experiencia en la elaboración de instrumentos de captación. Esto para que las encuestas
funcionen adecuadamente para recopilar la información requerida para llevar el proceso evaluativo.
El equipo debe ser capaz de analizar la manera en que ciertas reglas de operación o acciones
inerciales como los horarios de atención pueden ser un obstáculo para que una persona solicite un
apoyo. Pero esta variable podrá ser relevante para algunos Programas, pero para otros no.
Si bien cada Programa presupuestario tiene sus propios procesos, en los Términos de
Referencia propuestos por la UED y el CONEVAL1 se contempla un modelo general que se puede
tomar como base para llevar a cabo este tipo de evaluación. En la Figura 14.1 se resumen los
procesos a evaluar que se proponen. Es interesante observar que los procesos presentados tienen
cierta correspondencia con el ciclo de políticas que se estudió en lecciones previas, aunque como
se anticipó en su momento, no existe un ciclo de políticas consensuado cuyo uso sea universal.
El proceso de planeación es aquél en el que, por medio de la implementación de la
Metodología de Marco Lógico antes estudiada, se define el problema público o necesidad a atender,
se delimita a la población objetivo, se elaboran los árboles del problema y objetivos, se definen los
objetivos del programa en el Resumen Narrativo, los indicadores de desempeño por medio de los
cuales se va a medir su avance y se establecen las metas de acuerdo su frecuencia de medición
correspondiente. Adicionalmente se define una estrategia de cobertura, un plan estratégico y los
recursos financieros y humanos requeridos para lograr las metas establecidas.

1
Es importante recordar que, al igual que en la evaluación de diseño, el CONEVAL emite los TdR exclusivos para Programas
sociales https://www.coneval.org.mx/Evaluacion/MDE/Paginas/Evaluacion_Procesos.aspx .

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


6

Figura 14.1 Modelo general de procesos

FUENTE: ELABORACIÓN PROPIA CON BASE EN EL MODELO DE TÉRMINOS DE REFERENCIA PARA LA


EVALUACIÓN DE PROCESOS (PTP, 2021).
El siguiente es el proceso de comunicación interna y externa en el que se informan
diversas características y objetivos del Pp tanto a los actores involucrados en su funcionamiento y
operación (interna), como a su población objetivo (externa). Por su parte, la selección de
destinatarios es el proceso en el que se determina quiénes o qué instancias serán los receptores
directos de los componentes o entregables de un Pp en función de su población objetivo.
En términos generales, la producción de entregables es el proceso en el que se elaboran
los productos o realizan los componentes del Pp conforme a la normativa aplicable. Es importante
considerar que no necesariamente el área responsable debe producir tal cual los productos del
Programa. Muchas veces, puede adquirir los bienes terminados o subcontratar a un tercero para la
prestación de los servicios. Lo importante de este proceso es que se obtengan de manera eficiente
los productos de tal forma que estén listos para su entrega.
Por ejemplo, en el sector salud se entregan botes de fórmula láctea infantil a niños de cero
a cinco meses que asistan mensualmente a su consulta de control a las Unidades de Medicina
Familiar. En este caso, no sería óptimo que el sector salud produjera fórmula láctea cuando en el
mercado existe una gran variedad de laboratorios que lo producen. Por esta razón la mejor forma de
obtener el producto a entregar es adquiriendo aquella fórmula que cumpla con los requisitos
nutricionales para la edad de los lactantes.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


7

También vale la pena mencionar que los entregables de los Pp deben corresponder a los
componentes indicados en su MIR, pero si ésta no es sólida o tiene áreas de mejora, de acuerdo
con la MML, podrían no coincidir. En este caso se espera que los evaluadores identifiquen esta área
de mejora.
El siguiente proceso es la entrega de estos bienes o servicios producidos, generados o
adquiridos a los destinatarios, beneficiarios o receptores directos. Es importante enfatizar que no
necesariamente los destinatarios, beneficiarios o receptores directos son la misma persona. En el
mismo ejemplo de la entrega de fórmulas lácteas, el receptor directo del producto son los padres o
tutores del menor, aunque el beneficiario de éste sea el menor.
El proceso de seguimiento a destinatarios son las actividades y mecanismos que permiten
al Pp conocer cómo son utilizados o aprovechados los bienes o servicios entregados con el fin de
identificar si se están cumpliendo los objetivos del Programa. Por ejemplo, en este proceso se
incluyen las actividades que un Pp implementa para conocer el grado de satisfacción de sus
destinatarios o beneficiarios.
El control hace referencia a las actividades y mecanismos implementados entre los
operadores del Pp para verificar que los diferentes procedimientos, procesos y subprocesos se estén
ejecutando conforme a lo planeado (control interno). Es importante no confundir el seguimiento y el
control. El primero es la identificación de avances en el cumplimiento de las metas, mientras que el
control verifica internamente que los recursos se estén movilizando de acuerdo con lo planeado.
El monitoreo, que es otra forma de llamarle al seguimiento, es un proceso coordinado por
una unidad administrativa ajena a la operación del Pp, a través del cual se recaba, registra y valida
la información sobre el avance de las metas de los indicadores de la MIR en el Portal Aplicativo de
la Secretaría de Hacienda (PASH), así como el seguimiento a los resultados de indicadores
adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestión.
Finalmente, la evaluación externa es el proceso, coordinado por una unidad administrativa
ajena a la operación del Pp, pero idealmente con la participación de la UR del Pp, mediante el cual
se define la agenda de evaluación externa del Pp, se definen las metodologías o los TdR, se
contratan las evaluaciones externas de cualquier tipo, se recaba la información que será entregada
a los equipos evaluadores, se realiza el seguimiento durante el desarrollo de las evaluaciones
externas, se aprueban los informes finales de las evaluaciones externas, se notifica a las instancias
correspondientes sobre la conclusión de las evaluaciones externas y se definen los Aspectos
Susceptibles de Mejora (ASM) y se realiza su seguimiento.
A partir de los procesos definidos en el modelo anterior, el equipo evaluador deberá realizar
una equivalencia de los procesos aplicables respecto a los propuestos. Cabe mencionar que los
procesos definidos en el modelo no son limitativos, por lo que si el equipo evaluador identifica
procesos adicionales deberá incluirlos.

Objetivos de la evaluación de Procesos

El principal objetivo de las evaluaciones de Procesos es contribuir a mejorar el funcionamiento,


gestión y organización de los Pp mediante la realización de un análisis y la valoración de su operación,
de modo que, se permita orientar su gestión a la consecución de resultados de manera eficaz y
eficiente. En otras palabras, las evaluaciones de Procesos identifican si la forma como se está
llevando a cabo la intervención gubernamental está encaminada a generar los cambios en la
población tal como se tiene previsto en la planeación de los Pp, y sin perder de vista la normatividad
vigente que le da sustento. Adicionalmente, en el informe final se esperan recomendaciones que
permitan la instrumentación de mejoras al Programa. En la Figura 14.2 se describe el objetivo general
y los específicos de la evaluación de procesos.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


8

Figura 14.2 Objetivo general y específicos de las evaluaciones de Procesos

FUENTE: ELABORACIÓN PROPIA CON BASE EN EL MODELO DE TÉRMINOS DE REFERENCIA PARA LA


EVALUACIÓN DE PROCESOS (PTP, 2021).
Con respecto a los objetivos específicos, es importante destacar que los cuellos de botella
son prácticas, procedimientos, actividades y/o trámites que obstaculizan procesos o actividades de
las que depende el Programa para alcanzar sus objetivos. Éstos son muy riesgosos para el
cumplimiento de las metas establecidas por lo que es importante que en la evaluación se identifiquen
y que se recomiende una forma de “desahogar” las actividades que están frenando. Incluso es
posible que la evaluación recomiende llevar a cabo una “Reingeniería de Procesos” que es cuando
se sugiere una transformación o modificación profunda y sustancial de uno o varios de los procesos
del Programa, pudiendo incluso ser del diseño operativo del mismo.
Por medio de este tipo de evaluación, se pueden contrastar los aspectos normativos, la
operación cotidiana y los elementos contextuales para determinar si los procesos que componen al
Programa y que posibilitan su realización son eficaces y eficientes en el logro de metas a nivel
Propósito. Mediante este análisis, es posible conocer los factores que sustentan la implementación
del Programa con énfasis en su dinámica de operación. La evaluación de procesos busca
documentar las buenas prácticas y las áreas de oportunidad de la operación de un Programa para
contribuir al mejoramiento de la gestión a través de la elaboración de recomendaciones cuya
aplicación sea viable (material, técnica y normativamente). Por lo tanto, esta evaluación profundiza
en el estudio del funcionamiento y la organización de los Pp (CONEVAL s/f.).
Anteriormente se mencionó que se recomienda llevar a cabo las evaluaciones de Procesos
al tercer año de implementación del Programa, sin embargo, no es una regla y la decisión de
conducirla dependerá del Programa a evaluar. Incluso, se pueden llevar a cabo después del primer
año de operación, a fin de corregir lo más pronto posible los cuellos de botella. Sin embargo, también
se recomienda hacer esta evaluación antes de una de Impacto ya que, a través de sus hallazgos, se
podrá analizar si el proceso de selección de la población objetivo es adecuado para llevar a cabo la
medición de impacto a través de metodologías rigurosas.
A su vez, es importante señalar que, en caso de que el Pp cuente con una Evaluación de
Consistencia y Resultados previa, o que de manera simultánea se esté realizando una, se deberán
observar y revisar los hallazgos de los módulos o secciones de “Planeación y orientación a
resultados”, Operación (apartado de “Análisis de los procesos establecidos en la normativa
aplicable”) y de “Percepción de la población atendida”, ya que se abordan temas en común. Para el

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


9

caso de que se efectúen ambas evaluaciones de manera simultánea, se deberá guardar consistencia
en las valoraciones de estos módulos o temas. Por su parte, cuando la Evaluación de Consistencia
y Resultados sea previa a la evaluación de procesos, no es necesario que se guarde consistencia
ya que los hallazgos de la misma podrían ya no ser vigentes; pero sí se requiere la revisión de sus
resultados para complementar el análisis y los hallazgos de la evaluación de procesos y, en dado
caso, señalar brevemente las causas de la discrepancia.
De este tipo de evaluaciones se esperarían recomendaciones orientadas a llevar a cabo
cambios concretos en la norma para hacer eficaz y eficiente la operación, es decir, eliminar las
barreras de entrada; identificar cuellos de botella derivados de la cultura institucional, del contexto
geográfico o del social; y perfeccionar los procesos de planeación, comunicación, selección,
producción de apoyos y servicios, seguimiento y evaluación, en los casos que aplique de contraloría
social, entre otros. De acuerdo con la experiencia de las instancias coordinadoras, hay tres
elementos básicos que toda evaluación en esta materia debe tener, mismos que se describen en la
Figura 14.3.
Figura 14.3 Elementos mínimos a considerar en una evaluación de Procesos

FUENTE: ELABORACIÓN PROPIA.

Este tipo de evaluación es sumamente importante para mejorar la Gestión para Resultados.
Cuando se implementan las recomendaciones que derivan de los hallazgos se puede observar una
repercusión inmediata en el Programa, por lo que la calidad de la evaluación es indispensable. Con
respecto a las metodologías, cabe mencionar que el análisis de gabinete debe ser exhaustivo porque
a partir de esta investigación se elaborará el diagnóstico inicial de los procesos (el deber ser) el cual
se contrastará con lo que sucede en campo (realidad). Con respecto a los instrumentos de campo,
se podrá contar con guías de entrevistas con preguntas clave y check lists para la observación directa
u ocular también conocida como el cliente misterioso o cliente incógnito.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


10

Procedimiento de las evaluaciones de Procesos

El procedimiento que involucra la hechura y entrega de las evaluaciones en materia de Procesos


consta de cinco pasos indispensables, mismos que se presentan en la Figura 14.4.
Figura 14.4 Procedimiento de las evaluaciones en materia de Procesos

FUENTE: ELABORACIÓN PROPIA.


Al igual que en la evaluación en materia de Diseño, la concertación o contratación se lleva
a cabo haciendo uso del modelo de TdR cuyas ligas a continuación se comparten.

El equipo evaluador en su primer producto debe desarrollar el diagnóstico general de los


procesos. En éste se deberá describir a todas acciones llevadas a cabo por las Unidades
Responsables de operar en el Pp. Esto implica que el equipo evaluador debe revisar todos los

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


11

documentos normativos para identificar los macroprocesos, procesos y subprocesos, así como
los insumos y los productos para cada uno de ellos. Esto incluye los procesos enunciados en las
Reglas de Operación (ROP), en los Lineamientos o en la convocatoria para la recepción, registro y
trámite de las solicitudes de apoyo.
También se deben considerar actividades adicionales que se encuentran descritas en otro
tipo de documentos como puede ser el reglamento interior de la propia dependencia o entidad, o
incluso en los reglamentos de otras instancias públicas. Un ejemplo de esta situación es el Proceso
de Rendición de Cuentas estipulado por la Secretaría de la Función Pública que aplica a toda la
Administración Pública. Por esta razón, el equipo evaluador debe conocer el Modelo General de
Procesos del Pp que se encuentra evaluando, el cual es el diagnóstico operativo completo.
Una vez que se cuenta con esta información, el equipo evaluador presenta el alcance y
enfoque metodológico de la evaluación. Dado ellos tienen una visión global de los procesos, están
condiciones para establecer la manera detallada en que se realizará el proceso evaluativo, y en
consecuencia, diseñar un plan de trabajo. En la Figura 14.5 se resumen algunos de los puntos que
deberá contar el plan de trabajo que se presenta en este primer entregable.
En el segundo entregable se incluye el informe preliminar de la evaluación de Procesos.
Para este documento se debe reportar – además de los puntos del primer Entregable– la
comparación de los procesos, o en su caso de los subprocesos o macroprocesos establecidos en el
Modelo General de Procesos versus la operación real. Es decir, la norma escrita contrastada con la
realidad. En este informe preliminar se debe valorar si el tiempo, el personal, los sistemas de
información, y la infraestructura son suficientes para que el Pp logre sus objetivos.
Figura 14.5 Elementos de un plan de trabajo incluido en el primer entregable de una
evaluación de Procesos

FUENTE: ELABORACIÓN PROPIA.


Igualmente, se deberá analizar el grado de consolidación operativa del Pp, tomando como
base, los elementos descritos en la Figura 14.6. Se considera que existe un mayor grado de
consolidación operativa cuando se presentan todos los elementos y disminuirá gradualmente
conforme haga falta uno o más de ellos. Esto, hasta llegar al menor grado de consolidación que es
cuando no existe ninguno de los elementos.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


12

Figura 14.6 Elementos para identificar la consolidación operativa

FUENTE: ELABORACIÓN PROPIA.

En consecuencia, se espera que en este segundo entregable, el equipo evaluador determine


de forma clara qué prácticas deben replicarse o trasladarse a normatividad, así como las que
deben corregirse.
Para el informe final o tercer Entregable se debe realizar el trabajo más fino, donde se hilen
los hallazgos encontrados en campo. Por ejemplo, la opinión de los beneficiarios y de los
operadores, más lo examinado en los documentos normativos y el conocimiento propio del equipo
evaluador. Con esto, el equipo evaluador debe señalar qué y cómo las normas o las actividades
deben crearse o modificarse para hacer eficaz y eficiente la operación del Pp evaluado. De esta
manera, se debe incluir un proyecto de implementación de las adecuaciones, es decir, un plan
maestro de la reingeniería de los procesos, especificando los actores responsables de los
cambios.
Finalmente, la Unidad Responsable del Pp o el área de evaluación del desempeño a la que
está adscrita deberá enviar a la SCHP-UED o al CONEVAL según corresponda, el informe final para
su revisión y emisión de comentarios. Tanto el Pp, el área de evaluación del desempeño de la
Dependencia, así como la instancia de coordinación, plantean su postura respecto al trabajo de
evaluación que se realizó. Entre otros factores se aborda la factibilidad de las recomendaciones así
como el contexto de su implementación realización.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


13

¿Qué esperar de una evaluación en materia de Procesos?

Respecto a las recomendaciones, en una evaluación de Procesos se espera que se enfoquen a


promover la consolidación operativa, es decir, se requiere que el equipo evaluador sea capaz de
recomendar los cambios más factibles y necesarios para la operación del Pp, sus sistemas de
información, elementos de coordinación entre unidades administrativas, entre otros.
Finalmente, es importante no olvidar que todas las evaluaciones se deben publicar
oportunamente. En este caso, la normatividad que sustenta la publicidad de las evaluaciones de
Procesos es similar a la que sustenta las de Diseño, por lo que en caso de ser necesario se puede
consultar en la Figura 12.6 de este mismo Módulo.
En conclusión, la evaluación de Procesos implica contrastar el deber ser con la realidad e
identificar los puntos que se deben mejorar para optimizar la implementación los Programas
presupuestarios. Es importante enfatizar que la metodología de investigación empleada en este tipo
de evaluación es cualitativa, haciendo uso de distintos tipos de entrevistas y haciendo un importante
trabajo de gabinete. Por esta razón es importante que el evaluador sea experto en este tipo de
metodologías y que conozca cabalmente el tema a evaluar.

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS


14

DIPLOMADO ● EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS

También podría gustarte