¿CÓMO ENTENDER EL PRESUPUESTO?

EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS

LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

[Cuarta edición 2021]

Módulo II
Lección 7

1
¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

Secretaría de Hacienda y Crédito Público

Arturo Herrera Gutiérrez • Secretario de Hacienda y Crédito Público
Victoria Rodríguez Ceja • Subsecretaria de Egresos
Isabel Islas Arredondo • Titular de la Unidad de Evaluación del Desempeño

Equipo técnico y creativo: Dirección de Capacitación a Dependencias y

Entidades Federativas,
Unidad de Evaluación del Desempeño
Lorena Caballero López
Gabriela Cantón Santana
Carlos Cruz González
Alicia Isabel Gómez Reyes
Diana Laura Cruz Ramírez
Julio César Alemán Sánchez
Nadia Oliva Lora Gerardo
Jessica Estrada Sánchez

2
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

Contenido
.......................................................................................................................................... 1
.......................................................................................................................................... 2
Lección 7. Evaluación de Programas presupuestarios ................................................... 1
7.1 Tipos de evaluación ......................................................................................... 2
7.2 Términos de referencia (TdR) .......................................................................... 3
7.3 Aspectos Susceptibles de Mejora .................................................................... 5
7.4 Seguimiento de la información de desempeño ................................................. 6

3
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

Lección 7. Evaluación de Programas presupuestarios

En el ámbito de la Administración Pública Federal, la SHCP y el CONEVAL emiten un Pro-

grama Anual de Evaluación (PAE), documento en el que se indican los tipos de evalua-
ciones que se aplicarán a los programas federales, incluyendo los Fondos de Aportaciones
Federales, durante cada año. Además de dar a conocer las evaluaciones que se aplicarán,
vincula el cronograma de ejecución de dichas evaluaciones con la programación y presu-
puestario institucional, conforme se establece en el art. 111 de la LFPRH. Finamente, busca
articular los resultados de las acciones de monitoreo y evaluación (SHCP y CONEVAL,
2020d).
Las evaluaciones deben realizarse observando el principio de objetividad por lo que,
para mantenerla, es importante que sean realizadas por organizaciones o individuos exter-
nos a la operación del programa (Figura 7.1).
Figura 7.1 ¿Quiénes pueden realizar las evaluaciones?

Organismos
nacionales o
internacionales
especializados

Personas
físicas o ¿Quiénes pueden
Instituciones
morales con realizar
académicas
conocimiento evaluaciones?
en el tema

Instituciones
de
investigación

FUENTE: PROGRAMA ANUAL DE EVALUACIÓN (SHCP Y CONEVAL, 2020: 9).

1
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

7.1 Tipos de evaluación

Existen diferentes tipos de evaluación que atienden a necesidades concretas de informa-

ción de las unidades responsables en relación con cada programa en sus diferentes etapas
de desarrollo. De manera general, el Cuadro 7.1 presenta los diferentes tipos de evaluación
considerados en los Lineamientos Generales para la Evaluación de los Programas Federa-
les de la APF, a partir de los cuales se definen las evaluaciones a considerarse en cada
PAE.
Cuadro 7.1 Tipos de Evaluación

FUENTE: ELABORACIÓN PROPIA CON BASE EN SHCP (2016c).

Para seleccionar correctamente el tipo de evaluación a realizar, es importante con-

siderar la etapa en la que se encuentra la política pública o Programa presupuestario. En la
Figura 7.2 se ilustra que, por ejemplo, durante la etapa de surgimiento, se recomienda una
evaluación en materia de diseño para identificar si el problema está justificado, correcta-
mente formulado y además, si se encuentra alineado a la planeación nacional. Durante la
consolidación, se puede realizar una evaluación de procesos o de consistencia y resultados,

2
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

así como una evaluación específica de desempeño para verificar que la operación del pro-
grama se esté llevando a cabo de forma adecuada o si está orientada a resultados. Final-
mente, las evaluaciones de impacto, son recomendables durante la etapa de maduración
de la política o programa, puesto que con ésta es posible verificar que realmente exista un
cambio en las variables de resultados sobre las cuales pretende incidir la política o pro-
grama. Finalmente, es posible realizar evaluaciones específicas y estratégicas a lo largo de
todo el ciclo de vida del programa, atendiendo las necesidades de sus unidades responsa-
bles.
Figura 7.2 Aplicación de evaluaciones según la etapa del Programa Presupuestario

FUENTE: ELABORACIÓN PROPIA CON BASE EN SHCP (2016c).

7.2 Términos de referencia (TdR)

El proceso general para la realización de las evaluaciones inicia con la definición del PAE
de cada ejercicio fiscal, por parte de la SHCP y CONEVAL, que son consideradas como
Instancias de Coordinación (IC) de las evaluaciones en su respectivo ámbito de competen-
cia. Esto es, la SHCP coordina las evaluaciones de los programas no sociales, mientras
que CONEVAL las correspondientes a programas sociales. En términos generales, las IC
se encargan de coordinar el proceso de evaluaciones, acompañar y asesorar a las depen-

3
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

dencias y entidades de la Administración Pública Federal a través de sus Áreas de Evalua-

ción (AE)1. La estrategia de coordinación incluye acciones específicas, como la elaboración
y validación de Términos de Referencia (TdR) para la contratación y realización de las
evaluaciones.
El propósito principal de los TdR es lograr que los criterios de las evaluaciones sean
homogéneos y comprensibles. Son un documento que se genera antes de la realización de
cada evaluación externa y sirve como anexo técnico de la contratación de la instancia que
la realizará, describiendo el objetivo general y los específicos de la evaluación, especifica-
ciones técnicas y metodológicas, los productos o entregables así como las fechas de en-
trega (SHCP, 2016e). En este sentido, cada tipo de evaluación cuenta con sus propios TdR
aunque éstos deben contener al menos la información descrita en la Figura 7.3.
Figura 7.3 Modelo de TdR de evaluaciones en materia de Diseño

FUENTE: ELABORACIÓN PROPIA CON BASE EN SHCP (2020d).

1
De manera genérica, son las Oficialías Mayores las que fungen como AE, pero en algunas dependencias existen áreas
técnicas especializadas para fungir como AE; tal es el caso de la Dirección General de Evaluación y Monitoreo de los Pro-
gramas Sociales de la Secretaría de Bienestar, o la Dirección General de Evaluación de Políticas de la SEP.

4
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

La metodología de cada evaluación es distinta, dado que sus objetivos también lo

son. Sin embargo, lo trascendental es la generación de evidencia suficiente para valorar, a
profundidad, los distintos elementos del Pp, de acuerdo con los objetivos fijados por la eva-
luación. Entre las herramientas utilizadas para la realización de las evaluaciones están los
análisis de gabinete en los que se recopila y trabaja con documentos para analizar la infor-
mación documental del Pp, así como investigación cualitativa, observación directa, estudios
de caso y multicaso específicos, entrevistas semiestructuradas y grupos focales, entre otras
técnicas.
Las evaluaciones proporcionan información sobre el desempeño de las políticas y
programas. Esta información puede ser utilizada para la toma de decisiones desde diversas
perspectivas. La más inmediata corresponde a la implementación de mejoras al desempeño
de dichas políticas y programas. Los resultados de las evaluaciones se encuentran dispo-
nibles para su consulta a través del PTP en el apartado del SED dentro de la sección Pro-
gramas tal como se muestra en la Imagen 7.1.
Imagen 7.1 Datos abiertos sobre evaluaciones en el PTP

FUENTE: PTP (2021e).

7.3 Aspectos Susceptibles de Mejora

Una vez realizada la evaluación correspondiente, los resultados son analizados para iden-
tificar los Aspectos Susceptibles de Mejora (ASM) que son transformados en compromi-
sos que asumen las dependencias y entidades de la Administración Pública Federal para
introducir mejoras en los programa presupuestario, con base en los hallazgos, debilidades,
oportunidades y amenazas identificadas en la evaluación externa. Los ASM pueden ser
atendidos con base en las recomendaciones y hallazgos señalados por el evaluador ex-
terno, los cuales son analizados por los ejecutores del gasto, o a través de acciones que
identifiquen las dependencias y entidades para atender con eficacia las oportunidades de-
tectadas.
Con el objetivo de establecer un proceso para dar seguimiento a los ASM y articular
los resultados de las evaluaciones externas a los programas presupuestarios en el marco

5
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

del SED, la SHCP, la SFP2 y el CONEVAL emitieron en octubre de 2008 el Mecanismo para
el seguimiento a los aspectos susceptibles de mejora derivados de los informes y evalua-
ciones externas a programas federales. Este documento se ha actualizado en dos ocasio-
nes, habiéndose publicado en marzo de 2011, la versión más reciente. En dicho Mecanismo
se establece el proceso que las dependencias y entidades deben seguir para instrumentar
acciones que den atención a los ASM derivados de evaluaciones externas.
Las dependencias y entidades analizan los ASM derivados de los resultados de los
informes y de las evaluaciones externas concluidas y a partir de este ejercicio, emiten un
documento de opinión o documento de posición institucional, en donde se plasma su opi-
nión fundada y motivada respecto de los resultados y principales hallazgos: fortalezas, de-
bilidades, oportunidades, amenazas, y recomendaciones. Los ASM están disponibles para
consulta a través del PTP en el apartado del SED, en la sección Programas (Imagen 6.2).
Esto se revisará a su tiempo en la Unidad 4.
Imagen 7.2 Datos abiertos sobre ASM en el PTP

FUENTE: PTP (2021e).

7.4 Seguimiento de la información de desempeño

Con el objeto de aprovechar la información sobre el ejercicio del gasto, la alineación con la
planeación nacional, los resultados de las valoraciones de las MIR, las evaluaciones, así
como los ASM es necesario que se lleve a cabo un seguimiento puntual de la información
de desempeño de los distintos Programas presupuestarios. En este marco, hasta 2019 se
contó con el Modelo Sintético de Información del Desempeño (MSD) el cual representó una
metodología de valoración de resultados que resumía los avances y logros de los Progra-
mas presupuestarios del gasto programable. Para su instrumentación se retomaron cinco
variables: Ejercicio del Gasto, Indicadores para Resultados, Plan Anual de Evaluación, As-
pectos Susceptibles de Mejora y Padrones de Beneficiarios. En el Cuadro 7.2 se presentan
las variables que originalmente conforman el MSD.

2
Con base en el Decreto por el que se reforman y adicionan diversas disposiciones a la Ley General de Contabilidad Guber-
namental y a la Ley Federal de Presupuesto y Responsabilidad Hacendaria publicado en el Diario Oficial de la Federación
el 30 de diciembre de 2015, se establece en el artículo Sexto Transitorio del mismo, que los trámites que se hayan iniciado
ante la SFP en materia del Sistema de Evaluación del Desempeño serán concluidos por la SHCP.

6
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

Cuadro 7.2 Variables consideradas en el MSD 2012 – 2018

FUENTE: ELABORACIÓN PROPIA.

La metodología del MSD se modificó en diversas ocasiones para tratar de capturar

las particularidades de los programas que pertenecen a su universo de análisis, sin em-
bargo, aún en su última versión en 2018, reflejó importantes áreas de mejora que no se
habían logrado solventar, tales como la necesidad de incluir una dimensión relacionada con
el ejercicio del gasto y que la metodología estaba más enfocada a programa sociales. En
el primer caso, si bien es necesario incorporar variables de esta naturaleza para que se
pueda medir de manera aproximada la eficiencia del gasto. La principal limitación es que
las asignaciones presupuestarias y sus modificaciones no se encuentran dentro del ámbito
de control directo del programa, por lo que la valoración de esta dimensión subestimaba o
sobrevaloraba a los Pp por factores que en realidad son externos a ellos.
La segunda área de mejora es relevante porque tres de las cinco dimensiones del
MSD son más susceptibles de medir el desempeño de los Pp con enfoque de desarrollo
social, por lo que existía un porcentaje considerable de Pp dentro del universo de análisis
del MSD, que contaban con información disponible únicamente con dos de las cinco dimen-

7
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

siones utilizadas para valorar el desempeño. Debido a esto, la estandarización en las valo-
raciones del MSD generaba resultados un tanto imprecisos, que podían llegar a valorar
injustamente a programas no sociales. Derivado de lo anterior, existía la posibilidad de que
los Pp de carácter social y aquellos que contaban con tres o más dimensiones para valorar
su desempeño, tuvieran resultados inferiores en el MSD que aquellos que contaban única-
mente con dos variables, lo cual no reflejaba necesariamente su verdadero nivel de desem-
peño, sino las diferencias entre sus naturalezas.
Con la finalidad de solventar estas limitantes y de contar con resultados de segui-
miento que no estén sesgados por las particularidades de cada programa, se construyó el
Índice de Seguimiento al Desempeño (ISeD) a partir de una metodología que cuenta con
más dimensiones y variables de análisis aplicables a un universo más amplio de Pp. En el
Cuadro 7.3 se presentan las variables consideradas para el ISeD.
De esta manera, a pesar de que no todos los
Pp cuentan con la totalidad de los elementos a valo- TIP de consulta externa:
rar en el ISeD, si se amplió la base común de dimen- Si interesa conocer los resultados
siones que aplican a todos los Pp, lo que permite del ISeD 2020, da clic aquí.
identificar con mayor claridad el estatus en su diseño,
seguimiento y resultados y, con ello, ofrecer una me-
dición más objetiva y precisa de su desempeño que,
además, sirva como insumo para su mejora continua.

Cuadro 7.3 Dimensiones y variables consideradas en el ISeD 2019 – 2024

FUENTE: ELABORACIÓN PROPIA.

8
 ¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

En la Figura 7.4 se resumen las principales características del nuevo instrumento de

medición.
Figura 7.4 Elementos clave del ISeD 2019 – 2024

Valora 13 variables, mientras que el MSD valoraba sólo ocho.

No incorpora variables relacionadas con la planeación o ejercicio del gasto por estar
fuera del ámbito de decisión de los Pp.

Incorpora la dimensión de Diseño, donde se valoran elementos del diagnóstico,

calidad del diseño del Pp, calidad de la MIR o, en su caso, la relevancia de los
indicadores de las FID. También se considera la existencia de un documento
normativo que regule la operación del Pp.

En la dimensión de seguimiento se reconoce la diferencia entre indicadores

de nivel Propósito y nivel Componente para los Pp que tienen MIR y la
diferencia entre los indicadores de gestión y estratégicos que tienen una FID.

Incorpora la dimensión de Resultados, donde se valora el cumplimiento de

metas de los indicadores estratégicos. Además, esta dimensión considera la
valoración de las evaluaciones externas realizadas a los Pp que tengan un
componente de evaluación de los resultados alcanzados por los Pp.

Incorpora la variable de Mejora continua, donde se valora el esfuerzo de los Pp por

realizar ejercicios de evaluación y seguimiento que les permitan identificar áreas de
mejora de manera recurrente.

En términos generales, ampliar las dimensiones y variables consideradas para el análisis del
ISeD permitirá que más Pp del universo de análisis, cuentan con información aplicable y
disponible para valorar su desempeño.

FUENTE: ELABORACIÓN PROPIA.

9
¿CÓMO ENTENDER EL PRESUPUESTO? EL GASTO PÚBLICO A TRAVÉS DE LOS DATOS
LECCIÓN 7. EVALUACIÓN DE PROGRAMAS PRESUPUESTARIOS

10