Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Créditos
Responsables de contenidos:
Gabriela Cantón Santana
Carlos Cruz González
Elio César Flores Carrera
Staff de apoyo:
Alicia Isabel Gómez Reyes
Julio César Alemán Sánchez
Sandra Mercedes Vázquez Barrios
LECCIÓN 13
LA EVALUACIÓN EN MATERIA DE DISEÑO
Contenido
Introducción al Módulo
Una vez concluido el estudio de las metodologías de investigación requeridas para llevar a cabo
evaluaciones del desempeño, en el presente Módulo comenzaremos el estudio los tipos específicos
de evaluaciones que existen en México. Aquí es importante tomar en cuenta tres consideraciones.
La primera es que solamente se estudian cinco tipos de evaluaciones. En el caso de las primeras
tres, es decir, diseño, procesos y consistencia y resultados, son las que se llevan a cabo con mayor
frecuencia, por lo que existe una mayor experiencia en la realización de estos ejercicios. En el caso
de la de impacto, se consideran por su relevancia y por la calidad de la información que de estas se
obtiene a pesar de que el número de evaluaciones realizadas es considerablemente menor.
Finalmente, la evaluación a políticas públicas se estudia porque es un ejercicio de evaluación
integrado en el que se observa cómo funciona un grupo de Programas presupuestarios que
persiguen un fin común.
La segunda consideración que se debe tomar en cuenta es que existen variaciones entre la
forma como la SHCP – UED y el CONEVAL tienen pensadas las evaluaciones del desempeño. Si
bien ambas parten de la misma normativa, existen características especiales que cada instancia
coordinadora establece para que el ejercicio evaluativo se lleve a cabo de mejor manera. Por esta
razón, vamos a encontrar modelos de Términos de Referencia (TdR) diferenciados para Programas
sociales y Programas no sociales. El presente Diplomado, por ser emitido por la SHCP – UED,
tomará como principal referencia los TdR no sociales vigentes.
La tercera consideración deriva de las dos primeras, ya que, a parte de las evaluaciones de
diseño, procesos, consistencia y resultados e impacto, cada instancia coordinadora tiene distintos
modelos de TdR que se ajustan a las necesidades de los Programas que coordinan. Así, por ejemplo,
para la presente administración, la SHCP – UED cuenta con TdR para evaluaciones específicas de
procesos con diseño, estratégicas de diseño y específicas de perspectiva de género, todas ellas para
Programas no sociales. Por su parte, el CONEVAL tiene evaluaciones específicas de desempeño,
complementarias y estratégicas para Programas sociales.
Una vez establecidas estas consideraciones revisaremos el contenido del Módulo, el cual se
divide en 6 Lecciones.
En la Lección 13 se estudian las evaluaciones de diseño cuyo principal objetivo es analizar
y valorar el diseño de los Programas presupuestarios con el propósito de identificar si contiene los
elementos necesarios para obtener las metas y objetivos planteados. En otras palabras, busca
determinar si la orientación que se le dará a la intervención pública es la adecuada para atender el
problema identificado en la Matriz de Indicadores para Resultados (MIR) por medio de la Metodología
de Marco Lógico (MML) y plasmado en el Diagnóstico.
En la Lección 14 se aborda la evaluación de Procesos. Esta evaluación examina bajo una
metodología cualitativa, si los procedimientos plasmados en los documentos normativos son
adecuados con la realidad e identifica pasos que están produciendo un cuello de botella o cuándo
un requisito impone una barrera de entrada para los beneficiarios.
En la Lección 15 se estudia la evaluación de Consistencia y Resultados gracias a la cual se
puede identificar la estructura lógica del diseño de un Programa presupuestario, los bienes y
servicios que entrega y si su operación y resultados van encaminados en la dirección correcta para
alcanzar el propósito para el cual el Programa fue creado. Al ser esta una evaluación que revisa el
Pp desde distintos enfoques, se espera que las recomendaciones y hallazgos que de esta evaluación
deriven, contribuyan de forma sustancial en la mejora de distintos elementos del Programa.
En la Lección 16 se estudia la evaluación de Impacto, la cual es un instrumento que
contribuye a la toma de decisiones y a la rendición de cuentas, es decir, aporta información tanto
para actores a nivel gerencial, como para los ciudadanos sobre la efectividad de los Programas a los
cuales se destina un presupuesto público. En general, este tipo de evaluación demanda un mayor
tiempo y costo en su desarrollo, con respecto a los otros tipos de evaluaciones. Así como la de
consistencia y resultados, esta evaluación también revisa el Pp desde distintos enfoques, se espera
que las recomendaciones y hallazgos que de ella devengan contribuyan de forma sustancial en la
mejora de distintos elementos del Programa.
En la Lección 17 se revisa la evaluación de políticas públicas. Esta es distinta a la de
Programas presupuestarios porque conlleva un enfoque integral de la acción pública mediante el
cual se busca analizar el resultado en conjunto de diversas instituciones, Programas, recursos y
responsabilidades en torno a un tema o problemática de amplio alcance.
Finalmente, el tercer Módulo concluye con el estudio de la Política Pública basada en
Evidencia (PPbE) la cual utiliza investigación aplicada a la intervención pública con el fin de guiar la
toma de decisiones en todas las etapas del ciclo de políticas. Adicionalmente se especifica que se
puede hacer uso de esta información como insumo para conducir una evaluación y que a su vez la
información que arroja la evaluación es útil para la conformación de nuevas políticas o para adaptar
las ya existentes.
De acuerdo con el primer párrafo del Artículo 18 de los Lineamientos, las evaluaciones en materia
de Diseño deben de contar al menos con los criterios señalados en la Figura 13.2.
Figura 13.2. Criterios mínimos de las evaluaciones en materia de Diseño
1
Estos términos de referencia son aplicables a evaluaciones cuya instancia de coordinación es la Secretaría de Hacienda y
Crédito Público, es decir, para los Programas no sociales. El modelo de Términos de Referencia aplicable a Programas
sociales tiene sus propias particularidades pero está encaminado a los mismos objetivos, ya que finalmente ambos parten
de los mismos Lineamientos. Los TdR para Programas sociales se pueden consultar en
https://www.coneval.org.mx/Evaluacion/MDE/Documents/No_vigentes_Diseno.zip
2
Aplicable a Programas no sociales.
atenderá de la mejor manera posible el problema público identificado. Como toda evaluación, otro
punto importante es que esté orientada en identificar las áreas de oportunidad que tiene el Programa
concretamente por medio de la revisión de su diseño conceptual, el cual debe corresponder a un
enfoque teórico debidamente sustentado.
Cabe mencionar que el mejor momento para realizar una evaluación en esta materia es en
el primer año de creación del Programa o cuando el mismo ha tenido cambios sustanciales en su
diseño. Estos cambios pueden ser en la definición de su población objetivo o en los apoyos que
entrega, o cuando dos Programas se fusionan. En todo caso, esto supondría un replanteamiento en
la forma en la que se atiende el problema e implicarían cambios importantes en su MIR.
Si el Pp evaluado resulta que no es consistente en su diseño, se esperaría que el evaluador
proporcione recomendaciones concretas para mejorar el diseño de la intervención y por ende de la
operación. Por ejemplo, especificar cuál es la TdC con la cual el Pp responde de mejor manera ante
una problemática o necesidad; advertir si existen problemas en la manera de comunicar la operación,
o si la normatividad implica barreras de entrada a la población objetivo; identificar si la secuencia
lógica de insumo, componentes o apoyos no produce los resultados esperados; o detectar los
problemas en la MIR.
Es importante tomar en cuenta que éstos son solo ejemplos obtenidos de lo que el equipo
de Evaluación de la Unidad de Evaluación del Desempeño ha identificado que sucede con mayor
frecuencia y no como observaciones que necesariamente se tienen que hacer producto de una
evaluación en materia de Diseño. Esto porque cada Programa presupuestario se encuentra en
diferente momento y tiene diferentes áreas de oportunidad. Sin embargo, si hay tres elementos
básicos que toda evaluación en esta materia debe tener, mismos que se describen en la Figura 13.5.
Figura 13.5 Elementos mínimos a considerar en una evaluación de Diseño
Para llevar a cabo el proceso que involucra la hechura y entrega de las evaluaciones en materia de
Diseño se recomiendan cuatro pasos indispensables, mismos que se presentan en la Figura 13.6.
Figura 13.6 Proceso de las evaluaciones en materia de Diseño
Una cuestión importante a considerar con respecto a este primer paso, es que las
evaluaciones pueden ser concertadas o contratadas dependiendo del tipo de evaluador que se va a
tener. Esto, porque de acuerdo con la Ley Federal de Presupuesto y Responsabilidad Hacendaria,
en su Artículo 110 Párrafo I, las instancias públicas a cargo de la evaluación del desempeño
efectuarán las evaluaciones por sí mismas o a través de personas físicas y morales
3
El CONEVAL cuenta con dos tipos de TdR en materia de Evaluación. El primero, con fecha del 22 de abril de 2019, son los
TdR para la evaluación en materia de Diseño. El segundo, con fecha del 11 de mayo de 2020, son los TdR para el mismo
tipo de evaluación, pero con trabajo de campo.
especializadas y con experiencia probada en la materia que corresponda evaluar, ambas siendo
consideradas evaluaciones externas, y ambas utilizando el mismo modelo de TdR 4.
Entendemos como “evaluaciones por sí mismas” a aquellas que son realizadas por
personal de la dependencia en donde se encuentra adscrita la Unidad Responsable del Programa,
pero que en sus funciones son completamente ajenos a la implementación y operación del mismo.
Este último factor es indispensable para garantizar la imparcialidad y objetividad de la evaluación a
realizar. Para este caso, se llevará a cabo un proceso de concertación de la evaluación, ya que no
habrá un contrato tal cual de por medio. Sin embargo, sí se partirá del modelo de TdR
correspondiente al tipo de evaluación que se esté haciendo, con el fin de establecer los objetivos y
la orientación del proceso evaluativo.
Entendemos como “evaluaciones a través de personas físicas y morales especializadas”
a aquellas que son llevadas a cabo por diversas instituciones, universidad, organismos, consultorías
o cualquier otro tipo de persona física y moral que preste sus servicios para llevar a cabo la
evaluación del desempeño, pero que no forme parte de la dependencia en donde se encuentra
adscrita la Unidad Responsable del Programa. Para este caso, se llevará a cabo un proceso de
contratación de la evaluación en donde se establezcan los pormenores del servicio a prestar
partiendo del modelo de TdR correspondiente al tipo de evaluación.
En términos generales, en el primer Entregable, el equipo evaluador informa el plan de
trabajo que está utilizado para realizar el análisis de gabinete así como la primera versión de las
respuestas de los TdR a fin de que el Pp y el área de evaluación 5 de la Dependencia revise que
existe un correcto entendimiento de la operación y normatividad correspondiente, así como de la
aplicación de los TdR.
En el segundo entregable se presentan los hallazgos que el equipo evaluador encontró
respecto al análisis del diagnóstico; establece si el problema está bien identificado; si existe una
adecuada justificación teórica o empírica de la intervención que realiza el Pp; es decir, si el Pp se
diseñó teniendo como base algún tipo de investigación bien estructurada con argumentos científicos,
académicos o al menos los resultados positivos de la experiencia nacional o internacional. Por
ejemplo, se puede replicar una intervención que en algún parte del país o del mundo sirvió para
contrarrestar determinado problema.
También se analiza si las poblaciones potencial, objetivo y atendida están bien definidas y
caracterizadas y examina si el Pp cuenta con mecanismos para identificar sus posibles beneficiarios,
por ejemplo, que recolecte datos socioeconómicos de estos. A la par confirma que existan
procedimientos documentados para recibir, registrar y dar trámite a las solicitudes de apoyos de
forma clara y estandarizada, es decir, que se realice igual en todas partes sin importar si una persona
está en el norte o sur del país. Es importante hacer énfasis que, en una evaluación en materia de
Diseño, este paso solo implica la verificación de la existencia documental y contrastación con la
normatividad vigente y no la verificación de su implementación, ya que esta segunda revisión es
parte de la evaluación de Procesos.
Finalmente, la última parte del proceso consiste en la revisión por parte de la instancia de
coordinación; que como ya se ha mencionado en repetidas ocasiones a lo largo del Diplomado, son
la Unidad de Evaluación del Desempeño de la SHCP para los Programas no sociales y el CONEVAL
para los Programas sociales. El envío del informe final para su revisión y para la emisión de
comentarios lo podrá hacer el área de evaluación de desempeño de la dependencia o entidad o
directamente la Unidad Responsable del Programa. Este proceso de coordinación dependerá de
cada dependencia o entidad federal.
4
Hay algunos ajustes que se le deben hacer a los TdR cuando se trata de evaluaciones por sí mismas, sin embargo, este
tema se estudiará con mayor detalle en el cuarto y último Módulo del Diplomado.
5
No todas las dependencias de la Administración Pública Federal tienen como tal un área de evaluación, sin embargo, este
término se utilizará para generalizar a cualquier área responsable de coordinar las tareas de evaluación del desempeño al
interior de la misma.
Es muy importante que, al momento de realizar las recomendaciones, el equipo evaluador vaya más
allá de repetir lo obvio. Por ejemplo, cuando un Programa no cuenta con un diagnóstico, es evidente
que lo necesita realizar para cumplir con la normativa. Por ende, la recomendación se debe hacer,
pero el informe final no debe basarse solo en esta recomendación, sino buscar otras áreas de
oportunidad en el diseño del Programa. Así, se requiere que el equipo aporte características más
específicas al momento de recomendar algo.
Ejemplo. Hallazgos y recomendaciones de una evaluación en materia de Diseño.
Con este tipo de información, los responsables del Pp tienen los insumos mínimos sobre los
cuales dibujar el árbol de problema, la justificación teórica y sobre todo, la TdC; elementos cruciales
en un diagnóstico.
Una vez entregada la evaluación, la Unidad Responsable del Pp, el área de evaluación de
la dependencia o entidad y la instancia coordinadora correspondiente (SHCP-UED o CONEVAL)
plantean su postura respecto al trabajo de evaluación que se realizó. Entre los puntos sobre los
cuales se emite postura se encuentran el desempeño del equipo evaluador, la factibilidad de las
recomendaciones, así como el contexto de la realización. Adicionalmente, las Unidad Responsable
establece los Aspectos Susceptibles de Mejora (ASM), los cuales son hallazgos, debilidades,
oportunidades y amenazas que derivan de estas evaluaciones y que se presentan como
recomendaciones específicas a los diferentes programas y acciones federales. El tema de los ASM
se abordará con mayor detenimiento en el siguiente Módulo de este Diplomado.
Retomando lo visto en las primeras Lecciones, el SED es, entre otras cosas, un mecanismo
de rendición de cuentas vertical, horizontal y trasversal. Por esto es indispensable que las
evaluaciones se hagan públicas oportunamente. Estas deben ser entregadas mediante oficio a la
SHCP-UED y CONEVAL según corresponda y deben ser publicadas en sus páginas de internet. En
la Figura 13.7 se presentan la normativa que le da sustento a la publicidad de esta información.
Para cerrar esta Lección, a continuación, se presenta el caso de una evaluación en materia de
Diseño del Programa G004 “Supervisión y verificación de concesiones en telecomunicaciones” del
Ramo 43 “Instituto Federal de Telecomunicaciones” que se llevó a cabo en 2017. Es importante
mencionar que este caso se destaca por la calidad de la evaluación entregada independientemente
de la valoración del Pp.
Ejemplo. Buena práctica de evaluación en materia de Diseño.
Esta evaluación se considera como un caso de éxito debido a que presenta recomendaciones útiles,
concretas y factibles de implementarse, en especial por aportar los elementos necesarios para crear
otro Programa de modalidad F, en virtud que el Programa G004, a la fecha de la evaluación,
presentaba dos poblaciones objetivo con dos mecanismos de intervención diferentes.
Comentarios específicos sobre los siguientes atributos:
1. Claridad en el lenguaje utilizado: Alta. En la evaluación se empleó un lenguaje claro que permite
la comprensión del problema público que atiende el Pp, así como del diseño de los elementos
conceptuales del mismo.
2. Objetividad en las valoraciones emitidas: Alta. En la Evaluación se identifican las áreas de
mejora sustentadas con los atributos ausentes del Pp y las propuestas se presentan en
correspondencia con la MML y las particularidades del Pp.
3. Consistencia en los argumentos empleados: Alta. Es posible identificar la consistencia entre
los distintos elementos del diseño conceptual del Pp, así como de las propuestas para cada uno de
los hallazgos a lo largo del documento.
4. Solidez técnica: Alta. Las propuestas de mejora ante los hallazgos son concretas y factibles. No
obstante, era deseable que, entre estas propuestas de mejora, se robusteciera el apartado de la
justificación teórica o empírica del tipo de intervención del Pp, tomando en cuenta la información
disponible (literatura nacional e internacional) sobre el mecanismo de intervención del Pp
(supervisión) en el sector de las telecomunicaciones y respecto de la Red Compartida. Lo anterior,
considerando el dominio que presentó la instancia evaluadora externa tanto en la MML como en las
particularidades técnicas del Pp.
FUENTE: PORTAL DE TRANSPARENCIA PRESUPUESTARIA 2023.
A manera de conclusión, se debe considerar que la Evaluación en materia de Diseño
determina si el Programa cuenta con una estructura o diseño lógico que demuestra pertinencia y
congruencia entre el problema a atender, el objetivo que se ha planteado el Pp con las procesos más
elementales para conseguir los resultados planeados. También es la principal herramienta para
identificar una adecuada determinación de la población objetivo o área de enfoque del Programa, lo
cual es indispensable para que su implementación se haga de forma eficiente.