PRIMEROS ESFUERZOS DE EVALUACION DE PROGRAMAS.

Particularidades de la evaluación de políticas sociales.

A partir de este tema nos adentraremos a las primeras evaluaciones aplicadas en

nuestro país y las particularidades de las mismas

Cohen resalta la importancia de proceder a la evaluación considerando:

1. La magnitud del gasto social

2. El porcentaje del gasto social efectivamente redistributivo
3. La eficiencia en la aplicación del gasto anterior
4. Su impacto en la solución del problema

Las razones de esta secuencia son obvias ya que no puede haber resultados
relevantes en programas que carecen de recursos suficientes, pero tampoco basta
con gastar demasiado ya que en ocasiones los recursos no necesariamente llegan
a la población objetivo; y suponiendo que lleguen es importante evaluar su
efectividad para resolver el problema que ocasionó el programa.

Nadie puede negar que la efectividad de un programa social depende del grado en
que se resuelven las necesidades reales por eso es importante tener un
diagnóstico, contar con mecanismos de control y evaluación desde el inicio y que
la información que se genere de la evaluación sea puesta a disposición del público
para aumentar la transparencia y garantizar su participación. En el informe sobre
la lucha contra la pobreza en México, el banco mundial (2004) identifica como uno
de los tres retos pendientes: fortalecer el monitoreo y la evaluación de impacto de
los programas sociales.
Evaluaciones de pronazol.

Pronazol inicio actividades en 1988, primer programa mexicano dirigido a combatir

la pobreza en forma focalizada, privilegiando a las comunidades organizadas.

Entre los años de 1990 a 1994 el programa fue objeto de múltiples intentos de
evaluación parcial, pero hubo pocos casos en que se intentó su evaluación integral
a nivel nacional.

A continuación se exponen tres antecedentes relevantes en este último sentido:

1. Szekely: expresó la ausencia de elementos para poder generar una

evaluación amplia, concretamente expresó que existen datos respecto a
cantidades invertidas y/o volúmenes de obra pero no evaluaciones
propiamente dichas, en términos de costo beneficio, ni frente a metas
numéricamente pre estipuladas de reducción en los déficit que marcan los
índices de pobreza. Por esa razón insistió en que su trabajo se basaba en
su apreciación de la situación, enriquecida con el relato de algunas
experiencias. Procedió entonces a través del análisis y relación entre los
tres componentes del programa: asistencial, participativo y competitivo.

En el primero resulto el esfuerzo financiero del programa y lo comparó con los

recursos que serían necesarias para superar las carencias de los sectores más
pobres

En relación al componente participativo argumentó que el programa era

focalizado hacía los pobres organizados, en lugar de hacerlo hacia los más
pobres.

En el tercero recurrió a la narración de experiencias de programas productivos

en el estado de Oaxaca.

Su evaluación concluyó en la urgencia de ampliar el programa mediante un

esfuerzo económico y político sin precedentes acompañado de una
modificación de las funciones ejercidas por las instituciones y las bases
sociales organizadas.

2. Un segundo intento de evaluación fue realizado por Jaso Imerino quienes

procedieron a realizar una síntesis y crítica de los trabajos parciales
realizados, cuyas conclusiones resultaban complementarias y en otros
casos contradictorias.
Consideraron al programa con una política publica con propósitos definidos
que ameritaba una evaluación lo más objetiva posible, al margen de los
interés políticos del gobierno y los partidos.
Su trabajo se basó en dos grades capítulos sobre la operación, el programa
y la organización social y otros dos complementarios sobre su impacto
económico y político.
Revisaron los objetivos del programa, su organización los mecanismos de
implementación y resultados verificables. Concluye que las evaluaciones
coinciden en destacar la complejidad ejecutiva del pronazol y su operación
centralista. Agregan que los recursos no siempre fueron destinados con
precisión a los grupos más pobres, ni a los proyectos que podrían ayudarlos
más.
También la evaluación arrojó que el programa impulsó la relación diferente
entre el gobierno y la sociedad, potenciando formas tradicionales de
cooperación comunitaria y sobresale los comités de escuela digna.
Concluye que el programa fue eficaz en el mejoramiento de calidad de vida
de los grupos más pobres cuando esta se mide en términos de acceso a
satisfactores colectivos pero que fue insuficiente para garantizar los
ingresos familiares necesarios y satisfacer sus necesidades esenciales, la
crítica más frecuente al programa es que fue utilizado para favorecer
electoralmente al PRI. Sin embargo los datos existentes sobre distribución
del gasto no muestran evidencia de que solidaridad se haya reorientado en
función de las elecciones locales.
3. El colegio de México realizo también un trabajo de evaluación coordinado
por Reyna y Rocha en el que también participó Szekely el documento
sugiere tres aspectos interdependientes a ser considerados en la
evaluación: la adecuación del programa a las necesidades y demandas de
la población, la organización interna del programa y la relación con su
población objetivo, y el impacto en la generación de un ingreso adicional
para la última.
De este trabajo de evaluación se puede concluir que el documento no
profundiza en las grandes dificultades de la operación del programa, pero
constituye un primer esbozo de como intentarla que se acompaña de
valiosos anexos (indicadores, cuestionarios, ejemplos de medición en
pobreza y de cambios en el nivel de bienestar).

Evaluaciones de pobreza 1988-2000

El programa de educación, salud y alimentación (pogresa) constituye el

antecedente de inmediato del programa en desarrollo oportunidades.
Estuvo bajo la responsabilidad de la SEDESOL y dicho programa incluyó
tanto transferencias de efectivo a las madres de familia para mejorar los
niveles de consumo de los pobres en el corto plazo como inversiones en
capital humano para lograr su desarrollo social. Progresa se diseñó para
dirigirse a los individuos y después se resolvió reorientarlo a las familiar. De
esta forma el programa procedió con una doble focalización: a las
localidades más marginadas y dentro de ellas a los hogares más pobres.
Este diseño implicó que los hogares muy pobres ubicados en localidades
no marginadas quedaran fuera del programa.
Fue el primer programa mexicano (y tal vez el único) cuya evaluación de
impacto fue prevista desde su diseño, partiendo de un diagnóstico de la
situación antes de su inicio medida a través de encuestas en los hogares.
La misma revisó los impactos en materia de educación, nutrición, salud y
pobreza rural, asi como la operación general del programa.
La evaluación estuvo a cargo de Food Policy Research Institute (IFPRI) de
Washinton, DC, mediante contratación directa. Ósea que el gobierno no le
confió la responsabilidad de esta primera evaluación a los connacionales
sino que recurrió al empleo de expertos de un instituto internacional de
investigación.
El gobierno del licenciado Ernesto cedillo pagó por esta evaluación 4.35
millones de pesos.
La evaluación del progresa utilizo un diseño experimental con la finalidad de
garantizar un alto rigor en la identificación de relaciones causales entre el
programa y los impactos identificados, con mediciones “antes-después”,
talleres en los 7 estados piloto y discusión en grupos focalizados (médicos,
enfermeras, promotoras, profesores, etc), además del empleo de técnicas
tradicionales como encuestas y entrevistas.
La evaluación realizada destaca a nivel del diseño del programa, una
focalización más clara que otros programas similares en américa latina,
destaca también una importante sinergia de vida a la consideración de tres
sectores clave (salud, educación y alimentación), la utilización de
transferencias condicionadas a la participación de las familias beneficiadas
en escuelas y centros de salud y el apoyo complementario a los últimos.
Entre los resultados globales obtenidos del programa progresa resaltan:
1. Muy buena focalización geográfica en zonas rurales
2. Bastante precisión en el método de selección de hogares
3. Fuerte impacto en el ingreso real de las familias
4. Ausencia de impactos negativos como disminución del tiempo dedicado
por los padres de familia al trabajo
5. Errores administrativos menores, como demora en la distribución de las
transferencias errores en listas de beneficiarios, etc.
6. Efectos indirectos positivos en las localidades con familias apoyadas
debido a la derrama promedio de 30mil pesos adicionales mensuales.
Auditorias de desempeño de Progresa 1999-2000

A partir de 1999 la ASF comenzó a realizar auditorías de desempeño a los

programas federales, los informes de las auditorías comienzan por fundamentar a
las razones que llevaron a la selección del programa, se apoyan en información
documental del mismo y realizan un trabajo de campo para el cual solicitan el
apoyo de otras instituciones (UNAM).

Su trabajo utiliza un conjunto de indicadores para el análisis de cada programa, en

el que figura:

 Congruencia del objeto social del programa con las prioridades nacionales y
sectoriales de mediano plazo
 Eficacia en el cumplimiento de metas programadas
 Cobertura respecto del universo objeto del programa
 Eficiencia en la operación y aplicación del presupuesto
 Impacto del programa

La auditoría aplicada al programa progresa en el año 2000 realiza

observaciones y promueve acciones específicas entre las que resalta que el
programa no había establecido indicadores de impacto que permitieran evaluar
el cumplimiento de su objetivo. Entre las recomendaciones de mayor magnitud
se encuentran: implementar un sistema de quejas y denuncias, realizar
campañas de difusión del componente de salud, controlar que el personal
médico no exija ninguna aportación por la entrega del suplemento alimenticio

Evaluación y auditoria de desempeño de progresa 2001.

La evaluación identifica problemas relevantes, el sistema de indicadores y

señala dificultades para hacer una evaluación a nivel estatal por lo que los
resultados son indicativos y ameritan estudios más profundos. Entre ellos
resaltan:
  Una distribución de las transferencias monetarias por estado congruente
con sus niveles de pobreza monetaria y las necesidades relevantes de
salud, lo cual no resulta igualmente claro en materia educativa
 Avances notables en el cumplimiento de las condiciones de
corresponsabilidad que impone el programa a sus beneficiarias en
materia de salud
 Avances claros en relación con las tasas deserción escolar y
desnutrición infantil
 Persistencia de altas tasas de repetición de los beneficiarios y de una
brecha importante entre estos y los promedios estatales en materia
educativa

Cabe destacar también que progresa fue uno de los pocos programas sociales
que fue evaluado por ONG.

Entre sus resultados reconoce la asignación de recursos gubernamentales, los

costos de operación bajos del programa (trabajo gratuito de las mujeres) y el
diseño de un componente de género. Sin embargo resultó un juicio muy negativo
en cuanto a la ausencia de participación corresponsable de las beneficiarias en la
toma de decisiones, seguimiento y evaluación del programa, desigualdad y falta
de criterios para la asignación de apoyos exclusión de las zonas rurales de mayor
pobreza por falta de infraestructura educativa y de salud, cobro de cuotas por
servicios supuestamente gratuitos, no consideración del nivel de desempleo en el
país y de las pocas oportunidades en el desarrollo rural, tarto indigno de las
beneficiaras como indigentes, generación de divisiones entre la población,
constitución de un mecanismo de control social, etc.

Como consecuencia de los múltiples problemas identificados, el informe

concluye que progresa no permite superar la pobreza ni mejorar la posición de
las mujeres.

Finalmente y con una opinión totalmente contrapuesta a la previa el propio BM

considera que México ha sido pionero por la aplicación de evaluaciones de
impacto de progresa, las que permitieron al gobierno mexicano contar con
evidencias de su éxito y fomentaron la creación de programas similares en
otros países de américa latina.