P. 1
evaluacion del impacto

evaluacion del impacto

|Views: 1.873|Likes:

More info:

Published by: Jenny Del Pilar Prieto on Mar 25, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

04/20/2013

pdf

text

original

Sections

  • Resumen
  • I. Aspectos introductorios1
  • 1. ¿Cuál es el propósito de la evaluación de impacto?
  • 2. Conceptos relevantes
  • 2.1 Eficacia, eficiencia y equidad
  • 2.2 Diseño experimental y cuasi experimental
  • 2.3 Estimación paramétrica y no paramétrica
  • II. Introducción a métodos de estimación
  • 1. Métodos paramétricos
  • 2. Métodos no paramétricos23
  • III. Aplicaciones de evaluaciones de impacto
  • 1. Introducción
  • OBJETIVOS DE LOS PROGRAMAS CENTRADOS EN SOLUCIONAR LA POBREZA ESTRUCTURAL
  • BENEFICIOS DE LOS PROGRAMAS Y CONDICIONES DE ELEGIBILIDAD
  • SUBSIDIO MENSUAL, BENEFICIARIOS, COBERTURA Y GASTO
  • 3. Programas diseñados para tiempos de crisis
  • 4. Evaluación de estos programas
  • IMPACTOS ESTIMADOS EN INGRESO LABORAL. CORTE TRANSVERSAL
  • IMPACTOS EN PROBABILIDAD DE ESTAR OCUPADO. KERNEL-EPANECHNIKOV
  • IMPACTOS EN PROBABILIDAD DE EMPLEO FORMAL. KERNEL-EPANECHNIKOV
  • Bibliografía
  • Anexos
  • Eficiencia técnica y asignativa

Evaluación del impacto

Cristián Aedo



















División de Desarrollo Económico



6

(

5

,

(

manuales
47
Santiago de Chile, noviembre del 2005

Este documento fue preparado por Cristián Aedo, Consultor del proyecto
CEPAL/GTZ, “Policy Strategies for Sustainable Development in Latin America
and the Caribbean: Promotion of a Socially Sustainable Economic Policy
(Equity II) (GER/01/031)”.
Las opiniones expresadas en este documento, que no ha sido sometido a
revisión editorial, son de exclusiva responsabilidad del autor y pueden no
coincidir con las de la Organización.



















Publicación de las Naciones Unidas
ISSN impreso 1680-886X
ISSN electrónico 1680-8878

ISBN: 92-1-322823-6
LC/L.2442-P
N°de venta: S.05.II.G.189
Copyright © Naciones Unidas, noviembre del 2005. Todos los derechos reservados
Impreso en Naciones Unidas, Santiago de Chile

La autorización para reproducir total o parcialmente esta obra debe solicitarse al
Secretario de la Junta de Publicaciones, Sede de las Naciones Unidas, Nueva York,
N. Y. 10017, Estados Unidos. Los Estados miembros y sus instituciones
gubernamentales pueden reproducir esta obra sin autorización previa. Sólo se les
solicita que mencionen la fuente e informen a las Naciones Unidas de tal reproducción.
CEPAL - SERIE Manuales N° 47
3
Índice
Resumen ........................................................................................ 5
I. Aspectos introductorios............................................................... 7
1. ¿Cuál es el propósito de la evaluación de impacto?............... 7
2. Conceptos relevantes............................................................ 10
2.1 Eficacia, eficiencia y equidad....................................... 10
2.2 Diseño experimental y cuasi experimental................... 15
2.3 Estimación paramétrica y no paramétrica .................... 18
II. Introducción a métodos de estimación.................................... 19
1. Métodos paramétricos .......................................................... 19
2. Métodos no paramétricos ..................................................... 20
III. Aplicaciones de evaluaciones de impacto................................. 23
1. Introducción ........................................................................ 23
2. Programas centrados en solucionar la
pobreza estructural .............................................................. 24
3. Programas diseñados para tiempos de crisis ....................... 27
4. Evaluación de estos programas ........................................... 28
5. Programas de capacitación y empleo de jóvenes en
América Latina.................................................................... 37
IV. Lecciones para el diseño de programas y para la
evaluación de futuros programa............................................... 51
Bibliografía ...................................................................................... 59
Anexos .............................................................................................. 63
Anexo 1 Eficiencia técnica y asignativa............................................. 65
Anexo 2 Métodos no paramétricos .................................................... 70
Serie manuales: números publicados............................................... 77



Evaluación del impacto
4
Índice de cuadros
Cuadro 1 Objetivos de los programas centrados en solucionar la pobreza estructural...............24
Cuadro 2 Beneficios de los programas y condiciones de elegibilidad .......................................25
Cuadro 3 Subsidio mensual, beneficiarios, cobertura y gasto ...................................................26
Cuadro 4 Evaluaciones de programas completos de los programas de transferencias ..................
condicionales en América Latina y el Caribe .............................................................29
Cuadro 5 Chile joven: número de beneficiarios al año 2001......................................................42
Cuadro 6 Impactos estimados en ingreso laboral. Corte transversal ..........................................45
Cuadro 7 Impactos en probabilidad de estar ocupado. Kernel-Epanechnikov ...........................46
Cuadro 8 Impactos en probabilidad de empleo formal. Kernel-Epanechnikov..........................46
Cuadro 9 Estimaciones del impacto sobre los ingresos..............................................................47
Cuadro 10 Impactos sobre el empleo............................................................................................47
Cuadro 11 Estimación del impacto en los ingresos ......................................................................48
Cuadro 12 Análisis de costo beneficio .........................................................................................49

Índice de gráficos
Gráfico 1 Diseño experimental: grupo de tratamiento y grupo de control..................................16
Gráfico 2 Efecto del tratamiento sobre los tratados: estimadores de diferencias en
Diferencias ..................................................................................................................18

CEPAL - SERIE Manuales N° 47
5
Resumen
El propósito del presente artículo es efectuar una presentación
de la evaluación de impacto, sus propósitos, los principales conceptos
involucrados, los principales métodos de estimación utilizados, y
presentar evaluaciones selectivas de programas que han sido evaluados
utilizando estas metodologías, incluyendo programas centrados en
solucionar la pobreza estructural, programas de empleo diseñados para
tiempos de crisis y programas de capacitación de jóvenes en América
Latina.
La estimación de impacto intenta establecer la diferencia, en
alguna variable que se ha escogido como indicador de resultados de un
programa, entre la situación que presenta un individuo, o el cambio en
ésta, después de haber participado en el programa versus la situación
en que se encontraría, o el cambio en ésta, si no hubiese sido
beneficiario.
A través del artículo se enfatiza que realizar una evaluación de
impacto es costoso, por lo que antes de efectuarla hay que preguntarse
si existe o no voluntad política y financiera para su realización, y si
existe algún otro método de evaluación que puede ser más adecuado y
más barato de realizar, para el programa en cuestión, que realizar una
evaluación de impacto. Una vez que se ha decidido efectuar una
evaluación de impacto, es preciso preguntarse: i) cuáles serán sus
objetivos, ii) cuál es el diseño apropiado para esta evaluación, iii) si
existe o no información de calidad para realizarla y iv) cuál es la
capacidad institucional que se tiene para llevar a cabo la evaluación.

Evaluación del impacto
6
Existen diversos elementos de economía política que es necesario resolver antes de
comprometerse a la realización de una evaluación de impacto y que se revisan en el artículo, los que
influyen no sólo en si se lleva a cabo o no una evaluación de impacto, sino también en la forma en
que esta se implementa. La decisión de realizarla requiere de un sólido apoyo político ya que a
veces, al no apreciarse el valor de efectuar evaluaciones, puede existir también una reticencia a
permitir la ejecución de una evaluación independiente que pueda revelar resultados contrarios a la
política del gobierno.


CEPAL - SERIE Manuales N°47
7
I. Aspectos introductorios
1

1. ¿Cuál es el propósito de la evaluación de
impacto?
La evaluación de impacto tiene como propósitos determinar si
un programa produjo los efectos deseados en las personas, hogares e
instituciones a los cuales este se aplica; obtener una estimación
cuantitativa de estos beneficios y evaluar si ellos son o no atribuibles a
la intervención del programa.
Así, son del interés de la evaluación de impacto las siguientes
preguntas: ¿se contribuye a resolver el problema en la población
objetivo del programa? ¿Cuál fue el efecto del programa sobre sus
beneficiarios? ¿Los beneficios recibidos por los participantes en el
programa son los que se propuso lograr o son diferentes a los
propuestos? ¿Son estos positivos o negativos? En caso de un
mejoramiento en la situación de sus participantes, ¿Es esto una
consecuencia del programa o se hubiese obtenido de todas maneras? A
la luz de los beneficios, directos e indirectos, obtenidos, ¿Se
justificaban los costos del programa? ¿Cuál es la tasa de retorno del
programa por $ gastado en el programa?

1
Una excelente referencia sobre métodos y herramientas para la evaluación de impacto para administradores de programas y para
analistas de política social se puede obtener bajo el título “Impact Evaluation” de www.worldbank.org/poverty. En particular, se
recomienda el manual de J.L. Baker (2000).
Evaluación del impacto
8
Como tal la evaluación de impacto compete tanto el estudio de la eficacia de los programas
como al análisis de su eficiencia, temas que son de absoluta relevancia dado que los recursos
necesarios para la realización de estos programas son escasos y presentan múltiples usos
alternativos. A su vez, dado que en general estos programas se implementan para cubrir a grupos
vulnerables la evaluación de la eficacia y de la eficiencia de los programas son cruciales para
acercarse hacia una sociedad con mayor equidad.
2

Una evaluación de impacto debe identificar si existen o no relaciones de causa efecto entre el
programa y los resultados obtenidos y esperados, ya que pueden existir otros factores que ocurren
durante el periodo de intervención del programa, que están correlacionados con los resultados y que
no han sido causados por el programa. Por ejemplo, cambios a nivel agregado en la economía o en
la sociedad, o cambios que afectan a la población objetivo del programa independiente de si son o
no beneficiarios. Un elemento crucial de la evaluación es, por tanto, atribuirle sólo los beneficios
causados por el programa de tal modo de no sobreestimar su tasa de retorno.
Para ello un elemento importante en la evaluación de impacto es la construcción a través de
métodos estadísticos de un escenario contrafactual para el programa, es decir construir una situación
hipotética en la cual hubiesen estado los beneficiarios en caso de que el programa no se hubiese
implementado. A través de la comparación de la realidad con esta situación contrafactual, se intenta
aislar a través de técnicas estadísticas la influencia de estos factores externos agregados que inciden
en los resultados. A partir de esta construcción es factible evaluar si efectivamente existen
relaciones de causa efecto entre el programa y los resultados, procediendo a una cuantificación de
los beneficios.
El análisis de impacto centra su análisis en los beneficios de mediano y largo plazo obtenidos
por la población beneficiaria del programa, es decir son de su interés los beneficios que no
desaparecen si se deja de participar en el programa. Por ejemplo, en el caso de la evaluación de un
programa de entrenamiento laboral el foco de la evaluación lo constituye el análisis y cuantificación
de posibles aumentos en los salarios de sus beneficiarios; o en el caso de la evaluación de un
programa de fomento a las exportaciones el foco es sobre el análisis y cuantificación del posible
aumento en el volumen exportado por parte de las empresas participantes; o en el caso de un
programa de apoyo a la población en mayor riesgo de deserción es de interés el análisis y
cuantificación de la retención escolar; etc. En tal sentido, el foco temporal de los beneficios se
homologa al análisis de los resultados finales de los programas, los que son resultados a nivel de
propósito o fin de los programas.
La estimación del impacto de un programa sobre un participante, intenta establecer la
diferencia, en alguna variable que se ha escogido como indicador de resultados del programa, entre
la situación que presenta un individuo (o el cambio en ésta) después de haber participado en el
programa, versus la situación en que se encontraría (o el cambio en ésta) si no hubiese sido
beneficiario (estado contrafactual).
En la evaluación de impacto se reconocen cuatro dimensiones que definen a una amplia
variedad de tipos de estimaciones de impacto. Una primera dimensión se refiere al tipo de variable
sobre la que se mide el impacto del programa. Según esto, se puede clasificar a las investigaciones
en cuantitativas o cualitativas. Son cuantitativas si utilizan como indicador de impacto la diferencia
atribuible al programa en alguna variable susceptible de ser descrita en forma métrica; por ejemplo:
ingresos labores y probabilidad de estar ocupado. Las investigaciones cualitativas se enfocan en
variables a las que no se puede aplicar una métrica; por ejemplo: dinámica familiar, estrategia de
búsqueda de empleo. El análisis de los elementos cualitativos es importante ya que proporciona
información relativa tanto al valor que le asignan sus beneficiarios a los programas como de los

2
La siguiente sección presenta un desarrollo de los conceptos de eficacia, efectividad, eficiencia y equidad.
CEPAL - SERIE Manuales N°47
9
procesos que afectan los resultados, los que permiten al analista obtener una mayor comprensión de
los resultados observados.
La segunda dimensión se relaciona con la forma en que se construye la muestra de individuos
que se utilizará para la estimación. Dada la imposibilidad de contar con casos que se encuentren en
ambas situaciones: haber participado en el programa y no haberlo hecho, todas las estimaciones de
impacto utilizan, además de la muestra de participantes sobre los cuales se ha materializado la
intervención, otra muestra para efectos de comparación. La forma en que se construyen ambas
muestras permite clasificar las investigaciones en experimentales y no experimentales. Las
investigaciones de tipo experimental construyen ambas muestras asignando aleatoriamente a una y
otra, individuos provenientes de una misma población de elegibles. De esta manera se asegura que
los atributos de los individuos de ambas muestras sean, en promedio, iguales, condición necesaria
para una estimación insesgada del impacto del programa. En las investigaciones no experimentales,
mucho más comunes en el campo de los programas sociales las muestras no se construyen
aleatoriamente, obligando a recurrir a mecanismos que propendan a lograr la deseada igualdad de
medias entre los atributos de los integrantes de ambas muestras.
Una tercera dimensión tiene que ver con la forma en que se construye el indicador de
impacto, lo cual afecta la forma en que se define la muestra de comparación, dando origen a cuatro
tipos de estimadores: (1) El estimador “pre-post”, que compara la situación de los participantes
después del programa con la situación del mismo grupo antes de iniciar su participación en él. En
este caso la muestra de comparación está constituida por los mismos integrantes de la muestra de
participantes, pero medida la variable de interés en un momento diferente; (2) el estimador de “corte
transversal”, que compara la situación de ambas muestras en un mismo momento, típicamente
posterior al término del programa. En este caso la muestra de comparación, que denominaremos
muestra de control, está compuesta por individuos pertenecientes a la población de elegibles pero
que no participaron en el programa; (3) el estimador de “diferencias en diferencias”, que compara
los estimadores “pre-post” de la muestra de participantes versus los de la muestra de control; y (4)
el estimador “marginal”, que compara la situación de participantes que recibieron una determinada
“dosis” de programa (por ejemplo todas las etapas completas) versus la de otros que recibieron una
“dosis” menor (por ejemplo, sólo primera etapa). En este caso, la muestra de comparación está
conformada por individuos que, siendo también participantes del programa, han recibido un grado
diferente de intervención.
Una cuarta dimensión define el tipo de método de estimación utilizado para cuantificar los
impactos, en los cuales es factible considerar métodos paramétricos y métodos no paramétricos. Los
métodos paramétricos utilizan modelos probabilistas en los cuales la teoría se usa como una guía
para la especificación de los modelos, utilizando posteriormente técnicas estadísticas en la
estimación de los parámetros. Por su parte la estimación no paramétrica es un método estadístico
que permite obtener la forma funcional que mejor se ajuste a los datos sin considerar cualquier guía
o restricción de la teoría. Como un resultado, la estimación no paramétrica no tiene parámetros
asociados.
Es importante mencionar que una evaluación de impacto es en sí costosa de realizar, por lo
tanto antes de efectuarla hay que preguntarse si existe o no voluntad política y financiera para su
realización y si existe algún otro método de evaluación que puede ser más adecuado y más barato
de realizar, para el programa en cuestión, que realizar una evaluación de impacto completa.
Evaluación del impacto
10
2. Conceptos relevantes
En esta sección se presentan algunos conceptos relevantes que se relacionan o que se utilizan
en la evaluación de impacto.
2.1 Eficacia, eficiencia y equidad
Los términos de eficiencia y eficacia, y también equidad, son frecuentemente utilizados en el
ámbito de la gestión y evaluación de las políticas públicas y sociales. En consecuencia, se ha
considerado importante iniciar esta sección de definición con estos conceptos claves.
Eficacia y Eficiencia
La palabra eficacia tiene su origen en la palabra latín efficere que a su vez se deriva del
vocablo facere, que significa “hacer o lograr”. Algo es eficaz si “logra” o “hace” lo que debe hacer,
algo así como el “producir los resultados esperados” y lograr los objetivos propuestos. Algunos
autores mencionan que dentro de la definición debería existir alguna referencia o mención acerca de
algunas virtudes requeridas, como por ejemplo la calidad. Formalizando las ideas, la eficacia de una
política o programa podría entenderse como el grado en que se alcanzan los objetivos propuestos.
Así, una determinada iniciativa es más o menos eficaz según el grado en que se cumplen sus
objetivos, teniendo en cuenta la calidad y la oportunidad, y sin tener en cuenta los costos.
¿Es eficacia un sinónimo de efectividad? Ambos términos tienen la misma raíz etimológica, y
en general las definiciones
3
son las mismas. Sin embargo, en sentido estricto se pueden establecer
algunas diferencias, como la definición que establece que la eficacia mide el grado en que se
alcanzan los objetivos y metas, mientras que la efectividad constituye la relación entre los
resultados, previstos y no previstos, y los objetivos.
4
En el presente documento, esta diferencia
representa una complejidad poco importante, por lo tanto se tomarán ambos términos como
sinónimos.
Se introduce ahora un término ampliamente utilizado y de mayor complejidad, aunque con
mayor posibilidad de formalizar, debido a su importancia para el análisis económico. El término
eficiencia relaciona los resultados, con los costos que se requieren para alcanzarlos. En forma
explícita lo definimos como el grado en que se cumplen los objetivos de una iniciativa al menor
costo posible. Un programa es eficiente si cumple sus objetivos, con un uso adecuado, racional u
óptimo de recursos.
Todo programa y producto requiere de recursos, e insumos para su realización. Estos insumos
o factores pueden combinarse de distintas formas, pero sólo existirá un número limitado
5
de
combinaciones que hará que el costo que representa esta combinación sea el mínimo. En términos
simples, se es eficiente si se logran los objetivos sin que exista desperdicio de recursos.
Se pueden distinguir distintos tipos de eficiencia, aunque al respecto existe más de una
diferenciación. Por un lado está la distinción entre eficiencia técnica o productiva y eficiencia
económica o asignativa.
Parece adecuado formalizar el concepto de eficiencia técnica con más de una definición:
La eficiencia técnica o productiva examina la relación entre el producto o resultado generado
y la cantidad de un determinado insumo utilizado en su generación. En el análisis de políticas

3
En los diccionarios son tratados como sinónimos.
4
Cohen y Franco (1992).
5
Si la función de isocuantas es estrictamente convexa y la función de isocostos es una línea recta, sólo se minimiza los costos con una
única combinación de insumos. En el otro extremo se encuentra el caso de los insumos perfectamente sustitutos, en donde todas las
combinaciones de insumos podrían minimizar costos (sí la curva de isocuantas e isocostos tienen la misma pendiente).
CEPAL - SERIE Manuales N°47
11
sociales, la eficiencia técnica sería una medición cuyas unidades de medida son unidad de producto
por unidad de insumo (por ejemplo, niños vacunados por hora-persona).
Se logra eficiencia productiva cuando se alcanza el producto deseado con el menor costo en
términos del uso de recursos para producirlo.
6
Un proceso de producción es eficiente, en el sentido técnico, si el resultado producido alcanza
la “frontera de posibilidades productivas”, lo cual requiere el uso más apropiado y la mejor
combinación de recursos para obtener un determinado resultado. Si ya se logró alcanzar la frontera
de posibilidades productivas, una prestación podrá ser más eficiente si la frontera de posibilidades
se desplaza “hacia fuera”. Si aún no se cumple esta exigencia podemos lograr eficiencia si nos
acercamos al límite (a la frontera).
7

Todas estas definiciones encierran la idea de una “adecuada” relación entre insumos y
producto.
La noción de eficiencia económica o asignativa avanza un paso adelante en esta relación
entre insumo y producto. Ya no sólo se requiere la condición de no desperdicio de los recursos, sino
que también se hace importante tener en cuenta las preferencias (para las decisiones de consumo), y
el estado de arte o tecnología (para el caso de la producción). Así, existe eficiencia económica
cuando además de existir eficiencia técnica, se toman en cuenta las preferencias o tecnología. El
criterio de eficiencia económica se puede relacionar con un índice de costo-efectividad. Mide el
logro de los objetivos de un lado y el costo de haber producido los logros.
Por su parte la eficiencia asignativa Involucra una comparación de las canastas de servicios
provistos con las preferencias y las necesidades de la población.
8
Aún cuando en la literatura económica no se menciona explícitamente el “tipo” de eficiencia
que se está utilizando, es común utilizar el término “eficiencia” para referirse a la eficiencia
económica y asignativa. Así lo ilustra la siguiente aplicación en las políticas sociales: “Un sistema
de asignación de recursos es eficiente cuando ha agotado todas las posibilidades de producción e
intercambio, a objeto de optimizar el bienestar de las personas que demandan el bien o servicio en
cuestión. La asignación eficiente de los recursos se logra cuando se cumple una serie de
condiciones. Primero, los demandantes tienen un conjunto bien definido de preferencias por los
bienes y servicios a consumir y asignan libremente su ingreso entre aquellos. Segundo, los oferentes
demandan insumos y producen en condiciones competitivas, igualando el costo marginal de
producción al precio de los bienes y servicios. Tercero, oferentes y demandantes determinan en
forma descentralizada los precios de equilibrio del mercado en cuestión. Cuarto, no existen
externalidades de manera que los agentes internalizan completamente los beneficios y costos de las
actividades realizadas. Quinto, oferentes y demandantes poseen información completa. Sexto, los
conjuntos de producción y de consumo son convexos”.
9

El Anexo 1 presenta una discusión sobre metodologías factibles de utilizar en estudios
cuantitativos de eficiencia.
Existe un término adicional relacionado con la eficiencia, aunque de naturaleza más compleja
(y ambigua): la eficiencia social. Es mejor referirse a este término tomando la definición que Di
Gropello y Cominetti (1998): la eficiencia social “Concierne a los movimientos a lo largo de la
frontera de las posibilidades productivas, vinculados con la elección de una diferente composición

6
Gershberg (1998).
7
Di Gropello y Cominetti (1998) citando a Behrman (1995).
8
Gershberg (1998).
9
Larrañaga (2000).
Evaluación del impacto
12
de resultados, con su correspondiente combinación de insumos, que refleja los valores de los
individuos o de la comunidad de individuos considerados.
10

Puede existir mucha discusión acerca de sí para lograr la eficiencia es necesario o no primero
alcanzar la eficacia. No se entrará en el debate, y sólo interesa saber que la discusión puede llegar a
su fin si se tienen en claro los objetivos: si la eficacia mide el grado en que se cumplen los
objetivos, y la eficiencia el grado en que se cumplen los objetivos de una iniciativa al menor costo
posible, uno podría concluir que para ser eficiente, una iniciativa tiene que ser eficaz. La eficacia es
necesaria, pero no suficiente, para lograr la eficiencia.
Algunos sostienen que una iniciativa podría ser eficiente sin ser eficaz, porque analizan la
eficacia con relación al objetivo máximo, mientras que juzgan la eficiencia con respecto a los
objetivos operativos (o intermedios).
Para alcanzar los objetivos principales de un determinado programa se pueden trazar metas
anteriores al fin último. Estos son los objetivos intermedios.
Otra forma de entender está relación es a través de preguntarse en qué medida los costos por
unidad de producto son los mínimos posibles; y para realizar a la vez un análisis de eficacia es
preciso encontrar el subconjunto de lo anterior, centrado en la productividad física, o sea, en el
grado en que se logran las metas de producción en cierto período de tiempo.
11

Para terminar la presente discusión acerca de eficiencia y eficacia, falta señalar que existen
formas de medir o evaluar el grado en que un programa es eficaz o eficiente. Para ello se hacen uso
de los indicadores.
12
Cualquier indicador de eficacia tendrá que incorporar alguna evidencia o
medición de logro o resultado; mientras que los indicadores de eficiencia tendrán que incluir estas
mediciones y los estimativos de los costos asociados.
Se puede asimismo analizar el impacto de un determinado programa a través de saber si
realmente se están alcanzando los objetivos sustantivos del programa y en qué magnitud. El
impacto es la magnitud del beneficio que recibe la población objetivo del programa según los
objetivos que éste busca alcanzar. Evaluar la relación costo-impacto es conocer cuánto cuesta, en
cada alternativa, y obtener cierta magnitud de impacto.
13
Un aspecto importante es la relación que existe entre eficiencia y productividad.
14
El
concepto de productividad ocupa un papel prominente para apreciar el avance económico, tanto de
las organizaciones como de las naciones. En la concepción general, la productividad es una medida
de la eficiencia económica que resulta de la relación entre los recursos utilizados y la cantidad de
productos o servicios elaborados. Algunos de los indicadores utilizados tradicionalmente para medir
la productividad, como productos por hora-hombre o por hora-máquina, relación producto-capital,
producto interno per cápita y otros semejantes, han alimentado y reforzado un deseo permanente de
“hacer mas con menos”.
Una revisión crítica del término de productividad permite elaborar conceptos más avanzados
que la definen como “una medida de la eficiencia económica que resulta de la capacidad para
utilizar y combinar inteligentemente los recursos disponibles”. En esta definición sobresale como
criterio clave la eficiencia, que según la teoría económica implica lograrla en el consumo, la
producción y la satisfacción del consumidor.
Se puede definir a la productividad de varias maneras: primero, Productividad es el resultado
de la relación entre los insumos invertidos y los productos obtenidos. Segundo, Productividad es

10
Di Gropello y Cominetti citando a Behrman (1995).
11
Franco (1997).
12
En los capítulos posteriores de desarrollará un análisis de indicadores.
13
Franco (1997).
14
Rodríguez (1993).
CEPAL - SERIE Manuales N°47
13
hacer más con menos. Tercero, Productividad es una medida de la eficiencia económica que resulta
de la capacidad para utilizar inteligentemente los recursos disponibles.
Se presentan cuatro criterios que permiten dar mayor precisión al término de productividad:
Debe incorporar la eficacia como concepto clave; es decir, el logro de los objetivos
organizacionales, pues de nada sirve la eficiencia si no se logra la misión de la empresa.
Debe asegurar que la productividad tenga efectos positivos en el cliente, lo cual sólo se puede
realizar a través del mejoramiento de la calidad de los productos y servicios, que no sólo satisfagan
sus necesidades sino que superen sus expectativas.
Debe establecer que la alta productividad implica el fomento del desarrollo de los
trabajadores, lo cual significa atender la calidad de vida en el trabajo, desde una perspectiva integral
y mucho más amplia, en donde el salario es suficiente y equitativo, la capacitación es en realidad
formación personal, la tarea es enriquecida y variada y, sobre todo, la dirección es justa, humana y
respetuosa.
Debe aceptar como parte de la productividad a la responsabilidad social de la empresa, lo
cual dignifica, justifica y hace defendibles los esfuerzos de superación de la gestión directiva, a la
vez que se reconocen los límites naturales que se derivan del respeto a la ecología, las prácticas
éticas en los negocios y la contribución económica que debe hacer la empresa a la sociedad en la
cual está inserta.
Equidad
El concepto de equidad se fundamenta en tres valores sociales: igualdad, cumplimiento de
derechos y justicia. Algunas definiciones de equidad que se encuentran son:
• “Cualidad que consiste en atribuir a cada uno aquello a lo que tiene derecho”.15
• “Moderación, templanza. Justicia natural, por oposición a la justicia legal”.
16

• “Una conformidad libre y razonable a los estándares de derecho natural, leyes y justicia,
libre de prejuicios o favoritismos”.
17

• “Justicia, calidad de ser igual o justo, imparcialidad”.
18

El entendimiento de la equidad dependerá entonces de una interpretación del derecho natural,
de las leyes y concepto de justicia. Es un concepto que va ser interpretado según los valores, las
tradiciones y la ética social.
Definiciones más formales, de aplicación económica y social; definen a la equidad como la
“reducción de la desigualdad social en sus múltiples manifestaciones”,
19
y aplican esta definición
sosteniendo que “la búsqueda de mayor equidad requiere que la sociedad desarrolle sistemas de
protección y promoción de las oportunidades y de la calidad de vida en aquellos aspectos que las
propias sociedades consideran de valor social, y que permiten que todos los ciudadanos sean
partícipes de los beneficios y actores del desarrollo”.
Una primera diferenciación de equidad se refiere a las nociones de equidad vertical y equidad
horizontal. Equidad vertical se refiere al tratamiento igual para todos los diversos grupos e
individuos de la sociedad. Así, equidad vertical implica igualdad absoluta. Por su parte, equidad
horizontal implica igual tratamiento para iguales. El tratamiento diferenciado se justifica en la
medida que individuos y grupos son diferentes y pueden ser tratados de manera diferenciada sin que

15
Diccionario de la Lengua Española 21ª edición.
16
Pequeño Larousse Ilustrado (1995).
17
Webster´s Unabridged. Third International Dictionary (1986).
18
Oxford English Dictionary Cambridge (1971).
19
CEPAL, Naciones.Unidas (2000).
Evaluación del impacto
14
esto sea “injusto”. El tratamiento diferenciado puede corregir o ajustar diferencias ya existentes
entre diversos grupos o individuos.
Amartya Sen (1992) plantea una teoría que puede ser vista como una forma amplia del
análisis de equidad. La búsqueda de la “igualdad” que no pocos desearían como la situación ideal,
conduce a dos preguntas centrales: ¿Por qué igualdad? e ¿Igualdad de qué?
Dada la diversidad de los seres humanos, la primera pregunta tiene sentido si se piensa que
demandar igualdad en algo, implica seguramente atentar con una demanda de igualdad en otro
aspecto. Esa misma diversidad humana es lo que justifica la importancia de la segunda pregunta.
Sen destaca que todas las teorías sociales normativas que han sobrevivido en el tiempo han
demandado igualdad de algo.
20
Así, las teorías siendo igualitarias en un espacio, terminan siendo no
igualitarias en otros espacios. La teoría de Sen de capacidades y funcionamientos aparece como la
más amplia. No evalúa el bienestar social a través de una métrica específica (como los utilitaristas)
o por los medios para alcanzar libertad (como Rawls), sino que mide directamente el bienestar de
las personas a través de lo que pueden alcanzar (funcionamientos), y por la libertad que tienen para
alcanzar esos funcionamientos (capacidades).
Por otro lado, Rawls deriva dos principios de justicia: primero, cada persona tiene igual
derecho a la más amplia libertad básica compatible con similar libertad para los demás, y segundo,
las desigualdades sociales y económicas serán aceptables sólo si se espera que serán ventajosas para
todos, y si todos enfrentarán igualdad de oportunidades.
Como se puede apreciar la definición de equidad responde a toda una estructura de
valoraciones: “El análisis de equidad es complejo debido al carácter normativo del concepto y a la
existencia de juicios éticos diferentes que, sujetos a diversos grados de coherencia, poseen las
personas que integran una sociedad. Así, mientras que hay situaciones que originan relativo
consenso en la población, reflejando su acuerdo con las acepciones más comunes de equidad,
existen también materias que dividen a la sociedad en grupos antagónicos al provocar un
enfrentamiento entre concepciones de equidad que, aún cuando opuestas, pueden ser
completamente legítimas. La resolución de estas materias corresponde en última instancia a la
esfera del proceso político, donde los intereses y valores que poseen los distintos grupos de la
población debieran ser compatibilizados”.
21

Se pueden distinguir muchas formas de igualdad o equidad. Algunas de las formas más
importantes son: Igualdad de oportunidadesIgualdad de acceso o cobertura, Igualdad de insumos,
Igualdad de efectos o impactos, e Igualdad de capacidades.Igualdad de Oportunidades significa
igualdad de oferta para todos (de servicios, de información u otro objeto de política),
independientemente de la condición, clase y capacidad de pago. Equidad se asociaría con una oferta
universal y homogénea de servicios sociales.
Igualdad de Acceso o Cobertura representa un avance sobre el concepto de igualdad de oferta
porque asocia ciertos aspectos de la demanda. Igualar el acceso implica lograr que el esfuerzo
relativo que el usuario tenga que hacer para aprovechar el servicio o el programa sea
aproximadamente igual.
Igualdad de insumos significa uniformizar las características con que se prestan los servicios
(que pueden o no ser ofrecidos en un régimen de igualdad de acceso o de cobertura). Implica fijar
estándares para el uso de insumos: número de atención médica semanales; textos por alumno; gasto
per capita.

20
Así por ejemplo la teoría de Rawls busca igual libertad e igualdad en la distribución de bienes primarios; la teoría de Nozick
(considerada como anti igualitaria) que demanda igualdad de derechos de libertad; y los utilitaristas que buscan el igual tratamiento
de todos los seres humanos en el espacio de pérdidas y ganancias de utilidad.
21
Larrañaga (2000).
CEPAL - SERIE Manuales N°47
15
Con respecto a la igualdad de efectos o Impactos (igualdad de resultados), los efectos o
impactos no van a depender sólo del acceso y los insumos, sino de las condiciones en que los
diversos grupos poblacionales se encuentren al acudir al servicio (ejemplo, diferencias de
aprendizaje en zonas urbanas y rurales). Para lograr equidad en los resultados hay que incorporar en
las actividades acciones remediales o compensatorias por las diferencias que diversos usuarios
experimentan en factores que resultan determinantes para el logro del efecto o impacto esperado. La
igualdad de resultados podría ser no factible (nadie puede obligar a unos niños a aprender si no
quieren), o injusta (no se puede exigir que todos tengan que lograr el mismo resultado ya que podría
limitar su libertad).
Finalmente, el concepto de Igualdad de Capacidades contempla la compensación por factores
que podrían limitar la capacidad de un individuo o de un grupo para lograr experiencias y beneficios
importantes o básicos, que deberían estar al alcance de todos: “nivelar la cancha del juego”. Dar a
todos una oportunidad parecida de poder aprovechar el servicio, o acudir a un evento, o lograr un
determinado fin. Así, se haría que las probabilidades de lograr el objetivo (el efecto o el impacto)
esperado sean independientes de las raíces de las inequidades existentes (niveles de ingreso,
educativos, etc.). Es un concepto cercano al de igualdad de oportunidades.
Un punto importante en esta discusión es acerca de la relación entre eficiencia y equidad.
Algunos sostienen que existe un “trade off” importante entre ambos criterios, aunque por ahora
basta saber que la discusión está presente. En un trabajo realizado por Cohen (2000) se ilustra un
poco más esta relación: “Habitualmente se entiende la equidad como contrapuesta a la eficiencia, lo
que permite hablar del costo social de la equidad. Esto es así en muchos campos. En el de la
educación básica de los grupos carenciados, empero, es una hipótesis que exige contratación
empírica. Sería necesario comparar los costos incrementales de inversión y operación que
demandaría, por ejemplo, la extensión de la jornada escolar, con los beneficios sociales adicionales
que resultarían de disminuir la repitencia y la deserción y aumentar el rendimiento”.
22

2.2 Diseño experimental y cuasi experimental
En el diseño de una evaluación de impacto se pueden usar diversas metodologías que entran
en dos categorías generales: diseños experimentales (aleatorios) y diseños cuasi experimentales (no
aleatorios).
Los diseños experimentales son de amplio uso en el diseño de experimentos clínicos,
mientras que los diseños cuasi experimentales son de mayor uso en las ciencias sociales.
Diseño Experimental
En este diseño el investigador manipula una variable (la intervención) y observa el efecto que
ella tiene sobre una variable de resultado en un grupo de sujetos que se siguen a través del tiempo.
La inferencia causal se obtiene comparando las variables de resultado en los sujetos clasificados de
acuerdo a la intervención que ellos reciben.
La primera tarea que se realiza en este tipo de estudio es reunir un grupo de personas
representativas de los beneficiarios potenciales a los cuales se les efectúa mediciones de línea base.
A continuación el investigador asigna al azar a los sujetos en dos grupos de estudio: uno recibiendo
el tratamiento y el otro permaneciendo como un grupo de control no tratado. Después de un periodo
de seguimiento, el investigador observa la variable de resultados para los distintos sujetos y
compara los resultados entre los dos grupos de estudio (ver gráfico 1).
La asignación al azar de los sujetos a ambos grupos establece las bases para el testeo de la
significancia estadística de las diferencias entre estos grupos en las variables de resultado medidas.
La randomización garantiza que la edad, género, y otros características presentes en la línea base

22
Cohen (2000).
Evaluación del impacto
16
que pudieran afectar la asociación observada son distribuidas igualmente (excepto por variación al
azar) entre los dos grupos. Cualquier efecto de una mala distribución producto de un factor al azar
son automáticamente incluidos en las pruebas estadísticas de la probabilidad de que el azar es
responsable por las diferencias promedio en la variable de resultado entre los grupos asignados
aleatoriamente.
GRAFICO 1
DISEÑO EXPERIMENTAL: GRUPO DE TRATAMIENTO Y GRUPO DE CONTROL










Fuente : Elaboración propia

Para la evaluación de impacto es de utilidad contar con estimaciones de la variable de
resultado antes y después de un programa, sin embargo si la aleatorización fue hecha correctamente
y si los grupos tienen un tamaño suficiente, no se requiere contar con estimaciones de la variable de
resultados en la situación pre tratamiento. Esto es así ya que una asignación al azar en los grupos de
tratamiento y control garantiza que ambos grupos presentarían, en promedio, el mismo valor inicial
de la variable de resultado y por ende toda la diferencia, en caso de existir, radicaría en el resultado
de la variable de resultado post programa. Así una mera comparación entre las medias de la variable
de resultado entre el grupo de tratamiento y de controles en la situación post tratamiento permitiría
obtener una medición del impacto del programa.
Diseño Cuasi Experimental
Aunque los diseños experimentales se consideran el método óptimo para estimar el impacto
de los programas, en la evaluación de políticas públicas ellos son difíciles de implementar por
varias razones. En primer lugar, conseguir la aleatorización puede ser difícil por aspectos políticos o
éticos ya que supone no entregar el programa, y por ende sus beneficios, a algunas personas o zonas
geográficas que se podrían beneficiar de éstos. En segundo lugar, durante el experimento las
personas asignadas a los grupos de control podrían cambiar ciertas características que los
identifican, potencialmente invalidando o contaminando los resultados. En los diseños clínicos esta
posibilidad se reduce ya que los estudios son “doble ciegos”, es decir tanto los que entregan la
intervención como las personas que la reciben no conocen a que grupo pertenecen y por ende, no
saben si están recibiendo el tratamiento o un placebo. Así no tienen incentivos a desarrollar
acciones que afecten los resultados. En la evaluación de programas públicos es difícil mantener esta
característica de “doble ciego” con lo cual los resultados pueden contaminarse. En tercer lugar, en el
análisis de programas se requiere evaluar el impacto de programas que ya están en operación con lo
cual no se puede optar por un diseño experimental debiendo optarse por diseños alternativos.
Los diseños cuasi experimentales, basados en información existente, permiten crear grupos
de beneficiarios y de comparación similares al grupo de tratamiento en características observadas
CEPAL - SERIE Manuales N°47
17
pre programa usando métodos de emparejamiento o de matching. Los modelos de “matching”
buscan comparar los situación de cada participante sólo con la de aquellos individuos que sean
similares en su set de atributos, o al menos, ponderan más la comparación con individuos que
tengan atributos similares que la de individuos cuyos atributos sean muy diferentes. Antes de
realizar la comparación, se selecciona para cada participante al o los individuos que servirán de
comparación, llamados “emparejados” o “matched”, de acuerdo a su distancia en alguna(s)
variable(s) de caracterización.
Operativamente, puede llegar a ser muy costoso utilizar todo el set de atributos para realizar
el proceso de matching. Por esto, y considerando que es la posible dependencia que tiene la
participación en el programa del set de atributos lo que puede sesgar la estimación, usualmente se
utiliza la probabilidad condicional a participar, dados los valores pre-programa del set de atributos
(propensity score) para guiar el proceso de matching. Si se cumplen ciertas condiciones, que se
expondrán posteriormente, usando valores estimados de los propensity scores en el proceso de
matching, se puede obtener un estimador consistente del efecto promedio del programa sobre los
participantes (EPPP).
Es importante destacar que bajo un diseño cuasi experimental los grupos de tratamiento y de
comparación no se seleccionan al azar. Por lo tanto, se deben aplicar controles estadísticos para
abordar las diferencias entre los grupos de tratamiento y de comparación y emplear técnicas de
matching para crear un grupo de comparación que sea lo más similar posible al grupo de
tratamiento.
La principal ventaja del diseño cuasi experimental es que para realizar la evaluación se
pueden usar datos secundarios existentes y, por lo tanto, son rápidos de implementar. Su principal
desventaja, más allá de no ser métodos al azar como los diseños experimentales, es que requieren
incorporar en su evaluación posibles sesgos de selección asociados con la decisión de participar o
no en el programa, ya que utilizan un grupo de comparación construido de manera ad hoc en vez de
su asignación al azar. Estos sesgos son de tal magnitud que afectan tanto el diseño muestral como la
variable de resultados.
El problema del sesgo de selección ha sido extensivamente estudiado por James Heckman,
tanto en sus aplicaciones a economía laboral como en la evaluación de programas sociales,
existiendo en la actualidad métodos paramétricos y no paramétricos para corregir las estimaciones.
Los métodos paramétricos endogenizan la variable participación en el programa ya sea a través de
una segunda ecuación que explica la decisión de participación o no en él o a través del método de
variables instrumentales. Los métodos no paramétricos basados en matching la incorporan al
suponer que la variable de resultado, condicional en la probabilidad de participación en el
programa, es la misma tanto para beneficiarios como comparaciones. Esto último depende, sin
embargo, de qué tan bien se especifiquen las variables usadas para efectuar el matching.
En términos de la necesidad de usar información pre y post progama, en un diseño cuasi
experimental nada garantiza que en la situación pre programa t
o
la variable de resultado sea igual
entre los beneficiarios y las comparaciones. En otras palabras, nada garantiza que en la situación
pre programa se cumpla que: Y
B
to
=
Y
C
to
, donde Y
B
to

denota el valor que toma la variable de
impacto en los beneficiarios en la situación pre programa e Y
C
to

denota el valor que toma la
variable de impacto en los controles en la situación pre programa. Por lo tanto, bajo este diseño hay
que considerar el estimador de diferencias en diferencias el cual considera la diferencia en la
variable de impacto entre beneficiarios y controles en la situación post programa (t
1
) y en la
situación pregrograma (t
0
). El efecto del tratamiento bajo el estimador de diferencias en diferencias
es:
Efecto del Tratamiento = (Y
B
t1
- Y
C
t1
) - (Y
B
to
- Y
C
to
)

Evaluación del impacto
18
Gráfico 2
EFECTO DEL TRATAMIENTO SOBRE LOS TRATADOS: ESTIMADORES DE DIFERENCIAS EN
DIFERENCIAS



























Fuente: Elaboración propia
2.3 Estimación paramétrica y no paramétrica
Se llama estimaciones paramétricas a aquellas en que la variable que sirve como indicador de
impacto se define como una función que depende de una matriz X de variables exógenas, entre ellas
la participación en el programa, y un vector fijo de parámetros, típicamente denotado por β. El
impacto estimado es el valor del coeficiente del vector estimado de β que corresponde a la variable
dicotómica de participación en el programa. Formalmente, se estima a través de métodos
econométricos el siguiente modelo de regresión lineal:
) , 0 ( ;
2
σ µ µ β N donde X Y ∼ + = (1)
Tal como se mencionara previamente en la estimación cuasi experimental del impacto de
programas sociales, comúnmente la variable de participación en el programa depende de los
atributos de los participantes, por lo que la matriz X ya no sería exógena provocando un sesgo en la
estimación, conocido como “sesgo de selección”.
Los métodos no paramétricos de estimación corresponden a todos aquellos que no suponen a
priori una forma funcional paramétrica que defina el indicador de impacto. Usualmente estos
métodos utilizan una estimación de Kernel la que especifica:
µ + = ) (X m Y (2)
Donde m(X) es el valor esperado condicional de Y sin una forma parámetrica como en el
modelo de regresión presentado en la ecuación (1) y la función de densidad de la variable aleatoria
no se especifica. Las N observaciones Y
i
y X
i
son usadas para estimar de manera conjunta la función
de densidad conjunta para Y y X. La densidad en un punto (Y
0
,X
0
) se estima usando la proporción de
las N observaciones que están cercanas a (Y
0
,X
0
). Este procedimiento involucra el uso de una
función llamada Kernel que asigna las ponderaciones a las observaciones cercanas.
CEPAL - SERIE Manuales N°47
19
II. Introducción a métodos de
estimación
1. Métodos paramétricos
Dado un universo de individuos elegibles para participar en un
Programa, cada uno de ellos puede realizar una de dos acciones
alternativas: participar o no participar, y tiene, por lo tanto, dos
resultados potenciales respecto de alguna variable de interés para el
investigador. Obviamente, para cada individuo sólo uno de estos
estados potenciales se realizará y podrá ser observado. Si denotamos
por D
i
=1 y D
i
=0 los estados del individuo i como participante o no
participante del programa, respectivamente, por Y
i
(0) su resultado
potencial en la variable Y si D
i
=0, y por Y
i
(1) el resultado potencial si
D
i
=1, el resultado observado Y
i
será:
Y
i
= D
i
Y
i
(1) + (1 – D
i
) Y
i
(0) (3)
donde:
Y
i
(0) = X
i
β
0
+ µ
0i
E[µ
0i
| X
i
] = 0 (4)
Y
i
(1) = X
i
β
1
+ µ
1i
E[µ
1i
| X
i
] = 0 (5)
Reemplazando (4) y (5) en (3) se obtiene:
Y
i
= Y
i
(0) + (Y
i
(1) – Y
i
(0)) D
i
= Y
i
(0) + A
i
D
i
(6)
donde: A
i
= (Y
i
(1) – Y
i
(0))
Evaluación del impacto
20
Existen tres casos posibles:
Caso 1: A
i
= A para todo i. es decir se esta en presencia de un caso de respuesta homogénea.
Caso 2: A
i
≠ A
j
y Pr [D i = 1| X; A
i
] = Pr [D i = 1 | X], es decir aún cuando se está en
presencia de un caso de respuesta heterogénea las personas no utilizan esta información en sus
decisiones.
Caso 3: A
i
≠ A
j
y Pr [D i = 1| X; A
i
] ≠ Pr [D i = 1 | X], es decir se está en presencia de un
caso de respuesta heterogénea y las personas utilizan esta información en sus decisiones.
En el Caso 1, la evaluación del impacto de un programa puede ser estimado a través del
parámetro A en un modeIo de mínimos cuadrados ordinarios ya que en este caso Ia ecuacion queda:
Y
i
= X
i
β
0
+ A D
i
+ µ
i
(7)
En el Caso 2 la situación es ligeramente más compleja, ya que en este caso:
Y
i
= X
i
β
0
+ [X
i

1
- β
0
) + (µ
1i
- µ
0i
)] D
i
+ µ
oi
(8)
Lo que es igual a:
Y
i
= X
i
β
0
+ X
i

1
- β
0
) D
i
+ η
i
(9)
donde:
η
i
= µ
0i
+ (µ
1i
- µ
0i
) D
i

Dado que las personas no utilizan esta información en sus decisiones entonces (µ
1i
- µ
0i
) no
está correlacionado con Di, lo que implica que la estimación a través de mínimos cuadrados
ordinarios es factible pero corrigiendo la estimación por heterocedasticidad.
Finalmente, en el Caso 3 se está en presencia del modelo de autoselección el cual debe ser
estimado usando la corrección que Heckman desarrollara en el contexto de la estimación de la
oferta de trabajo o a través de una estimación usando el método de variables instrumentales para
incorporar la relación que existiría entre la variable D
i
y el término de error η
i
.
2. Métodos no paramétricos
23

Dado un universo de individuos elegibles para participar en un Programa, cada uno de ellos
puede realizar una de dos acciones alternativas: participar o no participar, y tiene, por lo tanto, dos
resultados potenciales respecto de alguna variable de interés para el investigador. Obviamente, para
cada individuo sólo uno de estos estados potenciales se realizará y podrá ser observado. Si
denotamos por D
i
=1 y D
i
=0 los estados del individuo i como participante o no participante del
programa, respectivamente, por Y
i
(0) su resultado potencial en la variable Y si D
i
=0, y por Y
i
(1) el
resultado potencial si D
i
=1, el resultado observado Y
i
será:
Y
i
(0) si Di=0
Y
i
= (1)
Y
i
(1) si Di=1
El estimador del efecto promedio del programa será:
EPP = E [Y
i
(1) - Y
i
(0)] (2)
El efecto promedio del programa sobre los controles será:

23
En la elaboración de esta sección se usaron los artículos de Aedo y Núñez (2001), Becker e Ichino (Borrador sin fecha), Heckman,
Ichimura y Todd (1998), (1997), Ñopo, Robles y Saavedra (2002).
CEPAL - SERIE Manuales N°47
21
EPPC = E [(Y
i
(1) - Y
i
(0))| D=0] (3)
Y el efecto promedio del programa sobre los participantes:
EPPP = E [(Y
i
(1) - Y
i
(0))| D=1] (4)
Para calcular la rentabilidad de un programa interesa conocer los beneficios que éste reportó a
quienes efectivamente participaron en él, en comparación con su situación si no hubiesen
participado. Por lo tanto, el análisis se centra en el tercer estimador expuesto, EPPP.
En cualquier caso, como puede verse, el problema radica en que para realizar tal comparación
se necesita conocer una situación hipotética que nunca ocurrió. Por ejemplo, en el caso que aquí
interesa, al intentar calcular el EPPP uno se encuentra que para todo i tal que D
i
=1, el valor de
Y
i
(0), el estado contrafactual, no es observable.
Para enfrentar este problema, se recurre a construir entre los individuos elegibles que no
participaron en el programa, un grupo de control, similar al grupo de participantes en algunas
variables de interés. Es decir, se construye una muestra de N
0
+ N
1
= N individuos elegibles, donde
N
0
es el tamaño de la muestra de control y N
1,
el de la muestra de participantes. El estimador del
efecto promedio del programa sobre los participantes será:
EPPP = (1/N
1
) Σ
Di =1
(Y
i
(1) - Ψ
i
(0)) (5)
donde Ψ
i
(0) = es el estimador de Y
i
(0) construido sobre la base de información pre-programa
de los miembros del grupo de control que han sido emparejados con el participante i. La forma en
que se determina el valor de Ψ
i
(0) da origen a una variedad de métodos de emparejamiento que se
describen en el Anexo 2.
Realizar un proceso de emparejamiento, es decir, de búsqueda de distancias mínimas entre
individuos, en un espacio multidimensional, puede fácilmente llevar a un grado de complejidad que
torne el problema inabordable. Sin embargo, bajo ciertas condiciones, se puede lograr un resultado
similar de manera mucho más sencilla, si en lugar de utilizar todo el set de atributos pre-programa
X, se usa la propensión estimada a participar p(X), definida por Rosenbaum y Rubin (1983) como la
“probabilidad condicional de participar, dados los valores del set de atributos pre-programa”. Es
decir:
p(X) = Pr ( D=1 | X ) = E [ D | X ] (6)
Bajo las condiciones de “Balancing” y “Unconfoundedness” (ver Anexo 2), el estimador del
efecto de participar en el programa para los participantes puede expresarse como:
EPPP = E[(Y
i
(1) - Y
i
(0))| D
i
=1] (7)
EPPP = E[E[(Y
i
(1) - Y
i
(0))| D
i
=1, p(X
i
)]] (8)
EPPP = E[{E[Y
i
(1)|D
i
=1, p(X
i
)] - E[Y
i
(0)|D
i
=0, p(X
i
)] }| D
i
=1] (9)
Para obtener las propensiones estimadas a participar es posible usar cualquier método de
estimación para variable dicotómica, por ejemplo PROBIT o LOGIT.
Una vez calculadas las propensiones estimadas a participar, existen varios métodos
alternativos para estimar el valor contrafactual no observable para cada participante en la muestra.
Una clasificación posible son los métodos "Uno a uno", métodos estratificados y métodos Kernel
(ver Anexo 2).
Independientemente del método de emparejamiento utilizado, la literatura relativa a
metodología de estimación de impacto basada en emparejamientos de beneficiarios con controles
(Matching Estimators) plantea la conveniencia de trabajar sólo con aquellos beneficiarios y
controles cuyas propensiones a participar pertenezcan a un dominio común, es decir, aquellos para
Evaluación del impacto
22
quienes existe un individuo en el estado alternativo (beneficiario o control) cuya propensión a
participar es suficientemente cercana como para ser su pareja de comparación. Trabajar sólo en la
región de common support asegura una mejor calidad de los emparejamientos pero puede reducir el
número de observaciones válidas.
Una de las críticas posibles es que estos métodos consideran que el tratamiento es único. Por
tal motivo, hay generalizaciones de estos métodos para considerar el caso de tratamientos múltiples
los que se presentan en el Anexo 2.
CEPAL - SERIE Manuales N°47
23
III. Aplicaciones de evaluaciones de
impacto
1. Introducción
Numerosos países de América Latina han introducido programas
sociales de apoyo a las familias pobres para que puedan mejorar sus
condiciones de vida y salir del ciclo de la pobreza, a través de
transferencias condicionales de ingreso provisto que las familias
mantengan sus hijos asistiendo al sistema escolar formal y/o que los
mantengan con sus controles preventivos de salud al día. A nivel de
América Latina el ejemplo más conocido de este tipo de programa lo
constituye el PROGRESA de México, el cual ha sido posteriormente
renombrado como Oportunidades. Otros ejemplos incluyen los
programas PETI, Bolsa Escola y Bolsa Alimentacao de Brasil o la Red
de Protección Social de Nicaragua o el Familias en Acción de
Colombia. En conjunto con estos programas coexisten en América
Latina otros programas de transferencias de ingreso que tienen como
objetivo el alivio de situaciones de pobreza de corto plazo, originados
especialmente de periodos de crisis macroeconómicas severas. Estos
programas requieren que los participantes estén de acuerdo con ciertos
patrones de trabajo para recibir las transferencias de ingreso. Tal es el
caso del Programa de Jefes y Jefas de Hogares de Argentina.
En esta sección se efectúa una presentación de programas de
transferencias condicionadas, se presentan sus bases conceptuales y su
racional teórica, y se sintetizan las evaluaciones existentes de estos
programas.

Evaluación del impacto
24
La cobertura de trabajos incluidos en esta sección no es completa en relación con todos los
programas de transferencias condicionadas existentes en América Latina, puesto que se ha utilizado
como criterio de inclusión, que los programas cuenten con una evaluación cuantitativa formal o que
cuenten con un diseño establecido para su evaluación del tipo de evaluación de impacto.
2. Programas centrados en solucionar la pobreza estructural
Estos programas, que surgen con el apoyo de la banca multilateral para ayudar a la población
más vulnerable, tienen como objetivo principal dotar de capacidades a los hogares más pobres para
superar la pobreza estructural que los afecta, a través principalmente de intervenciones que mejoran
sus niveles educativos y de salud (ver cuadro 1). Las instituciones ejecutoras de estos programas
son entidades públicas, ya sea a través de ministerios o secretarías de educación, de salud o de
asistencia social (casos de Brasil y México); a través de entidades adscritas a la presidencia de la
república (casos de Colombia y Honduras) o a través de fondos de inversión social (Nicaragua).
Cuadro1
OBJETIVOS DE LOS PROGRAMAS CENTRADOS EN SOLUCIONAR LA POBREZA ESTRUCTURAL
Programa Objetivos
Inicio
Programa
Agencia
Ejecutora
Bolsa Escola, Brasil
Aumentar el logro educativo de niños pobres
en edad escolar.
Reducir la pobreza actual y futura

2001
Secretaría Nacional del
Programa Beca Escolar,
Ministerio de Educación
PETI, Brasil
Erradicar el trabajo infantil, aumentando el
logro educativo y reduciendo la pobreza

1998

Ministerio de Asistencia
Social
Bolsa Alimentacao, Brasil
Reducir deficiencias nutricionales y la
mortalidad infantil

2000


Ministerio de Salud
Familias en Acción,
Colombia
Aumentar la inversión en capital humano en
familias de extrema pobreza
Servir como red de seguridad

2001
Departamento
Administrativo de la
Presidencia de la República
PRAF II, Honduras
Aumentar la acumulación de capital humano
en los niños provenientes de las familias
más pobres, ayudando a romper el círculo
de pobreza

1990

Presidencia de la República
PROGRESA
(Oportunidades), México
Mejorar el nivel educativo, de salud y estado
nutricional de familias pobres, especialmente
de los niños y las madres

1997

Coordinación Nacional del
Programa de Desarrollo
Humano Oportunidades
Red de Protección Social,
Nicaragua
Promover la acumulación de capital humano
entre hogares que viven en extrema pobreza

2000

Fondo de Inversión Social
de Emergencia
Fuente: Elaboración propia a partir de Rawling y Rubio (2003)

Los programas incluidos ofrecen una variedad de subsidios, sin embargo predominan los que
afectan las condiciones estructurales que condicionan la situación de pobreza en los más
vulnerables. Así, es posible identificar predominantemente la presencia de apoyos para la asistencia
escolar, para la atención de salud y apoyos a la nutrición (ver cuadro 2). Es interesante destacar lo
casos del PRAF II de Honduras y Oportunidades de México quienes combinan subsidios
monetarios y en especie (materiales educativos y suplementos nutricionales) dentro de su estructura
de beneficios.
CEPAL - SERIE Manuales N°47
25
En lo relativo a las condiciones que se deben cumplir para acceder a los beneficios se observa
una similitud en los requisitos entre los programas: en el caso de los beneficios en educación se
requiere de una asistencia escolar que varía entre 80% y 85% en los últimos tres meses; mientras
que en el caso de salud se requiere cumplir estrictamente con los controles de salud y con el
programa de vacunaciones. En ambas situaciones se necesita el cumplimiento del requisito para
acceder a los beneficios; el incumplimiento conduce a una pérdida de los beneficios, la que es
temporal al inicio pero que puede transformarse en permanente.
Cuadro 2
BENEFICIOS DE LOS PROGRAMAS Y CONDICIONES DE ELEGIBILIDAD
Programa Beneficios ofrecidos por el programa Condiciones exigidas para recibir los
beneficios
Bolsa Escola, Brasil Beca escolar a niños pobres entre 6-15 años
que asisten a la escuela
Al menos 85% de asistencia escolar en
período de 3 meses
PETI, Brasil Transferencia de ingreso
Programa post-escuela
Al menos 80% de asistencia escolar en
período de 3 meses y participación en
el programa post-escuela (jornada
ampliada)
Bolsa Alimentacao, Brasil Beca de salud Cumplir calendario de visitas a centro
de salud y cumplir con el programa de
vacunaciones


Familias en acción, Colombia
Subsidio nutricional: apoyo nutricional a las
familias con niños menores de 7 años
Subsidio escolar para incentivar la asistencia
escolar y el rendimiento de los niños de 7-17
años en la escuela
Visitas regulares a centros de salud
para monitoreo de crecimiento de
niños
Al menos 80% de asistencia a la
escuela en período de 2 meses


PRAFF II, Honduras
Incentivos a la demanda (voucher): bono
escolar, bono nutricional y de salud
Entrenamiento en nutrición para madres
Incentivos a la oferta para escuelas primarias
y para centros de salud
Inscripción a la escuela y máximo de 7
días de ausentismo en un período de 3
meses
Cumplir con la frecuencia regular de
visitas a centros de salud






PROGRESA (oportunidades),
México
Becas educativa para niños y jóvenes que
cursan entre tercero de primaria y tercer grado
de educación media
Apoyo para materiales de la escuela
Refuerzo de la oferta y calidad de servicios de
educación
Apoyos monetarios para mejorar la
alimentación familiar
Paquete básico de atención de salud
Suplementos alimenticios para todos los niños
entre 4 meses y 2 años, los menores de 5
años que presentan desnutrición y para
mujeres embarazadas o que están lactando
Educación en nutrición y salud.
Apoyo a la oferta de servicios de salud



Para los beneficios educativos: cumplir
con una asistencia de más del 85% a
clases
Para los beneficios de apoyo
monetario y de alimentación, las
familias deben cumplir con la
responsabilidad de acudir a sus citas
programadas en los servicios de salud




Red de protección social,
Nicaragua
Bono alimentario destinado a la compra de
alimentos necesarios para mejorar la nutrición
de la familia
Bono educativo para hogares con niños entre
6-13 años y que cursen entre primero a cuarto
grado
Cada dos meses se le entrega a la titular US$
0.7 por niño(a) matriculado, para que lo
entregue a la escuela
Los titulares con niños de 0-5 años
deben completar un plan de salud
preventivo y acudir a cursos de
capacitación en salud y nutrición
Ausentismo injustificado menor a 6
días en un período de 2 meses y
promoción al siguiente grado

Fuente: Elaboración propia a partir de Rawling y Rubio (2003)


El valor del subsidio mensual que entregan estas intervenciones varía según programa,
incluyendo subsidios individuales y familiares que se ubican entre los US$6 hasta US$ 58, aunque
el valor promedio es de alrededor de US$ 12 por mes (cuadro 3). En términos del esfuerzo que
Evaluación del impacto
26
hacen estas economías en estos programas, se puede observar que son moderados y que no exceden
el 0,35% del PIB.
En términos de población cubierta son programas con un alto número de beneficiarios y en
general, presentan cobertura tanto en áreas urbanas como rurales.
Cuadro 3
SUBSIDIO MENSUAL, BENEFICIARIOS, COBERTURA Y GASTO

Programa Subsidio mensual Número de beneficiaries Cobertura Porcentaje
del PIB
Bolsa Escola,
Brasil
R$15-R$45 (US$6-19)
por familia
1.776.704 familias;
8.154.550 niños en
enseñanza (4,79% de la
población total)
Área urbana y área rural
en 5.469 municipios

0,13%
PETI, Brasil
Varía entre estados
entre R$25-R$39 (US$
11-17) por niño mes
362.000 niños entre 7 y 14
años en más de 230
municipalidades
Área urbana y area rural. 0,0094%
Bolsa
Alimentacao,
Brasil
800.000 mujeres
embarazadas; y 2.700.000
niños (1,58% de la
población total)
Área urbana y rural en
5.561 municipios
0,024%


Familias en
acción, Colombia
Primaria: Col$14,000
(US$6) por niño mes
Secundaria:
Col$28,000 (US$12)
por niño mes
340.000 familias pobres;
1.000.000 de niños
(4,01% de la población
total)
Área urbana y área rural,
en 620 municipios
0,12%


PRAFF II,
Honduras
Voucher a la educación
L$828 (US$58) por
niño por año.Incentivo
promedio a la oferta
L$57,940 (US$4,000)
por escuela por año
Bono educativo: 115.263;
salud: 69.070; adultos
mayores: 11.167;
educación / salud: 110.006
y familiar: 4.933 (4,70% de
la población total)
Área urbana y área rural






0,019%



PROGRESA
(oportunidades),
México
Primaria: varía por
grado US$8-17 por
niño por mes + US$ 11
por niño por año para
materiales
Secundaria: varía por
grado y sexo US$25-32
por niño por mes +
US$20 por niño por año
para materiales
A fines de 2001: 3.237.667
familias y 3.315481
beneficiarios (3,38% de la
población total)
Área rural y área urbana. 0,32%
Red de
protección
social,
Nicaragua
Beca: C$240 (US$ 17)
cada 2 meses por
familia
Apoyo de materiales
para la escuela: C$275
(US$20).
Incentivos a la
oferta:C$10 (US$0,7)
por estudiante cada 2
meses
10.093 familias; 7.761
niños en salud y 13.217
niños en educación (1,21%
de la población total)
Área rural. 0,021%
Fuente: Elaboración propia a partir de Rawling y Rubio (2003)




CEPAL - SERIE Manuales N°47
27
3. Programas diseñados para tiempos de crisis
Programa Jefes y Jefas de Hogares de Argentina
El Programa Jefes y Jefas de Hogares de Argentina surge en enero de 2002 como una
respuesta a la grave crisis macroeconómica que afectó a Argentina hacia finales del año 2001.
Estadísticas oficiales indicaban que el porcentaje de personas pobres en Argentina se había
incrementado desde un 37% en Octubre del 2001 a un 58% en Octubre del 2002. Dentro de este
contexto, el Programa tuvo como objetivo entregar apoyo a familias con dependientes quienes
habían perdido su principal fuente de ingresos debido a la crisis. Con el apoyo de la banca
multilateral, principalmente del Banco Mundial, el programa se expandió rápidamente para cubrir a
cerca de 2.000.000 de hogares hacia finales del año 2002. La unidad ejecutora fue el Ministerio del
Trabajo de Argentina. Este programa reemplazó al Programa Trabajar, el cual tenía el requisito de
trabajar entre 30-40 horas en labores que tuvieran valor para los residentes de comunidades pobres.
El programa Jefes y Jefas de Hogares entregaba una transferencia de Ar$150 por mes a cada
persona elegible, cifra que representaba alrededor del 50% del ingreso per-cápita promedio mensual
en Argentina en el año 2002. El programa estaba destinado para jefes de hogar desempleados con
dependientes (hijos menores de 18 años o hijos que presentaran grados de discapacidad). El
programa gastó aproximadamente US$500 millones en el año 2002 y el año 2003 se estima que se
gastó aproximadamente US$600 millones.
En términos de cobertura, el programa en teoría era universal, en el sentido que cualquier
persona elegible que quisiera la transferencia de ingreso podía obtenerla (no tenía como foco
explícito la pobreza). Sin embargo, en la práctica esta cobertura era claramente no sostenible.
Evidencia presentada en Galasso y Ravallion (2003) indica que ya en el año 2002 existía la
preocupación de que el programa estaba siendo capturado por personas que no estaban en el grupo
de riesgo. Datos administrativos disponibles en el Ministerio del Trabajo indicaban que sobre la
mitad de los participantes en el programa eran mujeres, las cuales probablemente no eran jefes de
hogar. De hecho, en la práctica los encargados del programa no verificaban si el postulante era o no
jefe de hogar. A su vez, existía la preocupación de que algunos de los beneficios del programa
estaban siendo recibidos por personas que no estaban tan afectados por la crisis o que tenían
recursos para enfrentar el desempleo de manera adecuada. Tal como indica Galasso y Ravallion el
problema radica en la definición de desempleo en Argentina, país en el cual más de la mitad del
empleo tiene su origen en el sector informal. De esta forma los encargados del programa sólo
podían verificar razonablemente si el postulante tenía o no un trabajo en el sector formal de la
economía.
Debido a estas preocupaciones, a mediados del 2002 se introdujo el requisito de trabajar con
el objetivo de asegurar que las transferencias de ingreso efectivamente llegaran a aquellos en mayor
necesidad. A los participantes se les solicita trabajar 20 horas en trabajo comunitario básico, o en
actividades de entrenamiento laboral, o asistiendo al colegio o trabajando en una empresa privada
con un salario subsidiado por un espacio de seis meses. Las oficinas provinciales del Ministerio del
Trabajo, junto con los consejos municipales y provinciales eran los responsables del monitoreo de
las actividades laborales que contemplaba el programa Jefes y Jefas de hogares.
Galasso y Ravallion son escépticos con respecto al grado de efectividad del requerimiento de
trabajar como un elemento efectivo de focalización del Programa Jefes y Jefas, ya que el rápido
crecimiento del programa y el entorno de crisis impusieron problemas para exigir el requisito de
trabajar.
Empleo en Acción de Colombia
Este programa forma parte de la Red de Apoyo Social que el gobierno de Colombia ha puesto
en marcha para paliar el impacto que la crisis económica y el ajuste fiscal han tenido sobre la
Evaluación del impacto
28
población más pobre del país. “Empleo en Acción” tiene como objetivo entregar ingreso temporal a
personas pobres y de baja calificación que se encuentren desempleadas a través de una ocupación
transitoria y mejorar la infraestructura social de las zonas más pobres de las ciudades.
24
El 80% de
la inversión se planea realizarla en las 78 ciudades principales del país (ciudades capitales,
municipios con más de 100.000 habitantes en zonas urbanas) y el 20% restante se destinará a
cualquier otra ciudad o municipio que presente proyectos que sean viables.
La estrategia de evaluación supone adoptar como metodología básica de evaluación una del
tipo experimental, en el cual se entrevistan a personas con intervención del Programa, versus un
grupo de comparación que presenta características similares pero que no participó en el programa.
La evaluación contempla dos grandes temas: i) impacto (ingresos recibidos) sobre los beneficiarios
y sus familias; e ii) impactos (beneficios reportados) de las obras financiadas por el Programa.
La evaluación se construirá con una línea de base y con dos mediciones posteriores de la
misma muestra, estableciendo datos longitudinales para la evaluación de impacto. El diseño original
contemplaba un tamaño muestral para la línea base de 13,904 personas, el cual debe converger
(considerando una tasa de no respuesta y la pérdida de hogares a lo largo del tiempo) a un total
10,568 personas al segundo seguimiento.
4. Evaluación de estos programas
Diseño e Implementación
En esta sección se presentan las estrategias de evaluación aplicadas a los programas de
transferencias condicionales de ingresos de Brasil (programa PETI y programa Bolsa Alimentaçao),
Honduras, México, Colombia y Nicaragua.
El siguiente cuadro, que actualiza la información provista por Rawling y Rubio (2003),
presenta información sobre los programas incluidos en el presente informe.


24
En casos que exista un exceso de demanda por empleos, los beneficiarios efectivos serán seleccionados al azar.
CEPAL - SERIE Manuales N°47

29


C
u
a
d
r
o

4

E
V
A
L
U
A
C
I
O
N
E
S

D
E

P
R
O
G
R
A
M
A
S

C
O
M
P
L
E
T
A
S

D
E

L
O
S

P
R
O
G
R
A
M
A
S

D
E

T
R
A
N
S
F
E
R
E
N
C
I
A
S

C
O
N
D
I
C
I
O
N
A
L
E
S

E
N

A
M
É
R
I
C
A

L
A
T
I
N
A

Y

E
L

C
A
R
I
B
E

A
c
t
i
v
i
d
a
d
e
s

d
e

e
v
a
l
u
a
c
i
ó
n

T
a
m
a
ñ
o

d
e

l
a

m
u
e
s
t
r
a

P
r
o
g
r
a
m
a

E
s
q
u
e
m
a

l
ó
g
i
c
o

E
v
a
l
u
a
c
i
ó
n

d
e

o
p
e
r
a
c
i
o
n
e
s

E
s
t
u
d
i
o

c
u
a
l
i
t
a
t
i
v
o

i
n
c
l
u
y
e
n
d
o

e
v
a
l
u
a
c
i
ó
n

d
e

b
e
n
e
f
i
c
i
a
r
i
o
s

E
v
a
l
u
a
c
i
ó
n

d
e

i
m
p
a
c
t
o

D
i
s
e
ñ
o

d
e

e
v
a
l
u
a
c
i
ó
n

I
n
d
i
c
a
d
o
r
e
s

m
á
s

i
m
p
o
r
t
a
n
t
e
s

F
u
e
n
t
e

d
e

d
a
t
o
s

C
o
n
t
r
o
l

T
r
a
t
a
m
i
e
n
t
o

P
E
T
I
,

B
r
a
s
i
l







X

C
u
a
s
i
-
e
x
p
e
r
i
m
e
n
t
a
l

c
o
n

c
o
r
t
e

t
r
a
n
s
v
e
r
s
a
l
:

l
a
s

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

q
u
e

p
a
r
t
i
c
i
p
a
n

s
e

v
i
n
c
u
l
a
r
o
n

a

o
t
r
a
s

d
e

c
a
r
a
c
t
e
r
í
s
t
i
c
a
s

s
i
m
i
l
a
r
e
s

q
u
e

n
o

e
r
a
n

p
a
r
t
e

d
e
l

p
r
o
g
r
a
m
a

I
n
s
c
r
i
p
c
i
ó
n

e
n

l
a

e
s
c
u
e
l
a
,

m
a
y
o
r

g
r
a
d
o

o
b
t
e
n
i
d
o
,

p
a
r
t
i
c
i
p
a
c
i
ó
n

e
n

l
a

f
u
e
r
z
a

l
a
b
o
r
a
l
,

h
o
r
a
s

d
e

t
r
a
b
a
j
o

y

s
e
c
t
o
r

d
e

e
m
p
l
e
o

E
n
c
u
e
s
t
a

a

h
o
g
a
r
e
s

9

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

9

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

B
o
l
s
a

A
l
i
m
e
n
t
a
c
a
o
,

B
r
a
s
i
l







X

N
o

e
x
p
e
r
i
m
e
n
t
a
l
,

s
ó
l
o

c
o
m
p
a
r
a
c
i
ó
n

e
x

p
o
s
t

e
n
t
r
e

b
e
n
e
f
i
c
i
a
r
i
o
s

y

c
o
n
t
r
o
l
.

L
a

m
u
e
s
t
r
a

d
e

t
r
a
t
a
m
i
e
n
t
o

s
e

s
e
l
e
c
c
i
o
n
ó

a
l
e
a
t
o
r
i
a
m
e
n
t
e

d
e
l

t
o
t
a
l

d
e

2
4
9
3

h
o
g
a
r
e
s

c
o
n

d
a
t
o
s
.

U
s
a
n

"
n
e
a
r
e
s
t

n
e
i
g
h
b
o
u
r

m
a
t
c
h
i
n
g
"

c
o
m
o

t
é
c
n
i
c
a

p
a
r
a

v
i
n
c
u
l
a
r

t
r
a
t
a
m
i
e
n
t
o

y

c
o
n
t
r
o
l

M
e
d
i
c
i
o
n
e
s

a
c
e
r
c
a

d
e
l

p
e
s
o

y

e
s
t
a
t
u
r
a

d
e

l
o
s

n
i
ñ
o
s

e
n

c
a
d
a

h
o
g
a
r

D
a
t
o
s

r
e
g
i
s
t
r
a
d
o
s

e
n

e
l

p
r
o
c
e
s
o

d
e

i
n
s
c
r
i
p
c
i
ó
n

p
a
r
a

e
l

p
r
o
g
r
a
m
a

y

e
n
c
u
e
s
t
a

p
o
s
t
e
r
i
o
r

2
8
2

h
o
g
a
r
e
s
,

q
u
e

s
e

o
b
t
u
v
i
e
r
o
n

p
o
r
q
u
e

p
o
r

e
r
r
o
r

a
d
m
i
n
i
s
t
r
a
t
i
v
o

n
o

s
e

l
o
s

i
n
c
l
u
y
ó

e
n
t
r
e

l
o
s

b
e
n
e
f
i
c
i
a
r
i
o
s
.

E
s
t
o

i
m
p
l
i
c
a

5
0
7

n
i
ñ
o
s

d
e

m
e
n
o
s

d
e

7

a
ñ
o
s

y

8
7

d
e

m
e
n
o
s

d
e

3

7
1
7

h
o
g
a
r
e
s
.

I
m
p
l
i
c
a

1
3
8
7

n
i
ñ
o
s

d
e

m
e
n
o
s

d
e

7

a
ñ
o
s

y

5
5
5

d
e

m
e
n
o
s

d
e

3

F
a
m
i
l
i
a
s

e
n

A
c
c
i
ó
n
,

C
o
l
o
m
b
i
a

(
e
n

D
e
s
a
r
r
o
l
l
o
)





X

X

C
u
a
s
i
-
e
x
p
e
r
i
m
e
n
t
a
l


c
o
n

p
a
n
e
l

d
a
t
a

b
a
s
a
d
o

e
n

u
n

m
u
e
s
t
r
e
o

d
e

P
S
U

(
P
r
i
m
a
r
y

S
a
m
p
l
i
n
g

U
n
i
t
s
)

q
u
e

s
o
n

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

T
a
s
a

d
e

i
n
s
c
r
i
p
c
i
ó
n

e
n

l
a

e
s
c
u
e
l
a

y

d
e

a
s
i
s
t
e
n
c
i
a




















T
a
s
a

d
e

e
s
t
a
d
o

n
u
t
r
i
c
i
o
n
a
l

e

i
n
c
i
d
e
n
c
i
a

d
e

c
i
e
r
t
a
s

e
n
f
e
r
m
e
d
a
d
e
s

(
E
j
.

D
i
a
r
r
e
a
)


E
n
c
u
e
s
t
a

a

h
o
g
a
r
e
s

5
0

P
S
U

n
o

s
e
l
e
c
c
i
o
n
a
d
a
s

p
a
r
a

e
l

p
r
o
g
r
a
m
a

p
e
r
o

d
e

c
a
r
a
c
t
e
r
í
s
t
i
c
a
s

s
i
m
i
l
a
r
e
s

5
0

P
S
U

s
e
l
e
c
c
i
o
n
a
d
a
s

a
l
e
a
t
o
r
i
a
m
e
n
t
e

P
R
A
F

I
I
,

H
o
n
d
u
r
a
s

X





X

E
x
p
e
r
i
m
e
n
t
a
l

c
o
n

p
a
n
e
l

d
a
t
a
:

a
s
i
g
n
a
c
i
ó
n

a
l
e
a
t
o
r
i
a

d
e

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

e
n

4

g
r
u
p
o
s
:

G
1
(
v
o
u
c
h
e
r
s
)
,

G
2

(
v
o
u
c
h
e
r
s

+

i
n
c
e
n
t
i
v
o
s

a

l
a

o
f
e
r
t
a
)
,

G
3

(
i
n
c
e
n
t
i
v
o
s

a

l
a

o
f
e
r
t
a
)
,

G
4

(
g
r
u
p
o

d
e

c
o
n
t
r
o
l
)

R
e
s
u
l
t
a
d
o
s

e
d
u
c
a
c
i
o
n
a
l
e
s

(
r
e
s
u
l
t
a
d
o
s

e
n

t
e
s
t
s
,

r
e
p
e
t
i
c
i
ó
n
,

p
r
o
m
o
c
i
ó
n
,

a
s
i
s
t
e
n
c
i
a
)

D
i
s
p
o
n
i
b
i
l
i
d
a
d

y

c
a
l
i
d
a
d

d
e

i
n
s
u
m
o
s

d
e

e
d
u
c
a
c
i
ó
n
.












R
e
s
u
l
t
a
d
o
s

d
e

s
a
l
u
d

(
m
a
t
e
r
n
a
l
e
s

y

m
o
r
t
a
l
i
d
a
d

i
n
f
a
n
t
i
l
)
;

u
t
i
l
i
z
a
c
i
ó
n

d
e

s
e
r
v
i
c
i
o
s

d
e

s
a
l
u
d

y

p
r
á
c
t
i
c
a

d
e

a
t
e
n
c
i
ó
n

m
é
d
i
c
a

C
e
n
s
o

d
e

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

c
o
n

G
1

y

G
2
.

E
n
c
u
e
s
t
a
s

a

l
o
s

h
o
g
a
r
e
s

(
b
a
s
e

+

2

d
e

s
e
g
u
i
m
i
e
n
t
o

1

a
ñ
o

y

2

a
ñ
o
s

l
u
e
g
o

d
e
l

i
n
i
c
i
o

d
e
l

p
r
o
g
r
a
m
a
)

E
n
c
u
e
s
t
a
s

d
i
a
g
n
ó
s
t
i
c
o

e
n

e
s
c
u
e
l
a
s

y

c
e
n
t
r
o
s

d
e

s
a
l
u
d
;

t
e
s
t

d
e

r
e
s
u
l
t
a
d
o
s

e
s
t
a
n
d
a
r
i
z
a
d
o
s

2
0

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

(
1
6
0
0

h
o
g
a
r
e
s
,

8
0

e
n

c
a
d
a

m
u
n
i
c
i
p
a
l
i
d
a
d
)


G
1

=

2
0

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

(
1
6
0
0

h
o
g
a
r
e
s
)







G
2

=

2
0

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

(
1
6
0
0

h
o
g
a
r
e
s
)







G
3

=

1
0

m
u
n
i
c
i
p
a
l
i
d
a
d
e
s

(
8
0
0

h
o
g
a
r
e
s
)

P
R
O
G
R
E
S
A

(
O
p
o
r
t
u
n
i
d
a
d
e
s
)
,

M
é
x
i
c
o



X

X

X

E
x
p
e
r
i
m
e
n
t
a
l

c
o
n

p
a
n
e
l

d
a
t
a
:

a
s
i
g
n
a
c
i
ó
n

a
l
e
a
t
o
r
i
a

d
e

l
o
c
a
l
i
d
a
d
e
s

e
n

g
r
u
p
o

d
e

t
r
a
t
a
m
i
e
n
t
o

y

d
e

c
o
n
t
r
o
l

A
s
i
s
t
e
n
c
i
a

a

l
a

e
s
c
u
e
l
a

e

i
n
s
c
r
i
p
c
i
ó
n
;

u
t
i
l
i
z
a
c
i
ó
n

d
e

s
e
r
v
i
c
i
o
s

d
e

a
t
e
n
c
i
ó
n

m
é
d
i
c
a
;

e
s
t
a
d
o

n
u
t
r
i
c
i
o
n
a
+
+
+
l

d
e

l
o
s

n
i
ñ
o
s
.

C
o
n
s
u
m
o

p
o
r

h
o
g
a
r

d
e

c
a
l
o
r
í
a
s
.

I
n
c
i
d
e
n
c
i
a

d
e

l
a

p
o
b
r
e
z
a
.

C
a
m
b
i
o
s

e
n

f
e
r
t
i
l
i
d
a
d
.

E
s
t
a
d
o

d
e

l
a

m
u
j
e
r

y

r
e
l
a
c
i
o
n
e
s

d
e
n
t
r
o

d
e
l

h
o
g
a
r
.

A
s
i
g
n
a
c
i
ó
n

d
e
l

t
i
e
m
p
o
.

T
r
a
n
s
f
e
r
e
n
c
i
a
s

p
r
i
v
a
d
a
s











C
e
n
s
o

d
e

e
v
a
l
u
a
c
i
ó
n

d
e

l
o
c
a
l
i
d
a
d
e
s



















E
n
c
u
e
s
t
a
s

a

h
o
g
a
r
e
s

(
b
a
s
e

+

5

e
n
c
u
e
s
t
a
s

d
e

s
e
g
u
i
m
i
e
n
t
o

r
e
c
o
l
e
c
t
a
d
a
s

c
a
d
a

6

m
e
s
e
s
)






E
n
c
u
e
s
t
a
s

e
n

l
a

e
s
c
u
e
l
a
,

c
u
e
s
t
i
o
n
a
r
i
o
s

a

l
a

c
o
m
u
n
i
d
a
d
,

r
e
s
u
l
t
a
d
o
s

d
e

t
e
s
t
s
,

D
a
t
o
s

a
d
m
i
n
i
s
t
r
a
t
i
v
o
s

d
e

l
a
s

e
s
c
u
e
l
a
s

y

l
o
s

c
e
n
t
r
o
s

d
e

s
a
l
u
d










1
8
6

l
o
c
a
l
i
d
a
d
e
s

(
4
6
8
2

h
o
g
a
r
e
s

e
l
e
g
i
b
l
e
s
)

3
2
0

l
o
c
a
l
i
d
a
d
e
s

(
7
8
8
7

h
o
g
a
r
e
s

e
l
e
g
i
b
l
e
s
)

Evaluación del impacto

30

C
u
a
d
r
o

4

(
c
o
n
c
l
u
s
i
ó
n
)

R
e
d

d
e

P
r
o
t
e
c
c
i
ó
n

S
o
c
i
a
l
,

N
i
c
a
r
a
g
u
a





X

X

E
x
p
e
r
i
m
e
n
t
a
l

c
o
n

d
a
t
o
s

d
e

p
a
n
e
l
:

a
s
i
g
n
a
c
i
ó
n

a
l
e
a
t
o
r
i
a

d
e

á
r
e
a
s

d
e

c
e
n
s
o

e
n

g
r
u
p
o

d
e

t
r
a
t
a
m
i
e
n
t
o

y

d
e

c
o
n
t
r
o
l

E
f
i
c
i
e
n
c
i
a

e
n

f
o
c
a
l
i
z
a
c
i
ó
n

(
t
a
s
a
s

d
e

c
o
b
e
r
t
u
r
a

y

a
b
a
n
d
o
n
o
)
.

I
n
s
c
r
i
p
c
i
ó
n

y

a
s
i
s
t
e
n
c
i
a

a

l
a

e
s
c
u
e
l
a
.

P
a
t
r
o
n
e
s

d
e

c
o
n
s
u
m
o
.

U
t
i
l
i
z
a
c
i
ó
n

y

c
a
l
i
d
a
d

d
e

s
e
r
v
i
c
i
o
s

d
e

a
t
e
n
c
i
ó
n

d
e

s
a
l
u
d

C
e
n
s
o

d
e
l

á
r
e
a

d
e
l

p
r
o
g
r
a
m
a
.

E
n
c
u
e
s
t
a

d
e

b
a
s
e
.

E
n
c
u
e
s
t
a

d
e

s
e
g
u
i
m
i
e
n
t
o
.

E
v
a
l
u
a
c
i
ó
n

i
n
s
t
i
t
u
c
i
o
n
a
l

d
e

e
s
c
u
e
l
a
s

2
1

á
r
e
a
s

d
e

c
e
n
s
o

(
8
1
2

h
o
g
a
r
e
s
)


2
1

á
r
e
a
s

d
e

c
e
n
s
o

(
7
7
3

h
o
g
a
r
e
s
)

J
e
f
e
s

y

J
e
f
a
s

d
e

H
o
g
a
r
e
s
,

A
r
g
e
n
t
i
n
a




X

C
u
a
s
i
-
E
x
p
e
r
i
m
e
n
t
a
l

c
o
n

d
a
t
o
s

d
e

p
a
n
e
l


I
n
g
r
e
s
o

y

E
m
p
l
e
o

E
n
c
u
e
s
t
a

P
e
r
m
a
n
e
n
t
e

d
e

H
o
g
a
r
e
s

a
ñ
o

2
0
0
1

y

2
0
0
2

1
.
7
1
3

a
ñ
o

2
0
0
2

6
7
9

a
ñ
o

2
0
0
1

3
.
0
9
2

a
ñ
o

2
0
0
2

1
.
2
2
2

a
ñ
o

2
0
0
1

E
m
p
l
e
o

e
n

A
c
c
i
ó
n
,

C
o
l
o
m
b
i
a
2
5



X

X

C
u
a
s
i
-
E
x
p
e
r
i
m
e
n
t
a
l


c
o
n

d
a
t
o
s

l
o
n
g
i
t
u
d
i
n
a
l
e
s

C
o
n
s
u
m
o

d
e
l

H
o
g
a
r
,

i
n
g
r
e
s
o

y

e
m
p
l
e
o

E
n
c
u
e
s
t
a
s

a

b
e
n
e
f
i
c
i
a
r
i
o
s
,

i
n
s
c
r
i
t
o
s

n
o

b
e
n
e
f
i
c
i
a
r
i
o
s

y

p
e
r
s
o
n
a
s

d
e
l

c
o
n
t
r
o
l

á
r
e
a

d
e

t
r
a
t
a
m
i
e
n
t
o

4
,
5
3
4

l
í
n
e
a

b
a
s
e
;

3
,
8
5
4

p
r
i
m
e
r

s
e
g
u
i
m
i
e
n
t
o
;

3
,
4
6
8

s
e
g
u
n
d
o

s
e
g
u
i
m
i
e
n
t
o

4
,
8
3
6

l
í
n
e
a

b
a
s
e
;

4
,
1
1
1

p
r
i
m
e
r

s
e
g
u
i
m
i
e
n
t
o
;

3
,
7
0
0

s
e
g
u
n
d
o

s
e
g
u
i
m
i
e
n
t
o



:

F
u
e
n
t
e

:

E
l
a
b
o
r
a
c
i
ó
n

p
r
o
p
i
a

a

p
a
r
t
i
r

d
e

R
a
w
l
i
n
g

y

R
u
b
i
o

(
2
0
0
3
)






















































2
5

L
o
s

t
a
m
a
ñ
o
s

m
a
e
s
t
r
a
l
e
s

s
o
n

l
o
s

c
o
n
s
i
d
e
r
a
d
o
s

e
n

l
a

p
r
e
s
e
n
t
a
c
i
ó
n


A
v
a
n
c
e

d
e

l
a

E
v
a
l
u
a
c
i
ó
n

d
e

I
m
p
a
c
t
o

d
e
l

P
r
o
g
r
a
m
a

E
m
p
l
e
o

e
n

A
c
c
i
ó
n

,

d
e

Á
l
v
a
r
o

R
e
y
e
s
,

J
u
l
i
o

2
0
0
2
.

CEPAL - SERIE Manuales N°47
31
Las evaluaciones de impacto utilizan predominantemente evaluaciones cuasi-experimentales
y experimentales a nivel de personas y de comunas, para analizar la diferencia para los participantes
en un indicador de impacto o de resultados versus el valor contrafactual para los participantes en
ausencia del programa. Siguiendo la práctica común en la literatura de evaluación, se utilizan
grupos de comparación de no participantes pareados (“matched”), por lo que la confiabilidad de
estos métodos depende crucialmente de si los grupos de comparación tienen características
similares a los participantes en la ausencia del programa.
En relación a variables de impacto o de resultados usados en el caso de educación, las
evaluaciones en general incluyen análisis de los cambios en las tasas de inscripción y asistencia a
las escuelas y en algunos casos también analizan cambios en tasas de promoción y repetición de
años. Los programas PRAF II (Honduras) y PROGRESA (México) van más allá de estos
indicadores y tratan de medir cambios en indicadores de impacto tales como resultados en pruebas
promedio. En salud y nutrición, las evaluaciones incluyen mediciones de peso y estatura, estado
nutricional, consumo de calorías, incidencia de ciertas enfermedades y mortalidad infantil y
maternal.
Los patrones de consumo son el objeto de la evaluación en el caso de la Red de Protección
Social de Nicaragua. Por su lado, la evaluación del programa PETI de Brasil evalúa la disminución
del empleo infantil analizando indicadores tales como la participación de niños en la fuerza laboral,
número de horas trabajadas y empleo en actividades riesgosas. Aunque no es un objetivo explícito
del programa, la evaluación de PROGRESA examina el impacto sobre trabajo infantil estudiando
los cambios en la asignación de tiempo de los miembros de la familia.
En el caso del Programa colombiano Familias en Acción, se dispone únicamente de un
trabajo preliminar (Attanasio et al (2003a)) en el que los autores discuten aspectos relacionados a la
encuesta de datos de base (antes de implementación del programa), que serán utilizados luego para
la evaluación del programa. No es posible utilizar por definición esta encuesta para realizar una
evaluación de impacto. Sin embargo, es posible tener una visión preliminar utilizando la peculiar
manera en la que el programa comenzó, ya que existió un grupo pequeño de municipalidades en las
que se comenzó por anticipado. En consecuencia los resultados serán preliminares.
En los casos de México, Honduras y Nicaragua se usaron un diseño experimental. En
PROGRESA, las localidades se asignaron aleatoriamente en grupos de tratamiento y de control. Las
localidades de tratamiento son las que entraron al programa en noviembre de 1997, mientras que las
localidades de control fueron programadas para ingresar en fases posteriores. Hacia diciembre de
2000, las localidades de control comenzaron a recibir los beneficios también. Behrman (2001)
sugiere que puede haber existido cierta contaminación en los resultados ya que los grupos de
comparación conocían que ellos iban a ser beneficiarios en el futuro, por lo que podrían haber
anticipado sus beneficios. En el caso de Honduras la aleatoriazación fue implementada a nivel
municipal seleccionando las municipalidades usando para estos efectos datos del Censo de Altura
Escolar. En el caso de Nicaragua la aleatorización se hizo usando áreas del censo.
En contraste a los otros programas, PETI y Bolsa Alimentaçao (Morris et al. 2003) siguieron
un diseño cuasi-experimental. El caso del Programa Bolsa Alimentaçao, utiliza como grupo de
control a grupos familiares similares que fueron seleccionados para el mismo beneficio pero que
accidentalmente
26
fueron excluidos. La otra aparente diferencia entre el grupo beneficiario y el de
control es que los niños excluidos tienen doble probabilidad de pertenecer a familias que reciben
una segunda transferencia federal de dinero de magnitud similar pero no condicionada a contacto
con el sistema de salud (Programa Bolsa Escola).


26
Como lo señalan Morris et al. (2003) los “accidentes” se vinculan a errores administrativos que en opinión de los autores pueden
considerarse aleatorios a los efectos de la evaluación.
Evaluación del impacto
32
Las evaluaciones usan las Encuestas de Hogares como una base importante de información
para su recolección. El Programa Familias en Acción de Colombia ya cuenta con el primer informe
de las encuestas a nivel de hogar que se han realizado para obtener información del año base antes
de iniciar la aplicación del programa.
Se usaron también encuestas de diagnóstico en escuelas y centros de salud en el caso de
Honduras y en el caso de México. Estudios cualitativos también se utilizaron para complementar las
evaluaciones de impacto en Nicaragua, las que incluyeron tanto un estudio de las percepciones del
impacto social del programa como un estudio de las percepciones de los mecanismos posibles de
usar para disminuir la pobreza.
Galasso y Ravillion (2003) evalúan el programa Jefes y Jefas de Hogar de Argentina
comparando el impacto del programa entre una muestra de beneficiarios y un grupo de comparación
de no participantes. Estos últimos son obtenidos de aquellos individuos que postularon al programa
pero que no lo han recibido al momento de la evaluación. De acuerdo a los autores, obtener una
muestra de este grupo tiene la ventaja de que ellos han indicado su preferencia hacia la participación
en el programa, revelando parcialmente factores no observados que influencian la participación.
Los autores utilizan estimadores de “matching” de corte transversal para controlar por
heterogeneidad observable; para reducir el sesgo de selección debido a no observables los autores
explotan una submuestra del panel de hogares entrevistados en la línea base (octubre del 2001) y
después del programa (octubre 2002) para obtener estimaciones de diferencias en diferencias. Las
variables de impacto evaluadas corresponden a ingreso y empleo.
Finalmente, el autor ha tenido acceso a evaluaciones preliminares realizadas por la empresa
consultora que se encuentra evaluando el programa “Empleo en Acción”, los cuales reportan
indicadores de “difference in difference” usando estimadores de matching y el método de variables
instrumentales. Las variables evaluadas consisten en el consumo de los hogares, oferta de trabajo e
ingreso.
Resultados e Impacto
Programas Centrados en Pobreza Estructural
Los resultados de evaluación están disponibles para PROGRESA en México (en varios
estudios); PETI y Bolsa Alimentaçao en Brasil; el piloto RPS en Nicaragua; la evaluación
preliminar de Familias en Acción en Colombia; y los aspectos de salud y nutrición del PRAF de
Honduras. En lo que respecta a educación los resultados de estas evaluaciones sugieren un efecto
positivo sobre la asistencia escolar. Los resultados obtenidos por PROGRESA en México sugieren
impactos en enseñanza básica entre 0,7 y 1,1 puntos porcentuales sobre la tasa de asistencia escolar
para hombres y de 1,0 a 1,5 para mujeres. En el caso de la enseñanza secundaria, la cobertura de
educación se incrementa desde un 73% antes de PROGRESA hasta un nivel entre 77%-79% para
los hombres y desde 67% hasta un nivel entre 74%-76% para las mujeres. En el caso de la Red de
Protección Social de Nicaragua la inscripción escolar se incrementa desde un 69% antes del
programa hasta un 91% post programa; sin embargo, los efectos sobre asistencia escolar fueron
menos pronunciados.
En Colombia, la evaluación preliminar (Atanasio et al (2003a)) concluye que “Familias en
Acción” ha influenciado positivamente la tasa de inscripción en la escuela de los niños entre 14 a 17
años en las áreas que comenzaron el programa con anticipación. Sin embargo, los impactos del
programa en la oferta laboral de los niños no son significativamente distintos de cero. Asimismo, se
ha observado un efecto positivo del programa en la oferta laboral femenina en áreas urbanas, pero
este efecto no es significativo. Cuando se consideran los resultados sobre la oferta laboral femenina
en conjunto el aumento en la tasa de inscripción en la escuela se estima que las mujeres están
trabajando más de manera de compensar el ingreso perdido por tener a los niños en las escuelas y
CEPAL - SERIE Manuales N°47
33
que finalmente el programa en evaluaciones posteriores presentará un efecto significativo de
disminución de la oferta laboral infantil.
Un elemento positivo es sobre la probabilidad de trabajar en la población objetivo de estos
programas. En el caso de PROGRESA la probabilidad de trabajar se redujo entre un 10-14%, con
un mayor impacto en el grupo de hombres entre 12 y 13 años. En Brasil la evaluación muestra que,
como resultado de participar en el programa PETI, la probabilidad de trabajar cayó entre 4-7 puntos
porcentuales en Pernambuco, cerca de 13 puntos porcentuales en Sergipe y aproximadamente 26
puntos porcentuales en Bahía, que tiene la mayor participación de niños en la fuerza laboral en
Brasil. Además PETI, también disminuyó la probabilidad de niños trabajando en actividades de alto
riesgo. De todas maneras el programa es menos exitoso en limitar la probabilidad de trabajar 10
horas o más. Otro resultado interesante es que, aún cuando los programas de actividades en horarios
post escuela estaban disponibles para todos los hogares en las municipalidades, sólo los niños en
hogares que recibieron la transferencia de ingreso estuvieron significativamente más tiempo en la
escuela. Esto sugiere que los incentivos de la demanda pueden tener un importante rol en acelerar
cambios de conducta.
En cuanto a los objetivos de nutrición y salud, aparentemente los programas han tenido
resultados efectivos sobre estas variables. En el caso de PROGRESA los resultados sugieren un
efecto positivo sobre los controles del nivel de nutrición, la disminución en la probabilidad de
problemas nutricionales, una menor incidencia de enfermedades y en la adscripción a los programas
de vacunación, en comparación a niños no participantes en el programa. En el caso de la Red de
Protección Social de Nicaragua se observó un aumento en los controles de nutrición en los niños en
las áreas de control del programa en comparación con el grado de control en las áreas sin cobertura
del programa. El monitoreo del crecimiento aumentó significativamente en ambos 2001 y 2002. Sin
embargo, la vacunación de niños no mejoró significativamente en estos años. Durante 2002
(Maluccio et al (2003)) indican que el impacto positivo sobre la salud decreció debido a una mejora
continua en el grupo de control. Se verifica además que la combinación de una mejor dieta en el
hogar y mejores servicios de salud para los niños se han combinado para mejorar el estado
nutricional de los beneficiarios menores a 5 años. El impacto neto fue una disminución de 5 puntos
porcentuales en el porcentaje de niños con altos problemas nutricionales. Esta caída es 1,7 veces
más rápida a la registrada a nivel nacional entre 1998 y 2001. Adicionalmente, RPS ha sido exitoso
en distribuir suplementos de hierro a madres de niños entre 6-59 meses durante los 2 años de
operación del programa. Finalmente, aunque 1 cada 3 niños en el área donde RPS opera presentan
anemia, el programa no ha tenido éxito en mejorar esta grave situación.
Colombia también muestra resultados generales positivos. El status nutricional de los niños
rurales de 0 a 6 años ha mejorado, como se mide por la relación entre el peso del niño y el peso
medio de la población de referencia, aunque no se ha encontrado un impacto significativo en la
probabilidad de malnutrición. Además, un impacto altamente significativo se encontró sobre la
asistencia a chequeos médicos de los niños entre 0 y 6 años. De todas maneras, el impacto del
programa en la morbilidad infantil no es claro, ya que el único impacto significativo encontrado es
una disminución de la probabilidad de sufrir diarrea en niños urbanos. Por otra parte en el caso de
mujeres, el impacto del programa parece encontrarse predominantemente en la parte urbana. Se
estima un efecto positivo y marginalmente significativo del programa en la probabilidad de asistir a
una charla acerca del tratamiento de la diarrea en el área urbana.
El caso del Programa brasileño Bolsa Alimentaçao es significativamente diferente (Morris et
al. (2003)). Controlando por la única fuente de sesgo del grupo de control (mayor participación en
el Programa Bolsa Escola) se encuentra que, 6 meses después que los individuos comenzaron a
recibir los beneficios, los niños de hogares beneficiarios tienen en promedio una ganancia de peso
por mes 31gr. menor a la de los niños de hogares no beneficiarios; es decir un impacto negativo del
programa. Como existe evidencia que el programa ha aumentado la disponibilidad de alimento
Evaluación del impacto
34
nutritivo en los hogares, los autores atribuyen el impacto negativo en el desarrollo de los niños a un
efecto de incentivos: muchas madres creyeron que su participación en el programa se debía a que
sus hijos tenían peso por debajo del normal y entonces comprendieron que los beneficios cesarían
en caso que los niños aumentaran de peso. De todas maneras debe tenerse en cuenta que el estudio
se ha realizado sobre un grupo de municipios piloto para los que se dispuso de resultados hacia fines
de 2001 y que no resulta factible afirmar que los resultados son válidos para todo el programa.
Respecto de la evaluación del PRAF hondureño, los resultados preliminares (Flores et al
(2003)) indican tanto aspectos positivos como negativos. Entre los resultados de la evaluación se
indica que proveer transferencias de dinero a hondureños pobres condicional que concurran a
atención médica preventiva ha tenido un amplio impacto en la utilización de atención médica
prenatal y en monitoreo de los niños, pero no ha tenido efecto sobre chequeos postnatales de las
madres. La vacunación de los niños ha sido más oportuna y el monitoreo en este sentido ha
aumentado significativamente. Por otro lado, no se ha encontrado evidencia de impacto nutricional
luego de dos años de implementación. De hecho resultados relacionados a tests de anemia fueron
contrarios a los que se esperarían y el proyecto no pudo trabajar como una red de seguridad social
cuando se produjo la crisis del café y el estado de los niños se deterioró. Además se ha verificado
que los niveles de deficiencia de hierro continúan siendo muy altos. Desde otro punto de vista, los
niveles de consumo han mejorado como resultado de participar en estos programas. En México, el
consumo promedio de un hogar de PROGRESA aumentó en 14% y los gastos en alimentos luego
de 1 año de operación del programa eran 11% mayores en comparación a hogares fuera del
programa. El aumento en consumo de los hogares es en su mayoría llevado por los mayores gastos
en frutas, vegetales y productos animales. La adquisición caloría promedio en hogares en
PROGRESA aumentó en 7,8%. En Nicaragua durante 2001, los hogares en el grupo de control
experimentaron una disminución en su gasto promedio de consumo, mayoritariamente debido a los
bajos precios del café y sequías, mientras que el gasto promedio para hogares en el programa RPS
no sufrió disminuciones. El impacto neto se traduce en 19% de aumento en el consumo per cápita y
sugiere que los programas de transferencias condicionales pueden ayudar a que los más pobres
protejan su consumo en tiempos de crisis, un rol de administración de riesgo digno de mayor
análisis. Es más, durante 2002, como lo señalan Maluccio et al (2003) los gastos adicionales que
han realizado los beneficiarios como resultado de las transferencias son predominantemente en
alimentos, evidenciándose que el gasto en casi todo tipo de alimento ha crecido con el programa.
Para el programa PROGRESA en México, la evaluación reveló que las inversiones en
programas de transferencias condicionales son entregadas en una manera costo-efectiva. Los costos
administrativos de llevar las transferencias a los hogares son pequeños relativos a los costos de
programas mexicanos previos. De cada 100 pesos mexicanos asignados al programa 8,9 son
absorbidos por costos administrativos. Los componentes más importantes son los costos asociados a
la selección de hogares (30%), seguidos de los costos asociados a condicionar la recepción de
transferencias (26%).
Programas para Tiempos de Crisis
En la evaluación del programa Jefes y Jefas de Hogares Galasso y Ravillion (2003)
obtuvieron que el programa redujo la tasa de desempleo en alrededor de 2,5 puntos porcentuales,
estimación que es cerca de la mitad de lo que había sido estimado en evaluaciones anteriores. La
principal razón es que las otras evaluaciones suponían que todos los jefes o jefas de hogar estaban
desempleados, supuesto que Galasso y Ravillion no utilizan. El programa tuvo un efecto pequeño
sobre el nivel general de la tasa de pobreza, aunque el efecto fue mayor sobre la incidencia de
pobreza extrema. El programa permitió que 2% adicional de la población pudiera financiar la
canasta alimenticia contenida en la línea de pobreza; a su vez, el programa fue efectivo para
proteger a la población de la extrema pobreza ya que un 10% de los participantes habrían caído bajo
la línea de indigencia sin el programa.
CEPAL - SERIE Manuales N°47
35
En la opinión de los autores, el programa ayudó a los participantes quienes hubieran sufrido
una caída apreciable de sus ingresos en ausencia del programa. Aunque la focalización del
programa fue mejor que la obtenida en el programa social promedio en Argentina, aún estuvo lejos
del ideal. No obstante, el programa parece haber contribuido a la protección social durante el
período de crisis, a pesar de que la implementación real difirió del diseño original. El requerimiento
de trabajar algunas horas ayudó para obtener en parte una mejor focalización. Un mayor control de
este requisito y de los criterios de elegibilidad ayudaría notablemente en alcanzar una mejor
focalización.
Con respecto al programa “Empleo en Acción” de Colombia si bien los resultados son
preliminares es importante mencionar algunos resultados cualitativos obtenidos de la línea base:
para los hombres la media jornada que utiliza el programa representa una subutilización de sus
capacidades; para las mujeres, en cambio, se adapta muy bien con sus responsabilidades en el
cuidado de los niños y el trabajo doméstico; para los jóvenes el programa representa una
oportunidad de vincularse al mercado laboral y de ganar experiencia, pero aspiran a un trabajo más
calificado acorde con su grado de preparación; y para los adultos mayores es una oportunidad de
tener ingresos y sobre todo de sentirse útiles y salir de su soledad.
A nivel cuantitativo y a pesar que el programa debiera ser juzgado por sus efectos de largo
plazo, se obtuvieron impactos de corto plazo significativos sobre el consumo (de alimentos y de
servicios) tanto para todos los hogares como para hogares con jefe de hogar femenino; sobre el
empleo (horas de trabajo por semana) tanto para todos los beneficiarios, para personas hasta 25 años
de edad y para mujeres; y sobre los ingresos laborales para todos los beneficiarios, para los jóvenes
(menores de 25 años) y para las mujeres. A su vez, el programa en el corto plazo no ha desplazado
la realización de otras actividades productivas de mercado.
Sin embargo, la evaluación - aún en su fase de realización - no ha respondido preguntas
claves tales como: ¿se benefician las comunidades por las obras realizadas? o ¿tiene el programa
algún efecto positivo de largo plazo sobre la probabilidad de empleo, sobre el consumo y sobre el
ingreso para sus beneficiarios?
Programas enfocados a solucionar situaciones de pobreza estructural y programas
diseñados para tiempos de crisis: ¿complementos?
Es importante mencionar que ambos tipos de programas pertenecen a las Redes de Protección
Social (Safety Nets), sin embargo se diferencian en términos de sus objetivos y de sus beneficiarios.
Los primeros tienen como objetivo reducir la pobreza futura apuntando básicamente a mejorar el
capital humano mediante transferencias a condición de que los beneficiarios inviertan en capital
humano. Los segundos, apuntan a reducir los riesgos de profundización de la pobreza coyuntural
debido a crisis macroeconómicas que afectan de manera pro cíclica al empleo y, por tanto, a los
ingresos corrientes. De esta manera estos apuntan a proteger los estándares de vida de las familias
más afectadas por las crisis. Sus beneficiarios son, por tanto, personas desempleadas.
En ambos tipos de programas la focalización puede ser geográfica, la diferencia radica en que
los programas de transferencias condicionales estructurales, dado su objetivo, se centran en familias
pobres con niños desde que son recién nacidos hasta en edad escolar, según si el programa es de
salud y/o de educación. Por otra parte, los programas de empleo de emergencia se centran en
familias donde el jefe del hogar está desempleado.
Ambos programas difieren en los criterios de elegibilidad. Los primeros se basan en “Mean
Tests” basados en los ingresos de las familias o en “Score Tests” basados, además del ingreso, en
otras variables que miden el estándar de vida de la familia y tienen como requisito contar niños
recién nacidos hasta en edad escolar, según el programa. Por su parte, los programas de empleo de
emergencia basan los criterios de elegibilidad en si el jefe de hogar está o no desempleado,
Evaluación del impacto
36
adicionando algunos el requisito de tener niños menores de 18 años o discapacitados (por ejemplo,
el programa jefes y jefas de hogar de Argentina).
En ambos casos, las transferencias son recibidas por los adultos del hogar, sin embargo los
beneficiarios de éstas difieren: en el caso de los programas de transferencias condicionales los
beneficiarios son los niños dado que se apunta a mejorar los estándares de vida de ellos en el futuro,
mientras que en los programas de empleo de emergencia los beneficiarios son el jefe del hogar y,
por tanto, la familia entera, dado que se apunta a mantener los estándares de vida de las familias
más afectadas con las crisis coyunturales y así no permitir que la pobreza actual se profundice.
Una característica de ambos tipos de programas es que recurren a incentivos de mercado por
medio de intervenciones por el lado de la demanda que ofrecen apoyo directo a los beneficiarios y
constituyen así, un distanciamiento de los tradicionales mecanismos que operaban por el lado de la
oferta, aunque en algunos casos estos deben mantenerse para asegurar la viabilidad de estos
programas.
Los programas de transferencias condicionales además de reducir la pobreza futura, al
realizar transferencias de dinero a las familias pobres hoy, indirectamente apoyan los ingresos
corrientes de estas familias y, por tanto, sirven como potencial protección o amortiguador de los
efectos de shocks macroeconómicos que reduzcan los ingresos de esas familias. Sin embargo, ellos
no tienen un gran alcance en términos de beneficiarios para los tiempos de crisis debido a que no
están diseñados con este propósito, lo cual hace que los efectos del programa sobre la protección de
los pobres actuales no sean del todo efectivos.
Estos programas no pueden ser expandidos rápidamente en tiempos de crisis, debido
principalmente a que son intensivos en información sobre los beneficiarios al requerir la
conformación de puntajes de calificación (ya sea de Mean Test o Score Test) basados en encuestas
de hogares, fichas de caracterización socioeconómicos o en censos. Así, dada la nueva coyuntura de
crisis muchas personas o familias que no eran elegibles en tiempos anteriores a la crisis pueden ser
verdaderamente elegibles en la nueva coyuntura, sin embargo es difícil contar con la nueva
información de manera oportuna. Por su propia constitución en períodos de recesión, los programas
de crisis no disponen de tiempo para recolectar información de beneficiarios y este aspecto puede
determinar el fracaso del programa. En consecuencia, para que sí funcionen de acuerdo a lo que se
espera es necesario disponer de un apropiado sistema permanente de información, que permita
aplicar el plan contingente a tiempos de crisis en cualquier momento en que ésta se presente.
A su vez, para que los programas puedan ser adaptados para responder a shocks agregados
requieren de una gran capacidad institucional y operacional, es decir, de la capacidad de cambiar el
marco legal que rige al programa y su reglamentación por un lado, y de la capacidad operativa de
los entes ejecutores y de monitoreo del programa, por otra.
Idealmente, se debieran tener estos programas de transferencias condicionadas establecidos
dentro de la red de protección social, que puedan ser acomodados para crecer en tiempos de crisis.
Para ello, los programas deben ser capaces de readaptarse de manera permanente, para proteger
efectivamente a los pobres de las consecuencias adversas de las crisis sin comprometer los objetivos
de largo plazo. Durante los tiempos de prosperidad, estos programas ayudan a aliviar la pobreza de
los pobres crónicos y de aquellos que sufren de los efectos de shocks no económicos. Durante los
tiempos de recesión, estos programas tienen la capacidad institucional y financiera para ajustarse y
satisfacer las necesidades que requiere el manejo de una crisis.
En cuanto a las complementariedades entre ambos tipos de programas, ellas surgen a partir de
que los programas de empleo de emergencia, si bien no aseguran el cumplimiento de los objetivos
de los programas de transferencias condicionales, por lo menos pueden reducir los riesgos de que
estos no se cumplan. Por ejemplo, un shock adverso que incremente el desempleo drásticamente
puede llevar a cambiar la decisión de una familia pobre, donde el jefe del hogar está desempleado y
CEPAL - SERIE Manuales N°47
37
sin percibir ingresos, de mantener a su o sus hijos en el programa de transferencia de ingreso
condicional, ya que el retorno en términos de ingreso de tenerlos trabajando en el mercado puede
ser mayor que los beneficios o transferencias del programa por tenerlos en la escuela, dada la
coyuntura adversa. Así, un programa de empleo de emergencia que pueda proteger los ingresos
laborales del jefe del hogar puede eliminar la posibilidad de este cambio de decisión por parte de la
familia.
Otra complementariedad entre ambos tipos de programas que amplía el argumento anterior,
es que al cubrir grupos vulnerables distintos, sin necesariamente cerrar la posibilidad de que
diferentes beneficiarios se encuentren dentro de una misma familia, se constituyen en una forma
efectiva y amplia de atacar el problema de la pobreza tomando en cuenta, sin embargo, que cada
uno de los programas debe ser en si mismo efectivo y no depender para su eficiencia de la
existencia de otros programas.
Lo ideal sería contar con ambos tipos de programas dentro de una red de protección social
efectiva, sin embargo las restricciones de recursos públicos puede hacer que esto sea muy difícil de
lograr en la práctica. En mi opinión, los programas de transferencias condicionales de ingreso deben
ser priorizados dado el agudo problema que significa la pobreza en nuestros países. Se reconoce que
mantener ambos tipos de programas dentro de una red de protección social, puede ser políticamente
y financieramente inviable ya que por una parte, los gobiernos de turno buscan resultados
inmediatos y por otra parte, los recursos son escasos.
5 Programas de capacitación y empleo de jóvenes en América
Latina
27

5.1 Los programas
Argentina: Proyecto Joven
"Proyecto Joven" es un programa financiado y ejecutado por el Estado Nacional argentino, a
través de instituciones de capacitación. Inició su ejecución en todo el país en 1994. Se ha fijado
como meta brindar capacitación a 280.000 a jóvenes focalizados según las condiciones siguientes:
Edad mínima de 16 años; pertenecientes a sectores de escasos recursos; sin empleo o subocupados;
su nivel de instrucción no supere el secundario completo; sin experiencia laboral o ésta sea escasa.
Su objetivo fue mejorar las posibilidades de inserción laboral de estos jóvenes, brindando
capacitación intensiva e integral para ocupaciones con demanda real en el sector productivo y la
oportunidad de realizar una práctica laboral en el ámbito de la empresa.
Periódicamente Proyecto Joven convoca a las instituciones de capacitación a participar de
concursos públicos para la contratación de los cursos en todo el país. Con el fin de que la
capacitación ofrecida responda a demandas concretas del sector productivo, el Proyecto alienta el
trabajo conjunto de empresarios y capacitadores en la definición de los perfiles ocupacionales
requeridos y en el diseño de la propuesta pedagógica.
Los cursos son totalmente gratuitos, incluyendo los materiales educativos, herramientas,
traslados, materiales de consumo, elementos de seguridad e higiene u otros aspectos necesarios para
la capacitación. Además, otorga a los beneficiarios una beca por día de asistencia en concepto de
movilidad y refrigerio, revisión médica previa de cada uno y cobertura de un seguro por accidente
durante la etapa de pasantía. Las mujeres con hijos menores reciben un subsidio adicional.
El desarrollo de los cursos comprende dos etapas:

27
Esta sección esta basada en Aedo (2001), Aedo y Núñez (2001), Cinterfor (1998), Cinterfor (1999) y Ñopo, Robles y Saavedra
(2002).
Evaluación del impacto
38
Fase de capacitación: Busca la adquisición de los conocimientos, destrezas y habilidades
técnicas para el desempeño de la ocupación, favorecer el desarrollo de hábitos de trabajo y reforzar
las competencias necesarias para resolver situaciones cotidianas del mundo laboral. También se
contemplan en esta etapa contenidos de apoyo y orientación para la búsqueda de empleo. La
duración de esta fase oscila entre 6 y 12 semanas.
Fase de pasantía: experiencia en un ámbito laboral real, desarrollando las tareas principales
de la ocupación para la que han sido capacitados. Su duración es de 8 semanas. Incluye jornadas
periódicas de seguimiento coordinadas por el docente que tuvo a su cargo la fase de capacitación y
con la participación de todos los beneficiarios del curso.
Colombia: Programa de Capacitación Laboral para Jóvenes
El "Programa de Capacitación Laboral para Jóvenes" es ejecutado por la Red de Solidaridad
Social, a través del Servicio Nacional de Aprendizaje (SENA), que actúa como organismo
subejecutor de segundo piso. Como un componente del Programa de Generación de Empleo
Urbano, el programa es financiado con un préstamo el BID.
Su objetivo general es habilitar laboralmente jóvenes entre 17 y 25 años en situación de
pobreza extrema que se encuentren desempleados y no hayan terminado educación secundaria,
impartiendo formación a nivel de mano de obra semicalificada, en ocupaciones para las que exista
evidencia de demanda por parte de los sectores productivos. Sus objetivos específicos son:
Incrementar la posibilidad de inserción laboral; aumentar el nivel de ingresos de la población
objetivo; apoyar el proceso de apertura y mejoramiento de la competitividad; complementar la
estrategia de "Cadena de Formación del SENA" y estimular la oferta de capacitación.
Se desarrollan cursos de capacitación con dos componentes: teoría y práctica laboral o
pasantía. Cada componente dura aproximadamente 3 meses. Los beneficiarios cuentan con un
apoyo de manutención mensual durante su vinculación al programa, equivalente a medio salario
mínimo vigente. Hasta Octubre de 1996, la Red de Solidaridad Social y el SENA contrataban a las
Entidades Ejecutoras de Capacitación (EEC), que son instituciones capacitadoras diferentes al
SENA, a través de licitaciones públicas. A partir de esa fecha es solo la Red la que firma dichos
contratos.
Las ECC que quieran licitar, previamente se deben inscribir en el Registro de Entidades
Ejecutoras de Capacitación (REEC), cuyo objetivo es invitar a todas las instituciones y los
establecimientos educativos públicos, privados o mixtos de carácter comunitario, solidario,
cooperativo o sin ánimo de lucro, nacionales o provenientes de los países miembros del BID, que
aspiren a dictar los cursos de capacitación del componente. La Red de Solidaridad y el SENA
invitan a presentar las propuestas a los establecimientos inscritos en este registro. La UCC efectúa
la evaluación de la información reportada por los establecimientos en relación a capacidad
administrativa, técnica, financiera y experiencia, de acuerdo con los pliegos de condiciones y
presenta el informe al Comité Coordinador. Por intermedio de la EEC contratadas para impartir
capacitación a los jóvenes, se establecen contactos para vincular a los beneficiarios a empresas de
práctica laboral (EP), en las cuales puedan aplicar los conocimientos adquiridos, por un tiempo
igual al dedicado a la capacitación y como parte del programa. Se exige que los contactos sean
previos a la presentación de la propuesta y exista un compromiso comprobable de la admisión de
los estudiantes en las EP.
Los beneficiarios son seleccionados y acreditados por las alcaldías en un número mayor al
que se seleccionará finalmente, con el fin de que las EEC tengan injerencia en la selección final. Las
EEC son las encargadas de llevar a cabo la selección final de los estudiantes y de proponer los
cursos y las EP. Su contratación se realiza por medio de licitación pública.

CEPAL - SERIE Manuales N°47
39
Perú: Programa de Capacitación Laboral Juvenil ProJoven
ProJoven, creado en 1996, es ejecutado por el Ministerio de Trabajo y Promoción Social, a
través del Viceministerio de Promoción Social. Su meta es capacitar a 150.000 beneficiarios a lo
largo de un período de cinco años.
Su objetivo es elevar la inserción de los jóvenes pobres en el mercado de trabajo,
proporcionando capacitación y experiencia laboral a jóvenes de escasos recursos en ocupaciones
específicas demandadas por el sector productivo, a nivel de semicalificación.
El programa está orientado a jóvenes provenientes de hogares de bajos ingresos, con bajo
nivel de instrucción, con escasa o nula experiencia laboral y que se encuentren desempleados o
subempleados, particularmente población joven urbana en situación de marginación.
La capacitación es totalmente gratuita. Además los beneficiarios reciben de ProJoven un
estipendio mensual para gastos de movilidad y alimentación y cobertura de seguro médico (durante
la fase de práctica laboral estos beneficios pagados por la empresa de práctica). En el caso de
mujeres con hijos otorga un subsidio adicional por cada niño menor de cinco años.
Mediante procesos periódicos de licitación pública, ProJoven selecciona y contrata los cursos
de entre las ofertas presentadas por las "Entidades de Capacitación" (ECAP), que pueden ser
públicas o privadas, inscritas en un registro de entidades precalificadas que el Proyecto administra
para este efecto. Junto con cada oferta exige "cartas de intención" suscritas por las empresas que
ofrecen prácticas laborales. La selección de cursos se establece en función de criterios de calidad
técnica y precio.
Los cursos de capacitación comprenden dos fases: una de formación técnica a desarrollarse
en las ECAP y otra de práctica laboral a realizarse en empresa.
La fase de formación técnica, con una duración promedio de tres meses (de 120 a 300 horas)
con una asistencia diaria o ínter diaria, busca desarrollar habilidades y destrezas vinculadas a los
aspectos técnicos del oficio, así como el reforzamiento de los hábitos, valores y actitudes
indispensables para el trabajo.
La fase de práctica laboral, que tiene una duración de tres meses como mínimo, implica la
suscripción de un Convenio de Formación Laboral Juvenil, figura legal que permite a las empresas
contratar jóvenes practicantes por un período máximo de 36 meses, asumiendo el pago de una
subvención económica equivalente, como mínimo, a una remuneración mínima vital y un seguro
contra accidentes y enfermedades.
Uruguay: PROJOVEN
Luego de una experiencia piloto iniciada en 1994, y que atendió a 4.090 jóvenes entre 1995 y
1996, se puso en funcionamiento el Programa de Capacitación e Inserción Laboral para Jóvenes,
PROJOVEN, en el marco de un acuerdo interinstitucional de los Ministerios de Educación y
Cultura (representado por el Instituto Nacional de la Juventud) y de Trabajo y Seguridad Social
(representado por la Dirección Nacional de Empleo). Se financia con recursos aportados por
trabajadores y empresarios del sector privado al Fondo de Reconversión Laboral que administra la
JUNAE (Junta Nacional de Empleo), un organismo de integración tripartita (representación de
trabajadores, empleadores y gobierno) que funciona en la órbita del Ministerio de Trabajo y
Seguridad Social. La gestión está a cargo de una Unidad Coordinadora del Programa (UCP) con
sede en el Instituto Nacional de la Juventud. Su ejecución alcanza a cubrir entre 1.200 y 1.500
jóvenes al año.
Su objetivo general es apoyar a los jóvenes de los sectores de menores ingresos para que
puedan mejorar sus posibilidades y oportunidades de inserción laboral mediante procesos de
Evaluación del impacto
40
capacitación laboral, efectivamente articulados con las demandas de recursos humanos detectadas
en el mercado de trabajo.
Específicamente el Programa se propone: Fortalecer la articulación entre la capacitación
laboral para jóvenes y las exigencias del mercado de empleo; apoyar el fortalecimiento de la
capacidad de gestión y vinculación con el mundo productivo de las entidades de capacitación que
trabajan con la población objetivo; cooperar con las empresas en sus procesos de incorporación de
jóvenes semicalificados y ofrecerles una primera experiencia laboral.
Los requisitos a cumplir por los jóvenes beneficiarios son: Que tengan entre 17 y 24 años (los
beneficiarios del Instituto Nacional del Menor y otros organismos públicos de atención a menores
en situación de riesgo social pueden participar a partir de los 15 años); que no hayan completado el
segundo ciclo de enseñanza secundaria, con especial preferencia a quienes han desertado del
sistema educativo formal; que no tengan empleo formal ni estén en seguro de desempleo; que
pertenezcan a hogares de bajos ingresos. Tienen prioridad los jóvenes que son jefes de familia o que
tienen hijos a su cargo. Se busca una participación equitativa por sexo y procedencia geográfica (la
capital o fuera de ella).
Los cursos son totalmente gratuitos. El Programa apoya a los beneficiarios con un subsidio
para gastos de transporte y alimentación durante la capacitación y el primer mes de pasantía.
Incluye un sistema de apoyos para la cobertura del servicio de guardería para niños y brinda apoyo
odontológico y oftalmológico.
El Programa desarrolla tres modalidades de capacitación orientadas a subgrupos de la
población objetivo diferentes. Básicamente los cursos técnicos CT1 se ofrecen a jóvenes con más de
3 o 4 años de educación media completados; los CT2 privilegian a quienes no han culminado el
Ciclo Básico (9 años totales de educación) y los CT3 priorizan a quienes se encuentran en
situaciones de exclusión extrema o marginación socio-económica. La derivación de los
participantes a uno de estos tres tipos de cursos se hace a través de entrevistas de selección basadas
en un formulario estandarizado. Cada curso se organiza sobre la base de 20 participantes.
Componentes y número de horas asignado a cada uno de los cursos técnicos
Módulos Tipo de
Curso
Capacitación Ocupacional Pasantía Laboral en
empresas
Capacitación
Complementaria
Apoyo a la
Inserción Laboral
CT1 80 a 200 horas de CT
30 a 80 horas de OOV
--- --- 3 meses
CT2 80 a 200 horas de CT
30 a 80 horas de OOV
Mínimo de 3 meses y
400 horas
--- 3 meses
CT3 150 a 200 horas de CT
50 a 80 horas de OOV
Mínimo de 3 meses y
400 horas
150 a 200 horas 3 meses

Capacitación ocupacional. Capacitación Técnica en un nivel de semi-calificación. Se realiza
en cursos eminentemente prácticos cuyos programas se definen, muchas veces, con la participación
de las empresas del sector donde se desempeñan las ocupaciones para las cuales se capacita. Se
busca que la currícula apunte al desarrollo de habilidades transversales y la adquisición de
competencias polivalentes, y que se profundicen los conocimientos del mundo de trabajo formal, tal
cual es, en diferentes sectores de la economía.
Taller de orientación ocupacional y vocacional. Se propone fortalecer la cultura laboral de
los participantes, informar sobre el mercado de trabajo y apoyar la definición de objetivos
educativos y laborales del joven. Aporta instrumentos y técnicas concretas para la búsqueda de
CEPAL - SERIE Manuales N°47
41
empleo y para la primera etapa de desempeño laboral y ofrece información sobre las normas de las
relaciones laborales y las organizaciones intervinientes.
Capacitación complementaria. Se dirige a atender a los jóvenes con mayores necesidades
de formación. Su finalidad es fortalecer aspectos como la lectoescritura y el cálculo, a la vez que
atender aspectos como la formación personal y social que resultan determinantes para la
empleabilidad.
Pasantía de formación laboral. Se propone que los jóvenes desarrollen un aprendizaje
práctico en un puesto de trabajo y cuenten con una primera experiencia laboral formal, de acuerdo a
un plan de aprendizaje definido entre la Entidad de Capacitación (ECA) y las empresas. Durante
esta etapa los jóvenes reciben viáticos (equivalentes al mínimo líquido de la categoría ocupacional)
aportados por la empresa a través de la ECA que supervisa la práctica. El módulo cuenta con el
apoyo y seguimiento de la institución capacitadora a nivel grupal e individual.
Apoyo a la inserción laboral. A cada ECA se le exige que al menos 9 jóvenes por curso se
mantengan ocupados formalmente por más de tres meses en un puesto de trabajo acorde a la
capacitación recibida. También se han incluido mecanismos de reconocimiento de las reinserciones
educativas como resultado adicional de la capacitación.
Descripción del programa Chile Joven
28

El Programa Chile Joven fue creado en 1991 y su propósito fue capacitar a jóvenes en
situación de riesgo social y/o desempleo estructural. Los organismos encargados de administrar su
ejecución fueron el Servicio Nacional de Capacitación y Empleo (SENCE) y el Fondo de
Solidaridad e Inversión Social (FOSIS).
El Programa ofreció una mezcla de formación en clases y experiencia práctica en firmas y
estuvo orientado a la demanda usando instituciones capacitadoras privadas para identificar las
oportunidades del mercado.
El programa se desarrolló en dos fases. La primera fue financiada con fondos del Estado de
Chile más un crédito del BID, se desarrolló entre 1991 y 1995, tuvo como meta capacitar a cien mil
jóvenes y dio prioridad a la integración social de los jóvenes. La segunda fase, cuya meta fue dar
70.000 oportunidades de capacitación en tres años, se orientó más hacia los requerimientos del
sector productivo y la inserción laboral; comenzó en 1996, esta vez íntegramente financiada por el
gobierno de Chile, y aunque estaba proyectada hasta 1998, fue extendida hasta el año 2002.
Para SENCE, el objetivo general del Chile Joven era generar oportunidades de inserción
laboral para los jóvenes pertenecientes a familias de bajos ingresos. En el caso de FOSIS, fue
contribuir a la integración social (laboral o estudiantil) de jóvenes provenientes de familias pobres,
en situación de marginalidad social.
Los objetivos específicos fueron: que los jóvenes participantes generen una actitud positiva
hacia el trabajo de manera de alcanzar efectivamente una inserción laboral; que los jóvenes cuenten
con co-mpetencias técnicas en un oficio, en un nivel de semicalificación, de forma de facilitar su
inserción laboral; Generar una oferta técnica de capacitación pertinente con las necesidades del
mundo de la empresa.
Los requisitos para ser beneficiario del programa fueron:
• Ser joven de escasos recursos.
• Tener entre 16 y 24 años, preferentemente.
• Estar cesante, subempleado, inactivo o buscando trabajo por primera vez.

28
Esta sección esta basada en Aedo (2001), Cinterfor (1998), Cinterfor (1999), Feedback Comunicaciones (1997), Larrechea y
Guzmán (2002), Santiago Consultores Asociados (1999), SENCE (1996), SENCE (1997), SENCE (1999a) y SENCE (1999b).
Evaluación del impacto
42
• No encontrarse cursando ningún tipo de enseñanza formal, salvo aquella que se imparte en
la modalidad vespertina.
El siguiente cuadro muestra la cobertura del programa durante sus años de operación.
Cuadro 5
CHILE JOVEN: NÚMERO DE BENEFICIARIOS AL AÑO 2001

Año Capacitados
1991 19 055
1992 20 764
1993 27 099
1994 19 962
1995 12 476
1996 18 439
1997 18 504
1998 14 910
1999 4 747
2000 4 260
2001 4 240
Total 164 456
Fuente: Aedo (2001)
Mecanismos de operación
El programa se ejecutó a través de operadores privados denominados Organismos Técnicos
de Capacitación (OTEC), y se basó en la entrega de financiamiento, vía licitaciones públicas, a estas
instituciones externas, las que para participar tuvieron que estar debidamente incorporadas en los
registros de SENCE. Dependiendo del subprograma, las propuestas de estos organismos debieron
incluir “Compromisos de participación” de empresas que comprometieran la recepción de alumnos
del Programa.
Tras una campaña pública de difusión del programa, los jóvenes interesados debían dirigirse
a una Oficina Municipal de Información Laboral (OMIL), donde se les sometía a una breve
entrevista social para verificar si cumplían con la definición de beneficiario. Si correspondía, aquí
se les inscribía como candidato, se le informaba de las distintas alternativas de capacitación y, de
acuerdo a sus intereses, eran derivados al OTEC correspondiente, donde eran sometidos a un
proceso de selección.
Los subprogramas de Chile Joven
El programa constó inicialmente de cuatro subprogramas, tres ejecutadas por SENCE y uno
por FOSIS.
En la Fase I los subprogramas fueron:
• Capacitación y Experiencia Laboral en Empresas (CEL).
• Aprendizaje Alternado (AA).
• Capacitación para el Trabajo Independiente (TI).
• Formación y capacitación laboral (FOSIS).
En la Fase II los subprogramas fueron:
• Capacitación y experiencia laboral en empresas (CEL).
• Aprendizaje Alternado (AA).
CEPAL - SERIE Manuales N°47
43
• Habilitación para la creación de Microempresas Agrícolas y Forestales.
En todos los casos, los cursos impartidos fueron absolutamente gratuitos para los jóvenes
beneficiarios, quienes dispusieron además de un subsidio de movilización y colación durante las
fases lectiva y experimental del curso, excepto si esta última contó con un contrato de trabajo.
Además, los jóvenes dispusieron un seguro contra accidentes personales.
a) Capacitación y experiencia laboral en empresas (CEL)
Subprograma destinado a capacitar para un empleo dependiente. Constó de una fase lectiva
de 250 horas y otra de experiencia laboral por un período mínimo de tres meses. La fase lectiva
comprendió un módulo de calificación técnica en el oficio de 200 horas y un módulo de formación
para el trabajo de aproximadamente 50 horas, que buscó potenciar habilidades sociales y laborales
que faciliten la inserción laboral de los jóvenes. La fase de experiencia laboral tenía dos posibles
modalidades: un convenio de práctica laboral o un contrato de trabajo.
El costo promedio de estos cursos fue de US$ 750 por beneficiario, incluyendo subsidios.
Esta cantidad no incluye costo de oportunidad del participante.
b) Aprendizaje alternado
Modalidad que alternó la capacitación en un organismo técnico con la efectuada en una
empresa, bajo la modalidad de un contrato laboral. Estos cursos constaron de un plan de enseñanza
relacionada y un plan de entrenamiento en la empresa.
El plan de enseñanza relacionada constó de un módulo de preformación y un módulo de
capacitación. El primero tuvo por objetivo la actualización de conocimientos básicos para la
posterior instrucción. El segundo consistió en la propia capacitación técnica. Ambos componentes
tuvieron una duración conjunta máxima de 420 horas.
El plan de entrenamiento en la empresa se desarrolló en forma paralela al módulo de
capacitación y buscó completar la instrucción que recibe el joven en la institución capacitadora.
Para ello, el joven fue asistido por un maestro guía, el cual fue un trabajador de la empresa
entrenado con anterioridad para tales efectos. La alternancia se desarrolló en una proporción de 20%
en el organismo de capacitación y 80% en la empresa.
El programa subvencionó el 40% del salario mínimo del joven mientras duró su período de
aprendizaje, la diferencia fue aportada por el empleador. Para cualquier efecto el joven es un
trabajador más de la empresa y tiene acceso a todos los beneficios que la ley laboral otorga.
El costo promedio de estos cursos fue de US$1.450 por beneficiario, incluyendo subsidios.
Esta cantidad no incluye costo de oportunidad del participante.
c) Capacitación para el trabajo independiente
Modalidad destinada a capacitar como trabajador por cuenta propia. Constó de una fase
lectiva y otra de asistencia técnica para la puesta en ejecución de un proyecto.
La fase lectiva tuvo dos módulos, uno de capacitación en el oficio con una duración de 80
horas cronológicas y un segundo módulo de capacitación en gestión, con una duración mínima de
100 horas, que buscó habilitar al joven para que pueda ejercer su oficio de manera independiente,
entregando nociones de cálculo, costos, mercado, etc. Al final de este componente los alumnos
debieron elaborar un proyecto a ser financiado por una red de ayuda crediticia. La suma de los dos
componentes mencionados no debió superar las 250 horas.
La Fase de Asistencia Técnica se inicia al término de la fase lectiva o durante ésta, una vez
que los beneficiarios elaboren el proyecto y previa vinculación con la red de ayuda que financia el
mismo y que hizo posible que los proyectos presentados por los jóvenes se transformen en realidad.
Evaluación del impacto
44
Cada organismo capacitador debió presentar una carta compromiso de alguna institución o red de
ayuda dispuesta a otorgar un crédito para los jóvenes beneficiarios del programa.
d) Formación y capacitación laboral
Modalidad orientada a jóvenes con características de mayor marginalidad social. Este
programa constó de varias etapas. En primer lugar, una fase lectiva que constó de 200 horas de
capacitación en un oficio y 120 horas de formación para el trabajo, orientado al desarrollo de
actitudes, conductas y competencias psicosociales que facilitaran, al término del programa un
desenlace estable de los participantes.
En segundo lugar, una fase de experiencia laboral protegida en empresas por un período de
dos meses, en la cual se comprometió la vinculación del empresario que los recibió en práctica.
Posterior a la fase de práctica laboral esta modalidad contempló un seguimiento por un
período de 6 meses, cuyo objetivo fue apoyar la inserción social de los jóvenes.
e) Habilitación para la creación de microempresas agrícolas y
forestales
Subprograma similar al Capacitación para el Trabajo Independiente. La idea fue capacitar a
los jóvenes que desean trabajar por cuenta propia o formar una microempresa. El curso tuvo una
fase lectiva con una capacitación en oficios de 80 horas cronológicas mínimas y de capacitación en
gestión de 100 horas mínimas. Ambos componentes sumados debieron alcanzar 250 horas.
Luego de desarrollar una “idea de proyecto productivo” el organismo capacitador lo vinculó a
una Red de Apoyo Crediticio con fines de obtener el financiamiento del proyecto. El desarrollo del
proyecto productivo debió efectuarse entre tres y cuatro meses y contar con la asistencia del
Organismo Capacitador hasta la primera comercialización.
En este subprograma se permitió la participación de personas hasta 35 años. Un 24% de los
beneficiarios tuvo edades comprendidas entre 25 u 35 años.
Debe señalarse que la primera fase dio prioridad a la integración social de los jóvenes,
mientras que la segunda tuvo una orientación mayor hacia la vinculación de la capacitación con los
requerimientos del sector productivo y la inserción laboral.
5.2 Las evaluaciones
29

Chile Joven
Aedo y Pizarro (2004) utilizan la metodología “matching” para estimación de impactos,
usando propensity scores con el objeto de responder a tres preguntas: i) ¿Tuvo el programa Chile
Joven un impacto significativo en los ingresos laborales de los participantes?; ii) ¿Tuvo el programa
un impacto significativo en la probabilidad de estar empleado de los participantes?; y iii) ¿Tuvo el
programa un impacto significativo en la probabilidad de los participantes de tener un empleo en el
sector formal de la economía?
Este artículo utiliza un enfoque cuantitativo de tipo no experimental basado en la
metodología de Propensity Scores Matching Estimators presentada por Heckman, Ichimura y Todd
(1998), adaptada y aplicada a datos de una muestra de participantes y comparaciones de los cursos
correspondientes a dos llamados a licitación del programa Chile Joven, realizados el año 1997.


29
Además de las referencias específicas de cada sección, en la preparación de este capítulo se han usado: Ashenfelter (1978),
Ashenfelter y Card (1984), Geo Consultores (1999), Heckman (1992), Heckman y Smith (1997), Heckman y Smith (1998), Heckman
y Smith (1999), Heckman, Ichimura, Smith y Todd (1998), Heckman, Smith y Clements (1997), Heckman, LaLonde y Smith (1999),
LaLonde (1986), Paredes y Riveros (1989) y Ravallion (2001).
CEPAL - SERIE Manuales N°47
45
Impacto sobre ingresos laborales
Todos los estimadores de impacto calculados muestran un efecto positivo y estadísticamente
significativo sobre los ingresos laborales de los participantes, cuando se utiliza información de la
muestra completa (modelo1). El impacto estimado global es de entre un 26% y un 27%.
Al calcular el impacto para las submuestras, el estimador de diferencias en diferencias,
utilizando el método de vecino más cercano, que usa sólo una observación de comparación, es el
resultado de significancia estadística más débil. El método Kernel Epanechnikov incorpora más
información al utilizar toda la muestra de comparaciones en cada emparejamiento, sin embargo, no
logra resultados robustos para las submuestras que crucen sexo y edad (modelos 6 al 9) ni para las
mujeres. Esto puede deberse a la falta de información de ingresos pre programa para una cantidad
importante de observaciones. Los estimadores que presentaron mayor significancia estadística
fueron los de corte transversal usando el método de emparejamiento Kernel Epanechnikov, por lo
tanto usaremos estos para el análisis de impacto en esta variable. El cuadro 6 muestra los impactos
como porcentaje del salario bruto promedio inicial. Los impactos estadísticamente significativos se
muestran destacados.
Cuadro 6
IMPACTOS ESTIMADOS EN INGRESO LABORAL. CORTE TRANSVERSAL
(En porciento)
Kernel Epanechnikov Vecino más próximo
Jóvenes Adultos Total Jóvenes Adultos Total
Hombres 32 6 25 31 -2 22
Mujeres 35 21 28 33 16 25
Total 31 19 26 32 20 27
Fuente: Aedo y Pizarro (2004)

Los mayores impactos se presentan en el grupo de jóvenes. En términos absolutos, el impacto
es especialmente importante entre los varones, para quienes su participación en el programa
significó un aumento de más de $ 40.000 mensuales. Para las mujeres jóvenes, los impactos son
algo menores, pero superiores a $ 32.000 por mes. Sin embargo, en términos relativos al ingreso
inicial, el impacto es mayor para las mujeres, para quienes alcanza entre un 33% y un 35%,
mientras para los hombres jóvenes asciende a entre un 31% y un 32%; estos resultados son
estadísticamente significativos cualquiera sea el método de emparejamiento utilizado.
En el caso de los adultos, los resultados son menos concluyentes y no permiten afirmar que
exista un efecto sobre los ingresos laborales de los participantes. El menor impacto se da entre los
adultos hombres, para quienes los resultados están lejos de ser estadísticamente significativos.
Impacto estimado en probabilidad de estar ocupado
Si se considera el conjunto completo de los participantes, todos los estimadores muestran un
impacto sobre la probabilidad de estar empleado superior a 0,21, resultados que tienen una alta
significancia estadística independientemente del tipo de estimador y del método de emparejamiento
usado. En general, el método Kernel-Epanechnikov arroja estimadores con mayor significancia
estadística, razón por cual se muestran estos resultados en la cuadro 7. Como antes, las celdas
destacadas con negrita y fondo señalan impactos estadísticamente significativos.
Evaluación del impacto
46
Cuadro 7
IMPACTOS EN PROBABILIDAD DE ESTAR OCUPADO. KERNEL-EPANECHNIKOV
Corte Transversal Diferencias en diferencias
Jóvenes Adultos Total Jóvenes Adultos Total
Hombres 0,272 0,126 0,211 0,305 -0,015 0,221
Mujeres 0,293 0,174 0,231 0,268 0,148 0,175
Total 0,270 0,204 0,217 0,279 0,180 0,216
Fuente: Aedo y Pizarro (2004)

Similarmente a lo ocurrido en el caso de los ingresos laborales, es para los jóvenes para
quienes los efectos son mayores y la significancia estadística es más alta. Dependiendo del tipo de
estimador, cambia el orden de magnitud de los impactos entre hombres y mujeres, pero en todo
caso, los impactos estimados oscilan aproximadamente entre 26 y 30 puntos porcentuales.
Aunque se obtiene un impacto estimado significativo para los adultos en conjunto, que va de
18 a 20,4 puntos porcentuales, los resultados para los hombres adultos y mujeres adultas por
separado no son estadísticamente significativos.
Impacto estimado en formalidad
Si bien los resultados para el total de participantes tomados en conjunto, muestra un impacto
estadísticamente significativo de entre 0,181 y 0,201 sobre la probabilidad de tener un empleo
formal, al igual que en los casos anteriores los resultados son mucho menos robustos en el caso de
los adultos, especialmente de los hombres. Nuevamente el método Kernel–Epanechnikov ha
producido los estimadores con mayor significancia estadística, cuyos valores se muestran en el
cuadro 8.
Cuadro 8
IMPACTOS EN PROBABILIDAD DE EMPLEO FORMAL. KERNEL-EPANECHNIKOV
I Corte Transversal Diferencias en Diferencias
Jóvenes Adultos Total Jóvenes Adultos Total
Hombres 0,201 0,190 0,177 0,344 0,070 0,228
Mujeres 0,189 0,160 0,189 0,188 0,139 0,143
Total 0,190 0,174 0,181 0,269 0,136 0,201
Fuente: Aedo y Pizarro (2004)

Es notable que dentro del grupo de jóvenes, el impacto sobre la probabilidad de que el
empleo sea formal es mayor para los hombres.
Programa Joven en Argentina
Aedo (2004) evalúa el Proyecto Joven de Argentina. El artículo intenta responder las
siguientes preguntas:
¿Incrementan los programas de entrenamiento los ingresos laborales de sus beneficiarios?
¿Incrementan los programas de entrenamiento la probabilidad de empleo en sus
beneficiarios?
¿Cuál es el efecto diferencial sobre las variables de resultado (ingreso laboral y probabilidad
de empleo) que tienen diferentes elecciones de los beneficiarios en términos de tipos de
entrenamiento?
¿Cuál es la tasa de retorno por dólar gastado en entrenamiento?
CEPAL - SERIE Manuales N°47
47
Para realizar la evaluación, se usó información contenida en una base de datos para 3.340
personas (1.670 beneficiarios y 1.670 comparaciones) entrevistados en 1998. En ambas encuestas
existen preguntas relativas a la situación laboral y de ingresos de las personas antes de iniciar los
cursos, preguntas relativas al entrenamiento mismo (sólo para los beneficiarios) y preguntas
relativas a su situación post 12 meses concluido el entrenamiento (para las comparaciones se tiene
obviamente sólo información relativa al mismo momento temporal).
Resultados en ingresos laborales: Tratamientos Simples
Los principales resultados relativos a las estimaciones del impacto del Programa Joven sobre
los ingresos laborales se presentan en e1cuadro 9 Se presentan estimaciones para 5, 10, 30 y 30
vecinos cercanos, para los cuatro subgrupos y para toda la muestra. De este cuadro se puede
observar que los resultados en los ingresos laborales fueron estadísticamente significativos para los
hombres jóvenes y mujeres adultas solamente. Dado que se supone en este análisis que todos los
subgrupos reciben el mismo tipo de tratamiento y que no hay otros aspectos del programa que
difieren entre los grupos, lo probable es que este resultado se deba a diferencias de mercado para los
diferentes grupos.
Cuadro 9
ESTIMACIONES DEL IMPACTO SOBRE LOS INGRESOS *
(US$ por mes)
Vecinos Hombres
Jóvenes
Hombres Adultos Mujeres Jóvenes Mujeres Adultas Todos
5 $23
(11,75)
-$10
(14,90)
$24
(10,43)
$31
(8,10)
$18
10 $17
(11,64)
-$5,20
(13,67)
$20
(9,76)
$32
(8,19)
$17
20 $20
(12,31)
$0,3
(13,66)
$19
(9,95)
$30
(8,35)
$18
30 $22
(11,43)
-$1
(13,55)
$18
(11,16)
$28
(8,38)
$18
Fuente: Aedo (2004)
*Desviaciones estándar estimadas de acuerdo a Bootstrapping se presentan entre paréntesis.

Las estimaciones del impacto del programa no fueron sensibles al número de vecinos
cercanos.
Resultados en probabilidad de empleo: Tratamientos Simples
El cuadro10 presenta las estimaciones del impacto del Programa sobre la probabilidad de
estar empleado. De este cuadro se puede observar que los impactos estimados fueron significativos
sólo para el caso de las mujeres adultas. Para este grupo los resultados no fueron sensibles al
número de vecinos cercanos usados.
Cuadro 10
IMPACTOS SOBRE EL EMPLEO
Vecinos Hombres Jóvenes Hombres Adultos Mujeres Jóvenes Mujeres Adultas Todos
5 0,0323
(0,048)
-0,0295
(0,028)
0,0023
(0,035)
0,1282
(0,039)
0,0421
10 0,0276
(0,093)
-0,0357
(0,027)
-0,0095
(0,048)
0,1346
(0,035)
0,0392
20 0,0251
(0,039)
-0,0293
(0,029)
-0,0153
(0,049)
0,1277
(0,032)
0,0368
30 0,0209
(0,037)
-0,0395
(0,029)
-0,0137
(0,052)
0,1252
(0,046)
0,0328
Fuente: Aedo (2004)
Nota : Desviaciones estándar estimadas de acuerdo a Bootstrapping se presentan entre paréntesis.

Evaluación del impacto
48
Resultados en ingresos laborales: El caso de tratamientos múltiples
En este programa los beneficiarios podían tomar cursos de un menú bastante amplio ofrecido
por empresas del sector privado y que correspondían al quinto llamado a licitación de cursos.
El cuadro 11 presenta los impactos esperados sobre el ingreso de los beneficiarios después de
1 año de graduado en los cursos de entrenamiento. La estimación se efectúa para cada par de
comparaciones posibles e imponiendo la opción de common support. Para estos efectos se usó el
método de matching de vecinos cercanos. Este cuadro reporta los resultados obtenidos usando 10
vecinos cercanos.
30

31

Cuadro 11
ESTIMACIÓN DEL IMPACTO EN LOS INGRESOS
No beneficiario Const. e Indust. Agric, Min. & For. Terciario


Sin Programa 25
(1,15)
15
(0,98)
22
(1,23)
24
(1,15)
Const. e Indust.

-6
(-1,78)
-3
(-1,89)
15
(0,98)
Agric, Min. & For. 7
(1,98)


6
(2,01)
22
(1,23)
Terciario 4
(2,01)
-4
(-1,67)


Fuente: Aedo (2004)
Nota: Los resultados están medidos en $ por mes. Nivel de significancia entre paréntesis.

De acuerdo a los resultados obtenidos existe un impacto positivo de cada uno de los tipos de
cursos en relación con la situación de un no beneficiario. Sin embargo, estos resultados no
resultaron ser estadísticamente significativos. Se puede observar que existe un efecto diferencial en
relación al tipo de curso elegido: así por ejemplo, el tipo de curso que tiene el mayor efecto sobre
los ingresos corresponde a cursos del Sector Construcción e Industria, seguido por cursos en el
sector Terciario.
Tal como anticipaba el análisis teórico los efectos estimados no fueron simétricos, aunque si
permanece la dirección de los efectos y la significancia estadística de ellos.
Es importante mencionar que los supuestos requeridos para comparar distintos tipos de cursos
utilizando el método de matching son cuestionables. Existe evidencia empírica sobre la existencia
de selección en no observables para la selección de una ocupación (Rosen y Willis, 1977). Es decir,
aún controlando por variables observables (propensity score) las personas que eligen distintos
cursos pueden no ser comparables a aquellos que eligen otros cursos. Lo anterior puede invalidar
los resultados reportados anteriormente sobre efectos entre tipos de cursos. Sin embargo, aún puede
rescatarse la comparación de cada curso con el estado de no tratamiento para individuos con
características similares a los participantes en cada grupo.





30 Se usaron 1, 5, 10, 20 y 50 vecinos cercanos. Los resultados no varían de manera significativa con respecto al número de vecinos
usados.
31 Al evaluar tratamientos múltiples se disminuyen los tamaños muestrales y por tanto, se hace necesario evaluar la robustez de los
resultados frente a diferentes métodos de matching. En versiones futuras se reportarán estimaciones usando el Kernel de
Epanechnikov para evaluar la robustez de los resultados de impacto.
CEPAL - SERIE Manuales N°47
49
Análisis de Costo Beneficio
Los principales resultados de costo beneficio se presentan en el cuadro 14. En este cuadro se
presenta el Valor Presente Neto usando dos cifras de beneficios: (i) USD 17,87 por mes, el cual
corresponde al estimador de impacto promedio sobre los ingresos para los cuatro grupos reportados
en el cuadro 5; y (ii) USD 24,67 por mes, el cual corresponde al estimador del impacto promedio
sobre los ingresos para hombres jóvenes y para mujeres adultas solamente. Sólo estos dos grupos
presentaron un impacto estadísticamente significativo del Programa sobre los ingresos. Este
ejercicio es similar a realizar un análisis de costo-beneficio para un programa (con costo similar)
focalizado en los hombres jóvenes y mujeres adultas solamente.
Cuadro 12
ANÁLISIS DE COSTO BENEFICIO
(en US dólares)
Impacto
Ingresos
Valor presente
neto
Impacto
Ingresos
Valor Presente
Neto
Duración de
Beneficios
Tasa de
Descuento
Razón de
Costos
Indirectos/
Directos
(USD) (USD) (US$) (USD)
1 año 5% 0,15 17.87 -1 339.1 24.67 -1 261.3
1 año 5% 0,327 17.87 -1 576.6 24.67 -1 498.9
1 año 10% 0,15 17.87 -1 348.4 24.67 -1 274.2
1 año 10% 0,327 17.87 -1585.9 24.67 -1 511.7
3 años 5% 0,15 17.87 -959.4 24.67 -737.1
3 años 5% 0,327 17.87 -1 196.9 24.67 -974.6
3 años 10% 0,15 17.87 -1 010.1 24.67 -807.0
3 años 10% 0,327 17.87 -1 247.6 24.67 -1 044.6
6 años 5% 0,15 17.87 -454.9 24.67 -40.6
6 años 5% 0,327 17.87 -692.5 24.67 -278.1
6 años 10% 0,15 17.87 -609.4 24.67 -253.9
6 años 10% 0,327 17.87 -846.9 24.67 -491.4
9 años 5% 0,15 17.87 -19.2 24.67 561.0
9 años 5% 0,327 17.87 -256.7 24.67 323.5
9 años 10% 0,15 17.87 -308.4 24.67 161.7
9 años 10% 0,327 17.87 -545.9 24.67 -75.82
12 años 5% 0,15 17.87 357.2 24.67 1 080.8
12 años 5% 0,327 17.87 119.7 24.67 843.2
12 años 10% 0,15 17.87 -82.3 24.67 473.9
12 años 10% 0,327 17.87 -319.8 24.67 236.4
15 años 5% 0,15 17.87 682.4 24.67 1 529.7
15 años 5% 0,327 17.87 444.86 24.67 1 292.2
15 años 10% 0,15 17.87 87.7 24.67 708.6
15 años 10% 0,327 17.87 -149.9 24.67 471.0
Infinito 5% 0,15 17.87 2 744.3 24.67 4 377.9
Infinito 5% 0,327 17.87 2 507.7 24.67 4 140.4
Infinito 10% 0,15 17.87 600.9 24.67 1 417.3
Infinito 10% 0,327 17.87 363.5 24.67 1 179.8
Fuente: Aedo (2004)
Evaluación del impacto
50
Tal como se puede observar el Valor Presente Neto puede ser positivo o negativo. Todo lo
demás constante, mientras mayor sea el período de tiempo para los beneficios, menor la tasa de
descuento y menor la razón de costos indirectos a directos, mayor el VPN del Proyecto Joven.
32


32
El VPN reportado en el Cuadro supone una pérdida de eficiencia por los recursos (financiados por impuestos) usados por el Proyecto
Joven de cero. Si se supone, por ejemplo, una perdida de eficiencia de 50% se debiera substraer USD 890 de las cifras de VPN
presentadas en el Cuadro.
CEPAL - SERIE Manuales N°47
51
IV. Lecciones para el diseño de
programas y para la evaluación
de futuros programas
Lecciones para el diseño de los Programas
Dada la experiencia reciente con los diversos programas
analizados, se pueden obtener lecciones respecto del diseño de los
programas:
33

Actualización de la información:
La información respecto de quién se va a beneficiar y dónde se
encuentran localizadas estas personas, es un elemento fundamental en
el diseño de cualquier programa. La información precisa permite
realizar un mejor diseño y tener una idea más acabada de las
potencialidades del proyecto. De hecho, es posible que una
información imprecisa trunque las potencialidades del programa, como
por ejemplo en el caso del programa argentino, en el que no se contaba
con información de empleo en el sector informal y en consecuencia los
beneficiarios seleccionados podían realmente no presentar tan
acuciosamente la necesidad que se quería atender.
Participación de las instituciones ejecutoras durante el diseño:
La participación de las instituciones, especialmente aquellas
involucradas en la ejecución, durante el proceso de diseño del

33
Ayala Co. (2003) constituye un documento interesante en cuanto a la documentación de la experiencia, ya que sintetiza los aspectos
discutidos en un Taller sobre Programas de transferencias condicionales en el que participaron responsables de diversos programas.
Evaluación del impacto
52
programa puede ser un elemento que posibilite el éxito del programa cuando se realice luego la
implementación. El programa PROGRESA mexicano muestra justamente que una buena
coordinación entre las instituciones al más alto nivel facilita luego la implementación y la ejecución.
En este sentido es clave que la entidad ejecutora pueda trabajar desde el principio junto con los
ministerios involucrados, para lograr los objetivos deseados.
Análisis costo-beneficio: La evaluación ex ante de los costos y beneficios que se esperan de
los programas es clave por varias razones. Primero otorga una idea cuantificada, con la mayor
precisión posible, respecto de qué se puede esperar de los programas. Por otro lado, permite
determinar la viabilidad financiera de los programas, aspecto básico para la sostenibilidad de éstos.
Fases pilotos completas: En caso que se evalúe necesario el desarrollo de una fase piloto del
programa previo a la implementación a nivel nacional, es importante contar con el apoyo político
necesario para realizarla. Experiencias en países con fases de los programas piloto incompletas no
han sido positivas. Por ejemplo, en el caso de Colombia no fue posible completar las fases piloto y
probar todos los procesos, ya que por razones de corte político se tuvo que expandir los Programas
en el nivel nacional sin haber completado el diseño. En consecuencia, se implementaron procesos
sin haber realizado pruebas y la implicancia práctica se sufrió durante la ejecución cuando en
algunos casos esos procesos no mostraron ser eficientes y tuvieron que ajustarse provocando
inconvenientes. Aunque a veces es preferible una fase piloto incompleta a no tenerla, si se ha
juzgado que es necesaria la fase piloto para el éxito del programa, entonces es fundamental disponer
del apoyo político para llevarla adelante. Caso contrario conviene pensar en otras alternativas: como
por ejemplo, reducir el tiempo de la fase piloto, reducir el número de beneficiarios incorporados en
ésta, etc.
Estrategias claras de salida o graduación de beneficiarios: Este es un problema clave de los
programas, ya que cuando un grupo de personas se ha beneficiado durante un período de tiempo, no
es fácil defender su permanencia en el programa especialmente a la luz de presupuestos limitados y
excesos de demanda por ingreso al programa. Es importante tener claro este aspecto al momento del
diseño de los programas y es esencial que los beneficiarios, desde el primer momento, entiendan y
acepten las reglas asociadas con este punto. El período cercano a la graduación puede ser el más
difícil de enfrentar ya que los individuos estarán cruzando hacia el mundo de los no elegibles y la
tentación de volver al cuidado del estado o aún más, la tentación de subrepresentar su verdadera
situación socioeconómica para mantenerse en ellos. Por ello, es importante educar a los
participantes para que los que egresen del programa tengan conciencia que alguien mas que está
luchando por cambiar si situación podrá ahora obtener ayuda.
La estrategia puntual de salida debe ser diseñada acorde a los objetivos y posibilidades de
cada programa en particular. Así, hay programas que incrementan las oportunidades de los
beneficiarios de ingresar al mercado laboral a través de incrementos en su nivel de educación, en
cambio otros los preparan en términos de un mejor estado de salud que los posibilita para ser más
productivos en el futuro. Cuando los beneficiarios egresan de los programas son enfrentados con el
desafío de encontrar un trabajo que les permita incrementar sus niveles de vida y abandonar de
manera permanente su situación de pobreza. En el caso de los programas de empleo de crisis, una
vez que sus beneficiarios egresan ellos deben enfrentar el desafío de proveer para sus familias sin la
asistencia de estos programas. En muchos casos, encontrar un trabajo después de un período de
recesión es en realidad un gran desafío especialmente en países caracterizados por una pobreza
extrema.
Esta transición entre ser dependiente de la asistencia a ser completamente independiente,
puede ser facilitada a través de la provisión de entrenamiento laboral en el caso de programas de
transferencias condicionadas estructurales. Para los beneficiarios que egresan de programas de
crisis, quienes son principalmente adultos y algunos que han tenido empleo, la asistencia puede ser
provista por agencias de empleo que los ayuden a encontrar trabajo. Una idea razonable a
CEPAL - SERIE Manuales N°47
53
considerar, es que se implementen convenios con empresas que acojan a los egresados de estos
programas a cambio de una reducción impositiva. Otras ideas, son la realización de asesorías para el
manejo del dinero y el crédito, dado que ahora algunas de estas familias serán sujetas de crédito.
Estas actividades pueden ser incorporadas en las últimas fases de estos programas para asegurar que
estos beneficiarios puedan efectivamente reducir su pobreza tanto en el corto plazo como en el largo
plazo.
Participación de las instituciones durante la ejecución de los programas (coordinación,
ejecución centralizada/descentralizada): La coordinación institucional eficiente es un aspecto
importante que debe tomarse en cuenta en este tipo de programas, ya que la falta de ella puede
afectar significativamente la ejecución del programa. De acuerdo a Ayala Consulting Co. (2003),
los responsables institucionales de los programas destacan tres aspectos importantes para poder
mejorar y alcanzar la coordinación institucional: (a) el desarrollo de un sistema de comunicación
para ganar aliados; (b) la utilización de un lenguaje común; y, (c) la definición del proceso a seguir.
También recomiendan realizar campañas de difusión masiva del programa para captar la atención
de los potenciales beneficiarios.
En la mayoría de los casos, para un mejor desempeño de los programas se recomienda la
ejecución descentralizada. La organización en este caso corresponde a un Gobierno Federal que
otorga enteramente la operación del programa a los municipios y se encarga únicamente de hacer
las transferencias. En este tipo de organización el Gobierno Federal puede concentrarse en evaluar
la calidad del programa y deja la ejecución diaria en manos de los municipios. Una organización de
este tipo es adoptada por el gobierno brasilero. De todos modos, aunque en la gran mayoría de los
programas analizados se acepta la necesidad de descentralización, existen reservas con respecto a la
capacidad municipal para el manejo este tipo de programa. La recomendación es una
descentralización gradual para asegurar una sostenibilidad institucional a futuro.
En cuanto a la coordinación y de acuerdo a la misma fuente, la experiencia obtenida ha
indicado que son cuatro los factores a tener en cuenta. El primero hace hincapié en la necesidad de
establecer una estrategia de reducción de la pobreza común entre todos los actores involucrados,
que permite enmarcar las acciones de todos los participantes. El segundo factor hace referencia a la
importancia de que los actores involucrados asuman una responsabilidad institucional,
especialmente en los casos de los Ministerios de Educación y Salud; y de los municipios en casos de
descentralización importante. El tercer factor es el representado por la participación ciudadana que
resulta fundamental en los distintos programas. Por último, las redes institucionales constituyen el
cuarto factor, que permite una coordinación entre los participantes de la estrategia de reducción de
la pobreza.
Rol de beneficiarios y actores locales: Lograr un control comunitario participativo puede ser
clave en el éxito de un programa. Para que el programa logre difusión y aceptación en la comunidad
a la que se dirige, una estrategia recomendable es hacer parte de la organización del programa a
miembros de esa comunidad. Por ejemplo, se pueden reclutar personas que desean cooperar (que
posiblemente no son beneficiarios del programa) y otorgarles la responsabilidad de acompañar a un
grupo de beneficiarios. Estas personas no necesariamente deben estar vinculadas a la administración
del programa, pero sí pueden actuar como consejeros de los beneficiarios y apoyarlos en procesos
de capacitación y promoción de salud por ejemplo. Además, la participación comunitaria le otorga
un alto grado de transparencia al programa. México, por ejemplo, ha desarrollado un sistema
participativo con estas características y con relativo éxito.
Mientras se pueden encontrar personas dentro de la comunidad para actuar de apoyo directo a
los beneficiarios, la tarea del vínculo entre los beneficiarios y la administración del programa
corresponde a otro grupo de individuos, los denominados promotores del programa. En
consecuencia un aspecto de central interés es la capacitación de éstos últimos. Buscando este
Evaluación del impacto
54
objetivo corresponde en primer lugar identificar las tareas de los promotores en las distintas etapas
del programa y establecer, luego, para ellos un proceso de capacitación continua.
Monitoreo de los programas: generalmente conviene que los sistemas de seguimiento y
evaluación estén vinculados. La experiencia en México, por ejemplo, indica que la evaluación
operativa es un insumo para la evaluación de impacto. Adicionalmente al seguimiento y evaluación
de impacto se puede realizar un sistema de seguimiento externo muestral que permita analizar las
causas de problemas operativos e identificar soluciones. Colombia ha implementado un sistema de
este tipo. Otra opción es la evaluación cualitativa de beneficiarios que permite ahondar aspectos que
las evaluaciones de impacto no captan y permiten entender de manera más acabada problemas
operativos. Nicaragua está realizando una evaluación de este tipo.
El Sistema de seguimiento debe ser eficiente. Por eficiente se entiende no sólo un uso
apropiado de los recursos sino que además se entiende que la información esté disponible de manera
rápida y confiable. Las distintas oficinas del Programa deberían estar conectadas en línea y disponer
así prácticamente en tiempo real cualquier información relevante. Claramente esto implica un costo
mayor en el diseño del sistema, pero tiene beneficios importantes en la ejecución del programa, que
se verían disminuidos por ejemplo si la información se registra a nivel local y se traslada al
gobierno central con meses de retraso como ha sido la experiencia en algunos casos.
Desde el punto de vista del apoyo político al programa es fundamental la promoción del
avance del programa. Es importante realizar evaluaciones de impacto y diversos estudios que
permitan conocer sus resultados.
Aspectos vinculados a la Gestión Financiera y Control de los pagos: Para bajar el costo de
transacción del pago de los subsidios es fundamental un proceso estratégico de negociación con la
banca privada. Un caso ejemplificador es del de Familias en Acción , como se destaca en Ayala Co.
(2003): “Colombia negoció primero con la banca pública el proceso y el costo por transacción del
pago a beneficiarios De esta manera, se mejoraron los procesos y luego mostraron el
funcionamiento optimizado a la banca privada para que participe, lográndose así que la banca
privada cobre por transacción menos que el valor acordado con la banca pública, cuando en un
principio, la banca privada llegó a solicitar hasta 10 veces el valor que la banca pública había
propuesto cobrar.”
Por otro lado, no sólo para conseguir controlar los costos de administración, sino también
para mejorar el control mismo de los pagos resulta clave la frecuencia de pago. Por ejemplo un pago
bimestral reduce costos operativos de mayor frecuencia y disminuye los costos de traslado de
beneficiarios hasta centros de pago.
Lecciones para la evaluación de impacto de programas
Dada la experiencia reciente con los diversos programas analizados, se presentan a
continuación lecciones para la evaluación de impacto de programas:

¿Evaluar o no Evaluar?
Dado que efectuar una evaluación de impacto implica muchos costos, que incluyen la
recopilación de datos y el valor del tiempo del personal para todos los miembros del equipo de
evaluación, una de las primeras preguntas que es preciso contestar es si se debe realizar o no una
evaluación de impacto. Para ello es necesario efectuarse una serie de preguntas, entre ellas:
• ¿Hay una voluntad política y financiera para su realización?

CEPAL - SERIE Manuales N°47
55
• ¿Hay algún otro método que pueda ser más adecuado que una evaluación de impacto
completa?
• ¿Se encuentra el programa en una etapa lo suficientemente avanzada para permitir una
evaluación de impacto o aún se modificará?
• ¿Se justifica realizarla?
¿Cuáles serán sus objetivos?: Una vez que se ha decidido efectuar una evaluación es preciso
preguntares cuál serán tanto su objetivo general como sus objetivos específicos. Para ello es preciso
hacerse las siguientes preguntas:
• ¿Qué pregunta se desea contestar con la evaluación?
• ¿Qué se quiere medir?
• ¿Qué indicadores de resultados serán necesarios de construir?
• ¿Cuáles serán las necesidades de información que demandará la evaluación?
• ¿Será ésta cuantitativa o cualitativa?
¿Cuándo es apropiado diseñar la evaluación?: La experiencia indica que el éxito de una
evaluación depende crucialmente del momento en que se diseña la misma. Una evaluación diseñada
ex-post está en una situación de desventaja porque generalmente no se cuenta con toda la
información necesaria. Esto, a su vez, lleva a restar confiabilidad a los resultados de la misma.
Contrariamente, cuando las evaluaciones son diseñadas en conjunto con el programa se han
observado efectos positivos. Por un lado, se consigue que el impacto sobre los objetivos pueda ser
cuantificado de manera más confiable, pero además se consigue una retroalimentación fundamental
que permite ir corrigiendo el programa para optimizar los resultados.
Mediante una planificación anticipada y cuidadosa, es posible incorporar todos los elementos
que contribuirán a una evaluación de impacto rigurosa, que permitirá una recopilación de la
información adecuada, usando datos de tipo cuantitativos como cualitativos, con información para
beneficiarios y comparaciones relativa a los procesos principales que pueden influir en los
resultados finales.
¿Qué diseño es apropiado para la evaluación de impacto?:
Hay una tensión importante cuando se elige el diseño de la evaluación. El diseño
experimental tiene la clara dificultad de necesitar de un amplio apoyo político que permita la
compleja implementación del programa en zonas seleccionadas aleatoriamente, dejando un grupo
de control sin cobertura. Por su parte, un diseño cuasi-experimental es políticamente menos sensible
y menos demandante en términos de implementación, sin embargo proporciona resultados menos
robustos y menos transparentes que aquellos generados por diseños experimentales. El diseño de la
evaluación debe tomar una opción dentro de esta tensión.
Para la mayoría de las evaluaciones, se requiere más de una técnica para obtener resultados
sólidos que responden a las variadas preguntas de la evaluación. Aún más, cada pregunta podría
necesitar de diferentes técnicas, incluso dentro de un diseño único de un estudio. Usar técnicas de
investigación cualitativa y cuantitativa permite generar una valiosa combinación de resultados útiles
y pertinentes para las políticas. Muchas veces como el trabajo cualitativo es más intuitivo, es más
accesible y, por tanto, más interesante para la Gerencia Social del Proyecto.
Para elegir el diseño que se debe usar para la evaluación de impacto, es importante
responderse las siguientes preguntas:
• ¿Qué preguntas se intenta responder en esta evaluación de impacto?
Evaluación del impacto
56
• ¿Son estas relativas a resultados a nivel de producto, intermedios o finales?
• Para responder las relativas a resultados finales, ¿Se usará un diseño experimental o cuasi
experimental?
• ¿Será un enfoque paramétrico o no paramétrico?
¿Existe buena calidad de la información?
La calidad de la base de datos disponible no sólo permite una efectiva evaluación del
programa sino que además permite realizar experimentos, que permitan optimizar los resultados del
mismo. De no contar con información tan precisa, tales experimentos o bien no serían posibles o
bien no serían confiables. Por lo tanto, es una buena inversión desde el punto de vista de la
eficiencia del programa que se contemple la recolección y análisis de información relevante,
confiable y oportuna.
En la evaluación hay que aprovechar al máximo las fuentes de datos existentes, tales como
encuestas nacionales, censos, registros administrativos de un programa o datos municipales, pueden
aportar valiosa información a los esfuerzos de evaluación. Aprovechar las fuentes existentes reduce
la necesidad de recurrir a una costosa recopilación de datos para el exclusivo propósito de una
evaluación. A veces si bien las bases de datos pueden no contener toda la información que
idealmente se debieran tener para los fines de la evaluación, hay técnicas estadísticas que con
frecuencia se pueden usar para corregir los sesgos asociados a los datos faltantes.
Para definir qué fuentes de datos, primarias o secundarias, se usarán para realizar la
evaluación, es necesario responder las siguientes preguntas:
• ¿Existe una base del universo que permita una identificación de beneficiarios y
comparaciones que permita el diseño muestral?
• ¿Se puede hacer algún cruce con bases de datos existentes (niveles de vida, encuestas del
mercado laboral, bases de datos institucionales, etc.).
• Los datos, ¿permiten llegar a los individuos u empresas?
• ¿Hay encuestas en marcha que se puedan usar? ¿Es factible incorporar preguntas a esta?
¿Cuál es la capacidad institucional que se tiene para llevar a cabo la evaluación?: Los
gobiernos deben tener capacidad institucional para llevar a cabo estos programas. Se necesita de
instituciones que implementen estos programas y que lleven un control adecuado que asegure que
los recursos sean usados eficientemente. Esto requiere desde la actualización y/o creación de
fuentes de datos hasta la creación de entidades que se dediquen exclusivamente a la implementación
de estos programas.
Una pregunta relevante es quién llevará a cabo la evaluación, lo que implica a su vez una
serie de interrogantes que es necesario aclarar antes de llevar a cabo una evaluación, entre ellas:
• ¿Cómo se conformará el equipo de evaluación?
• ¿Existe capacidad “local” para llevarla a cabo?
• ¿Qué capacitación debo entregar a la contraparte técnica del Proyecto?
¿Economía Política de la Evaluación?: Existen diversos elementos de economía política que
es necesario resolver que influyen no sólo en si se lleva a cabo o no una evaluación de impacto, sino
también en la forma en que esta se implementa. La decisión de realizar una evaluación requiere de
un sólido apoyo político ya que a veces, al no apreciarse el valor de efectuar evaluaciones, no se
desea invertir recursos en ello.
CEPAL - SERIE Manuales N°47
57
Finalmente, puede existir también una reticencia a permitir la ejecución de una evaluación
independiente que pueda revelar resultados contrarios a la política del gobierno. Las evaluaciones
son también sensibles al cambio político, ya que rotaciones en los gobiernos o en los puestos claves
o cambios estratégicos de política pueden afectar no sólo el esfuerzo de evaluación, sino más
fundamentalmente la implementación del programa que se está evaluando.

CEPAL - SERIE Manuales N°47
59
Bibliografía
Abadie, A., Drucker, D., Herr, J.L. y G. Imbens, (2002): “Implementing
Matching Estimators for Average Treatment Effects in STATA”.
Aedo, Cristián (2001): "Job Training Programs: The Cases of Chile Joven and
Argentina Proyecto Joven". Presentación preparada para el Seminario
sobre Protección Social para los Pobres en Asia y Latinoamérica.
Aedo, Cristián (2004): "Evaluación del impacto del programa joven", mimeo.
Aedo, Cristián y Marcelo Pizarro (2004): "Rentabilidad Económica del
Programa de Capacitación Laboral de Jóvenes Chile Joven", mimeo.
Aedo, Cristián y Sergio Núñez (2001): "The Impact of Training Policies in
Latin America and the Caribbean: The case of Programa Joven".
ILADES/Georgetown University. Graduate Program in Economics.
Amemiya, Takeshi (1985): Advanced Econometrics, Harvard University
Press.
Ashenfelter, Orley (1978): “Estimating the Effect of Training Programs on
Earnings”. The Review of Economics and Statistics. Vol 6, Issue 1, pp 47-
57.
Ashenfelter, Orley y David Card (1984): “Using the Longitudinal Structure of
Earnings to Estimate the Effect of Training Programs”. Working Paper
#174. Industrial Relations Section. Princeton University.
Attanasio, O, C. Meghir y A. Santiago (2001): “Educational Choices in
México: Using a Structural Model and Randomized Experiment to
Evaluate PROGRESA”, mimeo (November 2001)
Attanasio et al. (2003a): “Baseline Report on the Evaluation of Familias en
Acción”, en internet http://www/ifs.org.uk/edepo/wps/familias_accion.pdf.
Attanasio, O, C. Meghir y M. Szekely (2003b): “Using Randomized
experiments and Structural Models for ‘Scaling up’: Evidence from the
PROGRESA Evaluation”, (December).
Ayala Consulting Co. (2003): “Taller sobre Programas de Transferencias
Condicionadas (PTCs): Experiencias Operativas”, Informe Final para el
Banco Mundial, Quito-Ecuador, Marzo.
Banco Mundial (2003): Note prepared by a mission to Chile in April 2003
comprising Polly Jones, Emanuela Galasso y Martin Ravallion.
Evaluación del impacto
60
Baker, Judy L. (2000): “Evaluación del impacto de los proyectos de desarrollo en la pobreza: manual para
profesionales”, Banco Mundial.
Becker, S. y A. Ichino (2002): “Estimation of average treatment effects based on propensity scores”
(Borrador).
Behrman, Jere, P. Sengupta, and P. Todd (2001): “Progressing through PROGRESA: An Impact Assessment
of a School Subsidy Experiment.” April. University of Pennsylvania and the International Food Policy
Research Institute, Washington, D.C.
Behrman, Jere (2000): “Literature Review on Interactions Between Health, Education and Nutrition and the
Potential Benefits of Intervening Simultaneously in All Three”, IFPRI (September 2000).
Bravo, David y Dante Contreras (2000): "The Impact of Financial Incentives to Training Providers: The Case
of Chile Joven”. Inter-American Seminar on Economics. Micro-Data Research in Latin America. National
Bureau of Economics Research.
Chile Solidario (2002): Presentación en Power Point, Gobierno de Chile, MIDEPLAN.
CINTERFOR (1997): “CHILE JOVEN: Una experiencia pionera revisada”, Boletín Cinterfor No 139-140,
abril-septiembre 1997.
CINTERFOR (1999): “Programas de capacitación y empleo de jóvenes en América Latina”. Documento
elaborado por solicitud de OIT.
Cohen, E. (2000): " Educación, eficiencia y equidad: una difícil convivencia” en “¿Hacia dónde va el
gasto público en educación?; logros y desafíos, volumen I: la búsqueda de la eficiencia.” Serie Políticas
Sociales, Nº 42 Santiago: CEPAL.
Coelli, T., D.S. Prasada Rao,; G.E. Battese (1998), “An Introduction to Efficiency and Productivity Analysis”,
Kluwer Academic Publishers, Boston.
Cohen, E. y Franco, R. (1992): "Evaluación de Proyectos Sociales”. México, DF: Siglo Veintiuno.
Di Gropello, E. y Cominetti, R. (1998): “La descentralización de la educación y la salud: un análisis
comparativo de la experiencia latinoamericana” NU. CEPAL. Santiago: CEPAL.
Farrell, M.J. (1957), “The Measurement of Productive Efficiency”, Journal of The Royal Statistical Society,
Series A, CXX, Part 3: 253-290.
Feedback Comunicaciones (1997): “Expectativas y Estrategias Laborales de Jóvenes de Escasos Recursos”,
en Biblioteca del Servicio Nacional de Capacitación y Empleo, Ministerio del Trabajo de Chile.
Flores, R. et al. “Evaluation of the Family Allowance Program (PRAF) in Honduras: Health and Nutrition
Impacts”. Presentación de Power Point disponible desde el sitio http://www1.worldbank.org/sp/safetynets.
Franco, R. (1997): “Autoridad económica y autoridad social: eficiencia, eficacia, equidad e impacto”.
Institucionalidad social para la superación de la pobreza y la equidad. División de Desarrollo Social NU.
CEPAL.
Galasso E. y Ravallion M (2003): “Social Protection in a Crisis: Argentina´s Plan Jefes y Jefas”, Working
Paper N. 11/03, World Bank, December.
Geo Consultores (1999): “Estudio Econométrico de Diferenciales de Salarios”, en Biblioteca del Servicio
Nacional de Capacitación y Empleo, Ministerio del Trabajo de Chile.
Gershberg, A.I. (1998): “Decentralization and Recentralization: Lessons from Social Sectors in Mexico and
Nicaragua”. Banco Interamericano de Desarrollo. Documento de Trabajo N° 379, agosto.
Gertler, Paul J (2000): “Final report: The Impáct of PROGRESA on Health”. International Food Policy
Research Institute. Washington, D.C.
Heckman, James (1992): “Randomization and Social Policy Evaluation”, en C.
Heckman, James y Jeffrey Smith (1997): “The Sensitivity of Experimental Impact Estimates: Evidence from
the National JTPA Study”. Working Paper 6105. National Bureau of Economic Research.
http://www.nber.org/papers/w6105.
Heckman, James y Jeffrey Smith (1998): “Evaluating the Welfare State”. In: Steiner Strom, editor.
Econometrics and Economic Theory in the 20 th Century: The Ragnar Frisch Centennial. Cambridge,
United Kingdom: Cambridge University Press for Econometric Society.
Heckman, James y Jeffrey Smith (1999): “The Pre-Program Dip and the Determinants of Participation in a
Social Program: Implications for Simple Program Evaluation Strategies”. Economic Journal. 109 (143): 1-
37.
Heckman, J., Ichimura, and Todd, P. (1998): “Matching As an Econometric Evaluation Estimator”. Review of
Economic Studies. 65 (2): 605-654.
Heckman, J., Ichimura, H., Smith, J., and Todd, P. (1998): “Characterizing Selection Bias Using
Experimental Data”. Econometrica. 66 (5).
CEPAL - SERIE Manuales N°47
61
Heckman, J., J. Smith y N. Clements (1997): “Making the Most Out of Programme Evaluations and Social
Experiments: Accounting for Heterogeneity in Programme Impacts”, en Review of Economic Studies, 64,
487-535.
Heckman, J., LaLonde, R., and Smith, J. (1999): “The Economics and Econometrics of Active Labor Market
Programs”. In: O. Ashenfelter and D. Card, editors. Handbook of Labor Economics, Volume IIIA: 1865-
2097. Amsterdam: North-Holland.
Hoddinott J., et al. (2000): “The Impact of PROGRESA on Consumption: A Final Report”. September”
International Food Policy Research Institute, Washington, D.C.
Hulley S., Cumming S., Browner W., Grady D., Hearst N., Neuman T. (2000): Designing Clinical Research,
Lippincott Williams & Wilkins, Octobre.
International Food Policy Research Institute (IFPRI) “Informe Final – Sistema de Evaluación de la Fase
Piloto de la Red de Protección Social de Nicaragua: Evaluación de Impacto”.
Janvry, A. de y E. Sadoulet (2002): “Targeting and Calibrating Educational Grants: Focus on Poverty or on
Risk?”, U C Berkeley (November).
LaLonde, Robert (1986): “Evaluating the Econometric Evaluations of Training Programs with Experimental
Data”. American Economic Review. 76 (4): 604-620.
Larraechea, Ignacio y Andrea Guzmán (2002): “Desempleo juvenil en Chile: Desafíos y respuestas a la luz de
la evolución en los años 90”.
Larrañaga, O. (2000): “Eficiencia y equidad en el sistema de salud chileno”. En: Titelman, D. y Uthoff, A.;
comp. NU. CEPAL. “Ensayos sobre el financiamiento de la seguridad social en salud: los casos de
Estados Unidos, Canadá, Argentina, Chile y Colombia”. Fondo de Cultura Económica/CEPAL. (Sección
de Obras de Economía Contemporánea).
Lechner, M. (1999), “Identification and estimation of causal effects of multiple treatments under the
conditional independence assumption”, mimeo, September.
López-Casanovas G, Wagstaff AR. “Indicadores de Eficiencia en el Sector Hospitalario”. Economics
Working Paper ll .Barcelona: Universitat Pompeu Fabra.1992.
Lovell, C.A.K. (1993), “Production Frontiers and Productive Efficiency”, en H.O. Fried, C.A.K. Lovell and
S.S. Schmidt (eds.), The measurement of Productive Efficiency: Techniques and Applications, Oxford
University Press, Oxford: 3-67.
Maluccio, J., et al. (2003): “Evaluation of the Pilot Phase of the Social Safety Net (RPS) in Nicaragua: Health
and Nutrition Impacts”. Presentación de Power Point disponible desde el sitio
http://www1.worldbank.org/sp/safetynets.
Mansky e I. Garfinkel, eds., Evaluating welfare and training programs, (Harvard University Press,
Cambridge) 201-230.
Manski Charles F (1995): “Learning about Social Programs from Experiments with Random Assignment of
Treatments”. Journal of Human Resources. 31(4): 707-733.
Manski, C. F., and S.R. Lerman, (1977): “The Estimation of the Choice Probabilities from Choice-Based
Samples”. Econometrica 45.
Mizala, A., P. Romaguera, D. Farren. (1998) “Eficiencia Técnica de los Establecimientos Educacionales en
Chile”, Documento de Trabajo Nº 38, Centro de Economía Aplicada, Universidad de Chile, 1998.NU.
CEPAL. División de Desarrollo Social. La gestión social: notas para su estudio. Santiago: CEPAL, 1997.
Morris S., Olinto P., Flores R., Nilson E. y Figueiró A (2003): “Conditional Cash Transfers are associated
with a small reduction in age-related weight gain in children in northeast Brazil”, mimeo (October 2003).
Se puede acceder desde el sitio web del Banco Mundial http://www1.worldbank.org/sp/safetynets.
Ñopo, H., Robles, M. y J.Saavedra (2002): “Una medición del impacto del programa de capacitación laboral
juvenil Projoven”, Lima, GRADE, 2002 (Documento de trabajo Nº 36).
Olinto P., Flores R., Morris, S. y Veiga, A. (2003): “The Impact of the Bolsa Alimentacao Program on Food
Consumption”, mimeo (July), The London School of Hygiene and Tropical Medicine.
Paredes, R. y L. Riveros (1989): “Sesgo de Selección y el Efecto de los Salarios Mínimos”, Universidad de
Chile, Cuadernos de economía, año 26, Nº 79, pp. 367-383.
Ravallion, Martin. “The Mystery of the Vanishing Benefits: Ms Speedy Analyst’s Introduction to
Evaluation”. Policy Research Working Paper 2153. World Bank, Development Economics Research
Group, Washington, D.C.
Rawlings, L y G. Rubio (2003): “Evaluating the Impact of Conditional Cash Transfer Programs: Lessons
from Latin America”, (June 2003). Disponible on line en : http://www1.worldbank.org/sp/safetynets/
Conditional%20Cash%20Transfer.asp.
Evaluación del impacto
62
Rodríguez, C. (1993): “El nuevo escenario: la cultura de calidad y productividad en las empresas.” Instituto
Tecnológico y de Estudios Superiores de Occidente Guadalajara: ITESO.
Rosenbaum, P.R. y D.B. Rubin (1983): “The Central Role of Propensity Scorre in Observational Studies for
Causal Effects”. Biometrika, Nº 70, pp.41-55.
Sadoulet, E., F. Finnan y A. de Janvry (2002): “Decomposing the Channels of Influence of Conditional
Transfers in a Structural Model of Educational Choice”, U C Berkeley (December 2002).
Santiago Consultores Asociados (1999): "Evaluación Ex-Post Chile Joven Fase II", en Biblioteca del Servicio
Nacional de Capacitación y Empleo, Ministerio del Trabajo de Chile.
Sen, A. (1992): “Inequality Reexamined”, Harvard University Press.
Servicio Nacional de Capacitación y Empleo (1999): “Bases Generales Subprograma Capacitación y
Experiencia Laboral en Empresas”.
Servicio Nacional de Capacitación y Empleo (1996): “Presentación y Análisis de Resultados. Programa de
Capacitación Laboral de Jóvenes. Fase I”.
Servicio Nacional de Capacitación y Empleo (1999): “Anuario Estadístico”.
Servicio Nacional de Capacitación y Empleo (1997): “Programa de Capacitación Laboral de jóvenes. Bases
Generales Subprograma Capacitación y Experiencia Laboral en Empresas”.
Sianesi, Barbara (2001): “Implementing Propensity Score Matching Estimators with STATA”, documento
preparado para el VII Encuentro del UK Stata Users Group, Londres, Mayo.
Todd, Petra (1999): “A Practical Guide to Implementing Matching Estimators”, mimeo presentado a la
reunion del BID en Santiago de Chile, Octubre de 1999.
Yap, Y., Sedlacek, G. y Orazem, P. (2002): Limiting Child Labor Through Behavior-Based Income Transfers:
An Experimental Evaluation of the PETI Program in Rural Brazil, mimeo (Junio).


Excelentes sitios Web con información sobre evaluación de impacto y programas de transferencias
condicionadas son:
Inter-American Development Bank: ver la Social Policy Monitoring Network (información en:
http://www.iadb.org/ res/index.cfm?fuseaction=networks.socialpolicy).
The World Bank Group: ver Impact Evaluation (información en: http://web.worldbank.org/
wbsite/external/topics/extpoverty/extispma/0,,menuPK:384336~pagePK:149018~piPK:149093~theSitePK
:384329,00.html).
International Food Policy Research Institute: ver Impact Assessment (información en: www.ifpri.org).


CEPAL - SERIE Manuales N°47
63
Anexos

CEPAL - SERIE Manuales N°47
65
Anexo 1
Eficiencia técnica y asignativa
Un aspecto fundamental a la hora de evaluar la gestión de los sectores y las instituciones
prestadoras de servicios, es ser capaces de identificar cuales de ellas están actuando correctamente
de acuerdo a algún standard definido, o lo están haciendo por debajo de sus posibilidades –es decir,
ineficientemente-. La literatura económica se ha acercado a esta pregunta “midiendo la eficiencia”
en las instituciones y / o en los sectores, a través del análisis de frontera paramétrico, como la
frontera estocástica, o no paramétrico, como el análisis envolvente de datos o DEA.
34
La respuesta
a la que se puede llegar a través de esta evaluación puede ser de gran utilidad, tanto para mejorar los
diferentes niveles de gestión al interior de cada organización o unidad tomadora de decisiones
UDT, como para aportar información útil en el diseño de políticas públicas.
1.- Definición de Eficiencia en la Producción y en la Asignación
La eficiencia implica una relación favorable entre resultados obtenidos y costos de los
recursos empleados. En economía, eficiencia es un concepto que describe la relación entre insumos
y resultados en la producción de bienes y servicios. Esta relación puede medirse en términos físicos
(eficiencia técnica) o en términos de costo (eficiencia económica). El concepto de eficiencia
distributiva agrega la consideración adicional de la demanda y el bienestar del consumidor y
considera la asignación de recursos para producir una combinación de bienes y servicios que mejor
satisface la demanda de los consumidores.
Se puede decir que la UTD logra que el proceso de producción sea eficiente si no existe otra
combinación posible de insumos que, dada la disponibilidad de ellos de acuerdo a su precio
relativo, entregue un nivel mayor de producto; o que permita un cierto nivel de producto al mínimo
costo.
Gráficamente, los conceptos anteriores se ven mas claramente en el gráfico 1. Los ejes X1 y
X2- miden las cantidades de recursos empleados, la curva identificada como YY, o isocuanta,
muestra los posibles pares de combinaciones de recursos (X1;X2) tal que disminuyendo uno e
incrementando el otro la cantidad producida permanece constante, por lo que el valor de producción
a lo largo de toda la curva YY es el mismo. Así la curva YY identifica el conjunto frontera de
producción y toda el área por encima de YY es el conjunto factible.
35
En el gráfico, los puntos c1 y
c2 son combinaciones ineficientes de factores. En el caso de los puntos a y b, no existe forma de
disminuir la cantidad empleada de los factores sin caer por debajo de YY, lo que automáticamente
implicaría disminuir la producción. De aquí que a y b sean técnicamente eficientes, ubicándose en
la frontera.
36

37

En la misma figura, se puede observar la línea CC, que representa el costo mínimo incurrido
por la unidad de producción para alcanzar sus objetivos de producción, actuando de manera
asignativamente eficiente. No existe ninguna otra combinación de factores que disminuya el costo
por bajo CC.
Desde un punto de vista de eficiencia económica, la técnica o método de producción elegido
será aquel que sea más barato para un conjunto de precios de los factores. El concepto de eficiencia

34
Del ingles, Data Envelopment Analysis.
35
Se llama Conjunto Factible de Producción al conjunto formado por todas las combinaciones alternativas de insumos que permiten
obtener una cantidad dada de producto.
37
Se llama Frontera de Producción al conjunto constituido por todas aquellas combinaciones de recursos y actividades que no pueden
ser mejoradas en aras de ahorrar recursos para un nivel dado de producción o mejorar el nivel de producción sin consumir mayor
cantidad de insumos.
37
Un método método de producción es técnicamente eficiente si la producción que se obtiene es la máxima posible con las cantidades
de factores especificadas.
Evaluación del impacto
66
asignativa aporta una nueva dimensión al problema de la medición de eficiencia. Existe eficiencia
asignativa cuando en la toma de decisiones se ha logrado alcanzar el conjunto frontera de
producción, eligiendo aquella combinación de factores que permite minimizar los costos incurridos
para un nivel de producción dado. Nótese que la eficiencia asignativa implica a la eficiencia técnica,
pero lo inverso no es cierto.
En el ejemplo, tanto c1 como c2 son técnicamente ineficientes pues no se encuentran sobre la
frontera YY. Por el contrario, tanto a como b son técnicamente eficientes; sin embargo, b es
asignativamente ineficiente ya que, a menos que los precios que paga por X1 y X2 sean diferentes
de a, se podría adoptar la misma combinación de factores que a y así disminuir sus costos.
Gráfico A-1
EFICIENCIA TÉCNICA Y EFICIENCIA ASIGNATIVA















Fuente: Elaboración propia

La distancia entre la situación actual en que se encuentra una UTD respecto a lo que seria
optimo para generar el mismo nivel de producto descrito por la isocuanta YY, mide su nivel de
ineficiencia técnica. En el gráfico A-1, tomando como ejemplo de la UTD ineficiente c2, la
distancia entre c2 y la isocuanta , Ob / Oc2, mide el nivel de ineficiencia técnica que se origina dado
que se emplea una mayor cantidad de recursos de lo estrictamente necesario para producir YY. La
ineficiencia asignativa Om / Ob considera el costo de X1 y X2 empleados para producir YY,
señalando que la combinación de factores escogidas no es la idónea dados sus precios.
2.- Metodologías para medir fronteras de eficiencia
Siguiendo la óptica económica, el estudio de la eficiencia consiste en evaluar cómo se está
dando cumplimiento a los criterios de eficiencia técnica y eficiencia económica o asignativa antes
vistos. La importancia de su estudio se aprecia en el trabajo seminal de Farrell (1957), donde
argumenta que su relevancia radica en permitir determinar si es o no posible incrementar el nivel de
producto simplemente mejorando o aumentando la eficiencia, o si se hace necesario incrementar su
dotación de los insumos. Por su parte, Lovell (1993) aporta el concepto de “benchmarking”, en que
c1
c2






CEPAL - SERIE Manuales N°47
67
la medición de la eficiencia permite jerarquizar y evaluar las UTDs, abriendo el espacio al diseño de
mecanismos de incentivos que premien a las mejores UTD y políticas para mejorar su eficiencia.
38

De las definiciones previas se desprende la noción de situación límite o frontera, por lo que se
habla de frontera técnica y frontera económica. Así, una primera separación de las técnicas que
miden eficiencia se basa en ser o no un “método de frontera”.
La medidas de eficiencia de frontera emplean informaciones más o menos precisas sobre
costos, productos y recursos para imputar un índice de eficiencia relativa en relación con la mejor
práctica –o desempeño eficiente- dentro de la muestra de organizaciones analizadas. No existe
consenso en la literatura sobre cual es el método más apropiado para construir la frontera eficiente
respecto de la que se calculan eficiencias relativa. Así, las técnicas se han dividido en paramétricas
y no paramétricas.
Los métodos paramétricos y no paramétricos difieren en el tipo de medida que proporcionan,
los datos que requieren, y los supuestos que implican respecto de la estructura de la tecnología
productiva y del comportamiento económico de las UTD. Estos métodos se diferencian
principalmente en los supuestos impuestos sobre los datos en términos de:
la forma funcional de la frontera eficiente (una forma paramétrica es más restrictiva versus
una forma no paramétrica);
si se tiene en cuenta o no la existencia de un término de error aleatorioque puede ser la causa
de que en un momento puntual en el tiempo una UTD tenga una producción, recursos o costos más
altos o más bajos; y
cuando se considera la existencia de un error aleatorio, qué supuestos se realizan sobre la
distribución de probabilidad de los términos de ineficiencia (por ejemplo, semi-normal, normal
truncada) que se emplea para separar la ineficiencia del error aleatorio.
Para cada uno de estos métodos, existen distintos enfoques. Los más concurridos en la
literatura son los cinco que a continuación se detallan:
Fronteras Paramétricas: • Frontera Estocástica
Enfoque Distribution Free
Enfoque Thick Frontier
Fronteras No Paramétricas:• Data Envelopment Analysis (DEA)
Free Disposal Hull
En las aplicaciones en los sectores sociales, los dos métodos más utilizados son el enfoque de
frontera estocástica SF y el análisis envolvente de datos DEA, los cuales requieren métodos
econométricos y de programación lineal para su cálculo, respectivamente.
El enfoque de frontera estocástica SF propone que los costos observados (o la producción) de
una UTD se pueden desviar de la frontera de costos o de la de producción o bien por fluctuaciones
aleatorias o bien por ineficiencia. El análisis envolvente de datos (DEA) adopta como supuesto que
todas las desviaciones entre los costos o la producción observada y el costo mínimo o la producción
máxima en la frontera se deban a comportamiento ineficiente. No es posible establecer cual de los
dos enfoques es mejor que el otro puesto que el verdadero nivel de eficiencia es desconocido.
39


38
Una buena recopilación de antecedentes se encuentra en Mizzala et al (1998b)
39
Lovell (1993) y Coelli et al (1998) proporcionan una excelente introducción técnica a los métodos empleados en la literatura
económica sobre la medida de la eficiencia. Una presentación de los distintos métodos aplicables al sector hospitalario se encuentra
en López-Casasnovas y Wagstaff (1992).
Evaluación del impacto
68
Es posible presentar una breve comparación de ambos enfoques en el siguiente cuadro, en
tanto que la gráfico A-2 permite visualizar más fácilmente la intuición que existe en la medición de
ineficiencia con ambas metodologías.
Cuadro A-1
COMPARACIÓN DE MÉTODOS DE FRONTERA ESTOCÁSTICA Y ANÁLISIS
ENVOLVENTE DE DATOS
Frontera Estocástica Análisis Envolvente de Datos
Tipo de Método Paramétrico No paramétrico
Supuestos sobre el
comportamiento
Función de producción: ninguno
Función de costos: minimización de
costos
Ninguno, a no ser que la eficiencia
asignativa se de por supuesto
Medidas que permite
obtener
Eficiencia técnica
Eficiencia asignativa
Eficiencia Técnica
Eficiencia Asignativa
Ventajas Considera un ruido aleatorio, lo que
permite construir pruebas de hipótesis
con significancia estadística
Permite descomponer la distancia a la
frontera entre un término de
ineficiencia y un error aleatorio
Fácil de desarrollar
Permite incorporar simultáneamente
dimensiones cualitativas y
cuantitativas
Permite abordar fácilmente UTD
multiproducto y/o multiinsumo
Desventajas Requiere suponer: una forma
funcional, lo que muchas veces se
realiza ad – hoc; una forma para la
distribución del término de ineficiencia
Difícil generalizar para organizaciones
multiproducto o multiinsumo.
Miden el error aleatorio como si fuera
ineficiencia, pudiendo así confundir el
error aleatorio con ineficiencia
(cualquier desviación de la frontera se
interpreta como ineficiencia)
Fuente: Elaboración propia

Gráfico A-2
COMPARACIÓN DE MÉTODOS DE FRONTERA ESTOCÁSTICA Y ANÁLISIS
ENVOLVENTE DE DATOS











Fuente: Elaboración propia

El lado derecho del gráfico A-2 muestra al conjunto de UTDs {P1, P2,... P6}. Cada una de
ellas emplea el mismo tipo de Análisis DEA: El lado derecho del gráfico muestra al conjunto de
UTDs {P1, P2,... P6}. Cada una de ellas emplea el mismo tipo de insumo produciendo dos
diferentes output, Y1 y Y2. Para una cantidad dada de insumos, las UTDs producirán distintos
niveles de producto, siendo algunas más eficientes que otras. El análisis DEA identificará a las
UTDs P1, P2, P3 y P4 como eficientes y generará una envolvente con ellas. P5 y P6 caen dentro de
CEPAL - SERIE Manuales N°47
69
la envolvente, por lo que son ineficientes. Si se toma el caso de P5, se puede pensar en la UTD P5’
como una unidad virtualmente eficiente –P5’ es un promedio ponderado de P1 y P2- respecto de la
cual se podría medir la ineficiencia relativa de P5. Pero no es la única, ya que P5’’ es igualmente
eficiente. Si se observa el caso de P6’, vemos que no es un objetivo deseable ya que es
estrictamente dominado por P4 –a igual nivel de insumo, la UTD P4 , que produce idéntica cantidad
de Y1,produce más Y2-.
Frontera Estocástica: Dada una tecnología, y para un cierto nivel de insumo dado, la UTD A
produce ineficientemente al encontrarse bajo la frontera eficiente. La técnica plantea que dicha
ineficiencia se debe a un componente de error aleatorio y a un componente de ineficiencia, para los
cuales se pueden suponer distintos tipos de distribuciones de probabilidad, que definen la función
de verosimilitud que se deba maximizar.
Evaluación del impacto
70
ANEXO 2
METODOS NO PARAMETRICOS
40
1. El método de matching o emparejamiento
Dado un universo de individuos elegibles para participar en un Programa, cada uno de ellos
puede realizar una de dos acciones alternativas: participar o no participar, y tiene, por lo tanto, dos
resultados potenciales respecto de alguna variable de interés para el investigador. Obviamente, para
cada individuo sólo uno de estos estados potenciales se realizará y podrá ser observado. Si
denotamos por D
i
=1 y D
i
=0 los estados del individuo i como participante o no participante del
programa, respectivamente, por Y
i
(0) su resultado potencial en la variable Y si D
i
=0, y por Y
i
(1) el
resultado potencial si D
i
=1, el resultado observado Y
i
será:
Y
i
(0) si Di=0
Y
i
= (1)
Y
i
(1) si Di=1

El estimador del efecto promedio del programa será:
EPP = E [Y
i
(1) - Y
i
(0)] (2)
El efecto promedio del programa sobre los controles será:
EPPC = E [(Y
i
(1) - Y
i
(0))| D=0] (3)
Y el efecto promedio del programa sobre los participantes:
EPPP = E [(Y
i
(1) - Y
i
(0))| D=1] (4)
Para calcular la rentabilidad de un programa interesa conocer los beneficios que éste reportó a
quienes efectivamente participaron en él, en comparación con su situación si no hubiesen
participado. Por lo tanto, el análisis se centra en el tercer estimador expuesto, EPPP.
En cualquier caso, como puede verse, el problema radica en que para realizar tal comparación
se necesita conocer una situación hipotética que nunca ocurrió. Por ejemplo, en el caso que aquí
interesa, al intentar calcular el EPPP uno se encuentra que para todo i tal que D
i
=1, el valor de
Y
i
(0), el estado contrafactual, no es observable.
Para enfrentar este problema, se recurre a construir entre los individuos elegibles que no
participaron en el programa, un grupo de control, similar al grupo de participantes en algunas
variables de interés. Es decir, se construye una muestra de N
0
+ N
1
= N individuos elegibles, donde
N
0
es el tamaño de la muestra de control y N
1,
el de la muestra de participantes. El estimador del
efecto promedio del programa sobre los participantes será:
EPPP = (1/N
1
) Σ
Di =1
(Y
i
(1) - Ψ
i
(0)) (5)
donde Ψ
i
(0) = es el estimador de Y
i
(0) construido sobre la base de información pre-programa
de los miembros del grupo de control que han sido emparejados con el participante i. La forma en
que se determina el valor de Ψ
i
(0) da origen a una variedad de métodos de emparejamiento que se
verán posteriormente.


40
En la elaboración de esta sección se usaron los artículos de Aedo y Núñez (2001), Becker e Ichino (Borrador sin fecha), Heckman,
Ichimura y Todd (1998), (1997), Ñopo, Robles y Saavedra (2002).
CEPAL - SERIE Manuales N°47
71
Estimación de las Propensiones a participar (Propensity scores)
• Realizar un proceso de emparejamiento, es decir, de búsqueda de distancias mínimas entre
individuos, en un espacio multidimensional, puede fácilmente llevar a un grado de
complejidad que torne el problema inabordable. Sin embargo, bajo ciertas condiciones, se
puede lograr similar resultado de manera mucho más sencilla, si en lugar de utilizar todo
el set de atributos pre-programa X, se usa la propensión estimada a participar p(X),
definida por Rosenbaum y Rubin (1983) como la “probabilidad condicional de participar,
dados los valores del set de atributos pre-programa”. Es decir:
p(X) = Pr ( D=1 | X ) = E [ D | X ] (6)
Definimos las siguientes condiciones:
• Balancing de las variables pre programa dada la propensión a participar. Es decir, que las
observaciones con la misma propensión a participar deben tener la misma distribución de
características observables (y no observables) pre programa, independientemente de si
participan o no en el programa. Esto implica que, dada la propensión a participar, el
estado (participante o no participante) será aleatorio y, por lo tanto, participantes y
controles serán en promedio observacionalmente iguales.
(D ⊥ X) | p (X)
• Unconfoundedness dada la propensión a participar, esto es:
Si (Y
0
, Y
1
⊥ D) | X
Entonces (Y
0
, Y
1
⊥ D) | p(X)
Si se cumplen las condiciones (i) y (ii), entonces el estimador del efecto de participar en el
programa para los participantes puede expresarse como:
EPPP = E[(Y
i
(1) - Y
i
(0))| D
i
=1] (7)
EPPP = E[E[(Y
i
(1) - Y
i
(0))| D
i
=1, p(X
i
)]] (8)
EPPP = E[{E[Y
i
(1)|D
i
=1, p(X
i
)] - E[Y
i
(0)|D
i
=0, p(X
i
)] }| D
i
=1] (9)
Para obtener las propensiones estimadas a participar es posible usar cualquier método de
estimación para variable dicotómica, por ejemplo PROBIT o LOGIT.
Si dada la forma de construcción de la muestra, la probabilidad poblacional de que un
individuo se encuentre en el estado de participante difiere de la probabilidad de que se encuentre a
un individuo de ese estado en la muestra, un proceso LOGIT tradicional entregará una estimación
inconsistente de las propensiones a participar. Una alternativa de solución, que es la utilizada en
este trabajo, es usar la metodología de Manski y Lerman (1977) para tratar con el problema de
Choice Based Sampling.
41

Defina:
P(j
i
|X
i
, β) = probabilidad condicional de que el individuo i escoja el estado j, dado su
set de atributos X
i
y el vector de coeficientes β
P(j
i
|X
i
, β
0
) = P(j
i
|X
i
, β) evaluada en el verdadero valor de β
f(x) = verdadera densidad de x
Q
0
(j) = Q ( j|β
0
) = ∫ P (j |X, β
0
) f(x) dx
H (j) = probabilidad con la que se encuentra el estado j en la muestra.

41
Ver Amemiya (1985), Manski (1995), Manski y Lerman (1977).
Evaluación del impacto
72
Siguiendo a Manski y Lerman (1977), para estimar las propensiones utilizamos el estimador
de β que maximiza S
n
:
S
n
= Σ
i =1....n
w(j
i
) log P(j
i
| X
i
, β) (10)
donde w(j) = (Q
0
(j)) / H(j)
Bajo ciertas condiciones (ver Amemiya, “Advanced Econometrics”, sección 9.5 “Choice
based Models) que se supone se cumplen, un estimador consistente de β se obtiene de:
∂S
n
/∂ β = Σ
i =1....n
w(j
i
) (1/ P(j
i
| X
i
, β)) (∂P(j
i
| X
i
, β)/∂ β) = 0 (11)
− - Métodos de matching para estimar el EPPP
42

Una vez calculadas las propensiones estimadas a participar, existen varios métodos
alternativos para estimar el valor contrafactual no observable para cada participante en la muestra.
Una clasificación posible son los métodos "Uno a uno", métodos estratificados y métodos Kernel.
Si denotamos por C(i) el set de controles (individuos pertenecientes a la muestra de control)
emparejados al participante i, y por N
C(i)
el número de observaciones en C(i), podemos definir los
siguientes estimadores:
Métodos “uno a uno”
i) Vecino más próximo: El emparejamiento se realiza con el o los controles cuya
propensión a participar esté a la mínima distancia euclidiana de la del participante. Si hay más de un
control que cumple la condición, se toma el promedio simple. El EPP es el promedio de las
diferencias para todos los participantes.
C(i) = min
j
|| p(X
i
) - p(X
j
) || , D
j
=0 (12)
EPPP
VP
= (1/N
1
) Σ
D i=1
[Y
i
(1) - (1/N
C(i)
) Σ
j∈C(i)
Y
j
(0)] (13)
ii) Vecino más póximo restringido: Similar al anterior, pero para integrar C(i) se impone la
condición adicional de que la distancia debe ser menor que un valor arbitrario r. Asegura la calidad
de los emparejamientos, pero puede restar observaciones.
C(i) = min
j
|| p(X
i
) - p(X
j
) || < r , D
j
=0 (14)
EPPP
VR
= (1/N
1
) Σ
D i=1
[Y
i
(1) - (1/N
C(i)
) Σ
j∈C(i)
Y
j
(0)] (15)
iii) Vecino más próximo con definición aleatoria: Si hay más de un control que cumple la
condición, escoge uno aleatoriamente.

A
j
=1 si j ∈ min
j
|| p(X
i
) - p(X
j
) || elegido (16)
C(i) = min
j
|| p(X
i
) - p(X
j
) || , D
j
=0, A
j
=1 (17)
EPPP
VA
= (1/N
1
) Σ
D i=1
[Y
i
(1) - Y
j∈C(i)
(0)] (18)
En general los métodos del vecino más próximo operan con reemplazo, de manera que un
mismo control puede ser emparejado con varios participantes.
Métodos por estratificación:
Divide la muestra completa (participantes y controles) en q=1,..,Q bloques en los que se
asegura el balance de los atributos pre-programa, de manera que la condición de participante o no
participante puede ser considerada una variable aleatoria. Dentro de cada bloque se calcula:

42
Ver Abadie, Drucker, Herr e Imbens (2002), Becker e Ichino (Borrador sin fecha), Sianesi (2001) y Todd (1999).
CEPAL - SERIE Manuales N°47
73
EPPP
q
= (1/N
q1
) Σ
i∈I(q)
Y
i
(1) - (1/N
q0
) Σ
j∈I(q)
Y
j
(0) (19)
donde I(q) es el set de unidades en el bloque q y N
q1
, N
q0
son el número de participantes y
controles en I(q), respectivamente.
El estimador del efecto promedio del programa sobre los participantes se obtiene como el
promedio del efecto de los Q bloques, ponderado por la fracción de participantes de cada bloque
sobre la cantidad muestral de participantes.
EPPP
Q
= Σ
q=1...Q
EPPP
q
W
q
(20)
donde
W
q
= Σ
i∈I(q)
D
i
/ Σ
i=1...N
D
i

Métodos Kernel:
Estiman el resultado contrafactual de cada participante usando el promedio ponderado de los
resultados de todos los controles, donde la ponderación es inversamente proporcional a la distancia
en propensión a participar.
EPPP
K
= (1/N
1
) Σ
Di=1
[ Y
i
(1) - Σ
Dj=0
Y
j
(0) W
ij
] (21)
donde
W
i j
= K((1/h)(p(X
i
) - p(X
j
))) / Σ
Dj=0
K((1/h)(p(X
i
) - p(X
j
))) (22)
y K(·) es una función no negativa, simétrica y unimodal. La forma funcional que adopte la
función K(·) determina el tipo de Kernel. Los más usados son:
i) Método Kernel-Gaussian: Utiliza todas las observaciones de la submuestra de controles:
K(u) = exp (-u
2
/ 2 )
ii) Método Kernel-Epanechnikov: Utiliza una ventana móvil dentro del grupo de control
que incluye sólo aquellas observaciones dentro de un radio h de p(X
i
), es decir, todo D
j
=0 que
satisface | p(X
i
) - p(X
j
) | < h:
K(u) = ( 1 - u
2
) si | u | < 1 (0 en otro caso)
iii) Método Triangular: Utiliza una ventana móvil dentro del grupo de control que incluye
sólo aquellas observaciones dentro de un radio h de p(X
i
), es decir, todo D
j
=0 que satisface | p(X
i
) -
p(X
j
) | < h:
K(u) = 1 - | u |, si | u | < 1 (0 en otro caso)
Common Support
43

Independientemente del método de emparejamiento utilizado, la literatura relativa a
metodología de estimación de impacto basada en emparejamientos de beneficiarios con controles
(Matching Estimators) plantea la conveniencia de trabajar sólo con aquellos beneficiarios y
controles cuyas propensiones a participar pertenezcan a un dominio común, es decir, aquellos para
quienes existe un individuo en el estado alternativo (beneficiario o control) cuya propensión a
participar es suficientemente cercana como para ser su pareja de comparación. Trabajar sólo en la
región de common support asegura una mejor calidad de los emparejamientos pero puede reducir el
número de observaciones válidas. En este estudio se optó por trabajar en la zona de common
support, es decir descartando del análisis a los participantes cuyas propensiones estimadas a
participar sean mayores o menores que la mayor y menor propensión estimada a participar de la

43
Ver Heckman, Ichimura y Todd (1998).
Evaluación del impacto
74
muestra de control, respectivamente. Análogamente se descartan los controles que se encuentren
situación similar respecto de la muestra de participantes.
2. El caso de tratamientos múltiples
El método general
La aplicación de la sección anterior supone que el programa es homogéneo, en otras palabras
que todos los beneficiarios reciben el mismo tratamiento. Hay algunos programas que incorporan la
característica de tratamientos múltiples, como por ejemplo los programas de entrenamiento laboral
que ofrecen distintos cursos en áreas temáticas diversas que son factibles de seguir. De esta manera
para evaluar correctamente estos programas hay que generalizar la metodología presentada
anteriormente para incorporar la característica de tratamientos múltiples.
El fundamento teórico para esta generalización ha sido dado por Lechner (1999). Denote por
Y = { Y
0
,Y
1
, …,Y
M
} el resultado de (M+1) posibles tratamientos mutuamente excluyentes. Para
cualquier participante, sólo uno de los componentes de Y puede ser observado en los datos
correspondiendo los restantes M resultados a contrafactuales.
44
Denote por } ,..., 1 , 0 { M S ∈ la
participación en un tratamiento particular m.
En el caso de tratamiento múltiple las definiciones de “Average
Treatment Effect” y “Treatment on the Treated Effect” deben ser
extendidos. El centro del análisis ahora pasa a ser la comparación de los
efectos del tratamiento m y l:
[ ]
l m l m
Y Y E − =
,
γ
[ ] [ ] [ ] m S Y E m S Y E m S Y Y E
l m l m l m
= − = = = − = | | |
,
θ
l m,
γ denota el “Average Treatment Effect” del tratamiento m relativo
al tratamiento l para un participante elegido al azar de la población.
Similarmente,
l m,
θ denota el “Treatment on the Treated Effect” para un
individuo extraído al azar de la población de participantes del tratamiento m. Es importante notar
que si los participantes en el tratamiento m y l difieren de manera sistemática, entonces
l m,
θ ≠
m l ,
θ ; es decir, los “Treatment on the Treated Effect” no son simétricos.
Para obtener identificación se utiliza el supuesto que los resultados del tratamiento potencial
son independientes del mecanismo de asignación para cualquier valor del vector de atributos (X) en
un espacio particular de atributos ℵ. Formalmente,

M
Y Y Y ,..., ,
1 0
⊥ ℵ ∈ ∀ = x x X S , |
Lechner (1999) prueba que en este caso se mantiene la propiedad
sugerida por Rosenbaum y Rubin (1983). Es decir, el supuesto (12) implica:
M
Y Y Y ,..., ,
1 0
⊥ ℵ ∈ ∀ = x x b X b S ), ( ) ( |
El vector (M+1) - dimensional de Propensity Score” [ ] ) ( ),...., ( ) (
0
x P x P x P
M
= puede ser
usado como el balancing score b(X). A diferencia del caso con dos tratamientos la dimensionalidad

44
La categoría 0 detona el caso de no tratamiento.
(11)
(12)
(10)
CEPAL - SERIE Manuales N°47
75
se reduce sólo a M, por lo cual usar Propensity Score” como variables condicionantes es útil sólo
cuando la dimensión de X es mayor que M.
Para obtener estimadores consistentes del Treatment on the Treated Effect, Lechner (1999)
sugiere, en primer lugar, que se especifique y se estime un modelo multinomial para obtener el
balancing score [ ] ) (
ˆ
),..., (
ˆ
) (
ˆ
1
x P x P x P
M
= .
En segundo lugar, se pueden usar estimadores de matching para proceder en pares. Para
comparar entre tratamientos m y l, la idea es encontrar para cada participante en el tratamiento m un
participante de l que tenga (casi) el mismo “balancing score”. Tomando la media de la variable de
resultado para estas comparaciones pareadas provee el “Treatment on the Treated Effect” deseado.
Es interesante destacar que el análisis de matching tradicional típicamente usa el grupo de
comparación sólo una vez. Sin embargo, en el caso de tratamientos múltiples, cada grupo actúa
simultáneamente como un grupo de beneficiarios y como grupo de control en varias oportunidades.
Algoritmo de Estimación
En este caso se puede aplicar un algoritmo de estimación el cual contemple los siguientes
cuatro pasos:
Paso 1: Se especifica y estima un modelo de elección multinomial para obtener
[ ] ) (
ˆ
),..., (
ˆ
) (
ˆ
1
x P x P x P
M
= .
Paso 2: Para comparar tratamientos m y l se hace lo siguiente:
Se elige un individuo n en la submuestra definida por la participación en tratamiento m y
obtenga [ ] )
ˆ
,
ˆ
l
n
m
n
P P para ese individuo. Se elimine al individuo del grupo.
Se elige un individuo en la submuestra de participantes en el tratamiento l que esté lo más
cerca posible (en términos de la distancia de Mahalanobis) a [ ] )
ˆ
,
ˆ
l
n
m
n
P P .
Se repiten los pasos a) y b) anteriores hasta que no quede ningún individuo en m
Usando los grupos de comparaciones pareados formados en c), se computan las expectativas
condicionales en (2) por medio de medias aritméticas.
Paso 3: Se repite el Paso 2 para todas las combinaciones de m y l.
Paso 4: Se computan los “Treatment on the Treated Effect” usando los resultados obtenidos
en el Paso 3 y se computa la matriz de covarianza.
Para computar la varianza se puede usar la formula provista por Lechner (1999):
) | (
) (
) (
) | (
1
) (
2
2
,
l S Y Var
N
w
m S Y Var
N
Var
l
m
l i
m
i
m
m
l m
= + = =


θ
donde N
m
denota el número de participantes en el tratamiento m y
m
i
w denota la ponderación que se
le da a cada individuo en el grupo l bajo la restricción de que


=
l i
m
m
i
N w .
(13)
CEPAL - SERIE Manuales N°47
77








Números publicados
1. América Latina: Aspectos conceptuales de los censos del 2000 (LC/L.1204-P), N de venta: S.99.II.G.9 (US$ 10.00),
1999. www
2. Manual de identificación, formulación y evaluación de proyectos de desarrollo rural (LC/L.1267-P; LC/IP/L.163), N
de venta: S.99.II.G.56 (US$ 10.00), 1999. www
3. Control de gestión y evaluación de resultados en la gerencia pública (LC/L.1242-P; LC/IP/L.164), N de venta:
S.99.II.G.25 (US$ 10.00), 1999. www
4. Metodología de evaluación de proyectos de viviendas sociales (LC/L.1266-P; LC/IP/L.166), N de venta:
S.99.II.G.42 (US$ 10.00), 1999. www
5. Política fiscal y entorno macroeconómico (LC/L.1269-P; LC/IP/L.168), en prensa. N de venta: S.99.II.G.25
(US$ 10.00), 2000. www
6. Manual para la preparación del cuestionario sobre medidas que afectan al comercio de servicios en el hemisferio
(LC/L.1296-P), N de venta: S.99.II.G.57 (US$ 10.00), 1999. www
7. Material docente sobre gestión y control de proyectos (LC/L.1321-P; LC/IP/L.174), N de venta: S.99.II.G.87
(US$ 10.00), 2000. www
8. Curso a distancia sobre formulación de proyectos de información (LC/L.1310-P), N de venta: S.99.II.G.44
(US$ 10.00), 2000. www
9. Manual de cuentas trimestrales, Oficina de Estadísticas de la Unión Europea (EUROSESTAT) (LC/L.1379-P, N de
venta: S.99.II.G.52 (US$ 10.00), 2000. www
10. Procedimientos de gestión para el desarrollo sustentable (LC/L.1413-P), N de venta: S.00.II.G.84 (US$ 10.00),
2000. www
11. Manual de cuentas nacionales bajo condiciones de alta inflación (LC/L.1489-P), N de venta: S.01.II.G.29
(US$ 10.00), 2001. www
12. Marco conceptual y operativo del banco de proyectos exitosos (LC/L.1461-P; LC/IP/L.184), N de venta:
S.00.II.G.142 (US$ 10.00), 2000. www
13. Glosario de títulos y términos utilizados en documentos recientes de la CEPAL (LC/L.1508-P), N de venta:
S.01.II.G.43 (US$ 10.00), 2001. www
14. El papel de la legislación y la regulación en las políticas de uso eficiente de la energía en la Unión Europea y sus
Estados Miembros, Wolfgang F. Lutz (LC/L.1531-P), N de venta: S.01.II.G.75 (US$ 10.00), 2001. www
15. El uso de indicadores socioeconómicos en la formulación y evaluación de proyectos sociales, en prensa (US$ 10.00),
1999. www
16. Indicadores de sostenibilidad ambiental y de desarrollo sostenible: estado del arte y perspectivas (LC/L.1607-), N de
venta: S.01.II.G.149 (US$ 10.00), 2001. www
17. Retirado de circulación.
18. Desafíos y propuestas para la implementación más efectiva de instrumentos económicos en la gestión ambiental de
América Latina y el Caribe (LC/L.1690-P), N de venta: S.02.II.G.4. (US$ 10.00), 2002. www
19. International trade and transport profiles of Latin American Countries, year 2000 (LC/L.1711-P), Sales N:
E.02.II.G.19, (US$ 10.00), 2002. www
20. Diseño de un sistema de medición de desempeño para evaluar la gestión municipal: una propuesta metodológica,
Ricardo Arriagada (LC/L.1753-P; LC/IP/L.206), N de venta: S.02.II.G.64. (US$ 10.00), 2002. www
21. Manual de licitaciones públicas, Isabel Correa (LC/L.1818-P; LC/IP/L.212) N de venta: S.02.II.G.130. (US$ 10.00),
2002. www
22. Introducción a la gestión del conocimiento y su aplicación al sector público, Marta Beatriz Peluffo y Edith Catalán
(LC/L.1829-P; LC/IP/L.215), N de venta: S.02.II.G.135. (US$ 10.00), 2002. www
23. La modernización de los sistemas nacionales de inversión pública: Análisis crítico y perspectivas (LC/L.1830-P;
LC/IP/L.216), N de venta: S.02.II.G.136. (US$ 10.00), 2002. www
24. Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas (LC/L.1883-P; LC/IP/L.224), N
de venta: S.03.II.G.48, (US$ 10.00), 2003. www
25. Guía conceptual y metodológica para el desarrollo y la planificación del sector turismo, Silke Shulte (LC/L.1884-P;
LC/IP/L.225), N de venta: S.03.II.G.51. (US$ 10.00), 2003. www
26. Sistema de información bibliográfica de la CEPAL: manual de referencia, Carmen Vera (LC/L.1963-P), N de venta:
S.03.II.G.122, (US$ 10.00), 2003. www
Serie
Manuales
Evaluación del impacto
78
27. Guía de gestión urbana (LC/L.1957-P), N de venta: S.03.II.G.114. (US$ 10.00), 2003. www
28. The gender dimension of economic globalization: an annotated bibliography, María Thorin (LC/L.1972-P), N de
venta: E.03.II.G.131, (US$ 10.00), 2003. www
29. Principales aportes de la CEPAL al desarrollo social 1948-1998, levantamiento bibliográfico: período 1948-1992,
Rolando Franco y José Besa (LC/L.1998-P), N de venta: S.03.II.G.157. (US$ 10.00), 2003. www
30. Técnicas de análisis regional, Luis Lira y Bolívar Quiroga (LC/L.1999-P; LC/IP/L.235), N de venta: S.03.II.G.156.
(US$ 10.00), 2003. www
31. A methodological approach to gender analysis in natural disaster assessment: a guide for the Caribbean, Fredericka
Deare (LC/L.2123-P), N de venta: E.04.II.G.52, (US$ 10.00), 2004. www
32. Socio-economic impacts of natural disasters: a gender analysis, Sarah Bradshaw (LC/L.2128-P), N de venta:
E.04.II.G.56, (US$ 10.00), 2004. www
33. Análisis de género en la evaluación de los efectos socioeconómicos de los desastres naturales, Sarah Bradshaw y
Ángeles Arenas (LC/L.2129-P), N de venta: S.04.II.G.57. (US$ 10.00), 2004. www
34. Los sistemas nacionales de inversión pública en Centroamérica: marco teórico y análisis comparativo multivariado,
Edgar Ortegón y Juan Francisco Pacheco (LC/L.2160-P); (LC/IP/L.246), N° de venta: S.04.II.G.88 (US$10.00),
2004. www
35. Políticas de precios de combustibles en América del Sur y México: implicancias económicas y ambientales, Hugo
Altomonte y Jorge Rogat (LC/L.2171-P), N° de venta: S.04.II.G.100 (US$ 15.00), 2004. www
36. Lineamientos de acción para el diseño de programas de superación de la pobreza desde el enfoque del capital social.
Guía conceptual y metodológica, Irma Arriagada, Francisca Miranda y Thaís Pávez (LC/L. 2179-P), N° de venta:
S.04.II.G.106, 2004. www
37. Evaluación social de inversiones públicas: enfoques alternativos y su aplicabilidad para Latinoamérica, Eduardo
Contreras (LC/L.2210-P), N° de venta: S.04.II.G.133 (US$ 10.00), 2004. www
38. Pobreza y precariedad del hábitat en ciudades de América Latina y el Caribe, Joan Mac Donald y Marinella Mazzei
(LC/L. 2214-P), N° de venta: S.04.II.G.136 (US$ 15.00), 2004. www
39. Metodología general de identificación, preparación y evaluación de proyectos de inversión pública, Edgar Ortegón
Juan Francisco Pacheco Horacio Roura (LC/L.2326-P), N° de venta: S.05.II.G.69, 2005. www
40. Los sistemas nacionales de inversion pública en Argentina, Brasil, México, Venezuela, y España como caso de
referencia (cuadros comparativos), Edgar Ortegón; Juan Francisco Pacheco (LC/L.2277-P), N° de venta:
S.05.II.G.53, 2005. www
41. Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza, Hugo Navarro
(LC/L.2288-P), N° de venta: S.05.II.G.41, 2005. www
42. Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas, Edgar
Ortegón Juan Francisco Pacheco Adriana Prieto (LC/L.2288-P), N° de venta: S.05.II.G.89, 2005. www
43. Estadísticas del medio ambiente en América Latina y el Caribe: avances y perspectivas, Rayén Quiroga Martínez
(LC/L. 2348-P), N de venta: S.05.II.G.110. 2005. www
44. El sistema de inversiones públicas en la provincia de San Juan, República de Argentina, Edgar Ortegón, Juan
Francisco Pacheco y Ana Carolina Cámpora Rudolff (LC/L.2387-P; LC/IP/L.261). N° de venta: S.05.II.G.130, 2005.
www
45. Indicadores de desempeño en el sector público, Juan Cristóbal Bonnefoy, Marianela Armijo (LC/L.2416-P;
LC/IP/L.263), No de venta: S.05.II.G.163, 2005. www
46. Los sistemas nacionales de inversión pública en Barbados, Guyana, Jamaica y Trinidad y Tabago, Edgar Ortegón y
Diego Dorado (LC/L.2436-P; LC/IP/L.265). N
o
venta: S.05.II.G.182,2006. www
47. Evaluación del impacto (LC/L.2442-P), N
o
venta S.05.II.G.189, 2005 www



• El lector interesado en adquirir números anteriores de esta serie puede solicitarlos dirigiendo su correspondencia a la Unidad de
Distribución, CEPAL, Casilla 179-D, Santiago, Chile, Fax (562) 210 2069, correo electrónico: publications@cepal.org.

www Disponible también en Internet: http://www.cepal.org/ o http://www.eclac.org










Nombre: ...................................................................................................................................
Actividad: ................................................................................................................................
Dirección: ................................................................................................................................
Código postal, ciudad, país: .....................................................................................................
Tel.:.............................Fax: ..................................... E.mail:....................................................

Este documento fue preparado por Cristián Aedo, Consultor del proyecto CEPAL/GTZ, “Policy Strategies for Sustainable Development in Latin America and the Caribbean: Promotion of a Socially Sustainable Economic Policy (Equity II) (GER/01/031)”. Las opiniones expresadas en este documento, que no ha sido sometido a revisión editorial, son de exclusiva responsabilidad del autor y pueden no coincidir con las de la Organización.

Publicación de las Naciones Unidas ISSN impreso 1680-886X ISSN electrónico 1680-8878 ISBN: 92-1-322823-6 LC/L.2442-P N° de venta: S.05.II.G.189 Copyright © Naciones Unidas, noviembre del 2005. Todos los derechos reservados Impreso en Naciones Unidas, Santiago de Chile La autorización para reproducir total o parcialmente esta obra debe solicitarse al Secretario de la Junta de Publicaciones, Sede de las Naciones Unidas, Nueva York, N. Y. 10017, Estados Unidos. Los Estados miembros y sus instituciones gubernamentales pueden reproducir esta obra sin autorización previa. Sólo se les solicita que mencionen la fuente e informen a las Naciones Unidas de tal reproducción.

CEPAL - SERIE Manuales

N° 47

Índice

Resumen ........................................................................................ 5 I. Aspectos introductorios............................................................... 7 1. ¿Cuál es el propósito de la evaluación de impacto?............... 7 2. Conceptos relevantes............................................................ 10 2.1 Eficacia, eficiencia y equidad....................................... 10 2.2 Diseño experimental y cuasi experimental................... 15 2.3 Estimación paramétrica y no paramétrica .................... 18 II. Introducción a métodos de estimación.................................... 19 1. Métodos paramétricos .......................................................... 19 2. Métodos no paramétricos ..................................................... 20 III. Aplicaciones de evaluaciones de impacto................................. 23 1. Introducción ........................................................................ 23 2. Programas centrados en solucionar la pobreza estructural .............................................................. 24 3. Programas diseñados para tiempos de crisis ....................... 27 4. Evaluación de estos programas ........................................... 28 5. Programas de capacitación y empleo de jóvenes en América Latina.................................................................... 37 IV. Lecciones para el diseño de programas y para la evaluación de futuros programa............................................... 51 Bibliografía ...................................................................................... 59 Anexos .............................................................................................. 63 Anexo 1 Eficiencia técnica y asignativa ............................................. 65 Anexo 2 Métodos no paramétricos .................................................... 70 Serie manuales: números publicados............................................... 77

3

................. cobertura y gasto .............. Corte transversal ..........................49 Índice de gráficos Gráfico 1 Gráfico 2 Diseño experimental: grupo de tratamiento y grupo de control...............18 4 ............................26 Evaluaciones de programas completos de los programas de transferencias .............................................16 Efecto del tratamiento sobre los tratados: estimadores de diferencias en Diferencias ..............24 Beneficios de los programas y condiciones de elegibilidad .................................................................................Evaluación del impacto Índice de cuadros Cuadro 1 Cuadro 2 Cuadro 3 Cuadro 4 Cuadro 5 Cuadro 6 Cuadro 7 Cuadro 8 Cuadro 9 Cuadro 10 Cuadro 11 Cuadro 12 Objetivos de los programas centrados en solucionar la pobreza estructural.................. Kernel-Epanechnikov ...............................................47 Estimación del impacto en los ingresos ..................................................... Kernel-Epanechnikov..............................................45 Impactos en probabilidad de estar ocupado........................................ beneficiarios..............42 Impactos estimados en ingreso laboral...........................................................29 Chile joven: número de beneficiarios al año 2001.......... condicionales en América Latina y el Caribe ........................46 Estimaciones del impacto sobre los ingresos................................................25 Subsidio mensual...............................................................................................47 Impactos sobre el empleo...........46 Impactos en probabilidad de empleo formal.............................................................48 Análisis de costo beneficio ..................................

5 . ii) cuál es el diseño apropiado para esta evaluación.SERIE Manuales N° 47 Resumen El propósito del presente artículo es efectuar una presentación de la evaluación de impacto. por lo que antes de efectuarla hay que preguntarse si existe o no voluntad política y financiera para su realización. Una vez que se ha decidido efectuar una evaluación de impacto. es preciso preguntarse: i) cuáles serán sus objetivos. los principales métodos de estimación utilizados. o el cambio en ésta. o el cambio en ésta. para el programa en cuestión. después de haber participado en el programa versus la situación en que se encontraría. iii) si existe o no información de calidad para realizarla y iv) cuál es la capacidad institucional que se tiene para llevar a cabo la evaluación. programas de empleo diseñados para tiempos de crisis y programas de capacitación de jóvenes en América Latina. en alguna variable que se ha escogido como indicador de resultados de un programa. A través del artículo se enfatiza que realizar una evaluación de impacto es costoso. incluyendo programas centrados en solucionar la pobreza estructural. los principales conceptos involucrados. sus propósitos. que realizar una evaluación de impacto. y presentar evaluaciones selectivas de programas que han sido evaluados utilizando estas metodologías. si no hubiese sido beneficiario. entre la situación que presenta un individuo.CEPAL . La estimación de impacto intenta establecer la diferencia. y si existe algún otro método de evaluación que puede ser más adecuado y más barato de realizar.

Evaluación del impacto Existen diversos elementos de economía política que es necesario resolver antes de comprometerse a la realización de una evaluación de impacto y que se revisan en el artículo. al no apreciarse el valor de efectuar evaluaciones. 6 . La decisión de realizarla requiere de un sólido apoyo político ya que a veces. puede existir también una reticencia a permitir la ejecución de una evaluación independiente que pueda revelar resultados contrarios a la política del gobierno. sino también en la forma en que esta se implementa. los que influyen no sólo en si se lleva a cabo o no una evaluación de impacto.

son del interés de la evaluación de impacto las siguientes preguntas: ¿se contribuye a resolver el problema en la población objetivo del programa? ¿Cuál fue el efecto del programa sobre sus beneficiarios? ¿Los beneficios recibidos por los participantes en el programa son los que se propuso lograr o son diferentes a los propuestos? ¿Son estos positivos o negativos? En caso de un mejoramiento en la situación de sus participantes. Baker (2000). obtenidos. Así. ¿Cuál es el propósito de la evaluación de impacto? La evaluación de impacto tiene como propósitos determinar si un programa produjo los efectos deseados en las personas. hogares e instituciones a los cuales este se aplica.L.CEPAL . 7 . directos e indirectos. En particular.SERIE Manuales N°47 I. Aspectos introductorios1 1.worldbank.org/poverty. ¿Se justificaban los costos del programa? ¿Cuál es la tasa de retorno del programa por $ gastado en el programa? 1 Una excelente referencia sobre métodos y herramientas para la evaluación de impacto para administradores de programas y para analistas de política social se puede obtener bajo el título “Impact Evaluation” de www. obtener una estimación cuantitativa de estos beneficios y evaluar si ellos son o no atribuibles a la intervención del programa. se recomienda el manual de J. ¿Es esto una consecuencia del programa o se hubiese obtenido de todas maneras? A la luz de los beneficios.

Por ejemplo. en el caso de la evaluación de un programa de entrenamiento laboral el foco de la evaluación lo constituye el análisis y cuantificación de posibles aumentos en los salarios de sus beneficiarios. En la evaluación de impacto se reconocen cuatro dimensiones que definen a una amplia variedad de tipos de estimaciones de impacto. dado que en general estos programas se implementan para cubrir a grupos vulnerables la evaluación de la eficacia y de la eficiencia de los programas son cruciales para acercarse hacia una sociedad con mayor equidad. A su vez. o en el caso de un programa de apoyo a la población en mayor riesgo de deserción es de interés el análisis y cuantificación de la retención escolar. A partir de esta construcción es factible evaluar si efectivamente existen relaciones de causa efecto entre el programa y los resultados. se puede clasificar a las investigaciones en cuantitativas o cualitativas. eficiencia y equidad. Son cuantitativas si utilizan como indicador de impacto la diferencia atribuible al programa en alguna variable susceptible de ser descrita en forma métrica. se intenta aislar a través de técnicas estadísticas la influencia de estos factores externos agregados que inciden en los resultados. es decir construir una situación hipotética en la cual hubiesen estado los beneficiarios en caso de que el programa no se hubiese implementado. ya que pueden existir otros factores que ocurren durante el periodo de intervención del programa. cambios a nivel agregado en la economía o en la sociedad. Para ello un elemento importante en la evaluación de impacto es la construcción a través de métodos estadísticos de un escenario contrafactual para el programa. por tanto. El análisis de los elementos cualitativos es importante ya que proporciona información relativa tanto al valor que le asignan sus beneficiarios a los programas como de los 2 La siguiente sección presenta un desarrollo de los conceptos de eficacia. atribuirle sólo los beneficios causados por el programa de tal modo de no sobreestimar su tasa de retorno. versus la situación en que se encontraría (o el cambio en ésta) si no hubiese sido beneficiario (estado contrafactual). o cambios que afectan a la población objetivo del programa independiente de si son o no beneficiarios. en alguna variable que se ha escogido como indicador de resultados del programa. es decir son de su interés los beneficios que no desaparecen si se deja de participar en el programa. Por ejemplo. procediendo a una cuantificación de los beneficios. intenta establecer la diferencia. Un elemento crucial de la evaluación es. 8 .2 Una evaluación de impacto debe identificar si existen o no relaciones de causa efecto entre el programa y los resultados obtenidos y esperados. El análisis de impacto centra su análisis en los beneficios de mediano y largo plazo obtenidos por la población beneficiaria del programa. etc. o en el caso de la evaluación de un programa de fomento a las exportaciones el foco es sobre el análisis y cuantificación del posible aumento en el volumen exportado por parte de las empresas participantes. Según esto. Las investigaciones cualitativas se enfocan en variables a las que no se puede aplicar una métrica.Evaluación del impacto Como tal la evaluación de impacto compete tanto el estudio de la eficacia de los programas como al análisis de su eficiencia. temas que son de absoluta relevancia dado que los recursos necesarios para la realización de estos programas son escasos y presentan múltiples usos alternativos. el foco temporal de los beneficios se homologa al análisis de los resultados finales de los programas. efectividad. por ejemplo: ingresos labores y probabilidad de estar ocupado. A través de la comparación de la realidad con esta situación contrafactual. La estimación del impacto de un programa sobre un participante. que están correlacionados con los resultados y que no han sido causados por el programa. En tal sentido. por ejemplo: dinámica familiar. los que son resultados a nivel de propósito o fin de los programas. estrategia de búsqueda de empleo. Una primera dimensión se refiere al tipo de variable sobre la que se mide el impacto del programa. entre la situación que presenta un individuo (o el cambio en ésta) después de haber participado en el programa.

En las investigaciones no experimentales. han recibido un grado diferente de intervención. que compara la situación de los participantes después del programa con la situación del mismo grupo antes de iniciar su participación en él. lo cual afecta la forma en que se define la muestra de comparación. utilizando posteriormente técnicas estadísticas en la estimación de los parámetros.SERIE Manuales N°47 procesos que afectan los resultados. todas las estimaciones de impacto utilizan. la estimación no paramétrica no tiene parámetros asociados. por lo tanto antes de efectuarla hay que preguntarse si existe o no voluntad política y financiera para su realización y si existe algún otro método de evaluación que puede ser más adecuado y más barato de realizar. pero medida la variable de interés en un momento diferente. dando origen a cuatro tipos de estimadores: (1) El estimador “pre-post”. Como un resultado. 9 . Las investigaciones de tipo experimental construyen ambas muestras asignando aleatoriamente a una y otra. que compara los estimadores “pre-post” de la muestra de participantes versus los de la muestra de control. Los métodos paramétricos utilizan modelos probabilistas en los cuales la teoría se usa como una guía para la especificación de los modelos. y (4) el estimador “marginal”.CEPAL . Es importante mencionar que una evaluación de impacto es en sí costosa de realizar. otra muestra para efectos de comparación. en los cuales es factible considerar métodos paramétricos y métodos no paramétricos. La segunda dimensión se relaciona con la forma en que se construye la muestra de individuos que se utilizará para la estimación. que realizar una evaluación de impacto completa. Por su parte la estimación no paramétrica es un método estadístico que permite obtener la forma funcional que mejor se ajuste a los datos sin considerar cualquier guía o restricción de la teoría. (2) el estimador de “corte transversal”. Una cuarta dimensión define el tipo de método de estimación utilizado para cuantificar los impactos. para el programa en cuestión. En este caso. típicamente posterior al término del programa. la muestra de comparación está conformada por individuos que. está compuesta por individuos pertenecientes a la población de elegibles pero que no participaron en el programa. que compara la situación de ambas muestras en un mismo momento. sólo primera etapa). los que permiten al analista obtener una mayor comprensión de los resultados observados. individuos provenientes de una misma población de elegibles. condición necesaria para una estimación insesgada del impacto del programa. De esta manera se asegura que los atributos de los individuos de ambas muestras sean. además de la muestra de participantes sobre los cuales se ha materializado la intervención. (3) el estimador de “diferencias en diferencias”. iguales. siendo también participantes del programa. que denominaremos muestra de control. Una tercera dimensión tiene que ver con la forma en que se construye el indicador de impacto. obligando a recurrir a mecanismos que propendan a lograr la deseada igualdad de medias entre los atributos de los integrantes de ambas muestras. en promedio. que compara la situación de participantes que recibieron una determinada “dosis” de programa (por ejemplo todas las etapas completas) versus la de otros que recibieron una “dosis” menor (por ejemplo. En este caso la muestra de comparación. La forma en que se construyen ambas muestras permite clasificar las investigaciones en experimentales y no experimentales. mucho más comunes en el campo de los programas sociales las muestras no se construyen aleatoriamente. En este caso la muestra de comparación está constituida por los mismos integrantes de la muestra de participantes. Dada la imposibilidad de contar con casos que se encuentren en ambas situaciones: haber participado en el programa y no haberlo hecho.

Algo es eficaz si “logra” o “hace” lo que debe hacer. Un programa es eficiente si cumple sus objetivos. Así. y los objetivos. Eficacia y Eficiencia La palabra eficacia tiene su origen en la palabra latín efficere que a su vez se deriva del vocablo facere. En el otro extremo se encuentra el caso de los insumos perfectamente sustitutos. aunque con mayor posibilidad de formalizar. Conceptos relevantes En esta sección se presentan algunos conceptos relevantes que se relacionan o que se utilizan en la evaluación de impacto. por lo tanto se tomarán ambos términos como sinónimos. previstos y no previstos. eficiencia y equidad Los términos de eficiencia y eficacia. esta diferencia representa una complejidad poco importante. sólo se minimiza los costos con una única combinación de insumos. algo así como el “producir los resultados esperados” y lograr los objetivos propuestos. En el análisis de políticas 3 4 5 En los diccionarios son tratados como sinónimos. 2. Se introduce ahora un término ampliamente utilizado y de mayor complejidad. e insumos para su realización. en donde todas las combinaciones de insumos podrían minimizar costos (sí la curva de isocuantas e isocostos tienen la misma pendiente). con un uso adecuado. En consecuencia. 10 . con los costos que se requieren para alcanzarlos. Cohen y Franco (1992).4 En el presente documento. una determinada iniciativa es más o menos eficaz según el grado en que se cumplen sus objetivos. debido a su importancia para el análisis económico. teniendo en cuenta la calidad y la oportunidad. se es eficiente si se logran los objetivos sin que exista desperdicio de recursos. Parece adecuado formalizar el concepto de eficiencia técnica con más de una definición: La eficiencia técnica o productiva examina la relación entre el producto o resultado generado y la cantidad de un determinado insumo utilizado en su generación. como por ejemplo la calidad. Todo programa y producto requiere de recursos. Si la función de isocuantas es estrictamente convexa y la función de isocostos es una línea recta. y en general las definiciones3 son las mismas. Algunos autores mencionan que dentro de la definición debería existir alguna referencia o mención acerca de algunas virtudes requeridas. que significa “hacer o lograr”. pero sólo existirá un número limitado5 de combinaciones que hará que el costo que representa esta combinación sea el mínimo. son frecuentemente utilizados en el ámbito de la gestión y evaluación de las políticas públicas y sociales. y sin tener en cuenta los costos. Estos insumos o factores pueden combinarse de distintas formas. en sentido estricto se pueden establecer algunas diferencias. Se pueden distinguir distintos tipos de eficiencia. Por un lado está la distinción entre eficiencia técnica o productiva y eficiencia económica o asignativa. se ha considerado importante iniciar esta sección de definición con estos conceptos claves. En forma explícita lo definimos como el grado en que se cumplen los objetivos de una iniciativa al menor costo posible.Evaluación del impacto 2. El término eficiencia relaciona los resultados.1 Eficacia. mientras que la efectividad constituye la relación entre los resultados. racional u óptimo de recursos. En términos simples. la eficacia de una política o programa podría entenderse como el grado en que se alcanzan los objetivos propuestos. y también equidad. como la definición que establece que la eficacia mide el grado en que se alcanzan los objetivos y metas. Sin embargo. ¿Es eficacia un sinónimo de efectividad? Ambos términos tienen la misma raíz etimológica. aunque al respecto existe más de una diferenciación. Formalizando las ideas.

SERIE Manuales N°47 sociales. Gershberg (1998). a objeto de optimizar el bienestar de las personas que demandan el bien o servicio en cuestión. Existe un término adicional relacionado con la eficiencia. los oferentes demandan insumos y producen en condiciones competitivas. existe eficiencia económica cuando además de existir eficiencia técnica. Por su parte la eficiencia asignativa Involucra una comparación de las canastas de servicios provistos con las preferencias y las necesidades de la población. no existen externalidades de manera que los agentes internalizan completamente los beneficios y costos de las actividades realizadas. 11 . Primero. Si ya se logró alcanzar la frontera de posibilidades productivas. lo cual requiere el uso más apropiado y la mejor combinación de recursos para obtener un determinado resultado.8 Aún cuando en la literatura económica no se menciona explícitamente el “tipo” de eficiencia que se está utilizando. niños vacunados por hora-persona).9 El Anexo 1 presenta una discusión sobre metodologías factibles de utilizar en estudios cuantitativos de eficiencia. y el estado de arte o tecnología (para el caso de la producción). Larrañaga (2000). aunque de naturaleza más compleja (y ambigua): la eficiencia social. Cuarto.7 Todas estas definiciones encierran la idea de una “adecuada” relación entre insumos y producto. Es mejor referirse a este término tomando la definición que Di Gropello y Cominetti (1998): la eficiencia social “Concierne a los movimientos a lo largo de la frontera de las posibilidades productivas. El criterio de eficiencia económica se puede relacionar con un índice de costo-efectividad. igualando el costo marginal de producción al precio de los bienes y servicios. si el resultado producido alcanza la “frontera de posibilidades productivas”. Se logra eficiencia productiva cuando se alcanza el producto deseado con el menor costo en términos del uso de recursos para producirlo. los demandantes tienen un conjunto bien definido de preferencias por los bienes y servicios a consumir y asignan libremente su ingreso entre aquellos. los conjuntos de producción y de consumo son convexos”. Sexto.CEPAL .6 Un proceso de producción es eficiente. Si aún no se cumple esta exigencia podemos lograr eficiencia si nos acercamos al límite (a la frontera). sino que también se hace importante tener en cuenta las preferencias (para las decisiones de consumo). se toman en cuenta las preferencias o tecnología. Di Gropello y Cominetti (1998) citando a Behrman (1995). Quinto. Así. una prestación podrá ser más eficiente si la frontera de posibilidades se desplaza “hacia fuera”. La asignación eficiente de los recursos se logra cuando se cumple una serie de condiciones. Mide el logro de los objetivos de un lado y el costo de haber producido los logros. oferentes y demandantes poseen información completa. Segundo. vinculados con la elección de una diferente composición 6 7 8 9 Gershberg (1998). la eficiencia técnica sería una medición cuyas unidades de medida son unidad de producto por unidad de insumo (por ejemplo. Así lo ilustra la siguiente aplicación en las políticas sociales: “Un sistema de asignación de recursos es eficiente cuando ha agotado todas las posibilidades de producción e intercambio. en el sentido técnico. Ya no sólo se requiere la condición de no desperdicio de los recursos. oferentes y demandantes determinan en forma descentralizada los precios de equilibrio del mercado en cuestión. es común utilizar el término “eficiencia” para referirse a la eficiencia económica y asignativa. Tercero. La noción de eficiencia económica o asignativa avanza un paso adelante en esta relación entre insumo y producto.

que según la teoría económica implica lograrla en el consumo. Estos son los objetivos intermedios. Segundo. No se entrará en el debate. Para ello se hacen uso de los indicadores. falta señalar que existen formas de medir o evaluar el grado en que un programa es eficaz o eficiente. Una revisión crítica del término de productividad permite elaborar conceptos más avanzados que la definen como “una medida de la eficiencia económica que resulta de la capacidad para utilizar y combinar inteligentemente los recursos disponibles”. El impacto es la magnitud del beneficio que recibe la población objetivo del programa según los objetivos que éste busca alcanzar. una iniciativa tiene que ser eficaz. y la eficiencia el grado en que se cumplen los objetivos de una iniciativa al menor costo posible. Productividad es 10 11 12 13 14 Di Gropello y Cominetti citando a Behrman (1995). y para realizar a la vez un análisis de eficacia es preciso encontrar el subconjunto de lo anterior. o sea. en cada alternativa.Evaluación del impacto de resultados.11 Para terminar la presente discusión acerca de eficiencia y eficacia. En la concepción general. Se puede asimismo analizar el impacto de un determinado programa a través de saber si realmente se están alcanzando los objetivos sustantivos del programa y en qué magnitud. en el grado en que se logran las metas de producción en cierto período de tiempo. 12 . Algunos sostienen que una iniciativa podría ser eficiente sin ser eficaz. pero no suficiente.14 El concepto de productividad ocupa un papel prominente para apreciar el avance económico.13 Un aspecto importante es la relación que existe entre eficiencia y productividad. porque analizan la eficacia con relación al objetivo máximo. la productividad es una medida de la eficiencia económica que resulta de la relación entre los recursos utilizados y la cantidad de productos o servicios elaborados. En esta definición sobresale como criterio clave la eficiencia. Franco (1997).10 Puede existir mucha discusión acerca de sí para lograr la eficiencia es necesario o no primero alcanzar la eficacia. Productividad es el resultado de la relación entre los insumos invertidos y los productos obtenidos. para lograr la eficiencia. Franco (1997). Algunos de los indicadores utilizados tradicionalmente para medir la productividad. relación producto-capital. centrado en la productividad física. con su correspondiente combinación de insumos. y obtener cierta magnitud de impacto. la producción y la satisfacción del consumidor. que refleja los valores de los individuos o de la comunidad de individuos considerados. La eficacia es necesaria. Evaluar la relación costo-impacto es conocer cuánto cuesta. Se puede definir a la productividad de varias maneras: primero. mientras que juzgan la eficiencia con respecto a los objetivos operativos (o intermedios). Rodríguez (1993). Otra forma de entender está relación es a través de preguntarse en qué medida los costos por unidad de producto son los mínimos posibles.12 Cualquier indicador de eficacia tendrá que incorporar alguna evidencia o medición de logro o resultado. han alimentado y reforzado un deseo permanente de “hacer mas con menos”. producto interno per cápita y otros semejantes. En los capítulos posteriores de desarrollará un análisis de indicadores. y sólo interesa saber que la discusión puede llegar a su fin si se tienen en claro los objetivos: si la eficacia mide el grado en que se cumplen los objetivos. tanto de las organizaciones como de las naciones. como productos por hora-hombre o por hora-máquina. mientras que los indicadores de eficiencia tendrán que incluir estas mediciones y los estimativos de los costos asociados. uno podría concluir que para ser eficiente. Para alcanzar los objetivos principales de un determinado programa se pueden trazar metas anteriores al fin último.

es decir. Equidad El concepto de equidad se fundamenta en tres valores sociales: igualdad. cumplimiento de derechos y justicia. en donde el salario es suficiente y equitativo. Por su parte.SERIE Manuales N°47 hacer más con menos. de aplicación económica y social.17 • “Justicia. la dirección es justa. definen a la equidad como la “reducción de la desigualdad social en sus múltiples manifestaciones”. el logro de los objetivos organizacionales. las prácticas éticas en los negocios y la contribución económica que debe hacer la empresa a la sociedad en la cual está inserta. las tradiciones y la ética social. pues de nada sirve la eficiencia si no se logra la misión de la empresa.15 • “Moderación. Naciones. Pequeño Larousse Ilustrado (1995). lo cual significa atender la calidad de vida en el trabajo. Debe asegurar que la productividad tenga efectos positivos en el cliente. CEPAL.18 El entendimiento de la equidad dependerá entonces de una interpretación del derecho natural. lo cual sólo se puede realizar a través del mejoramiento de la calidad de los productos y servicios. Algunas definiciones de equidad que se encuentran son: • “Cualidad que consiste en atribuir a cada uno aquello a lo que tiene derecho”. Una primera diferenciación de equidad se refiere a las nociones de equidad vertical y equidad horizontal. Justicia natural. equidad vertical implica igualdad absoluta.Unidas (2000). imparcialidad”. equidad horizontal implica igual tratamiento para iguales. humana y respetuosa. El tratamiento diferenciado se justifica en la medida que individuos y grupos son diferentes y pueden ser tratados de manera diferenciada sin que 15 16 17 18 19 Diccionario de la Lengua Española 21ª edición. Debe aceptar como parte de la productividad a la responsabilidad social de la empresa. templanza. por oposición a la justicia legal”. libre de prejuicios o favoritismos”. lo cual dignifica. Equidad vertical se refiere al tratamiento igual para todos los diversos grupos e individuos de la sociedad. desde una perspectiva integral y mucho más amplia. Es un concepto que va ser interpretado según los valores. Tercero. Así. 13 . justifica y hace defendibles los esfuerzos de superación de la gestión directiva. de las leyes y concepto de justicia. y que permiten que todos los ciudadanos sean partícipes de los beneficios y actores del desarrollo”.16 • “Una conformidad libre y razonable a los estándares de derecho natural. sobre todo. Se presentan cuatro criterios que permiten dar mayor precisión al término de productividad: Debe incorporar la eficacia como concepto clave.CEPAL .19 y aplican esta definición sosteniendo que “la búsqueda de mayor equidad requiere que la sociedad desarrolle sistemas de protección y promoción de las oportunidades y de la calidad de vida en aquellos aspectos que las propias sociedades consideran de valor social. Webster´s Unabridged. a la vez que se reconocen los límites naturales que se derivan del respeto a la ecología. la tarea es enriquecida y variada y. Oxford English Dictionary Cambridge (1971). Productividad es una medida de la eficiencia económica que resulta de la capacidad para utilizar inteligentemente los recursos disponibles. la capacitación es en realidad formación personal. que no sólo satisfagan sus necesidades sino que superen sus expectativas. Debe establecer que la alta productividad implica el fomento del desarrollo de los trabajadores. leyes y justicia. Definiciones más formales. calidad de ser igual o justo. Third International Dictionary (1986).

conduce a dos preguntas centrales: ¿Por qué igualdad? e ¿Igualdad de qué? Dada la diversidad de los seres humanos. la primera pregunta tiene sentido si se piensa que demandar igualdad en algo. cada persona tiene igual derecho a la más amplia libertad básica compatible con similar libertad para los demás. Equidad se asociaría con una oferta universal y homogénea de servicios sociales. las teorías siendo igualitarias en un espacio. aún cuando opuestas. Igualdad de insumos significa uniformizar las características con que se prestan los servicios (que pueden o no ser ofrecidos en un régimen de igualdad de acceso o de cobertura). 14 . y si todos enfrentarán igualdad de oportunidades. Algunas de las formas más importantes son: Igualdad de oportunidadesIgualdad de acceso o cobertura. Rawls deriva dos principios de justicia: primero. Amartya Sen (1992) plantea una teoría que puede ser vista como una forma amplia del análisis de equidad. clase y capacidad de pago. existen también materias que dividen a la sociedad en grupos antagónicos al provocar un enfrentamiento entre concepciones de equidad que. Igualar el acceso implica lograr que el esfuerzo relativo que el usuario tenga que hacer para aprovechar el servicio o el programa sea aproximadamente igual. pueden ser completamente legítimas. Igualdad de Acceso o Cobertura representa un avance sobre el concepto de igualdad de oferta porque asocia ciertos aspectos de la demanda. Por otro lado. sujetos a diversos grados de coherencia.Igualdad de Oportunidades significa igualdad de oferta para todos (de servicios. implica seguramente atentar con una demanda de igualdad en otro aspecto. El tratamiento diferenciado puede corregir o ajustar diferencias ya existentes entre diversos grupos o individuos. reflejando su acuerdo con las acepciones más comunes de equidad. donde los intereses y valores que poseen los distintos grupos de la población debieran ser compatibilizados”. Igualdad de insumos. La teoría de Sen de capacidades y funcionamientos aparece como la más amplia. No evalúa el bienestar social a través de una métrica específica (como los utilitaristas) o por los medios para alcanzar libertad (como Rawls). Igualdad de efectos o impactos. Esa misma diversidad humana es lo que justifica la importancia de la segunda pregunta.21 Se pueden distinguir muchas formas de igualdad o equidad. poseen las personas que integran una sociedad. gasto per capita. Sen destaca que todas las teorías sociales normativas que han sobrevivido en el tiempo han demandado igualdad de algo. y por la libertad que tienen para alcanzar esos funcionamientos (capacidades). textos por alumno. las desigualdades sociales y económicas serán aceptables sólo si se espera que serán ventajosas para todos. y los utilitaristas que buscan el igual tratamiento de todos los seres humanos en el espacio de pérdidas y ganancias de utilidad. la teoría de Nozick (considerada como anti igualitaria) que demanda igualdad de derechos de libertad.Evaluación del impacto esto sea “injusto”. sino que mide directamente el bienestar de las personas a través de lo que pueden alcanzar (funcionamientos).20 Así. terminan siendo no igualitarias en otros espacios. independientemente de la condición. 20 21 Así por ejemplo la teoría de Rawls busca igual libertad e igualdad en la distribución de bienes primarios. Larrañaga (2000). y segundo. Implica fijar estándares para el uso de insumos: número de atención médica semanales. La resolución de estas materias corresponde en última instancia a la esfera del proceso político. La búsqueda de la “igualdad” que no pocos desearían como la situación ideal. Así. e Igualdad de capacidades. de información u otro objeto de política). Como se puede apreciar la definición de equidad responde a toda una estructura de valoraciones: “El análisis de equidad es complejo debido al carácter normativo del concepto y a la existencia de juicios éticos diferentes que. mientras que hay situaciones que originan relativo consenso en la población.

La asignación al azar de los sujetos a ambos grupos establece las bases para el testeo de la significancia estadística de las diferencias entre estos grupos en las variables de resultado medidas. o acudir a un evento. aunque por ahora basta saber que la discusión está presente. género. Diseño Experimental En este diseño el investigador manipula una variable (la intervención) y observa el efecto que ella tiene sobre una variable de resultado en un grupo de sujetos que se siguen a través del tiempo. La inferencia causal se obtiene comparando las variables de resultado en los sujetos clasificados de acuerdo a la intervención que ellos reciben. La primera tarea que se realiza en este tipo de estudio es reunir un grupo de personas representativas de los beneficiarios potenciales a los cuales se les efectúa mediciones de línea base. Es un concepto cercano al de igualdad de oportunidades.SERIE Manuales N°47 Con respecto a la igualdad de efectos o Impactos (igualdad de resultados). Después de un periodo de seguimiento.22 2. Los diseños experimentales son de amplio uso en el diseño de experimentos clínicos. etc. la extensión de la jornada escolar. mientras que los diseños cuasi experimentales son de mayor uso en las ciencias sociales. o injusta (no se puede exigir que todos tengan que lograr el mismo resultado ya que podría limitar su libertad). o lograr un determinado fin. se haría que las probabilidades de lograr el objetivo (el efecto o el impacto) esperado sean independientes de las raíces de las inequidades existentes (niveles de ingreso. Algunos sostienen que existe un “trade off” importante entre ambos criterios. es una hipótesis que exige contratación empírica. Así. En el de la educación básica de los grupos carenciados. con los beneficios sociales adicionales que resultarían de disminuir la repitencia y la deserción y aumentar el rendimiento”. por ejemplo. el investigador observa la variable de resultados para los distintos sujetos y compara los resultados entre los dos grupos de estudio (ver gráfico 1). Finalmente. sino de las condiciones en que los diversos grupos poblacionales se encuentren al acudir al servicio (ejemplo. La igualdad de resultados podría ser no factible (nadie puede obligar a unos niños a aprender si no quieren). A continuación el investigador asigna al azar a los sujetos en dos grupos de estudio: uno recibiendo el tratamiento y el otro permaneciendo como un grupo de control no tratado. el concepto de Igualdad de Capacidades contempla la compensación por factores que podrían limitar la capacidad de un individuo o de un grupo para lograr experiencias y beneficios importantes o básicos. diferencias de aprendizaje en zonas urbanas y rurales). y otros características presentes en la línea base 22 Cohen (2000). empero. lo que permite hablar del costo social de la equidad. Sería necesario comparar los costos incrementales de inversión y operación que demandaría. Dar a todos una oportunidad parecida de poder aprovechar el servicio. La randomización garantiza que la edad. Para lograr equidad en los resultados hay que incorporar en las actividades acciones remediales o compensatorias por las diferencias que diversos usuarios experimentan en factores que resultan determinantes para el logro del efecto o impacto esperado.2 Diseño experimental y cuasi experimental En el diseño de una evaluación de impacto se pueden usar diversas metodologías que entran en dos categorías generales: diseños experimentales (aleatorios) y diseños cuasi experimentales (no aleatorios).CEPAL . En un trabajo realizado por Cohen (2000) se ilustra un poco más esta relación: “Habitualmente se entiende la equidad como contrapuesta a la eficiencia. que deberían estar al alcance de todos: “nivelar la cancha del juego”. los efectos o impactos no van a depender sólo del acceso y los insumos. Esto es así en muchos campos. educativos. Un punto importante en esta discusión es acerca de la relación entre eficiencia y equidad. 15 .).

Así una mera comparación entre las medias de la variable de resultado entre el grupo de tratamiento y de controles en la situación post tratamiento permitiría obtener una medición del impacto del programa. no se requiere contar con estimaciones de la variable de resultados en la situación pre tratamiento. es decir tanto los que entregan la intervención como las personas que la reciben no conocen a que grupo pertenecen y por ende.Evaluación del impacto que pudieran afectar la asociación observada son distribuidas igualmente (excepto por variación al azar) entre los dos grupos. en el análisis de programas se requiere evaluar el impacto de programas que ya están en operación con lo cual no se puede optar por un diseño experimental debiendo optarse por diseños alternativos. potencialmente invalidando o contaminando los resultados. en promedio. y por ende sus beneficios. En tercer lugar. Diseño Cuasi Experimental Aunque los diseños experimentales se consideran el método óptimo para estimar el impacto de los programas. radicaría en el resultado de la variable de resultado post programa. permiten crear grupos de beneficiarios y de comparación similares al grupo de tratamiento en características observadas 16 . a algunas personas o zonas geográficas que se podrían beneficiar de éstos. en la evaluación de políticas públicas ellos son difíciles de implementar por varias razones. Así no tienen incentivos a desarrollar acciones que afecten los resultados. Esto es así ya que una asignación al azar en los grupos de tratamiento y control garantiza que ambos grupos presentarían. GRAFICO 1 DISEÑO EXPERIMENTAL: GRUPO DE TRATAMIENTO Y GRUPO DE CONTROL Fuente : Elaboración propia Para la evaluación de impacto es de utilidad contar con estimaciones de la variable de resultado antes y después de un programa. Los diseños cuasi experimentales. basados en información existente. el mismo valor inicial de la variable de resultado y por ende toda la diferencia. durante el experimento las personas asignadas a los grupos de control podrían cambiar ciertas características que los identifican. En los diseños clínicos esta posibilidad se reduce ya que los estudios son “doble ciegos”. en caso de existir. Cualquier efecto de una mala distribución producto de un factor al azar son automáticamente incluidos en las pruebas estadísticas de la probabilidad de que el azar es responsable por las diferencias promedio en la variable de resultado entre los grupos asignados aleatoriamente. En la evaluación de programas públicos es difícil mantener esta característica de “doble ciego” con lo cual los resultados pueden contaminarse. no saben si están recibiendo el tratamiento o un placebo. conseguir la aleatorización puede ser difícil por aspectos políticos o éticos ya que supone no entregar el programa. En primer lugar. sin embargo si la aleatorización fue hecha correctamente y si los grupos tienen un tamaño suficiente. En segundo lugar.

bajo este diseño hay que considerar el estimador de diferencias en diferencias el cual considera la diferencia en la variable de impacto entre beneficiarios y controles en la situación post programa (t1) y en la situación pregrograma (t0). En términos de la necesidad de usar información pre y post progama. en un diseño cuasi experimental nada garantiza que en la situación pre programa to la variable de resultado sea igual entre los beneficiarios y las comparaciones. ponderan más la comparación con individuos que tengan atributos similares que la de individuos cuyos atributos sean muy diferentes. son rápidos de implementar. llamados “emparejados” o “matched”. de qué tan bien se especifiquen las variables usadas para efectuar el matching. El problema del sesgo de selección ha sido extensivamente estudiado por James Heckman. es que requieren incorporar en su evaluación posibles sesgos de selección asociados con la decisión de participar o no en el programa. usando valores estimados de los propensity scores en el proceso de matching. Estos sesgos son de tal magnitud que afectan tanto el diseño muestral como la variable de resultados. condicional en la probabilidad de participación en el programa. Es importante destacar que bajo un diseño cuasi experimental los grupos de tratamiento y de comparación no se seleccionan al azar. usualmente se utiliza la probabilidad condicional a participar. Los métodos paramétricos endogenizan la variable participación en el programa ya sea a través de una segunda ecuación que explica la decisión de participación o no en él o a través del método de variables instrumentales. ya que utilizan un grupo de comparación construido de manera ad hoc en vez de su asignación al azar. se selecciona para cada participante al o los individuos que servirán de comparación. se deben aplicar controles estadísticos para abordar las diferencias entre los grupos de tratamiento y de comparación y emplear técnicas de matching para crear un grupo de comparación que sea lo más similar posible al grupo de tratamiento. puede llegar a ser muy costoso utilizar todo el set de atributos para realizar el proceso de matching. existiendo en la actualidad métodos paramétricos y no paramétricos para corregir las estimaciones. dados los valores pre-programa del set de atributos (propensity score) para guiar el proceso de matching. Su principal desventaja. El efecto del tratamiento bajo el estimador de diferencias en diferencias es: Efecto del Tratamiento = (YBt1 .YCto) 17 . tanto en sus aplicaciones a economía laboral como en la evaluación de programas sociales. por lo tanto. Operativamente. Los métodos no paramétricos basados en matching la incorporan al suponer que la variable de resultado. donde YBto denota el valor que toma la variable de impacto en los beneficiarios en la situación pre programa e YCto denota el valor que toma la variable de impacto en los controles en la situación pre programa. sin embargo. que se expondrán posteriormente. Por lo tanto. Antes de realizar la comparación. nada garantiza que en la situación pre programa se cumpla que: YBto = YCto. o al menos. más allá de no ser métodos al azar como los diseños experimentales.(YBto . Por esto. Los modelos de “matching” buscan comparar los situación de cada participante sólo con la de aquellos individuos que sean similares en su set de atributos. La principal ventaja del diseño cuasi experimental es que para realizar la evaluación se pueden usar datos secundarios existentes y.SERIE Manuales N°47 pre programa usando métodos de emparejamiento o de matching.CEPAL . Por lo tanto. Si se cumplen ciertas condiciones.YCt1) . y considerando que es la posible dependencia que tiene la participación en el programa del set de atributos lo que puede sesgar la estimación. es la misma tanto para beneficiarios como comparaciones. se puede obtener un estimador consistente del efecto promedio del programa sobre los participantes (EPPP). de acuerdo a su distancia en alguna(s) variable(s) de caracterización. En otras palabras. Esto último depende.

por lo que la matriz X ya no sería exógena provocando un sesgo en la estimación. El impacto estimado es el valor del coeficiente del vector estimado de β que corresponde a la variable dicotómica de participación en el programa.3 Estimación paramétrica y no paramétrica Se llama estimaciones paramétricas a aquellas en que la variable que sirve como indicador de impacto se define como una función que depende de una matriz X de variables exógenas. típicamente denotado por β. y un vector fijo de parámetros.X0) se estima usando la proporción de las N observaciones que están cercanas a (Y0. Usualmente estos métodos utilizan una estimación de Kernel la que especifica: Y = m(X ) + µ (2) Donde m(X) es el valor esperado condicional de Y sin una forma parámetrica como en el modelo de regresión presentado en la ecuación (1) y la función de densidad de la variable aleatoria no se especifica. entre ellas la participación en el programa. σ 2 ) (1) Tal como se mencionara previamente en la estimación cuasi experimental del impacto de programas sociales. La densidad en un punto (Y0.X0). Este procedimiento involucra el uso de una función llamada Kernel que asigna las ponderaciones a las observaciones cercanas. 18 . Formalmente. se estima a través de métodos econométricos el siguiente modelo de regresión lineal: Y = Xβ + µ .Evaluación del impacto Gráfico 2 EFECTO DEL TRATAMIENTO SOBRE LOS TRATADOS: ESTIMADORES DE DIFERENCIAS EN DIFERENCIAS Fuente: Elaboración propia 2. comúnmente la variable de participación en el programa depende de los atributos de los participantes. conocido como “sesgo de selección”. Las N observaciones Yi y Xi son usadas para estimar de manera conjunta la función de densidad conjunta para Y y X. Los métodos no paramétricos de estimación corresponden a todos aquellos que no suponen a priori una forma funcional paramétrica que defina el indicador de impacto. donde µ ∼ N (0.

Obviamente. el resultado observado Yi será: Yi = Di Yi (1) + (1 – Di) Yi (0) donde: Yi (0) = X i β0 + µ 0i E[µ0i | X i] = 0 Yi (1) = X i β1 + µ 1i E[µ1i | X i] = 0 Reemplazando (4) y (5) en (3) se obtiene: Y i = Y i (0) + (Y i (1) – Y i (0)) D i = Yi (0) + ¨ i D i (6) donde: ¨ i = (Yi (1) – Yi (0)) (4) (5) (3) 19 .SERIE Manuales N°47 II. por Yi(0) su resultado potencial en la variable Y si Di=0. Si denotamos por Di =1 y Di =0 los estados del individuo i como participante o no participante del programa. y tiene. respectivamente. Introducción a métodos de estimación 1.CEPAL . Métodos paramétricos Dado un universo de individuos elegibles para participar en un Programa. cada uno de ellos puede realizar una de dos acciones alternativas: participar o no participar. para cada individuo sólo uno de estos estados potenciales se realizará y podrá ser observado. dos resultados potenciales respecto de alguna variable de interés para el investigador. y por Yi(1) el resultado potencial si Di=1. por lo tanto.

¨ i] ≠ Pr [D i = 1 | X]. Heckman. es decir se está en presencia de un caso de respuesta heterogénea y las personas utilizan esta información en sus decisiones. dos resultados potenciales respecto de alguna variable de interés para el investigador.µ0i) no está correlacionado con Di. para cada individuo sólo uno de estos estados potenciales se realizará y podrá ser observado. por lo tanto.Evaluación del impacto Existen tres casos posibles: Caso 1: ¨ i = ¨ SDUD WRGR L HV GHFLU VH HVWi HQ SUHVHQFLD GH XQ FDVR GH UHVSXHVWD KRPRJpQHD Caso 2: ¨ i ≠ ¨ j y Pr [D i = 1| X. y por Yi(1) el resultado potencial si Di=1. lo que implica que la estimación a través de mínimos cuadrados ordinarios es factible pero corrigiendo la estimación por heterocedasticidad.µ0i) Di Dado que las personas no utilizan esta información en sus decisiones entonces (µ1i . 20 .β0) + (µ1i . Ñopo. Obviamente. en el Caso 3 se está en presencia del modelo de autoselección el cual debe ser estimado usando la corrección que Heckman desarrollara en el contexto de la estimación de la oferta de trabajo o a través de una estimación usando el método de variables instrumentales para incorporar la relación que existiría entre la variable Di y el término de error ηi. (9) (8) 2. por Yi(0) su resultado potencial en la variable Y si Di=0. cada uno de ellos puede realizar una de dos acciones alternativas: participar o no participar.Yi(0)] si Di=1 (2) El estimador del efecto promedio del programa será: El efecto promedio del programa sobre los controles será: 23 si Di=0 (1) En la elaboración de esta sección se usaron los artículos de Aedo y Núñez (2001). respectivamente. Ichimura y Todd (1998). es decir aún cuando se está en presencia de un caso de respuesta heterogénea las personas no utilizan esta información en sus decisiones. la evaluación del impacto de un programa puede ser estimado a través del parámetro ¨ HQ XQ PRGHOR GH PtQLPRV FXDGUDGRV RUGLQDULRV \D TXH HQ HVWH FDVR OD HFXDFLyQ TXHGD Y i = X i β0 + ¨ ' i+ µi (7) En el Caso 2 la situación es ligeramente más compleja. el resultado observado Yi será: Yi(0) Yi = Yi(1) EPP = E [Yi(1) . En el Caso 1. Si denotamos por Di =1 y Di =0 los estados del individuo i como participante o no participante del programa.µ0i)] Di + µoi Lo que es igual a: Yi = Xi β0 + Xi (β1 . Caso 3: ¨ i ≠ ¨ j y Pr [D i = 1| X. y tiene. Finalmente. ¨ i] = Pr [D i = 1 | X]. Robles y Saavedra (2002). (1997). Becker e Ichino (Borrador sin fecha). ya que en este caso: Yi = Xi β0 + [Xi (β1 .β0) Di + ηi donde: ηi= µ0i + (µ1i . Métodos no paramétricos23 Dado un universo de individuos elegibles para participar en un Programa.

es decir. en un espacio multidimensional. se recurre a construir entre los individuos elegibles que no participaron en el programa.Yi(0))| D=0] Y el efecto promedio del programa sobre los participantes: EPPP = E [(Yi(1) . Es decir. se usa la propensión estimada a participar p(X). dados los valores del set de atributos pre-programa”. el estimador del efecto de participar en el programa para los participantes puede expresarse como: EPPP = E[(Yi(1) . Para enfrentar este problema. Por ejemplo.Ψi(0)) (5) donde Ψi(0) = es el estimador de Yi(0) construido sobre la base de información pre-programa de los miembros del grupo de control que han sido emparejados con el participante i. Realizar un proceso de emparejamiento. bajo ciertas condiciones. no es observable. definida por Rosenbaum y Rubin (1983) como la “probabilidad condicional de participar. es decir. En cualquier caso. el valor de Yi(0). Por lo tanto. Es decir: p(X) = Pr ( D=1 | X ) = E [ D | X ] (6) Bajo las condiciones de “Balancing” y “Unconfoundedness” (ver Anexo 2). se construye una muestra de N0 + N1 = N individuos elegibles. puede fácilmente llevar a un grado de complejidad que torne el problema inabordable. métodos estratificados y métodos Kernel (ver Anexo 2). El estimador del efecto promedio del programa sobre los participantes será: EPPP = (1/N1) Σ Di =1 (Yi(1) . similar al grupo de participantes en algunas variables de interés. donde N0 es el tamaño de la muestra de control y N1. el de la muestra de participantes. se puede lograr un resultado similar de manera mucho más sencilla. un grupo de control. Independientemente del método de emparejamiento utilizado. La forma en que se determina el valor de Ψi(0) da origen a una variedad de métodos de emparejamiento que se describen en el Anexo 2. Una vez calculadas las propensiones estimadas a participar.Yi(0))| D=1] (3) (4) Para calcular la rentabilidad de un programa interesa conocer los beneficios que éste reportó a quienes efectivamente participaron en él. de búsqueda de distancias mínimas entre individuos. el estado contrafactual.CEPAL . Sin embargo.Yi(0))| Di =1] EPPP = E[E[(Yi(1) . el problema radica en que para realizar tal comparación se necesita conocer una situación hipotética que nunca ocurrió. EPPP. p(Xi)]] EPPP = E[{E[Yi(1)|Di =1. p(Xi)] }| Di =1] (7) (8) (9) Para obtener las propensiones estimadas a participar es posible usar cualquier método de estimación para variable dicotómica.E[Yi(0)|Di =0. en comparación con su situación si no hubiesen participado. si en lugar de utilizar todo el set de atributos pre-programa X. p(Xi)] . Una clasificación posible son los métodos "Uno a uno". por ejemplo PROBIT o LOGIT.SERIE Manuales N°47 EPPC = E [(Yi(1) . al intentar calcular el EPPP uno se encuentra que para todo i tal que Di=1. la literatura relativa a metodología de estimación de impacto basada en emparejamientos de beneficiarios con controles (Matching Estimators) plantea la conveniencia de trabajar sólo con aquellos beneficiarios y controles cuyas propensiones a participar pertenezcan a un dominio común.Yi(0))| Di =1. como puede verse. en el caso que aquí interesa. existen varios métodos alternativos para estimar el valor contrafactual no observable para cada participante en la muestra. aquellos para 21 . el análisis se centra en el tercer estimador expuesto.

Evaluación del impacto quienes existe un individuo en el estado alternativo (beneficiario o control) cuya propensión a participar es suficientemente cercana como para ser su pareja de comparación. Trabajar sólo en la región de common support asegura una mejor calidad de los emparejamientos pero puede reducir el número de observaciones válidas. Por tal motivo. 22 . hay generalizaciones de estos métodos para considerar el caso de tratamientos múltiples los que se presentan en el Anexo 2. Una de las críticas posibles es que estos métodos consideran que el tratamiento es único.

el cual ha sido posteriormente renombrado como Oportunidades. originados especialmente de periodos de crisis macroeconómicas severas. En conjunto con estos programas coexisten en América Latina otros programas de transferencias de ingreso que tienen como objetivo el alivio de situaciones de pobreza de corto plazo.CEPAL . se presentan sus bases conceptuales y su racional teórica. Introducción Numerosos países de América Latina han introducido programas sociales de apoyo a las familias pobres para que puedan mejorar sus condiciones de vida y salir del ciclo de la pobreza. En esta sección se efectúa una presentación de programas de transferencias condicionadas. Estos programas requieren que los participantes estén de acuerdo con ciertos patrones de trabajo para recibir las transferencias de ingreso. A nivel de América Latina el ejemplo más conocido de este tipo de programa lo constituye el PROGRESA de México. a través de transferencias condicionales de ingreso provisto que las familias mantengan sus hijos asistiendo al sistema escolar formal y/o que los mantengan con sus controles preventivos de salud al día. Tal es el caso del Programa de Jefes y Jefas de Hogares de Argentina. Aplicaciones de evaluaciones de impacto 1. 23 . y se sintetizan las evaluaciones existentes de estos programas. Bolsa Escola y Bolsa Alimentacao de Brasil o la Red de Protección Social de Nicaragua o el Familias en Acción de Colombia.SERIE Manuales N°47 III. Otros ejemplos incluyen los programas PETI.

aumentando el logro educativo y reduciendo la pobreza Inicio Programa 2001 Agencia Ejecutora Secretaría Nacional del Programa Beca Escolar. ya sea a través de ministerios o secretarías de educación. que surgen con el apoyo de la banca multilateral para ayudar a la población más vulnerable. Ministerio de Educación Bolsa Escola. Promover la acumulación de capital humano Nicaragua entre hogares que viven en extrema pobreza 2000 Fuente: Elaboración propia a partir de Rawling y Rubio (2003) Los programas incluidos ofrecen una variedad de subsidios. Brasil PETI. es posible identificar predominantemente la presencia de apoyos para la asistencia escolar. puesto que se ha utilizado como criterio de inclusión. 24 . Programas centrados en solucionar la pobreza estructural Estos programas. Honduras 1990 Presidencia de la República PROGRESA (Oportunidades). Colombia 2001 Departamento Administrativo de la Presidencia de la República PRAF II. 2. de salud y estado nutricional de familias pobres. ayudando a romper el círculo de pobreza Mejorar el nivel educativo. a través principalmente de intervenciones que mejoran sus niveles educativos y de salud (ver cuadro 1). especialmente de los niños y las madres 2000 Ministerio de Salud Familias en Acción. Así. Reducir la pobreza actual y futura Erradicar el trabajo infantil.Evaluación del impacto La cobertura de trabajos incluidos en esta sección no es completa en relación con todos los programas de transferencias condicionadas existentes en América Latina. de salud o de asistencia social (casos de Brasil y México). Brasil 1998 Ministerio de Asistencia Social Bolsa Alimentacao. Es interesante destacar lo casos del PRAF II de Honduras y Oportunidades de México quienes combinan subsidios monetarios y en especie (materiales educativos y suplementos nutricionales) dentro de su estructura de beneficios. Cuadro1 OBJETIVOS DE LOS PROGRAMAS CENTRADOS EN SOLUCIONAR LA POBREZA ESTRUCTURAL Programa Objetivos Aumentar el logro educativo de niños pobres en edad escolar. México 1997 Coordinación Nacional del Programa de Desarrollo Humano Oportunidades Fondo de Inversión Social de Emergencia Red de Protección Social. tienen como objetivo principal dotar de capacidades a los hogares más pobres para superar la pobreza estructural que los afecta. para la atención de salud y apoyos a la nutrición (ver cuadro 2). que los programas cuenten con una evaluación cuantitativa formal o que cuenten con un diseño establecido para su evaluación del tipo de evaluación de impacto. a través de entidades adscritas a la presidencia de la república (casos de Colombia y Honduras) o a través de fondos de inversión social (Nicaragua). Las instituciones ejecutoras de estos programas son entidades públicas. Brasil Reducir deficiencias nutricionales y la mortalidad infantil Aumentar la inversión en capital humano en familias de extrema pobreza Servir como red de seguridad Aumentar la acumulación de capital humano en los niños provenientes de las familias más pobres. sin embargo predominan los que afectan las condiciones estructurales que condicionan la situación de pobreza en los más vulnerables.

Nicaragua Los titulares con niños de 0-5 años deben completar un plan de salud preventivo y acudir a cursos de capacitación en salud y nutrición Ausentismo injustificado menor a 6 días en un período de 2 meses y promoción al siguiente grado Fuente: Elaboración propia a partir de Rawling y Rubio (2003) El valor del subsidio mensual que entregan estas intervenciones varía según programa. bono nutricional y de salud Entrenamiento en nutrición para madres Incentivos a la oferta para escuelas primarias y para centros de salud Becas educativa para niños y jóvenes que cursan entre tercero de primaria y tercer grado de educación media Apoyo para materiales de la escuela Refuerzo de la oferta y calidad de servicios de educación Apoyos monetarios para mejorar la alimentación familiar Paquete básico de atención de salud Suplementos alimenticios para todos los niños entre 4 meses y 2 años. México Para los beneficios educativos: cumplir con una asistencia de más del 85% a clases Para los beneficios de apoyo monetario y de alimentación.CEPAL .SERIE Manuales N°47 En lo relativo a las condiciones que se deben cumplir para acceder a los beneficios se observa una similitud en los requisitos entre los programas: en el caso de los beneficios en educación se requiere de una asistencia escolar que varía entre 80% y 85% en los últimos tres meses. Brasil Beca de salud Familias en acción. la que es temporal al inicio pero que puede transformarse en permanente. para que lo entregue a la escuela PRAFF II. Colombia Subsidio nutricional: apoyo nutricional a las familias con niños menores de 7 años Subsidio escolar para incentivar la asistencia escolar y el rendimiento de los niños de 7-17 años en la escuela Incentivos a la demanda (voucher): bono escolar. mientras que en el caso de salud se requiere cumplir estrictamente con los controles de salud y con el programa de vacunaciones. Cuadro 2 BENEFICIOS DE LOS PROGRAMAS Y CONDICIONES DE ELEGIBILIDAD Programa Bolsa Escola. aunque el valor promedio es de alrededor de US$ 12 por mes (cuadro 3). las familias deben cumplir con la responsabilidad de acudir a sus citas programadas en los servicios de salud Red de protección social. En términos del esfuerzo que 25 .7 por niño(a) matriculado. En ambas situaciones se necesita el cumplimiento del requisito para acceder a los beneficios. Apoyo a la oferta de servicios de salud Bono alimentario destinado a la compra de alimentos necesarios para mejorar la nutrición de la familia Bono educativo para hogares con niños entre 6-13 años y que cursen entre primero a cuarto grado Cada dos meses se le entrega a la titular US$ 0. Brasil PETI. Honduras PROGRESA (oportunidades). los menores de 5 años que presentan desnutrición y para mujeres embarazadas o que están lactando Educación en nutrición y salud. Brasil Beneficios ofrecidos por el programa Beca escolar a niños pobres entre 6-15 años que asisten a la escuela Transferencia de ingreso Programa post-escuela Condiciones exigidas para recibir los beneficios Al menos 85% de asistencia escolar en período de 3 meses Al menos 80% de asistencia escolar en período de 3 meses y participación en el programa post-escuela (jornada ampliada) Cumplir calendario de visitas a centro de salud y cumplir con el programa de vacunaciones Visitas regulares a centros de salud para monitoreo de crecimiento de niños Al menos 80% de asistencia a la escuela en período de 2 meses Inscripción a la escuela y máximo de 7 días de ausentismo en un período de 3 meses Cumplir con la frecuencia regular de visitas a centros de salud Bolsa Alimentacao. el incumplimiento conduce a una pérdida de los beneficios. incluyendo subsidios individuales y familiares que se ubican entre los US$6 hasta US$ 58.

000 niños entre 7 y 14 años en más de 230 municipalidades 800.000 familias pobres.000 (US$6) por niño mes Secundaria: Col$28.469 municipios Porcentaje del PIB 0.12% Área urbana y área rural 0.006 y familiar: 4.000 niños (1. Cuadro 3 SUBSIDIO MENSUAL.70% de la población total) Cobertura Área urbana y área rural en 5.79% de la población total) 362.024% Familias en acción. Brasil Varía entre estados entre R$25-R$39 (US$ 11-17) por niño mes Área urbana y area rural.776.Evaluación del impacto hacen estas economías en estos programas.58% de la población total) Primaria: Col$14. Colombia Área urbana y área rural. 0.32% Red de protección social.000 mujeres embarazadas. Incentivos a la oferta:C$10 (US$0. Brasil Área urbana y rural en 5.315481 beneficiarios (3. México Primaria: varía por grado US$8-17 por niño por mes + US$ 11 por niño por año para materiales Secundaria: varía por grado y sexo US$25-32 por niño por mes + US$20 por niño por año para materiales Beca: C$240 (US$ 17) cada 2 meses por familia Apoyo de materiales para la escuela: C$275 (US$20). adultos mayores: 11.700.263.019% PRAFF II. Subsidio mensual R$15-R$45 (US$6-19) por familia Número de beneficiaries 1.154. En términos de población cubierta son programas con un alto número de beneficiarios y en general.070.933 (4. educación / salud: 110.237.35% del PIB.38% de la población total) Área rural y área urbana.13% PETI.940 (US$4. COBERTURA Y GASTO Programa Bolsa Brasil Escola.0094% Bolsa Alimentacao. Nicaragua 10.000.550 niños en enseñanza (4. 8.704 familias.7) por estudiante cada 2 meses A fines de 2001: 3. 0.167. salud: 69.21% de la población total) Área rural.093 familias.217 niños en educación (1. Honduras PROGRESA (oportunidades). 0. 1. en 620 municipios 0.000 de niños (4.Incentivo promedio a la oferta L$57. 7.000) por escuela por año 340.01% de la población total) Bono educativo: 115.667 familias y 3.021% Fuente: Elaboración propia a partir de Rawling y Rubio (2003) 26 .761 niños en salud y 13.561 municipios 0. y 2. se puede observar que son moderados y que no exceden el 0. BENEFICIARIOS.000 (US$12) por niño mes Voucher a la educación L$828 (US$58) por niño por año. presentan cobertura tanto en áreas urbanas como rurales.

existía la preocupación de que algunos de los beneficios del programa estaban siendo recibidos por personas que no estaban tan afectados por la crisis o que tenían recursos para enfrentar el desempleo de manera adecuada. junto con los consejos municipales y provinciales eran los responsables del monitoreo de las actividades laborales que contemplaba el programa Jefes y Jefas de hogares. Programas diseñados para tiempos de crisis Programa Jefes y Jefas de Hogares de Argentina El Programa Jefes y Jefas de Hogares de Argentina surge en enero de 2002 como una respuesta a la grave crisis macroeconómica que afectó a Argentina hacia finales del año 2001. En términos de cobertura. Sin embargo.000 de hogares hacia finales del año 2002. Estadísticas oficiales indicaban que el porcentaje de personas pobres en Argentina se había incrementado desde un 37% en Octubre del 2001 a un 58% en Octubre del 2002. Galasso y Ravallion son escépticos con respecto al grado de efectividad del requerimiento de trabajar como un elemento efectivo de focalización del Programa Jefes y Jefas. a mediados del 2002 se introdujo el requisito de trabajar con el objetivo de asegurar que las transferencias de ingreso efectivamente llegaran a aquellos en mayor necesidad. cifra que representaba alrededor del 50% del ingreso per-cápita promedio mensual en Argentina en el año 2002. en la práctica los encargados del programa no verificaban si el postulante era o no jefe de hogar. De esta forma los encargados del programa sólo podían verificar razonablemente si el postulante tenía o no un trabajo en el sector formal de la economía. La unidad ejecutora fue el Ministerio del Trabajo de Argentina.CEPAL . El programa estaba destinado para jefes de hogar desempleados con dependientes (hijos menores de 18 años o hijos que presentaran grados de discapacidad). ya que el rápido crecimiento del programa y el entorno de crisis impusieron problemas para exigir el requisito de trabajar.SERIE Manuales N°47 3. país en el cual más de la mitad del empleo tiene su origen en el sector informal. A los participantes se les solicita trabajar 20 horas en trabajo comunitario básico. el programa en teoría era universal. Empleo en Acción de Colombia Este programa forma parte de la Red de Apoyo Social que el gobierno de Colombia ha puesto en marcha para paliar el impacto que la crisis económica y el ajuste fiscal han tenido sobre la 27 . Este programa reemplazó al Programa Trabajar. Dentro de este contexto. Tal como indica Galasso y Ravallion el problema radica en la definición de desempleo en Argentina. el Programa tuvo como objetivo entregar apoyo a familias con dependientes quienes habían perdido su principal fuente de ingresos debido a la crisis. en la práctica esta cobertura era claramente no sostenible. Con el apoyo de la banca multilateral. Debido a estas preocupaciones. Datos administrativos disponibles en el Ministerio del Trabajo indicaban que sobre la mitad de los participantes en el programa eran mujeres. El programa Jefes y Jefas de Hogares entregaba una transferencia de Ar$150 por mes a cada persona elegible. o asistiendo al colegio o trabajando en una empresa privada con un salario subsidiado por un espacio de seis meses. De hecho. en el sentido que cualquier persona elegible que quisiera la transferencia de ingreso podía obtenerla (no tenía como foco explícito la pobreza). Las oficinas provinciales del Ministerio del Trabajo. o en actividades de entrenamiento laboral. A su vez. el cual tenía el requisito de trabajar entre 30-40 horas en labores que tuvieran valor para los residentes de comunidades pobres. El programa gastó aproximadamente US$500 millones en el año 2002 y el año 2003 se estima que se gastó aproximadamente US$600 millones. Evidencia presentada en Galasso y Ravallion (2003) indica que ya en el año 2002 existía la preocupación de que el programa estaba siendo capturado por personas que no estaban en el grupo de riesgo. las cuales probablemente no eran jefes de hogar. principalmente del Banco Mundial. el programa se expandió rápidamente para cubrir a cerca de 2.000.

24 En casos que exista un exceso de demanda por empleos. e ii) impactos (beneficios reportados) de las obras financiadas por el Programa. los beneficiarios efectivos serán seleccionados al azar. La evaluación se construirá con una línea de base y con dos mediciones posteriores de la misma muestra.904 personas. 28 . El diseño original contemplaba un tamaño muestral para la línea base de 13.568 personas al segundo seguimiento. municipios con más de 100. versus un grupo de comparación que presenta características similares pero que no participó en el programa. estableciendo datos longitudinales para la evaluación de impacto. 4. Honduras. el cual debe converger (considerando una tasa de no respuesta y la pérdida de hogares a lo largo del tiempo) a un total 10. La evaluación contempla dos grandes temas: i) impacto (ingresos recibidos) sobre los beneficiarios y sus familias. “Empleo en Acción” tiene como objetivo entregar ingreso temporal a personas pobres y de baja calificación que se encuentren desempleadas a través de una ocupación transitoria y mejorar la infraestructura social de las zonas más pobres de las ciudades. presenta información sobre los programas incluidos en el presente informe. que actualiza la información provista por Rawling y Rubio (2003). México. en el cual se entrevistan a personas con intervención del Programa.Evaluación del impacto población más pobre del país. Colombia y Nicaragua.000 habitantes en zonas urbanas) y el 20% restante se destinará a cualquier otra ciudad o municipio que presente proyectos que sean viables. La estrategia de evaluación supone adoptar como metodología básica de evaluación una del tipo experimental. El siguiente cuadro. Evaluación de estos programas Diseño e Implementación En esta sección se presentan las estrategias de evaluación aplicadas a los programas de transferencias condicionales de ingresos de Brasil (programa PETI y programa Bolsa Alimentaçao).24 El 80% de la inversión se planea realizarla en las 78 ciudades principales del país (ciudades capitales.

Esto de 7 años y 555 de implica 507 niños de menos de 3 menos de 7 años y 87 de menos de 3 Familias en Acción. asignación aleatoria de localidades Encuestas en la escuela. 80 en luego del inicio del programa) Resultados de salud (maternales y cada municipalidad) Encuestas diagnóstico en mortalidad infantil). Diarrea) Encuesta a hogares 50 PSU no seleccionadas para el programa pero de características similares 50 PSU seleccionadas aleatoriamente PRAF II. utilización de escuelas y centros de salud. (1600 hogares. G3 (incentivos a la oferta). estado encuestas de seguimiento nutriciona+++l de los niños.SERIE Manuales Programa Esquema lógico Evaluación de operaciones Estudio cualitativo Evaluación incluyendo de impacto evaluación de beneficiarios PETI. La muestra de tratamiento Datos registrados en el proceso se seleccionó aleatoriamente del Mediciones acerca del peso y de inscripción para el programa total de 2493 hogares con datos. mayor transversal: las municipalidades que grado obtenido. participación en la participan se vincularon a otras de fuerza laboral.Cuadro 4 Tamaño de la muestra Diseño de evaluación Control Indicadores más importantes Fuente de datos Tratamiento EVALUACIONES DE PROGRAMAS COMPLETAS DE LOS PROGRAMAS DE TRANSFERENCIAS CONDICIONALES EN AMÉRICA LATINA Y EL CARIBE Actividades de evaluación CEPAL . que se obtuvieron porque por error administrativo 717 hogares. Colombia (en Desarrollo) X X Tasa de inscripción en la escuela y Cuasi-experimental con panel data de asistencia basado en un muestreo de PSU Tasa de estado nutricional e (Primary Sampling Units) que son incidencia de ciertas enfermedades municipalidades (Ej. Transferencias privadas y los centros de salud 320 localidades (7887 hogares elegibles) N°47 29 . asistencia) hogares (base + 2 de Disponibilidad y calidad de 20 municipalidades seguimiento 1 año y 2 años insumos de educación. Estado de la mujer y cuestionarios a la comunidad. test servicios de salud y práctica de de resultados estandarizados atención médica G1 = 20 municipalidades (1600 hogares) G2 = 20 municipalidades (1600 hogares) G3 = 10 municipalidades (800 hogares) PROGRESA (Oportunidades). administrativos de las escuelas Asignación del tiempo. resultados de tests. Brasil X No experimental. horas de trabajo y características similares que no eran sector de empleo parte del programa Encuesta a hogares 9 municipalidades 9 municipalidades Bolsa Alimentacao. Honduras X X Experimental con panel data: asignación aleatoria de municipalidades en 4 grupos: G1(vouchers). G1 y G2. Experimental con panel data: recolectadas cada 6 meses) 186 localidades (4682 Consumo por hogar de calorías. Brasil X Cuasi-experimental con corte Inscripción en la escuela. sólo comparación ex post entre beneficiarios y control. G2 (vouchers + incentivos a la oferta). Encuestas a los promoción. G4 (grupo de control) Resultados educacionales Censo de municipalidades con (resultados en tests. utilización de servicios localidades Encuestas a hogares (base + 5 de atención médica. repetición. Implica no se los incluyó entre 1387 niños de menos los beneficiarios. Datos relaciones dentro del hogar. estatura de los niños en cada hogar y encuesta posterior Usan "nearest neighbour matching" como técnica para vincular tratamiento y control 282 hogares. México X X X Asistencia a la escuela e Censo de evaluación de inscripción. Cambios hogares elegibles) en grupo de tratamiento y de control en fertilidad. Incidencia de la pobreza.

Encuesta de y asistencia a la escuela.468 seguimiento.700 segundo seguimiento segundo seguimiento Evaluación del impacto Red de Protección Social.30 Cuadro 4 (conclusión) X X Eficiencia en focalización (tasas de Experimental con datos de panel: Censo del área del programa. 4. Utilización y calidad control institucional de escuelas de servicios de atención de salud 21 áreas de censo (812 hogares) 21 áreas de censo (773 hogares) X Cuasi-Experimental con datos de panel Ingreso y Empleo Encuesta Permanente de Hogares año 2001 y 2002 1. Inscripción asignación aleatoria de áreas de Encuesta de base. Nicaragua Jefes y Jefas de Hogares.854 primer seguimiento. Argentina Empleo en Acción. Colombia25 : Fuente : Elaboración propia a partir de Rawling y Rubio (2003) 25 Los tamaños maestrales son los considerados en la presentación “Avance de la Evaluación de Impacto del Programa Empleo en Acción”. . Evaluación de consumo. 3.534 línea base. 3.836 línea base.111 primer 3. Julio 2002. 4. ingreso y empleo Encuestas a beneficiarios. Patrones censo en grupo de tratamiento y de seguimiento. cobertura y abandono). de Álvaro Reyes.713 año 2002 679 año 2001 3.222 año 2001 X X Cuasi-Experimental con datos longitudinales Consumo del Hogar.092 año 2002 1. inscritos no beneficiarios y personas del control área de tratamiento 4.

En los casos de México. se utilizan grupos de comparación de no participantes pareados (“matched”). PETI y Bolsa Alimentaçao (Morris et al. Por su lado. la evaluación de PROGRESA examina el impacto sobre trabajo infantil estudiando los cambios en la asignación de tiempo de los miembros de la familia. las localidades se asignaron aleatoriamente en grupos de tratamiento y de control. las evaluaciones incluyen mediciones de peso y estatura. ya que existió un grupo pequeño de municipalidades en las que se comenzó por anticipado. para analizar la diferencia para los participantes en un indicador de impacto o de resultados versus el valor contrafactual para los participantes en ausencia del programa. En el caso de Nicaragua la aleatorización se hizo usando áreas del censo. Los patrones de consumo son el objeto de la evaluación en el caso de la Red de Protección Social de Nicaragua. que serán utilizados luego para la evaluación del programa. En el caso de Honduras la aleatoriazación fue implementada a nivel municipal seleccionando las municipalidades usando para estos efectos datos del Censo de Altura Escolar. Siguiendo la práctica común en la literatura de evaluación. 31 . En contraste a los otros programas. la evaluación del programa PETI de Brasil evalúa la disminución del empleo infantil analizando indicadores tales como la participación de niños en la fuerza laboral. El caso del Programa Bolsa Alimentaçao. En el caso del Programa colombiano Familias en Acción. estado nutricional. En relación a variables de impacto o de resultados usados en el caso de educación. por lo que la confiabilidad de estos métodos depende crucialmente de si los grupos de comparación tienen características similares a los participantes en la ausencia del programa. 2003) siguieron un diseño cuasi-experimental. es posible tener una visión preliminar utilizando la peculiar manera en la que el programa comenzó. La otra aparente diferencia entre el grupo beneficiario y el de control es que los niños excluidos tienen doble probabilidad de pertenecer a familias que reciben una segunda transferencia federal de dinero de magnitud similar pero no condicionada a contacto con el sistema de salud (Programa Bolsa Escola). En consecuencia los resultados serán preliminares. por lo que podrían haber anticipado sus beneficios. se dispone únicamente de un trabajo preliminar (Attanasio et al (2003a)) en el que los autores discuten aspectos relacionados a la encuesta de datos de base (antes de implementación del programa). Sin embargo. Aunque no es un objetivo explícito del programa. Hacia diciembre de 2000. incidencia de ciertas enfermedades y mortalidad infantil y maternal. número de horas trabajadas y empleo en actividades riesgosas. consumo de calorías. Las localidades de tratamiento son las que entraron al programa en noviembre de 1997. (2003) los “accidentes” se vinculan a errores administrativos que en opinión de los autores pueden considerarse aleatorios a los efectos de la evaluación. Honduras y Nicaragua se usaron un diseño experimental. En salud y nutrición. 26 Como lo señalan Morris et al. No es posible utilizar por definición esta encuesta para realizar una evaluación de impacto. mientras que las localidades de control fueron programadas para ingresar en fases posteriores.CEPAL .SERIE Manuales N°47 Las evaluaciones de impacto utilizan predominantemente evaluaciones cuasi-experimentales y experimentales a nivel de personas y de comunas. utiliza como grupo de control a grupos familiares similares que fueron seleccionados para el mismo beneficio pero que accidentalmente26 fueron excluidos. En PROGRESA. Los programas PRAF II (Honduras) y PROGRESA (México) van más allá de estos indicadores y tratan de medir cambios en indicadores de impacto tales como resultados en pruebas promedio. las evaluaciones en general incluyen análisis de los cambios en las tasas de inscripción y asistencia a las escuelas y en algunos casos también analizan cambios en tasas de promoción y repetición de años. las localidades de control comenzaron a recibir los beneficios también. Behrman (2001) sugiere que puede haber existido cierta contaminación en los resultados ya que los grupos de comparación conocían que ellos iban a ser beneficiarios en el futuro.

Galasso y Ravillion (2003) evalúan el programa Jefes y Jefas de Hogar de Argentina comparando el impacto del programa entre una muestra de beneficiarios y un grupo de comparación de no participantes. el piloto RPS en Nicaragua.1 puntos porcentuales sobre la tasa de asistencia escolar para hombres y de 1. Finalmente. El Programa Familias en Acción de Colombia ya cuenta con el primer informe de las encuestas a nivel de hogar que se han realizado para obtener información del año base antes de iniciar la aplicación del programa. Cuando se consideran los resultados sobre la oferta laboral femenina en conjunto el aumento en la tasa de inscripción en la escuela se estima que las mujeres están trabajando más de manera de compensar el ingreso perdido por tener a los niños en las escuelas y 32 . para reducir el sesgo de selección debido a no observables los autores explotan una submuestra del panel de hogares entrevistados en la línea base (octubre del 2001) y después del programa (octubre 2002) para obtener estimaciones de diferencias en diferencias. En lo que respecta a educación los resultados de estas evaluaciones sugieren un efecto positivo sobre la asistencia escolar.5 para mujeres. Estos últimos son obtenidos de aquellos individuos que postularon al programa pero que no lo han recibido al momento de la evaluación. los efectos sobre asistencia escolar fueron menos pronunciados. Estudios cualitativos también se utilizaron para complementar las evaluaciones de impacto en Nicaragua. obtener una muestra de este grupo tiene la ventaja de que ellos han indicado su preferencia hacia la participación en el programa. En Colombia. Asimismo. sin embargo. la evaluación preliminar de Familias en Acción en Colombia. el autor ha tenido acceso a evaluaciones preliminares realizadas por la empresa consultora que se encuentra evaluando el programa “Empleo en Acción”.7 y 1. Los resultados obtenidos por PROGRESA en México sugieren impactos en enseñanza básica entre 0. la evaluación preliminar (Atanasio et al (2003a)) concluye que “Familias en Acción” ha influenciado positivamente la tasa de inscripción en la escuela de los niños entre 14 a 17 años en las áreas que comenzaron el programa con anticipación. oferta de trabajo e ingreso. y los aspectos de salud y nutrición del PRAF de Honduras. Las variables evaluadas consisten en el consumo de los hogares.Evaluación del impacto Las evaluaciones usan las Encuestas de Hogares como una base importante de información para su recolección. Se usaron también encuestas de diagnóstico en escuelas y centros de salud en el caso de Honduras y en el caso de México. En el caso de la enseñanza secundaria. PETI y Bolsa Alimentaçao en Brasil. Las variables de impacto evaluadas corresponden a ingreso y empleo. Sin embargo. las que incluyeron tanto un estudio de las percepciones del impacto social del programa como un estudio de las percepciones de los mecanismos posibles de usar para disminuir la pobreza. revelando parcialmente factores no observados que influencian la participación. pero este efecto no es significativo. se ha observado un efecto positivo del programa en la oferta laboral femenina en áreas urbanas. De acuerdo a los autores. los cuales reportan indicadores de “difference in difference” usando estimadores de matching y el método de variables instrumentales. los impactos del programa en la oferta laboral de los niños no son significativamente distintos de cero.0 a 1. la cobertura de educación se incrementa desde un 73% antes de PROGRESA hasta un nivel entre 77%-79% para los hombres y desde 67% hasta un nivel entre 74%-76% para las mujeres. Resultados e Impacto Programas Centrados en Pobreza Estructural Los resultados de evaluación están disponibles para PROGRESA en México (en varios estudios). En el caso de la Red de Protección Social de Nicaragua la inscripción escolar se incrementa desde un 69% antes del programa hasta un 91% post programa. Los autores utilizan estimadores de “matching” de corte transversal para controlar por heterogeneidad observable.

En el caso de PROGRESA la probabilidad de trabajar se redujo entre un 10-14%. El monitoreo del crecimiento aumentó significativamente en ambos 2001 y 2002. 6 meses después que los individuos comenzaron a recibir los beneficios. Como existe evidencia que el programa ha aumentado la disponibilidad de alimento 33 . también disminuyó la probabilidad de niños trabajando en actividades de alto riesgo. En Brasil la evaluación muestra que. el programa no ha tenido éxito en mejorar esta grave situación. con un mayor impacto en el grupo de hombres entre 12 y 13 años.CEPAL . aunque no se ha encontrado un impacto significativo en la probabilidad de malnutrición. Además PETI. Esto sugiere que los incentivos de la demanda pueden tener un importante rol en acelerar cambios de conducta. Además. Adicionalmente. menor a la de los niños de hogares no beneficiarios. Otro resultado interesante es que.7 veces más rápida a la registrada a nivel nacional entre 1998 y 2001. que tiene la mayor participación de niños en la fuerza laboral en Brasil. En el caso de PROGRESA los resultados sugieren un efecto positivo sobre los controles del nivel de nutrición. El caso del Programa brasileño Bolsa Alimentaçao es significativamente diferente (Morris et al. Se verifica además que la combinación de una mejor dieta en el hogar y mejores servicios de salud para los niños se han combinado para mejorar el estado nutricional de los beneficiarios menores a 5 años. en comparación a niños no participantes en el programa. Sin embargo. En cuanto a los objetivos de nutrición y salud. De todas maneras el programa es menos exitoso en limitar la probabilidad de trabajar 10 horas o más. aunque 1 cada 3 niños en el área donde RPS opera presentan anemia. como se mide por la relación entre el peso del niño y el peso medio de la población de referencia. ya que el único impacto significativo encontrado es una disminución de la probabilidad de sufrir diarrea en niños urbanos. El impacto neto fue una disminución de 5 puntos porcentuales en el porcentaje de niños con altos problemas nutricionales. (2003)). como resultado de participar en el programa PETI. la vacunación de niños no mejoró significativamente en estos años.SERIE Manuales N°47 que finalmente el programa en evaluaciones posteriores presentará un efecto significativo de disminución de la oferta laboral infantil. la probabilidad de trabajar cayó entre 4-7 puntos porcentuales en Pernambuco. Controlando por la única fuente de sesgo del grupo de control (mayor participación en el Programa Bolsa Escola) se encuentra que. un impacto altamente significativo se encontró sobre la asistencia a chequeos médicos de los niños entre 0 y 6 años. De todas maneras. cerca de 13 puntos porcentuales en Sergipe y aproximadamente 26 puntos porcentuales en Bahía. los niños de hogares beneficiarios tienen en promedio una ganancia de peso por mes 31gr. Colombia también muestra resultados generales positivos. aparentemente los programas han tenido resultados efectivos sobre estas variables. es decir un impacto negativo del programa. El status nutricional de los niños rurales de 0 a 6 años ha mejorado. aún cuando los programas de actividades en horarios post escuela estaban disponibles para todos los hogares en las municipalidades. el impacto del programa en la morbilidad infantil no es claro. Esta caída es 1. RPS ha sido exitoso en distribuir suplementos de hierro a madres de niños entre 6-59 meses durante los 2 años de operación del programa. Se estima un efecto positivo y marginalmente significativo del programa en la probabilidad de asistir a una charla acerca del tratamiento de la diarrea en el área urbana. Finalmente. En el caso de la Red de Protección Social de Nicaragua se observó un aumento en los controles de nutrición en los niños en las áreas de control del programa en comparación con el grado de control en las áreas sin cobertura del programa. sólo los niños en hogares que recibieron la transferencia de ingreso estuvieron significativamente más tiempo en la escuela. Un elemento positivo es sobre la probabilidad de trabajar en la población objetivo de estos programas. el impacto del programa parece encontrarse predominantemente en la parte urbana. una menor incidencia de enfermedades y en la adscripción a los programas de vacunación. Por otra parte en el caso de mujeres. la disminución en la probabilidad de problemas nutricionales. Durante 2002 (Maluccio et al (2003)) indican que el impacto positivo sobre la salud decreció debido a una mejora continua en el grupo de control.

seguidos de los costos asociados a condicionar la recepción de transferencias (26%). La vacunación de los niños ha sido más oportuna y el monitoreo en este sentido ha aumentado significativamente. un rol de administración de riesgo digno de mayor análisis. vegetales y productos animales. pero no ha tenido efecto sobre chequeos postnatales de las madres. 34 . Para el programa PROGRESA en México. El aumento en consumo de los hogares es en su mayoría llevado por los mayores gastos en frutas. estimación que es cerca de la mitad de lo que había sido estimado en evaluaciones anteriores. De hecho resultados relacionados a tests de anemia fueron contrarios a los que se esperarían y el proyecto no pudo trabajar como una red de seguridad social cuando se produjo la crisis del café y el estado de los niños se deterioró. Los costos administrativos de llevar las transferencias a los hogares son pequeños relativos a los costos de programas mexicanos previos. el programa fue efectivo para proteger a la población de la extrema pobreza ya que un 10% de los participantes habrían caído bajo la línea de indigencia sin el programa. no se ha encontrado evidencia de impacto nutricional luego de dos años de implementación. la evaluación reveló que las inversiones en programas de transferencias condicionales son entregadas en una manera costo-efectiva.9 son absorbidos por costos administrativos. Los componentes más importantes son los costos asociados a la selección de hogares (30%).Evaluación del impacto nutritivo en los hogares. el consumo promedio de un hogar de PROGRESA aumentó en 14% y los gastos en alimentos luego de 1 año de operación del programa eran 11% mayores en comparación a hogares fuera del programa. Es más. Además se ha verificado que los niveles de deficiencia de hierro continúan siendo muy altos. los autores atribuyen el impacto negativo en el desarrollo de los niños a un efecto de incentivos: muchas madres creyeron que su participación en el programa se debía a que sus hijos tenían peso por debajo del normal y entonces comprendieron que los beneficios cesarían en caso que los niños aumentaran de peso. En México. El impacto neto se traduce en 19% de aumento en el consumo per cápita y sugiere que los programas de transferencias condicionales pueden ayudar a que los más pobres protejan su consumo en tiempos de crisis. supuesto que Galasso y Ravillion no utilizan. Desde otro punto de vista.5 puntos porcentuales. los resultados preliminares (Flores et al (2003)) indican tanto aspectos positivos como negativos. evidenciándose que el gasto en casi todo tipo de alimento ha crecido con el programa. La adquisición caloría promedio en hogares en PROGRESA aumentó en 7. El programa permitió que 2% adicional de la población pudiera financiar la canasta alimenticia contenida en la línea de pobreza. De todas maneras debe tenerse en cuenta que el estudio se ha realizado sobre un grupo de municipios piloto para los que se dispuso de resultados hacia fines de 2001 y que no resulta factible afirmar que los resultados son válidos para todo el programa. Por otro lado. los hogares en el grupo de control experimentaron una disminución en su gasto promedio de consumo.8%. La principal razón es que las otras evaluaciones suponían que todos los jefes o jefas de hogar estaban desempleados. los niveles de consumo han mejorado como resultado de participar en estos programas. El programa tuvo un efecto pequeño sobre el nivel general de la tasa de pobreza. durante 2002. mientras que el gasto promedio para hogares en el programa RPS no sufrió disminuciones. mayoritariamente debido a los bajos precios del café y sequías. aunque el efecto fue mayor sobre la incidencia de pobreza extrema. Entre los resultados de la evaluación se indica que proveer transferencias de dinero a hondureños pobres condicional que concurran a atención médica preventiva ha tenido un amplio impacto en la utilización de atención médica prenatal y en monitoreo de los niños. De cada 100 pesos mexicanos asignados al programa 8. En Nicaragua durante 2001. Respecto de la evaluación del PRAF hondureño. Programas para Tiempos de Crisis En la evaluación del programa Jefes y Jefas de Hogares Galasso y Ravillion (2003) obtuvieron que el programa redujo la tasa de desempleo en alrededor de 2. como lo señalan Maluccio et al (2003) los gastos adicionales que han realizado los beneficiarios como resultado de las transferencias son predominantemente en alimentos. a su vez.

no ha respondido preguntas claves tales como: ¿se benefician las comunidades por las obras realizadas? o ¿tiene el programa algún efecto positivo de largo plazo sobre la probabilidad de empleo. para las mujeres. Los primeros tienen como objetivo reducir la pobreza futura apuntando básicamente a mejorar el capital humano mediante transferencias a condición de que los beneficiarios inviertan en capital humano. Con respecto al programa “Empleo en Acción” de Colombia si bien los resultados son preliminares es importante mencionar algunos resultados cualitativos obtenidos de la línea base: para los hombres la media jornada que utiliza el programa representa una subutilización de sus capacidades. Aunque la focalización del programa fue mejor que la obtenida en el programa social promedio en Argentina. apuntan a reducir los riesgos de profundización de la pobreza coyuntural debido a crisis macroeconómicas que afectan de manera pro cíclica al empleo y. para los jóvenes (menores de 25 años) y para las mujeres. A su vez. la evaluación . Los segundos. el programa en el corto plazo no ha desplazado la realización de otras actividades productivas de mercado. sobre el empleo (horas de trabajo por semana) tanto para todos los beneficiarios. El requerimiento de trabajar algunas horas ayudó para obtener en parte una mejor focalización. dado su objetivo. De esta manera estos apuntan a proteger los estándares de vida de las familias más afectadas por las crisis. el programa ayudó a los participantes quienes hubieran sufrido una caída apreciable de sus ingresos en ausencia del programa. Un mayor control de este requisito y de los criterios de elegibilidad ayudaría notablemente en alcanzar una mejor focalización. y sobre los ingresos laborales para todos los beneficiarios. Por su parte. Por otra parte. sin embargo se diferencian en términos de sus objetivos y de sus beneficiarios. en cambio. los programas de empleo de emergencia se centran en familias donde el jefe del hogar está desempleado. Ambos programas difieren en los criterios de elegibilidad. y para los adultos mayores es una oportunidad de tener ingresos y sobre todo de sentirse útiles y salir de su soledad. En ambos tipos de programas la focalización puede ser geográfica. a pesar de que la implementación real difirió del diseño original. además del ingreso. el programa parece haber contribuido a la protección social durante el período de crisis. Sin embargo. Los primeros se basan en “Mean Tests” basados en los ingresos de las familias o en “Score Tests” basados. sobre el consumo y sobre el ingreso para sus beneficiarios? Programas enfocados a solucionar situaciones de pobreza estructural y programas diseñados para tiempos de crisis: ¿complementos? Es importante mencionar que ambos tipos de programas pertenecen a las Redes de Protección Social (Safety Nets). a los ingresos corrientes. por tanto. los programas de empleo de emergencia basan los criterios de elegibilidad en si el jefe de hogar está o no desempleado.aún en su fase de realización . según el programa.SERIE Manuales N°47 En la opinión de los autores. se centran en familias pobres con niños desde que son recién nacidos hasta en edad escolar. 35 . pero aspiran a un trabajo más calificado acorde con su grado de preparación. Sus beneficiarios son. se obtuvieron impactos de corto plazo significativos sobre el consumo (de alimentos y de servicios) tanto para todos los hogares como para hogares con jefe de hogar femenino. para los jóvenes el programa representa una oportunidad de vincularse al mercado laboral y de ganar experiencia. A nivel cuantitativo y a pesar que el programa debiera ser juzgado por sus efectos de largo plazo. aún estuvo lejos del ideal. la diferencia radica en que los programas de transferencias condicionales estructurales. según si el programa es de salud y/o de educación. en otras variables que miden el estándar de vida de la familia y tienen como requisito contar niños recién nacidos hasta en edad escolar. personas desempleadas. por tanto.CEPAL . para personas hasta 25 años de edad y para mujeres. No obstante. se adapta muy bien con sus responsabilidades en el cuidado de los niños y el trabajo doméstico.

Los programas de transferencias condicionales además de reducir la pobreza futura. estos programas tienen la capacidad institucional y financiera para ajustarse y satisfacer las necesidades que requiere el manejo de una crisis. Por su propia constitución en períodos de recesión. se debieran tener estos programas de transferencias condicionadas establecidos dentro de la red de protección social. al realizar transferencias de dinero a las familias pobres hoy. sin embargo es difícil contar con la nueva información de manera oportuna. de la capacidad de cambiar el marco legal que rige al programa y su reglamentación por un lado. lo cual hace que los efectos del programa sobre la protección de los pobres actuales no sean del todo efectivos. sin embargo los beneficiarios de éstas difieren: en el caso de los programas de transferencias condicionales los beneficiarios son los niños dado que se apunta a mejorar los estándares de vida de ellos en el futuro. donde el jefe del hogar está desempleado y 36 . A su vez. estos programas ayudan a aliviar la pobreza de los pobres crónicos y de aquellos que sufren de los efectos de shocks no económicos. En ambos casos. las transferencias son recibidas por los adultos del hogar. que permita aplicar el plan contingente a tiempos de crisis en cualquier momento en que ésta se presente. y de la capacidad operativa de los entes ejecutores y de monitoreo del programa. los programas de crisis no disponen de tiempo para recolectar información de beneficiarios y este aspecto puede determinar el fracaso del programa. ellas surgen a partir de que los programas de empleo de emergencia. por tanto. sirven como potencial protección o amortiguador de los efectos de shocks macroeconómicos que reduzcan los ingresos de esas familias. dada la nueva coyuntura de crisis muchas personas o familias que no eran elegibles en tiempos anteriores a la crisis pueden ser verdaderamente elegibles en la nueva coyuntura. para que sí funcionen de acuerdo a lo que se espera es necesario disponer de un apropiado sistema permanente de información. por tanto. Así. Una característica de ambos tipos de programas es que recurren a incentivos de mercado por medio de intervenciones por el lado de la demanda que ofrecen apoyo directo a los beneficiarios y constituyen así.Evaluación del impacto adicionando algunos el requisito de tener niños menores de 18 años o discapacitados (por ejemplo. Durante los tiempos de recesión. Idealmente. si bien no aseguran el cumplimiento de los objetivos de los programas de transferencias condicionales. mientras que en los programas de empleo de emergencia los beneficiarios son el jefe del hogar y. la familia entera. es decir. Por ejemplo. que puedan ser acomodados para crecer en tiempos de crisis. dado que se apunta a mantener los estándares de vida de las familias más afectadas con las crisis coyunturales y así no permitir que la pobreza actual se profundice. indirectamente apoyan los ingresos corrientes de estas familias y. ellos no tienen un gran alcance en términos de beneficiarios para los tiempos de crisis debido a que no están diseñados con este propósito. un shock adverso que incremente el desempleo drásticamente puede llevar a cambiar la decisión de una familia pobre. un distanciamiento de los tradicionales mecanismos que operaban por el lado de la oferta. Sin embargo. En consecuencia. Para ello. Durante los tiempos de prosperidad. fichas de caracterización socioeconómicos o en censos. Estos programas no pueden ser expandidos rápidamente en tiempos de crisis. el programa jefes y jefas de hogar de Argentina). por lo menos pueden reducir los riesgos de que estos no se cumplan. los programas deben ser capaces de readaptarse de manera permanente. para proteger efectivamente a los pobres de las consecuencias adversas de las crisis sin comprometer los objetivos de largo plazo. para que los programas puedan ser adaptados para responder a shocks agregados requieren de una gran capacidad institucional y operacional. aunque en algunos casos estos deben mantenerse para asegurar la viabilidad de estos programas. debido principalmente a que son intensivos en información sobre los beneficiarios al requerir la conformación de puntajes de calificación (ya sea de Mean Test o Score Test) basados en encuestas de hogares. por otra. En cuanto a las complementariedades entre ambos tipos de programas.

sin necesariamente cerrar la posibilidad de que diferentes beneficiarios se encuentren dentro de una misma familia. Así. incluyendo los materiales educativos. sin experiencia laboral o ésta sea escasa. ya que el retorno en términos de ingreso de tenerlos trabajando en el mercado puede ser mayor que los beneficios o transferencias del programa por tenerlos en la escuela. Cinterfor (1998). a través de instituciones de capacitación. puede ser políticamente y financieramente inviable ya que por una parte. Se ha fijado como meta brindar capacitación a 280. Otra complementariedad entre ambos tipos de programas que amplía el argumento anterior. 5 Programas de capacitación y empleo de jóvenes en América Latina27 5. El desarrollo de los cursos comprende dos etapas: 27 Esta sección esta basada en Aedo (2001). materiales de consumo.000 a jóvenes focalizados según las condiciones siguientes: Edad mínima de 16 años. que cada uno de los programas debe ser en si mismo efectivo y no depender para su eficiencia de la existencia de otros programas. Inició su ejecución en todo el país en 1994.SERIE Manuales N°47 sin percibir ingresos. En mi opinión. el Proyecto alienta el trabajo conjunto de empresarios y capacitadores en la definición de los perfiles ocupacionales requeridos y en el diseño de la propuesta pedagógica. su nivel de instrucción no supere el secundario completo. Aedo y Núñez (2001). es que al cubrir grupos vulnerables distintos. sin empleo o subocupados. Con el fin de que la capacitación ofrecida responda a demandas concretas del sector productivo. los programas de transferencias condicionales de ingreso deben ser priorizados dado el agudo problema que significa la pobreza en nuestros países. Se reconoce que mantener ambos tipos de programas dentro de una red de protección social. dada la coyuntura adversa. sin embargo. 37 .1 Los programas Argentina: Proyecto Joven "Proyecto Joven" es un programa financiado y ejecutado por el Estado Nacional argentino. revisión médica previa de cada uno y cobertura de un seguro por accidente durante la etapa de pasantía. se constituyen en una forma efectiva y amplia de atacar el problema de la pobreza tomando en cuenta. sin embargo las restricciones de recursos públicos puede hacer que esto sea muy difícil de lograr en la práctica. de mantener a su o sus hijos en el programa de transferencia de ingreso condicional. traslados. Los cursos son totalmente gratuitos. Además. herramientas. Robles y Saavedra (2002). elementos de seguridad e higiene u otros aspectos necesarios para la capacitación. los gobiernos de turno buscan resultados inmediatos y por otra parte. los recursos son escasos. Periódicamente Proyecto Joven convoca a las instituciones de capacitación a participar de concursos públicos para la contratación de los cursos en todo el país. Las mujeres con hijos menores reciben un subsidio adicional.CEPAL . brindando capacitación intensiva e integral para ocupaciones con demanda real en el sector productivo y la oportunidad de realizar una práctica laboral en el ámbito de la empresa. Lo ideal sería contar con ambos tipos de programas dentro de una red de protección social efectiva. Cinterfor (1999) y Ñopo. pertenecientes a sectores de escasos recursos. un programa de empleo de emergencia que pueda proteger los ingresos laborales del jefe del hogar puede eliminar la posibilidad de este cambio de decisión por parte de la familia. Su objetivo fue mejorar las posibilidades de inserción laboral de estos jóvenes. otorga a los beneficiarios una beca por día de asistencia en concepto de movilidad y refrigerio.

a través de licitaciones públicas. el programa es financiado con un préstamo el BID. cooperativo o sin ánimo de lucro. cuyo objetivo es invitar a todas las instituciones y los establecimientos educativos públicos. Las ECC que quieran licitar. con el fin de que las EEC tengan injerencia en la selección final. a través del Servicio Nacional de Aprendizaje (SENA). solidario. La UCC efectúa la evaluación de la información reportada por los establecimientos en relación a capacidad administrativa. privados o mixtos de carácter comunitario. técnica. Los beneficiarios cuentan con un apoyo de manutención mensual durante su vinculación al programa. Se exige que los contactos sean previos a la presentación de la propuesta y exista un compromiso comprobable de la admisión de los estudiantes en las EP. aumentar el nivel de ingresos de la población objetivo. Su objetivo general es habilitar laboralmente jóvenes entre 17 y 25 años en situación de pobreza extrema que se encuentren desempleados y no hayan terminado educación secundaria. de acuerdo con los pliegos de condiciones y presenta el informe al Comité Coordinador. Su contratación se realiza por medio de licitación pública. favorecer el desarrollo de hábitos de trabajo y reforzar las competencias necesarias para resolver situaciones cotidianas del mundo laboral. destrezas y habilidades técnicas para el desempeño de la ocupación. en las cuales puedan aplicar los conocimientos adquiridos. complementar la estrategia de "Cadena de Formación del SENA" y estimular la oferta de capacitación. Las EEC son las encargadas de llevar a cabo la selección final de los estudiantes y de proponer los cursos y las EP. A partir de esa fecha es solo la Red la que firma dichos contratos. financiera y experiencia. la Red de Solidaridad Social y el SENA contrataban a las Entidades Ejecutoras de Capacitación (EEC). 38 . Hasta Octubre de 1996. equivalente a medio salario mínimo vigente. se establecen contactos para vincular a los beneficiarios a empresas de práctica laboral (EP). Como un componente del Programa de Generación de Empleo Urbano. por un tiempo igual al dedicado a la capacitación y como parte del programa. La duración de esta fase oscila entre 6 y 12 semanas. Sus objetivos específicos son: Incrementar la posibilidad de inserción laboral. que aspiren a dictar los cursos de capacitación del componente. También se contemplan en esta etapa contenidos de apoyo y orientación para la búsqueda de empleo. Su duración es de 8 semanas. Los beneficiarios son seleccionados y acreditados por las alcaldías en un número mayor al que se seleccionará finalmente. Cada componente dura aproximadamente 3 meses. en ocupaciones para las que exista evidencia de demanda por parte de los sectores productivos. apoyar el proceso de apertura y mejoramiento de la competitividad.Evaluación del impacto Fase de capacitación: Busca la adquisición de los conocimientos. nacionales o provenientes de los países miembros del BID. desarrollando las tareas principales de la ocupación para la que han sido capacitados. Fase de pasantía: experiencia en un ámbito laboral real. Por intermedio de la EEC contratadas para impartir capacitación a los jóvenes. impartiendo formación a nivel de mano de obra semicalificada. Colombia: Programa de Capacitación Laboral para Jóvenes El "Programa de Capacitación Laboral para Jóvenes" es ejecutado por la Red de Solidaridad Social. La Red de Solidaridad y el SENA invitan a presentar las propuestas a los establecimientos inscritos en este registro. Se desarrollan cursos de capacitación con dos componentes: teoría y práctica laboral o pasantía. Incluye jornadas periódicas de seguimiento coordinadas por el docente que tuvo a su cargo la fase de capacitación y con la participación de todos los beneficiarios del curso. previamente se deben inscribir en el Registro de Entidades Ejecutoras de Capacitación (REEC). que son instituciones capacitadoras diferentes al SENA. que actúa como organismo subejecutor de segundo piso.

como mínimo. Su ejecución alcanza a cubrir entre 1. se puso en funcionamiento el Programa de Capacitación e Inserción Laboral para Jóvenes. asumiendo el pago de una subvención económica equivalente. busca desarrollar habilidades y destrezas vinculadas a los aspectos técnicos del oficio. Su objetivo general es apoyar a los jóvenes de los sectores de menores ingresos para que puedan mejorar sus posibilidades y oportunidades de inserción laboral mediante procesos de 39 . con escasa o nula experiencia laboral y que se encuentren desempleados o subempleados.000 beneficiarios a lo largo de un período de cinco años. empleadores y gobierno) que funciona en la órbita del Ministerio de Trabajo y Seguridad Social. con bajo nivel de instrucción. La capacitación es totalmente gratuita.CEPAL . La fase de formación técnica. y que atendió a 4. Además los beneficiarios reciben de ProJoven un estipendio mensual para gastos de movilidad y alimentación y cobertura de seguro médico (durante la fase de práctica laboral estos beneficios pagados por la empresa de práctica). implica la suscripción de un Convenio de Formación Laboral Juvenil. En el caso de mujeres con hijos otorga un subsidio adicional por cada niño menor de cinco años. Su objetivo es elevar la inserción de los jóvenes pobres en el mercado de trabajo. La fase de práctica laboral. es ejecutado por el Ministerio de Trabajo y Promoción Social. Junto con cada oferta exige "cartas de intención" suscritas por las empresas que ofrecen prácticas laborales. a través del Viceministerio de Promoción Social. PROJOVEN. que pueden ser públicas o privadas. a nivel de semicalificación. Se financia con recursos aportados por trabajadores y empresarios del sector privado al Fondo de Reconversión Laboral que administra la JUNAE (Junta Nacional de Empleo).500 jóvenes al año. ProJoven selecciona y contrata los cursos de entre las ofertas presentadas por las "Entidades de Capacitación" (ECAP).090 jóvenes entre 1995 y 1996. La gestión está a cargo de una Unidad Coordinadora del Programa (UCP) con sede en el Instituto Nacional de la Juventud. en el marco de un acuerdo interinstitucional de los Ministerios de Educación y Cultura (representado por el Instituto Nacional de la Juventud) y de Trabajo y Seguridad Social (representado por la Dirección Nacional de Empleo). La selección de cursos se establece en función de criterios de calidad técnica y precio. inscritas en un registro de entidades precalificadas que el Proyecto administra para este efecto. un organismo de integración tripartita (representación de trabajadores. a una remuneración mínima vital y un seguro contra accidentes y enfermedades. Los cursos de capacitación comprenden dos fases: una de formación técnica a desarrollarse en las ECAP y otra de práctica laboral a realizarse en empresa. así como el reforzamiento de los hábitos.SERIE Manuales N°47 Perú: Programa de Capacitación Laboral Juvenil ProJoven ProJoven. figura legal que permite a las empresas contratar jóvenes practicantes por un período máximo de 36 meses. Mediante procesos periódicos de licitación pública. Su meta es capacitar a 150. con una duración promedio de tres meses (de 120 a 300 horas) con una asistencia diaria o ínter diaria. El programa está orientado a jóvenes provenientes de hogares de bajos ingresos. Uruguay: PROJOVEN Luego de una experiencia piloto iniciada en 1994. particularmente población joven urbana en situación de marginación. valores y actitudes indispensables para el trabajo. proporcionando capacitación y experiencia laboral a jóvenes de escasos recursos en ocupaciones específicas demandadas por el sector productivo. creado en 1996. que tiene una duración de tres meses como mínimo.200 y 1.

efectivamente articulados con las demandas de recursos humanos detectadas en el mercado de trabajo. Aporta instrumentos y técnicas concretas para la búsqueda de 40 . Se propone fortalecer la cultura laboral de los participantes. cooperar con las empresas en sus procesos de incorporación de jóvenes semicalificados y ofrecerles una primera experiencia laboral. que no hayan completado el segundo ciclo de enseñanza secundaria. muchas veces. El Programa desarrolla tres modalidades de capacitación orientadas a subgrupos de la población objetivo diferentes. Se realiza en cursos eminentemente prácticos cuyos programas se definen. Básicamente los cursos técnicos CT1 se ofrecen a jóvenes con más de 3 o 4 años de educación media completados. con la participación de las empresas del sector donde se desempeñan las ocupaciones para las cuales se capacita. Se busca una participación equitativa por sexo y procedencia geográfica (la capital o fuera de ella). con especial preferencia a quienes han desertado del sistema educativo formal.Evaluación del impacto capacitación laboral. Específicamente el Programa se propone: Fortalecer la articulación entre la capacitación laboral para jóvenes y las exigencias del mercado de empleo. que pertenezcan a hogares de bajos ingresos. los CT2 privilegian a quienes no han culminado el Ciclo Básico (9 años totales de educación) y los CT3 priorizan a quienes se encuentran en situaciones de exclusión extrema o marginación socio-económica. Los requisitos a cumplir por los jóvenes beneficiarios son: Que tengan entre 17 y 24 años (los beneficiarios del Instituto Nacional del Menor y otros organismos públicos de atención a menores en situación de riesgo social pueden participar a partir de los 15 años). informar sobre el mercado de trabajo y apoyar la definición de objetivos educativos y laborales del joven. en diferentes sectores de la economía. Taller de orientación ocupacional y vocacional. Tienen prioridad los jóvenes que son jefes de familia o que tienen hijos a su cargo. que no tengan empleo formal ni estén en seguro de desempleo. La derivación de los participantes a uno de estos tres tipos de cursos se hace a través de entrevistas de selección basadas en un formulario estandarizado. Componentes y número de horas asignado a cada uno de los cursos técnicos Tipo de Curso Capacitación Ocupacional CT1 CT2 CT3 80 a 200 horas de CT 30 a 80 horas de OOV 80 a 200 horas de CT 30 a 80 horas de OOV 150 a 200 horas de CT 50 a 80 horas de OOV --Mínimo de 3 meses y 400 horas Mínimo de 3 meses y 400 horas Módulos Pasantía Laboral en empresas ----150 a 200 horas Capacitación Complementaria Apoyo a la Inserción Laboral 3 meses 3 meses 3 meses Capacitación ocupacional. Los cursos son totalmente gratuitos. Capacitación Técnica en un nivel de semi-calificación. Incluye un sistema de apoyos para la cobertura del servicio de guardería para niños y brinda apoyo odontológico y oftalmológico. Se busca que la currícula apunte al desarrollo de habilidades transversales y la adquisición de competencias polivalentes. tal cual es. apoyar el fortalecimiento de la capacidad de gestión y vinculación con el mundo productivo de las entidades de capacitación que trabajan con la población objetivo. Cada curso se organiza sobre la base de 20 participantes. y que se profundicen los conocimientos del mundo de trabajo formal. El Programa apoya a los beneficiarios con un subsidio para gastos de transporte y alimentación durante la capacitación y el primer mes de pasantía.

Cinterfor (1998). en situación de marginalidad social. Para SENCE. Cinterfor (1999). de forma de facilitar su inserción laboral. A cada ECA se le exige que al menos 9 jóvenes por curso se mantengan ocupados formalmente por más de tres meses en un puesto de trabajo acorde a la capacitación recibida. El módulo cuenta con el apoyo y seguimiento de la institución capacitadora a nivel grupal e individual. el objetivo general del Chile Joven era generar oportunidades de inserción laboral para los jóvenes pertenecientes a familias de bajos ingresos. se desarrolló entre 1991 y 1995. fue contribuir a la integración social (laboral o estudiantil) de jóvenes provenientes de familias pobres. Se dirige a atender a los jóvenes con mayores necesidades de formación. Apoyo a la inserción laboral. En el caso de FOSIS. y aunque estaba proyectada hasta 1998. La primera fue financiada con fondos del Estado de Chile más un crédito del BID. Santiago Consultores Asociados (1999). fue extendida hasta el año 2002. • Estar cesante. SENCE (1996). cuya meta fue dar 70. Generar una oferta técnica de capacitación pertinente con las necesidades del mundo de la empresa.CEPAL . Larrechea y Guzmán (2002). a la vez que atender aspectos como la formación personal y social que resultan determinantes para la empleabilidad. preferentemente. Los objetivos específicos fueron: que los jóvenes participantes generen una actitud positiva hacia el trabajo de manera de alcanzar efectivamente una inserción laboral. Pasantía de formación laboral. Su finalidad es fortalecer aspectos como la lectoescritura y el cálculo. Se propone que los jóvenes desarrollen un aprendizaje práctico en un puesto de trabajo y cuenten con una primera experiencia laboral formal. Los organismos encargados de administrar su ejecución fueron el Servicio Nacional de Capacitación y Empleo (SENCE) y el Fondo de Solidaridad e Inversión Social (FOSIS).000 oportunidades de capacitación en tres años. inactivo o buscando trabajo por primera vez.SERIE Manuales N°47 empleo y para la primera etapa de desempeño laboral y ofrece información sobre las normas de las relaciones laborales y las organizaciones intervinientes. SENCE (1999a) y SENCE (1999b). esta vez íntegramente financiada por el gobierno de Chile. Durante esta etapa los jóvenes reciben viáticos (equivalentes al mínimo líquido de la categoría ocupacional) aportados por la empresa a través de la ECA que supervisa la práctica. se orientó más hacia los requerimientos del sector productivo y la inserción laboral. subempleado. También se han incluido mecanismos de reconocimiento de las reinserciones educativas como resultado adicional de la capacitación. Descripción del programa Chile Joven28 El Programa Chile Joven fue creado en 1991 y su propósito fue capacitar a jóvenes en situación de riesgo social y/o desempleo estructural. Feedback Comunicaciones (1997). Capacitación complementaria. La segunda fase. El Programa ofreció una mezcla de formación en clases y experiencia práctica en firmas y estuvo orientado a la demanda usando instituciones capacitadoras privadas para identificar las oportunidades del mercado. 28 Esta sección esta basada en Aedo (2001). • Tener entre 16 y 24 años. que los jóvenes cuenten con co-mpetencias técnicas en un oficio. en un nivel de semicalificación. El programa se desarrolló en dos fases. SENCE (1997). Los requisitos para ser beneficiario del programa fueron: • Ser joven de escasos recursos. comenzó en 1996. de acuerdo a un plan de aprendizaje definido entre la Entidad de Capacitación (ECA) y las empresas. tuvo como meta capacitar a cien mil jóvenes y dio prioridad a la integración social de los jóvenes. 41 .

de acuerdo a sus intereses. salvo aquella que se imparte en la modalidad vespertina. • Aprendizaje Alternado (AA). • Formación y capacitación laboral (FOSIS). se le informaba de las distintas alternativas de capacitación y. Los subprogramas de Chile Joven El programa constó inicialmente de cuatro subprogramas. tres ejecutadas por SENCE y uno por FOSIS. En la Fase I los subprogramas fueron: • Capacitación y Experiencia Laboral en Empresas (CEL). y se basó en la entrega de financiamiento. a estas instituciones externas. 42 . • Aprendizaje Alternado (AA). vía licitaciones públicas. Si correspondía. En la Fase II los subprogramas fueron: • Capacitación y experiencia laboral en empresas (CEL). donde se les sometía a una breve entrevista social para verificar si cumplían con la definición de beneficiario. los jóvenes interesados debían dirigirse a una Oficina Municipal de Información Laboral (OMIL). El siguiente cuadro muestra la cobertura del programa durante sus años de operación.Evaluación del impacto • No encontrarse cursando ningún tipo de enseñanza formal. las que para participar tuvieron que estar debidamente incorporadas en los registros de SENCE. Tras una campaña pública de difusión del programa. aquí se les inscribía como candidato. • Capacitación para el Trabajo Independiente (TI). Dependiendo del subprograma. donde eran sometidos a un proceso de selección. Cuadro 5 CHILE JOVEN: NÚMERO DE BENEFICIARIOS AL AÑO 2001 Año 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 Total Capacitados 19 055 20 764 27 099 19 962 12 476 18 439 18 504 14 910 4 747 4 260 4 240 164 456 Fuente: Aedo (2001) Mecanismos de operación El programa se ejecutó a través de operadores privados denominados Organismos Técnicos de Capacitación (OTEC). las propuestas de estos organismos debieron incluir “Compromisos de participación” de empresas que comprometieran la recepción de alumnos del Programa. eran derivados al OTEC correspondiente.

El plan de entrenamiento en la empresa se desarrolló en forma paralela al módulo de capacitación y buscó completar la instrucción que recibe el joven en la institución capacitadora. La fase lectiva comprendió un módulo de calificación técnica en el oficio de 200 horas y un módulo de formación para el trabajo de aproximadamente 50 horas. c) Capacitación para el trabajo independiente Modalidad destinada a capacitar como trabajador por cuenta propia. a) Capacitación y experiencia laboral en empresas (CEL) Subprograma destinado a capacitar para un empleo dependiente. El programa subvencionó el 40% del salario mínimo del joven mientras duró su período de aprendizaje. Para ello. etc. incluyendo subsidios. con una duración mínima de 100 horas. b) Aprendizaje alternado Modalidad que alternó la capacitación en un organismo técnico con la efectuada en una empresa. Además. Esta cantidad no incluye costo de oportunidad del participante. los jóvenes dispusieron un seguro contra accidentes personales. excepto si esta última contó con un contrato de trabajo. El primero tuvo por objetivo la actualización de conocimientos básicos para la posterior instrucción. bajo la modalidad de un contrato laboral. uno de capacitación en el oficio con una duración de 80 horas cronológicas y un segundo módulo de capacitación en gestión. la diferencia fue aportada por el empleador. La fase lectiva tuvo dos módulos. que buscó potenciar habilidades sociales y laborales que faciliten la inserción laboral de los jóvenes. Esta cantidad no incluye costo de oportunidad del participante. el joven fue asistido por un maestro guía. La Fase de Asistencia Técnica se inicia al término de la fase lectiva o durante ésta. Constó de una fase lectiva de 250 horas y otra de experiencia laboral por un período mínimo de tres meses. que buscó habilitar al joven para que pueda ejercer su oficio de manera independiente. La suma de los dos componentes mencionados no debió superar las 250 horas. El costo promedio de estos cursos fue de US$1. entregando nociones de cálculo. Ambos componentes tuvieron una duración conjunta máxima de 420 horas. La fase de experiencia laboral tenía dos posibles modalidades: un convenio de práctica laboral o un contrato de trabajo.CEPAL . La alternancia se desarrolló en una proporción de 20% en el organismo de capacitación y 80% en la empresa. El segundo consistió en la propia capacitación técnica. una vez que los beneficiarios elaboren el proyecto y previa vinculación con la red de ayuda que financia el mismo y que hizo posible que los proyectos presentados por los jóvenes se transformen en realidad. El plan de enseñanza relacionada constó de un módulo de preformación y un módulo de capacitación.450 por beneficiario. El costo promedio de estos cursos fue de US$ 750 por beneficiario. incluyendo subsidios. mercado. los cursos impartidos fueron absolutamente gratuitos para los jóvenes beneficiarios. En todos los casos. 43 . Al final de este componente los alumnos debieron elaborar un proyecto a ser financiado por una red de ayuda crediticia. Para cualquier efecto el joven es un trabajador más de la empresa y tiene acceso a todos los beneficios que la ley laboral otorga.SERIE Manuales N°47 • Habilitación para la creación de Microempresas Agrícolas y Forestales. Constó de una fase lectiva y otra de asistencia técnica para la puesta en ejecución de un proyecto. el cual fue un trabajador de la empresa entrenado con anterioridad para tales efectos. Estos cursos constaron de un plan de enseñanza relacionada y un plan de entrenamiento en la empresa. costos. quienes dispusieron además de un subsidio de movilización y colación durante las fases lectiva y experimental del curso.

mientras que la segunda tuvo una orientación mayor hacia la vinculación de la capacitación con los requerimientos del sector productivo y la inserción laboral. Heckman y Smith (1999). 44 . Posterior a la fase de práctica laboral esta modalidad contempló un seguimiento por un período de 6 meses. Debe señalarse que la primera fase dio prioridad a la integración social de los jóvenes. Luego de desarrollar una “idea de proyecto productivo” el organismo capacitador lo vinculó a una Red de Apoyo Crediticio con fines de obtener el financiamiento del proyecto. Heckman. Ichimura y Todd (1998). Paredes y Riveros (1989) y Ravallion (2001). Ichimura. La idea fue capacitar a los jóvenes que desean trabajar por cuenta propia o formar una microempresa. usando propensity scores con el objeto de responder a tres preguntas: i) ¿Tuvo el programa Chile Joven un impacto significativo en los ingresos laborales de los participantes?. Smith y Clements (1997). Heckman y Smith (1998). cuyo objetivo fue apoyar la inserción social de los jóvenes. Ambos componentes sumados debieron alcanzar 250 horas. Este programa constó de varias etapas. una fase lectiva que constó de 200 horas de capacitación en un oficio y 120 horas de formación para el trabajo. Heckman. orientado al desarrollo de actitudes. LaLonde y Smith (1999). y iii) ¿Tuvo el programa un impacto significativo en la probabilidad de los participantes de tener un empleo en el sector formal de la economía? Este artículo utiliza un enfoque cuantitativo de tipo no experimental basado en la metodología de Propensity Scores Matching Estimators presentada por Heckman. Heckman (1992). realizados el año 1997. ii) ¿Tuvo el programa un impacto significativo en la probabilidad de estar empleado de los participantes?. e) Habilitación para la creación de microempresas agrícolas y forestales Subprograma similar al Capacitación para el Trabajo Independiente. d) Formación y capacitación laboral Modalidad orientada a jóvenes con características de mayor marginalidad social. En este subprograma se permitió la participación de personas hasta 35 años. una fase de experiencia laboral protegida en empresas por un período de dos meses. En primer lugar. Heckman y Smith (1997). El curso tuvo una fase lectiva con una capacitación en oficios de 80 horas cronológicas mínimas y de capacitación en gestión de 100 horas mínimas. al término del programa un desenlace estable de los participantes. Ashenfelter y Card (1984). Un 24% de los beneficiarios tuvo edades comprendidas entre 25 u 35 años. en la preparación de este capítulo se han usado: Ashenfelter (1978).2 Las evaluaciones29 Chile Joven Aedo y Pizarro (2004) utilizan la metodología “matching” para estimación de impactos. El desarrollo del proyecto productivo debió efectuarse entre tres y cuatro meses y contar con la asistencia del Organismo Capacitador hasta la primera comercialización. LaLonde (1986). Smith y Todd (1998). Heckman. en la cual se comprometió la vinculación del empresario que los recibió en práctica. 5.Evaluación del impacto Cada organismo capacitador debió presentar una carta compromiso de alguna institución o red de ayuda dispuesta a otorgar un crédito para los jóvenes beneficiarios del programa. conductas y competencias psicosociales que facilitaran. adaptada y aplicada a datos de una muestra de participantes y comparaciones de los cursos correspondientes a dos llamados a licitación del programa Chile Joven. 29 Además de las referencias específicas de cada sección. En segundo lugar. Geo Consultores (1999).

el impacto es especialmente importante entre los varones. para quienes su participación en el programa significó un aumento de más de $ 40. El cuadro 6 muestra los impactos como porcentaje del salario bruto promedio inicial.000 mensuales. Esto puede deberse a la falta de información de ingresos pre programa para una cantidad importante de observaciones.CEPAL . en términos relativos al ingreso inicial. estos resultados son estadísticamente significativos cualquiera sea el método de emparejamiento utilizado. pero superiores a $ 32. no logra resultados robustos para las submuestras que crucen sexo y edad (modelos 6 al 9) ni para las mujeres. Sin embargo.000 por mes. sin embargo. El método Kernel Epanechnikov incorpora más información al utilizar toda la muestra de comparaciones en cada emparejamiento. todos los estimadores muestran un impacto sobre la probabilidad de estar empleado superior a 0. Para las mujeres jóvenes. El menor impacto se da entre los adultos hombres. el método Kernel-Epanechnikov arroja estimadores con mayor significancia estadística. el impacto es mayor para las mujeres. resultados que tienen una alta significancia estadística independientemente del tipo de estimador y del método de emparejamiento usado. el estimador de diferencias en diferencias. Como antes. Los impactos estadísticamente significativos se muestran destacados. cuando se utiliza información de la muestra completa (modelo1). por lo tanto usaremos estos para el análisis de impacto en esta variable. mientras para los hombres jóvenes asciende a entre un 31% y un 32%. 45 . Los estimadores que presentaron mayor significancia estadística fueron los de corte transversal usando el método de emparejamiento Kernel Epanechnikov. es el resultado de significancia estadística más débil. para quienes alcanza entre un 33% y un 35%.21.SERIE Manuales N°47 Impacto sobre ingresos laborales Todos los estimadores de impacto calculados muestran un efecto positivo y estadísticamente significativo sobre los ingresos laborales de los participantes. Cuadro 6 IMPACTOS ESTIMADOS EN INGRESO LABORAL. CORTE TRANSVERSAL (En porciento) Kernel Jóvenes Hombres Mujeres Total 32 35 31 Epanechnikov Adultos 6 21 19 Total 25 28 26 Vecino Jóvenes 31 33 32 más Adultos -2 16 20 próximo Total 22 25 27 Fuente: Aedo y Pizarro (2004) Los mayores impactos se presentan en el grupo de jóvenes. razón por cual se muestran estos resultados en la cuadro 7. En el caso de los adultos. El impacto estimado global es de entre un 26% y un 27%. Impacto estimado en probabilidad de estar ocupado Si se considera el conjunto completo de los participantes. para quienes los resultados están lejos de ser estadísticamente significativos. las celdas destacadas con negrita y fondo señalan impactos estadísticamente significativos. En términos absolutos. En general. que usa sólo una observación de comparación. los resultados son menos concluyentes y no permiten afirmar que exista un efecto sobre los ingresos laborales de los participantes. los impactos son algo menores. utilizando el método de vecino más cercano. Al calcular el impacto para las submuestras.

189 0.181 Diferencias Jóvenes 0. los resultados para los hombres adultos y mujeres adultas por separado no son estadísticamente significativos.143 0.Evaluación del impacto Cuadro 7 IMPACTOS EN PROBABILIDAD DE ESTAR OCUPADO. Programa Joven en Argentina Aedo (2004) evalúa el Proyecto Joven de Argentina.269 en Adultos 0.015 0.177 0.139 0. Nuevamente el método Kernel–Epanechnikov ha producido los estimadores con mayor significancia estadística.180 diferencias Total 0.189 0.272 0.201 sobre la probabilidad de tener un empleo formal.070 0.201 Fuente: Aedo y Pizarro (2004) Es notable que dentro del grupo de jóvenes.175 0.279 en Adultos -0.204 Total 0.268 0.231 0.160 0.126 0. Dependiendo del tipo de estimador.305 0.190 Transversal Adultos 0. Cuadro 8 IMPACTOS EN PROBABILIDAD DE EMPLEO FORMAL.181 y 0.270 Transversal Adultos 0. El artículo intenta responder las siguientes preguntas: ¿Incrementan los programas de entrenamiento los ingresos laborales de sus beneficiarios? ¿Incrementan los programas de entrenamiento la probabilidad de empleo en sus beneficiarios? ¿Cuál es el efecto diferencial sobre las variables de resultado (ingreso laboral y probabilidad de empleo) que tienen diferentes elecciones de los beneficiarios en términos de tipos de entrenamiento? ¿Cuál es la tasa de retorno por dólar gastado en entrenamiento? 46 .211 0. cuyos valores se muestran en el cuadro 8. que va de 18 a 20. es para los jóvenes para quienes los efectos son mayores y la significancia estadística es más alta. especialmente de los hombres.188 0. pero en todo caso.148 0.344 0. los impactos estimados oscilan aproximadamente entre 26 y 30 puntos porcentuales. KERNEL-EPANECHNIKOV Corte Jóvenes Hombres Mujeres Total 0. al igual que en los casos anteriores los resultados son mucho menos robustos en el caso de los adultos. Aunque se obtiene un impacto estimado significativo para los adultos en conjunto. el impacto sobre la probabilidad de que el empleo sea formal es mayor para los hombres. Impacto estimado en formalidad Si bien los resultados para el total de participantes tomados en conjunto.4 puntos porcentuales.174 0. muestra un impacto estadísticamente significativo de entre 0.201 0. KERNEL-EPANECHNIKOV I Hombres Mujeres Total Corte Jóvenes 0.221 0.190 0.216 Fuente: Aedo y Pizarro (2004) Similarmente a lo ocurrido en el caso de los ingresos laborales.136 Diferencias Total 0. cambia el orden de magnitud de los impactos entre hombres y mujeres.174 Total 0.217 Diferencias Jóvenes 0.293 0.228 0.

76) $19 (9.1252 (0.0251 (0.029) Mujeres Jóvenes 0.35) $28 (8.95) $18 (11.3 (13.0153 (0.19) $30 (8.55) Mujeres Jóvenes $24 (10.093) 0.64) $20 (12.0357 (0.67) $0. Para este grupo los resultados no fueron sensibles al número de vecinos cercanos usados.1277 (0.032) 0.75) $17 (11. lo probable es que este resultado se deba a diferencias de mercado para los diferentes grupos. se usó información contenida en una base de datos para 3.0323 (0.048) -0.049) -0.0137 (0.38) Todos $18 $17 $18 $18 Fuente: Aedo (2004) *Desviaciones estándar estimadas de acuerdo a Bootstrapping se presentan entre paréntesis.0392 0.035) 0.0295 (0.90) -$5.0293 (0.039) 0. preguntas relativas al entrenamiento mismo (sólo para los beneficiarios) y preguntas relativas a su situación post 12 meses concluido el entrenamiento (para las comparaciones se tiene obviamente sólo información relativa al mismo momento temporal).048) 0. para los cuatro subgrupos y para toda la muestra.039) 0.670 beneficiarios y 1.0421 0.035) -0.670 comparaciones) entrevistados en 1998.10) $32 (8. De este cuadro se puede observar que los impactos estimados fueron significativos sólo para el caso de las mujeres adultas.66) -$1 (13.20 (13.43) Hombres Adultos -$10 (14. Cuadro 9 ESTIMACIONES DEL IMPACTO SOBRE LOS INGRESOS * (US$ por mes) Vecinos 5 10 20 30 Hombres Jóvenes $23 (11.16) Mujeres Adultas $31 (8.SERIE Manuales N°47 Para realizar la evaluación.0095 (0.CEPAL .0395 (0.31) $22 (11.0328 Fuente: Aedo (2004) Nota : Desviaciones estándar estimadas de acuerdo a Bootstrapping se presentan entre paréntesis. Resultados en probabilidad de empleo: Tratamientos Simples El cuadro10 presenta las estimaciones del impacto del Programa sobre la probabilidad de estar empleado.0209 (0.037) Hombres Adultos -0.029) -0.0023 (0.1282 (0. Dado que se supone en este análisis que todos los subgrupos reciben el mismo tipo de tratamiento y que no hay otros aspectos del programa que difieren entre los grupos.028) -0.0368 0. 10. Cuadro 10 IMPACTOS SOBRE EL EMPLEO Vecinos 5 10 20 30 Hombres Jóvenes 0. En ambas encuestas existen preguntas relativas a la situación laboral y de ingresos de las personas antes de iniciar los cursos. Las estimaciones del impacto del programa no fueron sensibles al número de vecinos cercanos.340 personas (1.1346 (0.046) Todos 0. De este cuadro se puede observar que los resultados en los ingresos laborales fueron estadísticamente significativos para los hombres jóvenes y mujeres adultas solamente. 47 .027) -0. Resultados en ingresos laborales: Tratamientos Simples Los principales resultados relativos a las estimaciones del impacto del Programa Joven sobre los ingresos laborales se presentan en e1cuadro 9 Se presentan estimaciones para 5.0276 (0. 30 y 30 vecinos cercanos.43) $20 (9.052) Mujeres Adultas 0.

Terciario Nota: Los resultados están medidos en $ por mes.78) 7 (1. & For. Los resultados no varían de manera significativa con respecto al número de vecinos usados.23) -3 (-1. Se puede observar que existe un efecto diferencial en relación al tipo de curso elegido: así por ejemplo. 31 Al evaluar tratamientos múltiples se disminuyen los tamaños muestrales y por tanto. Es importante mencionar que los supuestos requeridos para comparar distintos tipos de cursos utilizando el método de matching son cuestionables. Min. De acuerdo a los resultados obtenidos existe un impacto positivo de cada uno de los tipos de cursos en relación con la situación de un no beneficiario. Lo anterior puede invalidar los resultados reportados anteriormente sobre efectos entre tipos de cursos. aún puede rescatarse la comparación de cada curso con el estado de no tratamiento para individuos con características similares a los participantes en cada grupo. aún controlando por variables observables (propensity score) las personas que eligen distintos cursos pueden no ser comparables a aquellos que eligen otros cursos.30 31 Cuadro 11 ESTIMACIÓN DEL IMPACTO EN LOS INGRESOS No beneficiario Sin Programa Const. 15 (0. estos resultados no resultaron ser estadísticamente significativos.15) 15 (0. El cuadro 11 presenta los impactos esperados sobre el ingreso de los beneficiarios después de 1 año de graduado en los cursos de entrenamiento.01) 24 (1. 30 Se usaron 1. se hace necesario evaluar la robustez de los resultados frente a diferentes métodos de matching. el tipo de curso que tiene el mayor efecto sobre los ingresos corresponde a cursos del Sector Construcción e Industria.15) Agric. e Indust.23) Fuente: Aedo (2004) Const. 10.89) 6 (2. & For. 1977). La estimación se efectúa para cada par de comparaciones posibles e imponiendo la opción de common support. aunque si permanece la dirección de los efectos y la significancia estadística de ellos. En versiones futuras se reportarán estimaciones usando el Kernel de Epanechnikov para evaluar la robustez de los resultados de impacto. Agric. 48 . 5. Para estos efectos se usó el método de matching de vecinos cercanos.98) 22 (1. Sin embargo. Sin embargo. e Indust.98) -6 (-1. seguido por cursos en el sector Terciario. Es decir. Existe evidencia empírica sobre la existencia de selección en no observables para la selección de una ocupación (Rosen y Willis.67) Terciario 22 (1. 20 y 50 vecinos cercanos.Evaluación del impacto Resultados en ingresos laborales: El caso de tratamientos múltiples En este programa los beneficiarios podían tomar cursos de un menú bastante amplio ofrecido por empresas del sector privado y que correspondían al quinto llamado a licitación de cursos. Este cuadro reporta los resultados obtenidos usando 10 vecinos cercanos. 25 (1.98) 4 (2. Min. Nivel de significancia entre paréntesis.01) -4 (-1. Tal como anticipaba el análisis teórico los efectos estimados no fueron simétricos.

15 0.15 0.1 -1 576.87 17.15 0.87 17.SERIE Manuales N°47 Análisis de Costo Beneficio Los principales resultados de costo beneficio se presentan en el cuadro 14.327 0.1 -253.87 por mes.87 17.6 -454.4 561.3 -1 498.327 0.67 24.4 444.3 -319.4 -846.15 0.67 24.9 -692.67 24.87 17.15 0.87 17.67 Valor Presente Neto (USD) -1 261.7 -82.87 17.CEPAL .4 -545.327 0.2 473.67 24.67 24.87 17.4 -1585.15 0.67 24.87 17.87 17.7 -75.87 17.9 357.15 0.87 17.2 708.67 24.8 1 año 1 año 1 año 1 año 3 años 3 años 3 años 3 años 6 años 6 años 6 años 6 años 9 años 9 años 9 años 9 años 12 años 12 años 12 años 12 años 15 años 15 años 15 años 15 años Infinito Infinito Infinito Infinito 5% 5% 10% 10% 5% 5% 10% 10% 5% 5% 10% 10% 5% 5% 10% 10% 5% 5% 10% 10% 5% 5% 10% 10% 5% 5% 10% 10% Fuente: Aedo (2004) 49 .5 -609.67 24.327 0.87 17.67 24.9 4 140.87 17.67 24.67 24. el cual corresponde al estimador de impacto promedio sobre los ingresos para los cuatro grupos reportados en el cuadro 5.87 17.9 -491.67 24.6 -1 348.67 24.87 17.67 24.67 24. y (ii) USD 24.87 17.8 843.87 17.87 17.15 0.6 -278.15 0.87 17.9 363.67 24.67 24.5 Impacto Ingresos (US$) 24.82 1 080.9 236.327 0.3 1 179. el cual corresponde al estimador del impacto promedio sobre los ingresos para hombres jóvenes y para mujeres adultas solamente.7 -308.87 17.87 17.15 0.4 1 529.5 161.327 0.87 17.67 24.327 0.327 Impacto Ingresos (USD) 17.6 -807.7 600.86 87.87 17.87 17.6 471.327 0.87 17.327 0.0 323. Sólo estos dos grupos presentaron un impacto estadísticamente significativo del Programa sobre los ingresos.327 0.327 0.67 24.15 0.67 24.9 -19.7 -737.87 Valor presente neto (USD) -1 339.327 0.15 0.67 24.0 4 377.9 2 744.3 2 507.2 -1 511.7 1 292.4 -1 196.4 1 417.87 17.15 0.67 24.67 24.9 -1 010.327 0.8 682. En este cuadro se presenta el Valor Presente Neto usando dos cifras de beneficios: (i) USD 17.67 24.87 17.67 24.9 -1 274.9 -959.7 -149.67 por mes. Cuadro 12 ANÁLISIS DE COSTO BENEFICIO (en US dólares) Duración de Beneficios Tasa de Descuento Razón de Costos Indirectos/ Directos 0.6 -40.0 -1 044.67 24.2 -256.1 -974.15 0. Este ejercicio es similar a realizar un análisis de costo-beneficio para un programa (con costo similar) focalizado en los hombres jóvenes y mujeres adultas solamente.2 119.67 24.1 -1 247.

una perdida de eficiencia de 50% se debiera substraer USD 890 de las cifras de VPN presentadas en el Cuadro. mientras mayor sea el período de tiempo para los beneficios. Si se supone. mayor el VPN del Proyecto Joven. 50 . menor la tasa de descuento y menor la razón de costos indirectos a directos.32 32 El VPN reportado en el Cuadro supone una pérdida de eficiencia por los recursos (financiados por impuestos) usados por el Proyecto Joven de cero.Evaluación del impacto Tal como se puede observar el Valor Presente Neto puede ser positivo o negativo. Todo lo demás constante. por ejemplo.

es un elemento fundamental en el diseño de cualquier programa. La información precisa permite realizar un mejor diseño y tener una idea más acabada de las potencialidades del proyecto. Lecciones para el diseño de programas y para la evaluación de futuros programas Lecciones para el diseño de los Programas Dada la experiencia reciente con los diversos programas analizados. como por ejemplo en el caso del programa argentino. 51 . es posible que una información imprecisa trunque las potencialidades del programa. se pueden obtener lecciones respecto del diseño de los programas:33 Actualización de la información: La información respecto de quién se va a beneficiar y dónde se encuentran localizadas estas personas. (2003) constituye un documento interesante en cuanto a la documentación de la experiencia.CEPAL . ya que sintetiza los aspectos discutidos en un Taller sobre Programas de transferencias condicionales en el que participaron responsables de diversos programas. especialmente aquellas involucradas en la ejecución. Participación de las instituciones ejecutoras durante el diseño: La participación de las instituciones. en el que no se contaba con información de empleo en el sector informal y en consecuencia los beneficiarios seleccionados podían realmente no presentar tan acuciosamente la necesidad que se quería atender. De hecho.SERIE Manuales N°47 IV. durante el proceso de diseño del 33 Ayala Co.

la asistencia puede ser provista por agencias de empleo que los ayuden a encontrar trabajo. entonces es fundamental disponer del apoyo político para llevarla adelante. hay programas que incrementan las oportunidades de los beneficiarios de ingresar al mercado laboral a través de incrementos en su nivel de educación. aspecto básico para la sostenibilidad de éstos. si se ha juzgado que es necesaria la fase piloto para el éxito del programa. Para los beneficiarios que egresan de programas de crisis. Por ello. Caso contrario conviene pensar en otras alternativas: como por ejemplo. El programa PROGRESA mexicano muestra justamente que una buena coordinación entre las instituciones al más alto nivel facilita luego la implementación y la ejecución.Evaluación del impacto programa puede ser un elemento que posibilite el éxito del programa cuando se realice luego la implementación. con la mayor precisión posible. Esta transición entre ser dependiente de la asistencia a ser completamente independiente. reducir el tiempo de la fase piloto. puede ser facilitada a través de la provisión de entrenamiento laboral en el caso de programas de transferencias condicionadas estructurales. El período cercano a la graduación puede ser el más difícil de enfrentar ya que los individuos estarán cruzando hacia el mundo de los no elegibles y la tentación de volver al cuidado del estado o aún más. ya que cuando un grupo de personas se ha beneficiado durante un período de tiempo. Por ejemplo. en cambio otros los preparan en términos de un mejor estado de salud que los posibilita para ser más productivos en el futuro. desde el primer momento. Una idea razonable a 52 . Es importante tener claro este aspecto al momento del diseño de los programas y es esencial que los beneficiarios. encontrar un trabajo después de un período de recesión es en realidad un gran desafío especialmente en países caracterizados por una pobreza extrema. En consecuencia. es importante contar con el apoyo político necesario para realizarla. La estrategia puntual de salida debe ser diseñada acorde a los objetivos y posibilidades de cada programa en particular. etc. para lograr los objetivos deseados. permite determinar la viabilidad financiera de los programas. Fases pilotos completas: En caso que se evalúe necesario el desarrollo de una fase piloto del programa previo a la implementación a nivel nacional. no es fácil defender su permanencia en el programa especialmente a la luz de presupuestos limitados y excesos de demanda por ingreso al programa. quienes son principalmente adultos y algunos que han tenido empleo. en el caso de Colombia no fue posible completar las fases piloto y probar todos los procesos. Cuando los beneficiarios egresan de los programas son enfrentados con el desafío de encontrar un trabajo que les permita incrementar sus niveles de vida y abandonar de manera permanente su situación de pobreza. En este sentido es clave que la entidad ejecutora pueda trabajar desde el principio junto con los ministerios involucrados. Análisis costo-beneficio: La evaluación ex ante de los costos y beneficios que se esperan de los programas es clave por varias razones. Por otro lado. En el caso de los programas de empleo de crisis. reducir el número de beneficiarios incorporados en ésta. En muchos casos. se implementaron procesos sin haber realizado pruebas y la implicancia práctica se sufrió durante la ejecución cuando en algunos casos esos procesos no mostraron ser eficientes y tuvieron que ajustarse provocando inconvenientes. una vez que sus beneficiarios egresan ellos deben enfrentar el desafío de proveer para sus familias sin la asistencia de estos programas. la tentación de subrepresentar su verdadera situación socioeconómica para mantenerse en ellos. Experiencias en países con fases de los programas piloto incompletas no han sido positivas. ya que por razones de corte político se tuvo que expandir los Programas en el nivel nacional sin haber completado el diseño. respecto de qué se puede esperar de los programas. entiendan y acepten las reglas asociadas con este punto. Aunque a veces es preferible una fase piloto incompleta a no tenerla. Primero otorga una idea cuantificada. Estrategias claras de salida o graduación de beneficiarios: Este es un problema clave de los programas. es importante educar a los participantes para que los que egresen del programa tengan conciencia que alguien mas que está luchando por cambiar si situación podrá ahora obtener ayuda. Así.

(c) la definición del proceso a seguir. ha desarrollado un sistema participativo con estas características y con relativo éxito. Otras ideas. En cuanto a la coordinación y de acuerdo a la misma fuente. por ejemplo. Para que el programa logre difusión y aceptación en la comunidad a la que se dirige. Una organización de este tipo es adoptada por el gobierno brasilero. (2003). dado que ahora algunas de estas familias serán sujetas de crédito. El primero hace hincapié en la necesidad de establecer una estrategia de reducción de la pobreza común entre todos los actores involucrados. La organización en este caso corresponde a un Gobierno Federal que otorga enteramente la operación del programa a los municipios y se encarga únicamente de hacer las transferencias. En este tipo de organización el Gobierno Federal puede concentrarse en evaluar la calidad del programa y deja la ejecución diaria en manos de los municipios. se pueden reclutar personas que desean cooperar (que posiblemente no son beneficiarios del programa) y otorgarles la responsabilidad de acompañar a un grupo de beneficiarios. Por último. las redes institucionales constituyen el cuarto factor. aunque en la gran mayoría de los programas analizados se acepta la necesidad de descentralización. para un mejor desempeño de los programas se recomienda la ejecución descentralizada. existen reservas con respecto a la capacidad municipal para el manejo este tipo de programa. En la mayoría de los casos. la tarea del vínculo entre los beneficiarios y la administración del programa corresponde a otro grupo de individuos. También recomiendan realizar campañas de difusión masiva del programa para captar la atención de los potenciales beneficiarios. Estas actividades pueden ser incorporadas en las últimas fases de estos programas para asegurar que estos beneficiarios puedan efectivamente reducir su pobreza tanto en el corto plazo como en el largo plazo. Por ejemplo. es que se implementen convenios con empresas que acojan a los egresados de estos programas a cambio de una reducción impositiva. El tercer factor es el representado por la participación ciudadana que resulta fundamental en los distintos programas. ya que la falta de ella puede afectar significativamente la ejecución del programa.CEPAL . que permite enmarcar las acciones de todos los participantes. Participación de las instituciones durante la ejecución de los programas (coordinación. El segundo factor hace referencia a la importancia de que los actores involucrados asuman una responsabilidad institucional. Buscando este 53 . De todos modos. La recomendación es una descentralización gradual para asegurar una sostenibilidad institucional a futuro. que permite una coordinación entre los participantes de la estrategia de reducción de la pobreza. pero sí pueden actuar como consejeros de los beneficiarios y apoyarlos en procesos de capacitación y promoción de salud por ejemplo. y. Además. los responsables institucionales de los programas destacan tres aspectos importantes para poder mejorar y alcanzar la coordinación institucional: (a) el desarrollo de un sistema de comunicación para ganar aliados. una estrategia recomendable es hacer parte de la organización del programa a miembros de esa comunidad. Rol de beneficiarios y actores locales: Lograr un control comunitario participativo puede ser clave en el éxito de un programa. los denominados promotores del programa. la participación comunitaria le otorga un alto grado de transparencia al programa. (b) la utilización de un lenguaje común. Estas personas no necesariamente deben estar vinculadas a la administración del programa. De acuerdo a Ayala Consulting Co. y de los municipios en casos de descentralización importante. México. ejecución centralizada/descentralizada): La coordinación institucional eficiente es un aspecto importante que debe tomarse en cuenta en este tipo de programas. En consecuencia un aspecto de central interés es la capacitación de éstos últimos. especialmente en los casos de los Ministerios de Educación y Salud. Mientras se pueden encontrar personas dentro de la comunidad para actuar de apoyo directo a los beneficiarios.SERIE Manuales N°47 considerar. son la realización de asesorías para el manejo del dinero y el crédito. la experiencia obtenida ha indicado que son cuatro los factores a tener en cuenta.

Aspectos vinculados a la Gestión Financiera y Control de los pagos: Para bajar el costo de transacción del pago de los subsidios es fundamental un proceso estratégico de negociación con la banca privada. se mejoraron los procesos y luego mostraron el funcionamiento optimizado a la banca privada para que participe. que se verían disminuidos por ejemplo si la información se registra a nivel local y se traslada al gobierno central con meses de retraso como ha sido la experiencia en algunos casos. (2003): “Colombia negoció primero con la banca pública el proceso y el costo por transacción del pago a beneficiarios De esta manera. Adicionalmente al seguimiento y evaluación de impacto se puede realizar un sistema de seguimiento externo muestral que permita analizar las causas de problemas operativos e identificar soluciones. El Sistema de seguimiento debe ser eficiente. para ellos un proceso de capacitación continua. indica que la evaluación operativa es un insumo para la evaluación de impacto. como se destaca en Ayala Co.” Por otro lado. Por eficiente se entiende no sólo un uso apropiado de los recursos sino que además se entiende que la información esté disponible de manera rápida y confiable. Es importante realizar evaluaciones de impacto y diversos estudios que permitan conocer sus resultados. la banca privada llegó a solicitar hasta 10 veces el valor que la banca pública había propuesto cobrar. que incluyen la recopilación de datos y el valor del tiempo del personal para todos los miembros del equipo de evaluación. Desde el punto de vista del apoyo político al programa es fundamental la promoción del avance del programa. Nicaragua está realizando una evaluación de este tipo. Colombia ha implementado un sistema de este tipo. La experiencia en México. pero tiene beneficios importantes en la ejecución del programa. sino también para mejorar el control mismo de los pagos resulta clave la frecuencia de pago. Para ello es necesario efectuarse una serie de preguntas. Claramente esto implica un costo mayor en el diseño del sistema. luego. no sólo para conseguir controlar los costos de administración.Evaluación del impacto objetivo corresponde en primer lugar identificar las tareas de los promotores en las distintas etapas del programa y establecer. cuando en un principio. Lecciones para la evaluación de impacto de programas Dada la experiencia reciente con los diversos programas analizados. Un caso ejemplificador es del de Familias en Acción . una de las primeras preguntas que es preciso contestar es si se debe realizar o no una evaluación de impacto. por ejemplo. se presentan a continuación lecciones para la evaluación de impacto de programas: ¿Evaluar o no Evaluar? Dado que efectuar una evaluación de impacto implica muchos costos. Monitoreo de los programas: generalmente conviene que los sistemas de seguimiento y evaluación estén vinculados. Por ejemplo un pago bimestral reduce costos operativos de mayor frecuencia y disminuye los costos de traslado de beneficiarios hasta centros de pago. Las distintas oficinas del Programa deberían estar conectadas en línea y disponer así prácticamente en tiempo real cualquier información relevante. Otra opción es la evaluación cualitativa de beneficiarios que permite ahondar aspectos que las evaluaciones de impacto no captan y permiten entender de manera más acabada problemas operativos. lográndose así que la banca privada cobre por transacción menos que el valor acordado con la banca pública. entre ellas: • ¿Hay una voluntad política y financiera para su realización? 54 .

SERIE Manuales N°47 • ¿Hay algún otro método que pueda ser más adecuado que una evaluación de impacto completa? • ¿Se encuentra el programa en una etapa lo suficientemente avanzada para permitir una evaluación de impacto o aún se modificará? • ¿Se justifica realizarla? ¿Cuáles serán sus objetivos?: Una vez que se ha decidido efectuar una evaluación es preciso preguntares cuál serán tanto su objetivo general como sus objetivos específicos. se requiere más de una técnica para obtener resultados sólidos que responden a las variadas preguntas de la evaluación. más interesante para la Gerencia Social del Proyecto. es más accesible y. que permitirá una recopilación de la información adecuada. con información para beneficiarios y comparaciones relativa a los procesos principales que pueden influir en los resultados finales. es posible incorporar todos los elementos que contribuirán a una evaluación de impacto rigurosa. sin embargo proporciona resultados menos robustos y menos transparentes que aquellos generados por diseños experimentales. ¿Qué diseño es apropiado para la evaluación de impacto?: Hay una tensión importante cuando se elige el diseño de la evaluación. Una evaluación diseñada ex-post está en una situación de desventaja porque generalmente no se cuenta con toda la información necesaria. Para la mayoría de las evaluaciones. un diseño cuasi-experimental es políticamente menos sensible y menos demandante en términos de implementación. Para ello es preciso hacerse las siguientes preguntas: • ¿Qué pregunta se desea contestar con la evaluación? • ¿Qué se quiere medir? • ¿Qué indicadores de resultados serán necesarios de construir? • ¿Cuáles serán las necesidades de información que demandará la evaluación? • ¿Será ésta cuantitativa o cualitativa? ¿Cuándo es apropiado diseñar la evaluación?: La experiencia indica que el éxito de una evaluación depende crucialmente del momento en que se diseña la misma. incluso dentro de un diseño único de un estudio. Esto. cada pregunta podría necesitar de diferentes técnicas. es importante responderse las siguientes preguntas: • ¿Qué preguntas se intenta responder en esta evaluación de impacto? 55 . dejando un grupo de control sin cobertura.CEPAL . pero además se consigue una retroalimentación fundamental que permite ir corrigiendo el programa para optimizar los resultados. Aún más. lleva a restar confiabilidad a los resultados de la misma. se consigue que el impacto sobre los objetivos pueda ser cuantificado de manera más confiable. a su vez. Contrariamente. cuando las evaluaciones son diseñadas en conjunto con el programa se han observado efectos positivos. Por un lado. Para elegir el diseño que se debe usar para la evaluación de impacto. El diseño de la evaluación debe tomar una opción dentro de esta tensión. Mediante una planificación anticipada y cuidadosa. El diseño experimental tiene la clara dificultad de necesitar de un amplio apoyo político que permita la compleja implementación del programa en zonas seleccionadas aleatoriamente. por tanto. Usar técnicas de investigación cualitativa y cuantitativa permite generar una valiosa combinación de resultados útiles y pertinentes para las políticas. usando datos de tipo cuantitativos como cualitativos. Por su parte. Muchas veces como el trabajo cualitativo es más intuitivo.

En la evaluación hay que aprovechar al máximo las fuentes de datos existentes. Por lo tanto. es necesario responder las siguientes preguntas: • ¿Existe una base del universo que permita una identificación de beneficiarios y comparaciones que permita el diseño muestral? • ¿Se puede hacer algún cruce con bases de datos existentes (niveles de vida. tales como encuestas nacionales. que permitan optimizar los resultados del mismo. lo que implica a su vez una serie de interrogantes que es necesario aclarar antes de llevar a cabo una evaluación. no se desea invertir recursos en ello. sino también en la forma en que esta se implementa. intermedios o finales? • Para responder las relativas a resultados finales. al no apreciarse el valor de efectuar evaluaciones. entre ellas: • ¿Cómo se conformará el equipo de evaluación? • ¿Existe capacidad “local” para llevarla a cabo? • ¿Qué capacitación debo entregar a la contraparte técnica del Proyecto? ¿Economía Política de la Evaluación?: Existen diversos elementos de economía política que es necesario resolver que influyen no sólo en si se lleva a cabo o no una evaluación de impacto. es una buena inversión desde el punto de vista de la eficiencia del programa que se contemple la recolección y análisis de información relevante. primarias o secundarias. 56 . bases de datos institucionales. tales experimentos o bien no serían posibles o bien no serían confiables. pueden aportar valiosa información a los esfuerzos de evaluación. De no contar con información tan precisa.Evaluación del impacto • ¿Son estas relativas a resultados a nivel de producto. ¿permiten llegar a los individuos u empresas? • ¿Hay encuestas en marcha que se puedan usar? ¿Es factible incorporar preguntas a esta? ¿Cuál es la capacidad institucional que se tiene para llevar a cabo la evaluación?: Los gobiernos deben tener capacidad institucional para llevar a cabo estos programas. etc. Aprovechar las fuentes existentes reduce la necesidad de recurrir a una costosa recopilación de datos para el exclusivo propósito de una evaluación. confiable y oportuna. Para definir qué fuentes de datos.). registros administrativos de un programa o datos municipales. hay técnicas estadísticas que con frecuencia se pueden usar para corregir los sesgos asociados a los datos faltantes. • Los datos. ¿Se usará un diseño experimental o cuasi experimental? • ¿Será un enfoque paramétrico o no paramétrico? ¿Existe buena calidad de la información? La calidad de la base de datos disponible no sólo permite una efectiva evaluación del programa sino que además permite realizar experimentos. Esto requiere desde la actualización y/o creación de fuentes de datos hasta la creación de entidades que se dediquen exclusivamente a la implementación de estos programas. La decisión de realizar una evaluación requiere de un sólido apoyo político ya que a veces. censos. Una pregunta relevante es quién llevará a cabo la evaluación. se usarán para realizar la evaluación. Se necesita de instituciones que implementen estos programas y que lleven un control adecuado que asegure que los recursos sean usados eficientemente. A veces si bien las bases de datos pueden no contener toda la información que idealmente se debieran tener para los fines de la evaluación. encuestas del mercado laboral.

puede existir también una reticencia a permitir la ejecución de una evaluación independiente que pueda revelar resultados contrarios a la política del gobierno. sino más fundamentalmente la implementación del programa que se está evaluando. Las evaluaciones son también sensibles al cambio político. 57 .SERIE Manuales N°47 Finalmente.CEPAL . ya que rotaciones en los gobiernos o en los puestos claves o cambios estratégicos de política pueden afectar no sólo el esfuerzo de evaluación.

.

en internet http://www/ifs. (December). y G. Cristián y Sergio Núñez (2001): "The Impact of Training Policies in Latin America and the Caribbean: The case of Programa Joven". Graduate Program in Economics. Cristián y Marcelo Pizarro (2004): "Rentabilidad Económica del Programa de Capacitación Laboral de Jóvenes Chile Joven". Orley (1978): “Estimating the Effect of Training Programs on Earnings”. Harvard University Press. Informe Final para el Banco Mundial. (2003): “Taller sobre Programas de Transferencias Condicionadas (PTCs): Experiencias Operativas”. Meghir y M.L. O. mimeo (November 2001) Attanasio et al. Ashenfelter. Amemiya.org. mimeo. A. Presentación preparada para el Seminario sobre Protección Social para los Pobres en Asia y Latinoamérica. Attanasio. (2002): “Implementing Matching Estimators for Average Treatment Effects in STATA”. mimeo.uk/edepo/wps/familias_accion. Banco Mundial (2003): Note prepared by a mission to Chile in April 2003 comprising Polly Jones. O. Working Paper #174. Aedo. Industrial Relations Section.CEPAL . Meghir y A. Imbens. Drucker. 59 . Aedo. pp 4757. Marzo. Orley y David Card (1984): “Using the Longitudinal Structure of Earnings to Estimate the Effect of Training Programs”. Ashenfelter.. Cristián (2004): "Evaluación del impacto del programa joven". C. Quito-Ecuador. Attanasio. J. Szekely (2003b): “Using Randomized experiments and Structural Models for ‘Scaling up’: Evidence from the PROGRESA Evaluation”. Emanuela Galasso y Martin Ravallion. Aedo. Santiago (2001): “Educational Choices in México: Using a Structural Model and Randomized Experiment to Evaluate PROGRESA”. The Review of Economics and Statistics. (2003a): “Baseline Report on the Evaluation of Familias en Acción”. Takeshi (1985): Advanced Econometrics. C.pdf. D. Vol 6.. Princeton University. Aedo.SERIE Manuales N°47 Bibliografía Abadie. Issue 1. Herr. Cristián (2001): "Job Training Programs: The Cases of Chile Joven and Argentina Proyecto Joven". ILADES/Georgetown University. Ayala Consulting Co.

National Bureau of Economic Research. James y Jeffrey Smith (1998): “Evaluating the Welfare State”. CXX. et al. Gershberg. Ichino (2002): “Estimation of average treatment effects based on propensity scores” (Borrador). Micro-Data Research in Latin America. (1997): “Autoridad económica y autoridad social: eficiencia.org/sp/safetynets. y Franco. CEPAL. R.C. 109 (143): 137. Smith. R. E. Journal of The Royal Statistical Society. R.Evaluación del impacto Baker. abril-septiembre 1997. Bravo. Becker.. “Evaluation of the Family Allowance Program (PRAF) in Honduras: Health and Nutrition Impacts”. Behrman. Heckman. equidad e impacto”. P.I. y Ravallion M (2003): “Social Protection in a Crisis: Argentina´s Plan Jefes y Jefas”. and P. Coelli. Working Paper N. Kluwer Academic Publishers.. Cohen. Chile Solidario (2002): Presentación en Power Point. J. MIDEPLAN. en C. J. Heckman. Heckman. Banco Interamericano de Desarrollo. editor. (1998): “Characterizing Selection Bias Using Experimental Data”. December. Prasada Rao. (2000): " Educación. Institucionalidad social para la superación de la pobreza y la equidad. P. Todd (2001): “Progressing through PROGRESA: An Impact Assessment of a School Subsidy Experiment..S.” Serie Políticas Sociales. Gobierno de Chile. Santiago: CEPAL. R. Washington. Boston. Farrell. Series A. In: Steiner Strom.E. (1992): "Evaluación de Proyectos Sociales”. CEPAL. Inter-American Seminar on Economics. “An Introduction to Efficiency and Productivity Analysis”. IFPRI (September 2000). Boletín Cinterfor No 139-140.org/papers/w6105. E. D. (1998): “La descentralización de la educación y la salud: un análisis comparativo de la experiencia latinoamericana” NU. y Cominetti. Cambridge. M. P.worldbank. S. James (1992): “Randomization and Social Policy Evaluation”. en Biblioteca del Servicio Nacional de Capacitación y Empleo. Heckman. James y Jeffrey Smith (1999): “The Pre-Program Dip and the Determinants of Participation in a Social Program: Implications for Simple Program Evaluation Strategies”. University of Pennsylvania and the International Food Policy Research Institute. Di Gropello. Paul J (2000): “Final report: The Impáct of PROGRESA on Health”.” April. logros y desafíos. eficacia. Part 3: 253-290. Economic Journal. David y Dante Contreras (2000): "The Impact of Financial Incentives to Training Providers: The Case of Chile Joven”. agosto.. D. Heckman. Feedback Comunicaciones (1997): “Expectativas y Estrategias Laborales de Jóvenes de Escasos Recursos”. (2000): “Evaluación del impacto de los proyectos de desarrollo en la pobreza: manual para profesionales”. Ichimura. Jere. Franco. 65 (2): 605-654. Gertler. http://www. Geo Consultores (1999): “Estudio Econométrico de Diferenciales de Salarios”. Ministerio del Trabajo de Chile. y A. Jere (2000): “Literature Review on Interactions Between Health. (1998): “Matching As an Econometric Evaluation Estimator”. International Food Policy Research Institute. G. volumen I: la búsqueda de la eficiencia. Econometrics and Economic Theory in the 20 th Century: The Ragnar Frisch Centennial. Heckman. Econometrica. Nº 42 Santiago: CEPAL. Education and Nutrition and the Potential Benefits of Intervening Simultaneously in All Three”..nber. CINTERFOR (1997): “CHILE JOVEN: Una experiencia pionera revisada”. Working Paper 6105. Presentación de Power Point disponible desde el sitio http://www1. 66 (5).. and Todd. “The Measurement of Productive Efficiency”. and Todd. eficiencia y equidad: una difícil convivencia” en “¿Hacia dónde va el gasto público en educación?. DF: Siglo Veintiuno. Banco Mundial. T. Ichimura. México. D. Washington. Behrman.J. Flores. H. Sengupta.C. (1957). Battese (1998). (1998): “Decentralization and Recentralization: Lessons from Social Sectors in Mexico and Nicaragua”. United Kingdom: Cambridge University Press for Econometric Society. J. Review of Economic Studies. E. James y Jeffrey Smith (1997): “The Sensitivity of Experimental Impact Estimates: Evidence from the National JTPA Study”. Galasso E. Cohen. División de Desarrollo Social NU. en Biblioteca del Servicio Nacional de Capacitación y Empleo. CINTERFOR (1999): “Programas de capacitación y empleo de jóvenes en América Latina”. Documento elaborado por solicitud de OIT. A. 11/03. World Bank. Documento de Trabajo N° 379. National Bureau of Economics Research. 60 . Judy L. Ministerio del Trabajo de Chile.

División de Desarrollo Social. Ravallion. En: Titelman. Universidad de Chile. Smith y N. C. Olinto P. September” International Food Policy Research Institute.CEPAL .Saavedra (2002): “Una medición del impacto del programa de capacitación laboral juvenil Projoven”. Cumming S. Universidad de Chile.. 2002 (Documento de trabajo Nº 36). LaLonde.. (2003): “Evaluation of the Pilot Phase of the Social Safety Net (RPS) in Nicaragua: Health and Nutrition Impacts”.S. D. Nilson E. CEPAL. R.. Se puede acceder desde el sitio web del Banco Mundial http://www1. Evaluating welfare and training programs. Hoddinott J. Schmidt (eds. y Figueiró A (2003): “Conditional Cash Transfers are associated with a small reduction in age-related weight gain in children in northeast Brazil”.K. mimeo. LaLonde. D.K. Larrañaga. Wagstaff AR. y Veiga. R. (1999). “Identification and estimation of causal effects of multiple treatments under the conditional independence assumption”. “Ensayos sobre el financiamiento de la seguridad social en salud: los casos de Estados Unidos. (June 2003).. Flores R..org/sp/safetynets. Hulley S. (2000): Designing Clinical Research.worldbank. Nº 79. López-Casanovas G. Farren. F. “Indicadores de Eficiencia en el Sector Hospitalario”.org/sp/safetynets. Handbook of Labor Economics.). (1977): “The Estimation of the Choice Probabilities from Choice-Based Samples”. In: O. J. Amsterdam: North-Holland.worldbank. (1999): “The Economics and Econometrics of Active Labor Market Programs”. J. Lima. D. Morris S. et al. J. (2000): “The Impact of PROGRESA on Consumption: A Final Report”. H. comp. Canadá. Flores R. Cambridge) 201-230. Rawlings.. CEPAL. M.. American Economic Review. S. La gestión social: notas para su estudio. y Uthoff. Oxford: 3-67. A. 1998. de y E.. Manski Charles F (1995): “Learning about Social Programs from Experiments with Random Assignment of Treatments”. J. Neuman T. Larraechea. mimeo (October 2003). Ñopo. Sadoulet (2002): “Targeting and Calibrating Educational Grants: Focus on Poverty or on Risk?”. U C Berkeley (November).. Card. Olinto P. Lovell and S. The measurement of Productive Efficiency: Techniques and Applications. editors. Fried.worldbank. International Food Policy Research Institute (IFPRI) “Informe Final – Sistema de Evaluación de la Fase Piloto de la Red de Protección Social de Nicaragua: Evaluación de Impacto”.org/sp/safetynets/ Conditional%20Cash%20Transfer. Grady D. Lerman. and Smith. Washington. (2000): “Eficiencia y equidad en el sistema de salud chileno”.. Octobre.NU. et al. A. Riveros (1989): “Sesgo de Selección y el Efecto de los Salarios Mínimos”. M. Oxford University Press. Economics Working Paper ll . C. y L.asp. NU. J.. Argentina.A. World Bank. Ignacio y Andrea Guzmán (2002): “Desempleo juvenil en Chile: Desafíos y respuestas a la luz de la evolución en los años 90”. Martin. Santiago: CEPAL. Janvry. Lippincott Williams & Wilkins.SERIE Manuales N°47 Heckman.C. 367-383. O.. 487-535. The London School of Hygiene and Tropical Medicine. Clements (1997): “Making the Most Out of Programme Evaluations and Social Experiments: Accounting for Heterogeneity in Programme Impacts”. en H. (1998) “Eficiencia Técnica de los Establecimientos Educacionales en Chile”. Volume IIIA: 18652097. D. Heckman. Robles. “Production Frontiers and Productive Efficiency”.. 64. Centro de Economía Aplicada. A. Development Economics Research Group. Garfinkel.. “The Mystery of the Vanishing Benefits: Ms Speedy Analyst’s Introduction to Evaluation”. A. 76 (4): 604-620. September. 1997. (1993).. Policy Research Working Paper 2153. Disponible on line en : http://www1.. Morris. 61 . C. Robert (1986): “Evaluating the Econometric Evaluations of Training Programs with Experimental Data”. Paredes. P. pp. Econometrica 45. Ashenfelter and D. Lovell.O. and S. Maluccio.. 31(4): 707-733.. Journal of Human Resources.R. Mizala. Documento de Trabajo Nº 38.. Presentación de Power Point disponible desde el sitio http://www1. Washington. (Sección de Obras de Economía Contemporánea). GRADE.C. en Review of Economic Studies. Lechner. L y G.1992..Barcelona: Universitat Pompeu Fabra. año 26. Romaguera. Chile y Colombia”. (Harvard University Press. Mansky e I. Hearst N. y J. Cuadernos de economía.A. (2003): “The Impact of the Bolsa Alimentacao Program on Food Consumption”. eds. Rubio (2003): “Evaluating the Impact of Conditional Cash Transfer Programs: Lessons from Latin America”. mimeo (July). Fondo de Cultura Económica/CEPAL. Manski. Browner W.

International Food Policy Research Institute: ver Impact Assessment (información en: www. Y.41-55. Mayo. Harvard University Press. Nº 70. U C Berkeley (December 2002). Excelentes sitios Web con información sobre evaluación de impacto y programas de transferencias condicionadas son: Inter-American Development Bank: ver la Social Policy Monitoring Network (información en: http://www. mimeo (Junio).00. de Janvry (2002): “Decomposing the Channels of Influence of Conditional Transfers in a Structural Model of Educational Choice”. en Biblioteca del Servicio Nacional de Capacitación y Empleo. Londres. Programa de Capacitación Laboral de Jóvenes.worldbank. documento preparado para el VII Encuentro del UK Stata Users Group. Santiago Consultores Asociados (1999): "Evaluación Ex-Post Chile Joven Fase II". y Orazem. Barbara (2001): “Implementing Propensity Score Matching Estimators with STATA”. Todd.cfm?fuseaction=networks. y D. Servicio Nacional de Capacitación y Empleo (1999): “Anuario Estadístico”. (2002): Limiting Child Labor Through Behavior-Based Income Transfers: An Experimental Evaluation of the PETI Program in Rural Brazil. E. Sadoulet. F.html). mimeo presentado a la reunion del BID en Santiago de Chile.. Sianesi.iadb.org/ wbsite/external/topics/extpoverty/extispma/0. G.ifpri. pp. P.. Rubin (1983): “The Central Role of Propensity Scorre in Observational Studies for Causal Effects”. Servicio Nacional de Capacitación y Empleo (1999): “Bases Generales Subprograma Capacitación y Experiencia Laboral en Empresas”. Biometrika. Sedlacek. Fase I”.org/ res/index.menuPK:384336~pagePK:149018~piPK:149093~theSitePK :384329. Rosenbaum.” Instituto Tecnológico y de Estudios Superiores de Occidente Guadalajara: ITESO. Octubre de 1999.. P. Yap.B. Finnan y A. Servicio Nacional de Capacitación y Empleo (1996): “Presentación y Análisis de Resultados. A.org). Bases Generales Subprograma Capacitación y Experiencia Laboral en Empresas”.R. 62 . Sen.socialpolicy). (1992): “Inequality Reexamined”. The World Bank Group: ver Impact Evaluation (información en: http://web.Evaluación del impacto Rodríguez. Petra (1999): “A Practical Guide to Implementing Matching Estimators”. Servicio Nacional de Capacitación y Empleo (1997): “Programa de Capacitación Laboral de jóvenes. (1993): “El nuevo escenario: la cultura de calidad y productividad en las empresas. C. Ministerio del Trabajo de Chile.

CEPAL .SERIE Manuales N°47 Anexos 63 .

.

35 En el gráfico. Se puede decir que la UTD logra que el proceso de producción sea eficiente si no existe otra combinación posible de insumos que. ubicándose en la frontera. No existe ninguna otra combinación de factores que disminuya el costo por bajo CC. Así la curva YY identifica el conjunto frontera de producción y toda el área por encima de YY es el conjunto factible. la curva identificada como YY.CEPAL . ineficientemente-.Definición de Eficiencia en la Producción y en la Asignación La eficiencia implica una relación favorable entre resultados obtenidos y costos de los recursos empleados. no existe forma de disminuir la cantidad empleada de los factores sin caer por debajo de YY. Gráficamente. entregue un nivel mayor de producto. El concepto de eficiencia distributiva agrega la consideración adicional de la demanda y el bienestar del consumidor y considera la asignación de recursos para producir una combinación de bienes y servicios que mejor satisface la demanda de los consumidores. como el análisis envolvente de datos o DEA. Data Envelopment Analysis. El concepto de eficiencia 34 35 37 37 Del ingles. o no paramétrico.34 La respuesta a la que se puede llegar a través de esta evaluación puede ser de gran utilidad. eficiencia es un concepto que describe la relación entre insumos y resultados en la producción de bienes y servicios. En economía. se puede observar la línea CC. En el caso de los puntos a y b. es ser capaces de identificar cuales de ellas están actuando correctamente de acuerdo a algún standard definido. los conceptos anteriores se ven mas claramente en el gráfico 1. muestra los posibles pares de combinaciones de recursos (X1. o que permita un cierto nivel de producto al mínimo costo.SERIE Manuales N°47 Anexo 1 Eficiencia técnica y asignativa Un aspecto fundamental a la hora de evaluar la gestión de los sectores y las instituciones prestadoras de servicios. lo que automáticamente implicaría disminuir la producción. como la frontera estocástica. como para aportar información útil en el diseño de políticas públicas. 65 . Se llama Conjunto Factible de Producción al conjunto formado por todas las combinaciones alternativas de insumos que permiten obtener una cantidad dada de producto. o isocuanta. los puntos c1 y c2 son combinaciones ineficientes de factores. por lo que el valor de producción a lo largo de toda la curva YY es el mismo. o lo están haciendo por debajo de sus posibilidades –es decir. Esta relación puede medirse en términos físicos (eficiencia técnica) o en términos de costo (eficiencia económica).miden las cantidades de recursos empleados.X2) tal que disminuyendo uno e incrementando el otro la cantidad producida permanece constante.36 37 En la misma figura. Desde un punto de vista de eficiencia económica. actuando de manera asignativamente eficiente. Se llama Frontera de Producción al conjunto constituido por todas aquellas combinaciones de recursos y actividades que no pueden ser mejoradas en aras de ahorrar recursos para un nivel dado de producción o mejorar el nivel de producción sin consumir mayor cantidad de insumos. 1. la técnica o método de producción elegido será aquel que sea más barato para un conjunto de precios de los factores. que representa el costo mínimo incurrido por la unidad de producción para alcanzar sus objetivos de producción. De aquí que a y b sean técnicamente eficientes. La literatura económica se ha acercado a esta pregunta “midiendo la eficiencia” en las instituciones y / o en los sectores. tanto para mejorar los diferentes niveles de gestión al interior de cada organización o unidad tomadora de decisiones UDT. a través del análisis de frontera paramétrico. dada la disponibilidad de ellos de acuerdo a su precio relativo. Un método método de producción es técnicamente eficiente si la producción que se obtiene es la máxima posible con las cantidades de factores especificadas.. Los ejes X1 y X2.

pero lo inverso no es cierto. eligiendo aquella combinación de factores que permite minimizar los costos incurridos para un nivel de producción dado. Lovell (1993) aporta el concepto de “benchmarking”. tanto c1 como c2 son técnicamente ineficientes pues no se encuentran sobre la frontera YY. En el gráfico A-1.Evaluación del impacto asignativa aporta una nueva dimensión al problema de la medición de eficiencia. Existe eficiencia asignativa cuando en la toma de decisiones se ha logrado alcanzar el conjunto frontera de producción. se podría adoptar la misma combinación de factores que a y así disminuir sus costos. o si se hace necesario incrementar su dotación de los insumos. señalando que la combinación de factores escogidas no es la idónea dados sus precios. a menos que los precios que paga por X1 y X2 sean diferentes de a. el estudio de la eficiencia consiste en evaluar cómo se está dando cumplimiento a los criterios de eficiencia técnica y eficiencia económica o asignativa antes vistos. Por el contrario. Nótese que la eficiencia asignativa implica a la eficiencia técnica. donde argumenta que su relevancia radica en permitir determinar si es o no posible incrementar el nivel de producto simplemente mejorando o aumentando la eficiencia. Ob / Oc2. En el ejemplo. La importancia de su estudio se aprecia en el trabajo seminal de Farrell (1957). la distancia entre c2 y la isocuanta . b es asignativamente ineficiente ya que. mide el nivel de ineficiencia técnica que se origina dado que se emplea una mayor cantidad de recursos de lo estrictamente necesario para producir YY. La ineficiencia asignativa Om / Ob considera el costo de X1 y X2 empleados para producir YY. 2. tanto a como b son técnicamente eficientes. sin embargo. en que 66 . Gráfico A-1 EFICIENCIA TÉCNICA Y EFICIENCIA ASIGNATIVA c1 c2 Fuente: Elaboración propia La distancia entre la situación actual en que se encuentra una UTD respecto a lo que seria optimo para generar el mismo nivel de producto descrito por la isocuanta YY. tomando como ejemplo de la UTD ineficiente c2. Por su parte. mide su nivel de ineficiencia técnica.Metodologías para medir fronteras de eficiencia Siguiendo la óptica económica..

La medidas de eficiencia de frontera emplean informaciones más o menos precisas sobre costos. por lo que se habla de frontera técnica y frontera económica. Los métodos paramétricos y no paramétricos difieren en el tipo de medida que proporcionan.dentro de la muestra de organizaciones analizadas. una primera separación de las técnicas que miden eficiencia se basa en ser o no un “método de frontera”. Estos métodos se diferencian principalmente en los supuestos impuestos sobre los datos en términos de: la forma funcional de la frontera eficiente (una forma paramétrica es más restrictiva versus una forma no paramétrica). si se tiene en cuenta o no la existencia de un término de error aleatorioque puede ser la causa de que en un momento puntual en el tiempo una UTD tenga una producción. El análisis envolvente de datos (DEA) adopta como supuesto que todas las desviaciones entre los costos o la producción observada y el costo mínimo o la producción máxima en la frontera se deban a comportamiento ineficiente. normal truncada) que se emplea para separar la ineficiencia del error aleatorio.CEPAL . Así.SERIE Manuales N°47 la medición de la eficiencia permite jerarquizar y evaluar las UTDs.39 • Frontera Estocástica 38 39 Una buena recopilación de antecedentes se encuentra en Mizzala et al (1998b) Lovell (1993) y Coelli et al (1998) proporcionan una excelente introducción técnica a los métodos empleados en la literatura económica sobre la medida de la eficiencia. Así. productos y recursos para imputar un índice de eficiencia relativa en relación con la mejor práctica –o desempeño eficiente. Para cada uno de estos métodos. los cuales requieren métodos econométricos y de programación lineal para su cálculo. existen distintos enfoques. y los supuestos que implican respecto de la estructura de la tecnología productiva y del comportamiento económico de las UTD. El enfoque de frontera estocástica SF propone que los costos observados (o la producción) de una UTD se pueden desviar de la frontera de costos o de la de producción o bien por fluctuaciones aleatorias o bien por ineficiencia. los datos que requieren. Una presentación de los distintos métodos aplicables al sector hospitalario se encuentra en López-Casasnovas y Wagstaff (1992). Los más concurridos en la literatura son los cinco que a continuación se detallan: Fronteras Paramétricas: Enfoque Distribution Free Enfoque Thick Frontier Fronteras No Paramétricas:• Data Envelopment Analysis (DEA) Free Disposal Hull En las aplicaciones en los sectores sociales. No es posible establecer cual de los dos enfoques es mejor que el otro puesto que el verdadero nivel de eficiencia es desconocido. respectivamente. las técnicas se han dividido en paramétricas y no paramétricas. y cuando se considera la existencia de un error aleatorio. No existe consenso en la literatura sobre cual es el método más apropiado para construir la frontera eficiente respecto de la que se calculan eficiencias relativa. recursos o costos más altos o más bajos. los dos métodos más utilizados son el enfoque de frontera estocástica SF y el análisis envolvente de datos DEA.38 De las definiciones previas se desprende la noción de situación límite o frontera. semi-normal. qué supuestos se realizan sobre la distribución de probabilidad de los términos de ineficiencia (por ejemplo. 67 . abriendo el espacio al diseño de mecanismos de incentivos que premien a las mejores UTD y políticas para mejorar su eficiencia.

P2. Cada una de ellas emplea el mismo tipo de Análisis DEA: El lado derecho del gráfico muestra al conjunto de UTDs {P1. a no ser que la eficiencia asignativa se de por supuesto Eficiencia Técnica Eficiencia Asignativa Fácil de desarrollar Permite incorporar simultáneamente dimensiones cualitativas y cuantitativas Permite abordar fácilmente UTD multiproducto y/o multiinsumo Miden el error aleatorio como si fuera ineficiencia. Para una cantidad dada de insumos. en tanto que la gráfico A-2 permite visualizar más fácilmente la intuición que existe en la medición de ineficiencia con ambas metodologías. Cuadro A-1 COMPARACIÓN DE MÉTODOS DE FRONTERA ESTOCÁSTICA Y ANÁLISIS ENVOLVENTE DE DATOS Frontera Estocástica Tipo de Método Supuestos sobre el comportamiento Medidas que permite obtener Ventajas Paramétrico Función de producción: ninguno Función de costos: minimización de costos Eficiencia técnica Eficiencia asignativa Considera un ruido aleatorio. Cada una de ellas emplea el mismo tipo de insumo produciendo dos diferentes output. P6}. siendo algunas más eficientes que otras.Evaluación del impacto Es posible presentar una breve comparación de ambos enfoques en el siguiente cuadro. lo que permite construir pruebas de hipótesis con significancia estadística Permite descomponer la distancia a la frontera entre un término de ineficiencia y un error aleatorio Requiere suponer: una forma funcional. una forma para la distribución del término de ineficiencia Difícil generalizar para organizaciones multiproducto o multiinsumo.... pudiendo así confundir el error aleatorio con ineficiencia (cualquier desviación de la frontera se interpreta como ineficiencia) Desventajas Fuente: Elaboración propia Gráfico A-2 COMPARACIÓN DE MÉTODOS DE FRONTERA ESTOCÁSTICA Y ANÁLISIS ENVOLVENTE DE DATOS Fuente: Elaboración propia El lado derecho del gráfico A-2 muestra al conjunto de UTDs {P1. las UTDs producirán distintos niveles de producto.. P2. P6}. El análisis DEA identificará a las UTDs P1. P5 y P6 caen dentro de 68 . Y1 y Y2. P3 y P4 como eficientes y generará una envolvente con ellas. lo que muchas veces se realiza ad – hoc... P2. Análisis Envolvente de Datos No paramétrico Ninguno.

ya que P5’’ es igualmente eficiente. Frontera Estocástica: Dada una tecnología. y para un cierto nivel de insumo dado. Si se toma el caso de P5.CEPAL . 69 . vemos que no es un objetivo deseable ya que es estrictamente dominado por P4 –a igual nivel de insumo. Si se observa el caso de P6’. que definen la función de verosimilitud que se deba maximizar. que produce idéntica cantidad de Y1. Pero no es la única. la UTD A produce ineficientemente al encontrarse bajo la frontera eficiente.SERIE Manuales N°47 la envolvente. la UTD P4 . se puede pensar en la UTD P5’ como una unidad virtualmente eficiente –P5’ es un promedio ponderado de P1 y P2. para los cuales se pueden suponer distintos tipos de distribuciones de probabilidad. La técnica plantea que dicha ineficiencia se debe a un componente de error aleatorio y a un componente de ineficiencia.produce más Y2-. por lo que son ineficientes.respecto de la cual se podría medir la ineficiencia relativa de P5.

La forma en que se determina el valor de Ψi(0) da origen a una variedad de métodos de emparejamiento que se verán posteriormente. Es decir. por Yi(0) su resultado potencial en la variable Y si Di=0. Obviamente. el valor de Yi(0). donde N0 es el tamaño de la muestra de control y N1. el estado contrafactual. un grupo de control. el problema radica en que para realizar tal comparación se necesita conocer una situación hipotética que nunca ocurrió. Por ejemplo. y tiene. Becker e Ichino (Borrador sin fecha). al intentar calcular el EPPP uno se encuentra que para todo i tal que Di=1. por lo tanto. dos resultados potenciales respecto de alguna variable de interés para el investigador. Robles y Saavedra (2002). en comparación con su situación si no hubiesen participado. 40 En la elaboración de esta sección se usaron los artículos de Aedo y Núñez (2001). no es observable. respectivamente. el análisis se centra en el tercer estimador expuesto. similar al grupo de participantes en algunas variables de interés. Para enfrentar este problema. 70 . Ichimura y Todd (1998). en el caso que aquí interesa. Si denotamos por Di =1 y Di =0 los estados del individuo i como participante o no participante del programa. Heckman. En cualquier caso. se construye una muestra de N0 + N1 = N individuos elegibles.Ψi(0)) (5) donde Ψi(0) = es el estimador de Yi(0) construido sobre la base de información pre-programa de los miembros del grupo de control que han sido emparejados con el participante i.Evaluación del impacto ANEXO 2 METODOS NO PARAMETRICOS40 1. El estimador del efecto promedio del programa sobre los participantes será: EPPP = (1/N1) ΣDi =1 (Yi(1) . el resultado observado Yi será: Yi Yi = Yi(1) si Di=1 (0) si Di=0 (1) El estimador del efecto promedio del programa será: EPP = E [Yi(1) . y por Yi(1) el resultado potencial si Di=1. (1997).Yi(0))| D=0] Y el efecto promedio del programa sobre los participantes: EPPP = E [(Yi(1) . se recurre a construir entre los individuos elegibles que no participaron en el programa. como puede verse. cada uno de ellos puede realizar una de dos acciones alternativas: participar o no participar. Ñopo. EPPP.Yi(0)] (2) (3) (4) El efecto promedio del programa sobre los controles será: EPPC = E [(Yi(1) . Por lo tanto. el de la muestra de participantes. para cada individuo sólo uno de estos estados potenciales se realizará y podrá ser observado. El método de matching o emparejamiento Dado un universo de individuos elegibles para participar en un Programa.Yi(0))| D=1] Para calcular la rentabilidad de un programa interesa conocer los beneficios que éste reportó a quienes efectivamente participaron en él.

es usar la metodología de Manski y Lerman (1977) para tratar con el problema de Choice Based Sampling. Es decir: p(X) = Pr ( D=1 | X ) = E [ D | X ] Definimos las siguientes condiciones: • Balancing de las variables pre programa dada la propensión a participar. dado su P(ji|Xi. un proceso LOGIT tradicional entregará una estimación inconsistente de las propensiones a participar. Es decir.E[Yi(0)|Di =0. β0 ) f(x) dx probabilidad con la que se encuentra el estado j en la muestra. de búsqueda de distancias mínimas entre individuos. participantes y controles serán en promedio observacionalmente iguales. Manski (1995). p(Xi)]] EPPP = E[{E[Yi(1)|Di =1.41 Defina: probabilidad condicional de que el individuo i escoja el estado j. β) evaluada en el verdadero valor de β verdadera densidad de x Q ( j|β0 ) = ∫ P (j |X.SERIE Manuales N°47 Estimación de las Propensiones a participar (Propensity scores) • Realizar un proceso de emparejamiento. la probabilidad poblacional de que un individuo se encuentre en el estado de participante difiere de la probabilidad de que se encuentre a un individuo de ese estado en la muestra. se puede lograr similar resultado de manera mucho más sencilla. (D ⊥ X) | p (X) • Unconfoundedness dada la propensión a participar.Yi(0))| Di =1] EPPP = E[E[(Yi(1) .CEPAL . definida por Rosenbaum y Rubin (1983) como la “probabilidad condicional de participar. si en lugar de utilizar todo el set de atributos pre-programa X. que las observaciones con la misma propensión a participar deben tener la misma distribución de características observables (y no observables) pre programa. Una alternativa de solución. puede fácilmente llevar a un grado de complejidad que torne el problema inabordable. p(Xi)] . 71 . entonces el estimador del efecto de participar en el programa para los participantes puede expresarse como: EPPP = E[(Yi(1) . Ver Amemiya (1985). Esto implica que. que es la utilizada en este trabajo. Y1 ⊥ D) | X (Y0. Manski y Lerman (1977). dados los valores del set de atributos pre-programa”. bajo ciertas condiciones.Yi(0))| Di =1. β) = set de atributos Xi y el vector de coeficientes β P(ji|Xi. se usa la propensión estimada a participar p(X). por lo tanto. en un espacio multidimensional. Y1 ⊥ D) | p(X) (6) Si se cumplen las condiciones (i) y (ii). Si dada la forma de construcción de la muestra. dada la propensión a participar. p(Xi)] }| Di =1] (7) (8) (9) Para obtener las propensiones estimadas a participar es posible usar cualquier método de estimación para variable dicotómica. β0) = f(x) = Q0 (j) = H (j) = 41 P(ji|Xi. es decir. independientemente de si participan o no en el programa. el estado (participante o no participante) será aleatorio y. por ejemplo PROBIT o LOGIT. esto es: Si Entonces (Y0. Sin embargo.

Dj =0. se toma el promedio simple.p(Xj) || elegido (16) (17) (18) C(i) = min j || p(Xi) . sección 9... Métodos por estratificación: Divide la muestra completa (participantes y controles) en q=1. Si denotamos por C(i) el set de controles (individuos pertenecientes a la muestra de control) emparejados al participante i. de manera que la condición de participante o no participante puede ser considerada una variable aleatoria. β)/∂ β) = 0 − .p(Xj) || . para estimar las propensiones utilizamos el estimador de β que maximiza Sn: Sn = Σi =1. podemos definir los siguientes estimadores: Métodos “uno a uno” i) Vecino más próximo: El emparejamiento se realiza con el o los controles cuya propensión a participar esté a la mínima distancia euclidiana de la del participante. pero puede restar observaciones. de manera que un mismo control puede ser emparejado con varios participantes..Métodos de matching para estimar el EPPP42 Una vez calculadas las propensiones estimadas a participar. Dj =0 EPPP VP (11) (12) (13) = (1/N1) ΣD i=1 [Yi(1) .(1/NC(i)) Σj∈C(i) Yj(0)] (14) (15) iii) Vecino más próximo con definición aleatoria: Si hay más de un control que cumple la condición.. El EPP es el promedio de las diferencias para todos los participantes. C(i) = min j || p(Xi) ...Q bloques en los que se asegura el balance de los atributos pre-programa.. pero para integrar C(i) se impone la condición adicional de que la distancia debe ser menor que un valor arbitrario r.n w(ji) log P(ji | Xi. “Advanced Econometrics”. un estimador consistente de β se obtiene de: ∂Sn/∂ β = Σi =1. Una clasificación posible son los métodos "Uno a uno". Dj =0 EPPPVR = (1/N1) ΣD i=1 [Yi(1) . escoge uno aleatoriamente. métodos estratificados y métodos Kernel. 72 . Herr e Imbens (2002).5 “Choice based Models) que se supone se cumplen.. β)) (∂P(ji| Xi. Aj =1 si j ∈ min j || p(Xi) . Becker e Ichino (Borrador sin fecha)..(1/NC(i)) Σj∈C(i) Yj(0)] ii) Vecino más póximo restringido: Similar al anterior.Yj∈C(i) (0)] En general los métodos del vecino más próximo operan con reemplazo. Asegura la calidad de los emparejamientos. Sianesi (2001) y Todd (1999). Aj=1 EPPPVA = (1/N1) ΣD i=1 [Yi(1) . y por NC(i) el número de observaciones en C(i). Drucker.p(Xj) || . C(i) = min j || p(Xi) .p(Xj) || < r . Dentro de cada bloque se calcula: 42 Ver Abadie. Si hay más de un control que cumple la condición. β) donde w(j) = (Q0 (j)) / H(j) (10) Bajo ciertas condiciones (ver Amemiya. existen varios métodos alternativos para estimar el valor contrafactual no observable para cada participante en la muestra.n w(ji) (1/ P(ji| Xi.Evaluación del impacto Siguiendo a Manski y Lerman (1977).

CEPAL - SERIE Manuales

N°47

EPPPq = (1/Nq1) Σi∈I(q) Yi(1) - (1/Nq0) Σj∈I(q) Yj (0)

(19)

donde I(q) es el set de unidades en el bloque q y Nq1, Nq0 son el número de participantes y controles en I(q), respectivamente. El estimador del efecto promedio del programa sobre los participantes se obtiene como el promedio del efecto de los Q bloques, ponderado por la fracción de participantes de cada bloque sobre la cantidad muestral de participantes. EPPPQ = Σq=1...Q EPPPq Wq donde Wq = Σi∈I(q) Di / Σi=1...N Di (20)

Métodos Kernel: Estiman el resultado contrafactual de cada participante usando el promedio ponderado de los resultados de todos los controles, donde la ponderación es inversamente proporcional a la distancia en propensión a participar. EPPPK = (1/N1) ΣDi=1 [ Yi(1) - ΣDj=0 Yj(0) Wij ] donde Wi j = K((1/h)(p(Xi) - p(Xj))) / ΣDj=0 K((1/h)(p(Xi) - p(Xj))) (22) (21)

y K(·) es una función no negativa, simétrica y unimodal. La forma funcional que adopte la función K(·) determina el tipo de Kernel. Los más usados son: i) Método Kernel-Gaussian: Utiliza todas las observaciones de la submuestra de controles: K(u) = exp (-u2 / 2 ) ii) Método Kernel-Epanechnikov: Utiliza una ventana móvil dentro del grupo de control que incluye sólo aquellas observaciones dentro de un radio h de p(Xi), es decir, todo Dj=0 que satisface | p(Xi) - p(Xj) | < h: K(u) = ( 1 - u2 ) si | u | < 1 (0 en otro caso) iii) Método Triangular: Utiliza una ventana móvil dentro del grupo de control que incluye sólo aquellas observaciones dentro de un radio h de p(Xi), es decir, todo Dj=0 que satisface | p(Xi) p(Xj) | < h: K(u) = 1 - | u |, si | u | < 1 (0 en otro caso) Common Support43 Independientemente del método de emparejamiento utilizado, la literatura relativa a metodología de estimación de impacto basada en emparejamientos de beneficiarios con controles (Matching Estimators) plantea la conveniencia de trabajar sólo con aquellos beneficiarios y controles cuyas propensiones a participar pertenezcan a un dominio común, es decir, aquellos para quienes existe un individuo en el estado alternativo (beneficiario o control) cuya propensión a participar es suficientemente cercana como para ser su pareja de comparación. Trabajar sólo en la región de common support asegura una mejor calidad de los emparejamientos pero puede reducir el número de observaciones válidas. En este estudio se optó por trabajar en la zona de common support, es decir descartando del análisis a los participantes cuyas propensiones estimadas a participar sean mayores o menores que la mayor y menor propensión estimada a participar de la

43

Ver Heckman, Ichimura y Todd (1998).

73

Evaluación del impacto

muestra de control, respectivamente. Análogamente se descartan los controles que se encuentren situación similar respecto de la muestra de participantes.

2.

El caso de tratamientos múltiples

El método general La aplicación de la sección anterior supone que el programa es homogéneo, en otras palabras que todos los beneficiarios reciben el mismo tratamiento. Hay algunos programas que incorporan la característica de tratamientos múltiples, como por ejemplo los programas de entrenamiento laboral que ofrecen distintos cursos en áreas temáticas diversas que son factibles de seguir. De esta manera para evaluar correctamente estos programas hay que generalizar la metodología presentada anteriormente para incorporar la característica de tratamientos múltiples. El fundamento teórico para esta generalización ha sido dado por Lechner (1999). Denote por Y = { Y0,Y1, …,YM} el resultado de (M+1) posibles tratamientos mutuamente excluyentes. Para cualquier participante, sólo uno de los componentes de Y puede ser observado en los datos correspondiendo los restantes M resultados a contrafactuales.44 Denote por S ∈ {0,1,..., M } la participación en un tratamiento particular m. En el caso de tratamiento múltiple las definiciones de “Average Treatment Effect” y “Treatment on the Treated Effect” deben ser extendidos. El centro del análisis ahora pasa a ser la comparación de los efectos del tratamiento m y l:

(10)

γ m ,l = E [ m − Y l ] Y θ m ,l = E [ m − Y l | S = m] = E [ m | S = m]− E [ l | S = m] Y Y Y γ m,l denota el “Average Treatment Effect” del tratamiento m relativo
al tratamiento l para un participante elegido al azar de la población. Similarmente, θ m,l denota el “Treatment on the Treated Effect” para un individuo extraído al azar de la población de participantes del tratamiento m. Es importante notar que si los participantes en el tratamiento m y l difieren de manera sistemática, entonces θ m,l ≠
(11)

θ l,m ; es decir, los “Treatment on the Treated Effect” no son simétricos.
Para obtener identificación se utiliza el supuesto que los resultados del tratamiento potencial son independientes del mecanismo de asignación para cualquier valor del vector de atributos (X) en un espacio particular de atributos ℵ . Formalmente,

Y 0 , Y 1 ,..., Y M ⊥ S | X = x, ∀x ∈ ℵ
Lechner (1999) prueba que en este caso se mantiene la propiedad sugerida por Rosenbaum y Rubin (1983). Es decir, el supuesto (12) implica:

(12)

Y 0 , Y 1 ,..., Y M ⊥ S | b( X ) = b( x), ∀x ∈ ℵ
El vector (M+1) - dimensional de Propensity Score” P ( x) = P 0 ( x),...., P M ( x) puede ser usado como el balancing score b(X). A diferencia del caso con dos tratamientos la dimensionalidad
44

[

]

La categoría 0 detona el caso de no tratamiento.

74

CEPAL - SERIE Manuales

N°47

se reduce sólo a M, por lo cual usar Propensity Score” como variables condicionantes es útil sólo cuando la dimensión de X es mayor que M. Para obtener estimadores consistentes del Treatment on the Treated Effect, Lechner (1999) sugiere, en primer lugar, que se especifique y se estime un modelo multinomial para obtener el ˆ ˆ ˆ balancing score P ( x) = P 1 ( x),..., P M ( x) .

[

]

En segundo lugar, se pueden usar estimadores de matching para proceder en pares. Para comparar entre tratamientos m y l, la idea es encontrar para cada participante en el tratamiento m un participante de l que tenga (casi) el mismo “balancing score”. Tomando la media de la variable de resultado para estas comparaciones pareadas provee el “Treatment on the Treated Effect” deseado. Es interesante destacar que el análisis de matching tradicional típicamente usa el grupo de comparación sólo una vez. Sin embargo, en el caso de tratamientos múltiples, cada grupo actúa simultáneamente como un grupo de beneficiarios y como grupo de control en varias oportunidades. Algoritmo de Estimación En este caso se puede aplicar un algoritmo de estimación el cual contemple los siguientes cuatro pasos: Paso 1: Se especifica y estima un modelo de elección multinomial para obtener

ˆ ˆ ˆ P( x) = P 1 ( x),..., P M ( x) .
Paso 2: Para comparar tratamientos m y l se hace lo siguiente: Se elige un individuo n en la submuestra definida por la participación en tratamiento m y ˆ ˆ obtenga Pnm , Pnl ) para ese individuo. Se elimine al individuo del grupo.

[

]

[

]

Se elige un individuo en la submuestra de participantes en el tratamiento l que esté lo más ˆ ˆ cerca posible (en términos de la distancia de Mahalanobis) a Pnm , Pnl ) .

[

]

Se repiten los pasos a) y b) anteriores hasta que no quede ningún individuo en m Usando los grupos de comparaciones pareados formados en c), se computan las expectativas condicionales en (2) por medio de medias aritméticas. Paso 3: Se repite el Paso 2 para todas las combinaciones de m y l. Paso 4: Se computan los “Treatment on the Treated Effect” usando los resultados obtenidos en el Paso 3 y se computa la matriz de covarianza. Para computar la varianza se puede usar la formula provista por Lechner (1999):

Var (θ

m ,l

1 ∑i∈l ( wim ) 2 Var (Y l | S = l ) m )= Var (Y | S = m) + Nm (N m ) 2

donde Nm denota el número de participantes en el tratamiento m y wim denota la ponderación que se le da a cada individuo en el grupo l bajo la restricción de que

i∈l

wim = N m .

(13)

75

.

212) NÛ GH YHQWD 6.149 (US$ 10.00). www Curso a distancia sobre formulación de proyectos de información (LC/L.* 86 10. 2..168). www Manual de licitaciones públicas.56 (US$ 10. www International trade and transport profiles of Latin American Countries.* (US$ 10.00).19. 25.00). NÛ GH YHQWD 6. 1999. LC/IP/L.. 24.1461-P.. 2000.00)..II.. NÛ GH YHQWD 6. Lutz (LC/L. NÛ GH YHQWD 6..G. 1999.1829-P. www Glosario de títulos y términos utilizados en documentos recientes de la CEPAL (LC/L.1413-P). NÛ GH YHQWD S.00).II.1963-P). NÛ GH YHQWD 6. 2000. 2000.184). 13.. 2003. www Introducción a la gestión del conocimiento y su aplicación al sector público. www Diseño de un sistema de medición de desempeño para evaluar la gestión municipal: una propuesta metodológica. 10.. www Indicadores de sostenibilidad ambiental y de desarrollo sostenible: estado del arte y perspectivas (LC/L.* 86 10. LC/IP/L. NÛ de venta: S.* 86 10. 2000. www Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas (LC/L.00).00).224).1711-P).00). NÛ GH YHQWD S.163). 6.52 (US$ 10.* 86 10. www La modernización de los sistemas nacionales de inversión pública: Análisis crítico y perspectivas (LC/L. 2000. (US$ 10.166).* 86 10.G.1884-P.00).G. 9.164).II. 2002. www Marco conceptual y operativo del banco de proyectos exitosos (LC/L.1269-P..216).II. NÛ de venta: S. www Manual de cuentas nacionales bajo condiciones de alta inflación (LC/L..G.1321-P. 1999. Ricardo Arriagada (LC/L. 18. 3. NÛ GH YHQWD 6. 5.1379-P. (US$ 10. 2003.00).* (US$ 10. LC/IP/L. NÛ GH YHQWD 6. www Material docente sobre gestión y control de proyectos (LC/L. NÛ GH YHQWD 6. www Control de gestión y evaluación de resultados en la gerencia pública (LC/L. 15.122. www 77 . NÛ GH YHQWD 6.* 86 10.G.II. 14. Desafíos y propuestas para la implementación más efectiva de instrumentos económicos en la gestión ambiental de América Latina y el Caribe (LC/L. www Procedimientos de gestión para el desarrollo sustentable (LC/L. 2002.00). 2001. www Sistema de información bibliográfica de la CEPAL: manual de referencia. 12.99. 2000.03. 19. www El papel de la legislación y la regulación en las políticas de uso eficiente de la energía en la Unión Europea y sus Estados Miembros.99. LC/IP/L. www Manual de identificación.25 (US$ 10.1531-P). LC/IP/L.99.1296-P).142 (US$ 10.II. N de venta: S. LC/IP/L.1267-P.03. LC/IP/L. LC/IP/L.SERIE Manuales N°47 Serie Manuales Números publicados 1.G.* 86 10.* 86 10.G..1204-P). 2002.1753-P. Wolfgang F.1607-). 2002.G.00). 2001. en prensa (US$ 10. 2002. 8.99.00). NÛ GH YHQWD 6.00). NÛ GH YHQWD 6.* (US$ 10. 2002. 2003.II. Sales NÛ E.G. 26.42 (US$ 10.1310-P).1690-P). 1999.215).* 86 10. Oficina de Estadísticas de la Unión Europea (EUROSESTAT) (LC/L. 1999.225). en prensa. América Latina: Aspectos conceptuales de los censos del 2000 (LC/L.00).II. 23. NÛ GH YHQWD 6. 2001. NÛ GH venta: S.01.1489-P). www Manual de cuentas trimestrales.G.00.00). Silke Shulte (LC/L.1830-P.1818-P.02.00). www Guía conceptual y metodológica para el desarrollo y la planificación del sector turismo.00)..48.174).. 17.II.* 86 10. Carmen Vera (LC/L.00).00).II. 22. Marta Beatriz Peluffo y Edith Catalán (LC/L. NÛ GH Yenta: S. formulación y evaluación de proyectos de desarrollo rural (LC/L. 20. LC/IP/L. NÛ GH YHQWD S. year 2000 (LC/L. 21. (US$ 10. 11. LC/IP/L.CEPAL .1883-P. NÛ GH YHQWD 6.00).00)..1508-P).01. www Política fiscal y entorno macroeconómico (LC/L. www Manual para la preparación del cuestionario sobre medidas que afectan al comercio de servicios en el hemisferio (LC/L.00).00). 1999. 7.1266-P. 4. LC/IP/L.* (US$ 10. NÛ GH YHQWD 6.206).1242-P. Isabel Correa (LC/L. www Metodología de evaluación de proyectos de viviendas sociales (LC/L. NÛ GH venta: S.43 (US$ 10. LC/IP/L. 2001.00). www Retirado de circulación. www El uso de indicadores socioeconómicos en la formulación y evaluación de proyectos sociales. 16.

. ciudad. www 46..... (LC/IP/L. N° de venta: S...246).. NÛ GH YHQWD 6......... Los sistemas nacionales de inversión pública en Centroamérica: marco teórico y análisis comparativo multivariado..56....... 2003..... preparación y evaluación de proyectos de inversión pública.. Dirección: ...... Edgar Ortegón Juan Francisco Pacheco Adriana Prieto (LC/L..II.05.. 2004.mail:.G... Edgar Ortegón.88 (US$10.04.... Pobreza y precariedad del hábitat en ciudades de América Latina y el Caribe. 2004.182. Hugo Navarro (LC/L...... 2179-P)...... El sistema de inversiones públicas en la provincia de San Juan. LC/IP/L.. LC/IP/L.....2442-P).... www 36..........II....00)......131...... NÛ de venta: E. Socio-economic impacts of natural disasters: a gender analysis.......... Juan Francisco Pacheco (LC/L. 2004...04.... Principales aportes de la CEPAL al desarrollo social 1948-1998......org...II...189..2129-P)....265).* 86 10....04..05........... Guía conceptual y metodológica..00).... www 37.II. Fax (562) 210 2069... 2005...04. 2005..00).04. Marianela Armijo (LC/L.. NÛ GH YHQWD E.05..G.89... N° de venta: S......... correo electrónico: publications@cepal. NÛ GH YHQWD 6..2006..E.235)................ Evaluación social de inversiones públicas: enfoques alternativos y su aplicabilidad para Latinoamérica....eclac. NÛ GH YHQWD 6....00).. (US$ 10..41.org Nombre: ...... www 30.. Casilla 179-D.... No venta S....... 2003...G.....263).* (US$ 10..... Edgar Ortegón Juan Francisco Pacheco Horacio Roura (LC/L...:......... Sarah Bradshaw (LC/L.2288-P)..... N° de venta: S...1972-P).1957-P).1999-P.. Brasil.00)..00).. www 41. Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza..........2210-P)....... www 47.G.... Tel.. www 35. www 40..... Rolando Franco y José Besa (LC/L...*  www 44..05.. (US$ 10..... Venezuela.1998-P).. www 31....* 86 10... N° de venta: S.G..53..... www 42. 2214-P)..... A methodological approach to gender analysis in natural disaster assessment: a guide for the Caribbean. Juan Francisco Pacheco y Ana Carolina Cámpora Rudolff (LC/L.. NÛ GH YHQWD 6. 78 ...* 86 10. www 29.G...2436-P. 2005 www • www El lector interesado en adquirir números anteriores de esta serie puede solicitarlos dirigiendo su correspondencia a la Unidad de Distribución.. Evaluación del impacto (LC/L..2277-P).2387-P. Disponible también en Internet: http://www.II.00).... Políticas de precios de combustibles en América del Sur y México: implicancias económicas y ambientales.....II... 2005. NÛ GH YHQWD 6... Metodología del marco lógico para la planificación....... 2005..... www 38..II. N° de venta: S..II...... N° de venta: S................... México......130......05... 2004. 2004..II. No venta: S.... 2004..... Eduardo Contreras (LC/L. María Thorin (LC/L....G..00)... www 34..... 2004......... LC/IP/L.. levantamiento bibliográfico: período 1948-1992. Edgar Ortegón y Juan Francisco Pacheco (LC/L...... (US$ 10....136 (US$ 15......05..Evaluación del impacto 27. 2348-P).. The gender dimension of economic globalization: an annotated bibliography.II. Juan Cristóbal Bonnefoy... N° de venta: S......... www 33....... Los sistemas nacionales de inversion pública en Argentina..2288-P). Estadísticas del medio ambiente en América Latina y el Caribe: avances y perspectivas.cepal......G..........05...... No de venta: S...... Guyana... Indicadores de desempeño en el sector público. 2003.......G....... www 32..G............II..05.. www 45.G...... NÛ GH venta: E........ 2005....Fax: ... Análisis de género en la evaluación de los efectos socioeconómicos de los desastres naturales.II..2160-P)... 2004. y España como caso de referencia (cuadros comparativos)... Los sistemas nacionales de inversión pública en Barbados...II...II..... 2003.. el seguimiento y la evaluación de proyectos y programas. www 28....00)... Edgar Ortegón...00). N° de venta: S....04. Código postal......G.... Jamaica y Trinidad y Tabago...G.G.G... Santiago...... Sarah Bradshaw y Ángeles Arenas (LC/L.. N° de venta: S..2123-P)...G..... Joan Mac Donald y Marinella Mazzei (LC/L.II....... República de Argentina.100 (US$ 15.. LC/IP/L..............04..... Guía de gestión urbana (LC/L...... N° de venta: S.............133 (US$ 10..... Irma Arriagada.. Técnicas de análisis regional.....69... www 43.....2128-P)..163........... Hugo Altomonte y Jorge Rogat (LC/L.2171-P).. Lineamientos de acción para el diseño de programas de superación de la pobreza desde el enfoque del capital social.. país: ........03..2326-P). Metodología general de identificación.. 2005..106.... Actividad: ..52............ Luis Lira y Bolívar Quiroga (LC/L...... Edgar Ortegón y Diego Dorado (LC/L.00).261). www 39..org/ o http://www. Fredericka Deare (LC/L.. Chile.II.2416-P. Rayén Quiroga Martínez (LC/L. CEPAL..... Francisca Miranda y Thaís Pávez (LC/L.

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->