Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Pauta Metodológica de Exante Expost PDF
Pauta Metodológica de Exante Expost PDF
48
manuales
P auta metodolgica de
evaluacin de impacto ex-ante y
ex-post de programas sociales de
lucha contra la pobreza
Aplicacin metodolgica
Hugo Navarro
Katiuska King
Edgar Ortegn
Juan Francisco Pacheco
ISBN: 92-1-322831-7
LC/L.2449-P
LC/IP/L.266
N de venta: S.06.II.G.18
Copyright Naciones Unidas, enero de 2006. Todos los derechos reservados
Impreso en Naciones Unidas, Santiago de Chile
ndice
Resumen ......................................................................................................7
Introduccin ................................................................................................ 9
1. Evaluacin de impacto ex-ante..................................................13
Paso 1. Diagnstico ..........................................................................15
1. Medicin e intensidad de la pobreza ..................................16
2. Perfil .....................................................................................28
3. Determinantes de la pobreza...............................................30
Paso 2. Formulacin de programas .................................................33
1. Descripcin del Proyecto 1: Nutricin...............................34
2. Descripcin del Proyecto 2: Vivienda................................34
3. Descripcin del Proyecto 3: Capacitacin
de jvenes.............................................................................35
4. Descripcin del Proyecto 4: Acueducto y
alcantarillado........................................................................35
5. Descripcin del Proyecto 5: Microcrdito .........................36
6. Descripcin del Proyecto 6: Subsidio escolar....................36
Paso 3. Lnea base ............................................................................37
Paso 4. Seleccin de beneficiarios...................................................39
1. Beneficiarios permanentes..................................................39
2. Beneficiarios temporales.....................................................43
Paso 5. Simulacin de la situacin con proyecto y
medicin del impacto ..........................................................44
1. Simulacin del Proyecto 1: Nutricin ................................44
2. Simulacin del Proyecto 2: Vivienda.................................45
3. Simulacin del Proyecto 3: Capacitacin laboral
a jvenes...............................................................................46
3
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
ndice de cuadros
Cuadro 1 MIP Lnea de pobreza absoluta para hogares y personas ...........................................24
Cuadro 2 MIP Lnea de pobreza relativa para hogares y personas ............................................25
Cuadro 3 Nmero de pobres segn mtodo de medicin ...........................................................28
Cuadro 4 Participacin de los pobres en el total de poblacin de cada grupo ...........................29
Cuadro 5 Participacin vertical de los pobres en cada mtodo de medicin .............................30
Cuadro 6 Efectividad segn niveles de participacin de la comunidad en
proyectos rurales de agua............................................................................................34
Cuadro 7 Impacto Proyecto 1 .....................................................................................................44
Cuadro 8 Impacto Proyecto 2 .....................................................................................................46
Cuadro 9 Impacto Proyecto 3 .....................................................................................................47
Cuadro 10 Impacto Proyecto 4 .....................................................................................................47
Cuadro 11 Impacto Proyecto 5 .....................................................................................................48
4
CEPAL - SERIE manuales N 48
ndice de tablas
Tabla 1 Variables de impacto.................................................................................................................... 38
Tabla 2 Lnea de base para cada proyecto ............................................................................................... 38
Tabla 3 Beneficiarios por proyecto........................................................................................................... 39
Tabla 4 Rentabilidad privada y social ...................................................................................................... 50
Tabla 5 Costos y tipo de accin pblica de los proyectos ...................................................................... 51
Tabla 6 Impacto por indicador .................................................................................................................. 52
Tabla 7 Jerarquizacin por eficacia .......................................................................................................... 52
Tabla 8 Jerarquizacin por eficiencia o costo impacto........................................................................... 53
Tabla 9 Jerarquizacin segn el mtodo ILPES...................................................................................... 54
Tabla 10 Indicadores de impacto en la situacin con y sin proyecto....................................................... 81
Tabla 11 Impacto promedio del programa usando controles reflexivos ................................................. 82
Tabla 12 Modelos economtricos en la estimacin del impacto del programa...................................... 83
Tabla 13 Estimacin economtrica del impacto del programa ................................................................ 84
Tabla 14 Estimacin economtrica del impacto del programa aislando el
efecto de los factores exgenos................................................................................................... 86
Tabla 15 Indicadores de impacto en la situacin sin y con proyecto....................................................... 95
Tabla 16 Impacto promedio del programa usando el diseo de slo despus........................................ 96
Tabla 17 Diferencias entre los grupos de control y tratamiento en la situacin
sin proyecto ................................................................................................................................... 99
Tabla 18 Indicadores de impacto para el grupo de tratamiento en la situacin
sin y con proyecto....................................................................................................................... 100
Tabla 19 Indicadores de impacto para el grupo de tratamiento en la situacin
sin y con proyecto....................................................................................................................... 100
Tabla 20 Impacto del programa medido con el diseo de diferencias en diferencias.......................... 102
ndice de grficos
Grfico 1 Incidencia de la pobreza absoluta de personas por zona........................................................... 20
Grfico 2 Componentes del INBI pobreza de personas............................................................................. 21
Grfico 3 Incidencia de la pobreza extrema de personas por zona ........................................................... 22
Grfico 4 Componentes del INBI extrema pobreza de personas .............................................................. 23
Grfico 5 Mtodo integrado de la pobreza absoluta................................................................................... 24
Grfico 6 Componentes del IDH.................................................................................................................. 25
Grfico 7 Curva de Lorenz ........................................................................................................................... 27
5
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
ndice de diagramas
Diagrama 1 Evaluaciones de impacto y el ciclo del proyecto........................................................11
Diagrama 2 Evaluacin de impacto ex-ante y ex-post ...................................................................14
Diagrama 3 Mapa o esquema operativo de la evaluacin ex-ante .................................................15
Diagrama 4 Criterios de seleccin Proyecto 1 Nutricin ...............................................................39
Diagrama 5 Criterios de seleccin Proyecto 2 Vivienda................................................................40
Diagrama 6 Criterios de seleccin Proyecto 3 Capacitacin de jvenes .......................................40
Diagrama 7 Criterios de seleccin Proyecto 4 Acueducto y alcantarillado ...................................41
Diagrama 8 Criterios de seleccin Proyecto 5 Microcrdito .........................................................41
Diagrama 9 Criterios de seleccin Proyecto 6 Subsidio escolar ....................................................42
Diagrama 10 Criterios de seleccin trabajadores Proyecto 2 Vivienda ...........................................43
Diagrama 11 Criterios de seleccin trabajadores Proyecto 4 Acueducto ........................................44
Diagrama 12 Pasos para evaluar el impacto de un programa social ................................................59
Diagrama 13 Factores exgenos al programa que son determinantes de la nutricin
de los nios .................................................................................................................64
Diagrama 14 Diagrama de flujo .......................................................................................................65
Diagrama 15 Efectos incluidos en la evaluacin..............................................................................68
Diagrama 16 Ruta a seguir en la seleccin y aplicacin de los diseos de
evaluacin de impacto ................................................................................................77
Diagrama 17 Diseo cuasi-experimental con controles reflexivos ..................................................80
Diagrama 18 Diagrama de flujo de la evaluacin usando grupos de control...................................88
Diagrama 19 Diseo slo despus....................................................................................................94
Diagrama 20 Flujo de caja del programa usando el diseo slo despus con grupos
de comparacin equivalentes ......................................................................................96
Diagrama 21 Diseo de diferencias en diferencias ..........................................................................97
ndice de recuadros
Recuadro 1 El ciclo del proyecto ...................................................................................................11
Recuadro 2 Mtodos de medicin de la pobreza ...........................................................................18
Recuadro 3 Componentes del ndice de necesidades bsicas insatisfechas (INBI).......................21
Recuadro 4 Autonoma econmica de la mujer .............................................................................36
Recuadro 5 Otros criterios de seleccin de beneficiarias para un proyecto similar ......................42
Recuadro 6 Ventajas comparativas del Proyecto 1........................................................................45
Recuadro 7 Objetivos del programa...............................................................................................60
Recuadro 8 Efectos identificados a partir de los objetivos del programa......................................60
Recuadro 9 Estndares para medir eficacia ...................................................................................70
Recuadro 10 Demostracin matemtica del sesgo que se genera al no aislar un
factor exgeno al programa ........................................................................................85
Recuadro 11 Prueba estadstica de diferencia de medias.................................................................92
ndice de figuras
Figura 1 Divisin de las provincias de la sabana centro y occidente ...............................................90
Figura 2 Municipios seleccionados para conformar el grupo de control..........................................93
6
CEPAL - SERIE manuales N 48
Resumen
7
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
8
CEPAL - SERIE manuales N 48
Introduccin
9
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
10
CEPAL - SERIE manuales N 48
Recuadro 1
EL CICLO DEL PROYECTO
En forma general el ciclo del proyecto est compuesto por tres fases (o estados)
sucesivos: preinversin, inversin y operacin. La fase de preinversin corresponde a todo el
proceso que se realiza para identificar adecuadamente un problema o necesidad, formular y
preparar alternativas de solucin y evaluarlas con el objeto de determinar si es conveniente
ejecutarlas o no y cul es la ms recomendable. Si la decisin es de ejecutar una de las
alternativas de solucin al problema, se pasa a la fase de inversin, donde se realizan el
diseo del proyecto y la ejecucin de la obra o implementacin de las actividades.
Finalmente, en la fase de operacin se pone en marcha la obra terminada o el plan
especfico a seguir, de acuerdo a lo proyectado. En esta fase se comenzarn a generar los
beneficios estimados en la preinversin.
En la fase de preinversin se distinguen las siguientes etapas: perfil, prefactibilidad y
factibilidad; y en la fase de inversin las de diseo y ejecucin del proyecto. La fase de
operacin corresponde a la puesta en marcha de los proyectos y la operacin plena. Durante
la fase de preinversin se efectan evaluaciones ex-ante del proyecto y en la de operacin
puede efectuarse un seguimiento a fin de efectuar una evaluacin ex-post de l, sin embargo
la evaluacin ex-ante debe estar concebida desde el diseo del proyecto.
Por evaluacin ex-ante se entender la comparacin, numrica o no, de los costos y
beneficios que se estima generar el proyecto si es ejecutado. Si dicha comparacin se
realiza desde el punto de vista de la empresa o entidad que realiza el proyecto ser una
evaluacin privada. En cambio, si la evaluacin se realiza desde la perspectiva de la
sociedad en su conjunto, se tratar de una evaluacin social. Por control de proceso se
entender el seguimiento fsico y financiero que se realiza a un proyecto durante la etapa de
ejecucin. Se evala el avance de las obras o acciones en trminos de cantidad, calidad,
costo incurrido versus el presupuestado y cumplimiento del cronograma. Todo esto se
resume en un Informe de Trmino de Proyecto. Las evaluaciones ex-post permiten
determinar una evaluacin de resultados para ver si efectivamente el proyecto o programa
est alcanzando (o alcanz) los objetivos estimados en la evaluacin ex-ante as como los
objetivos planteados por el proyecto.
Fuente: Serie Manuales 24 ILPES, Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos
y programas.
Diagrama 1
EVALUACIONES DE IMPACTO Y EL CICLO DEL PROYECTO
INICIO
EVALUACIN EVALUACIN
PREINVERSI ON EX-ANTE INVERSION EX-P OST OPERACIN
Evaluacin de
resultados
Control de
proceso RESULTADOS
EVALUACI N
EX-POST
11
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
En una primera parte, esta Pauta se evala el impacto ex ante de seis proyectos sociales
formulados por la Alcalda de Zipaquir aplicando un diseo cuasi-experimental denominado
antes y despus o si se quiere expresar de otra forma sin proyecto y con proyecto. Estos seis
proyectos tratan temas variados desde subsidios nutricionales y subsidios por educacin hasta
proyectos de construccin de vivienda y alcantarillado pasando por microcrdito y capacitacin a
jvenes.
En una segunda parte de la Pauta, el programa Familias en Accin deber ser evaluado
usando un diseo experimental antes y despus con grupo de control. En este caso, se utilizar
informacin que fue recolectada especficamente para evaluar este programa. Se contar con la
informacin de lnea base y un seguimiento para los grupos de tratamiento y control (ver diagrama
2, panel derecho).
12
CEPAL - SERIE manuales N 48
1
El SISBEN (Sistema Integrado de seleccin de beneficiarios) realiza encuestas socioeconmicas que se aplican a la poblacin de
menor ingreso con el propsito de determinar su calidad de vida y permitir su acceso a los programas sociales de Colombia. El
SISBEN nace en 1993 con el establecimiento del marco legal para la focalizacin del gasto social. A marzo del 2005, 99.6% de los
Municipios colombianos tenan implantado la actualizacin del SISBEN.
13
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Es importante estar conscientes de las limitaciones de validez interna que surgen al aplicar
este diseo, que afectan su confiabilidad al inferir previamente en la simulacin la relacin de
causalidad que existe entre el proyecto y los cambios observados en el bienestar de los
beneficiarios. Sin embargo, se considera que los resultados son valiosos para informar la situacin
actual de los beneficiarios y contar con una primera medicin de los posibles efectos de los
proyectos que se proponen. En el diagrama 2 se muestra el esquema del diseo antes (o sin
proyecto) y despus (o con proyecto) que se aplicar en este ejercicio (ver panel izquierdo).
Diagrama 2
EVALUACIN DE IMPACTO EX-ANTE Y EX-POST
Grupo de Yt Yt+1
control
Este captulo est dividido en seis partes, cada una corresponde a los pasos que se debe
seguir para realizar una evaluacin de impacto ex-ante, tal como se observar en el diagrama 3.
PASO 1) Se empezar por un diagnstico de la pobreza en la municipalidad escogida. PASO 2)
Posteriormente, se describirn las alternativas de solucin a los distintos problemas de la regin en
cuestin, en base a la formulacin detallada de los seis proyectos antes mencionados. PASO 3)
Para cada proyecto se levantar la lnea de base para los indicadores que sufrirn alguna
modificacin. PASO 4) Se realizar una seleccin de los posibles beneficiarios de acuerdo a la
descripcin del proyecto. PASO 5) Con estos beneficiarios se simular la situacin con proyecto en
los indicadores escogidos en el paso 3 y se medir el impacto de cada proyecto. PASO 6)
Finalmente, se realizar una jerarquizacin de los proyectos solamente por costos, por eficacia, de
acuerdo al impacto y por eficiencia, de acuerdo a la relacin costo impacto.
14
CEPAL - SERIE manuales N 48
Diagrama 3
MAPA O ESQUEMA OPERATIVO DE LA EVALUACIN EX-ANTE
3$62-HUDUTXL]DUORVSUR\HFWRVSRU
HILFLHQFLD\HILFDFLD
3$626LPXODUODVLWXDFLyQFRQSUR\HFWR\PHGLU
HOLPSDFWRGHORVSURJUDPDV
3$626HOHFFLRQDUORVSRVLEOHVEHQHILFLDULRV
3$62/HYDQWDUODOtQHDGHEDVH
3$623URSRQHUDOWHUQDWLYDVGHVROXFLyQDORVGLVWLQWRVSUREOHPDVGHO
iUHDDFRUGHVDODSODQLILFDFLyQDWUDYpVGHODIRUPXODFLyQGHSUR\HFWRV
3$625HDOL]DUXQGLDJQyVWLFRGHODSREUH]DHQHOiUHDJHRJUiILFD
G
Paso 1. Diagnstico
El objetivo de este primer paso es elaborar un diagnstico de la situacin de pobreza y
desigualdad que responda a las preguntas: A quin se le debe considerar pobre?, Cul es la
magnitud y la severidad de la pobreza?, y Quines son los ms afectados por la pobreza? En
evaluacin de proyectos, el diagnstico es la descripcin de la situacin actual del problema que se
va a evaluar. Este debe suministrar informacin, referente a cuatro aspectos bsicos: A) la
magnitud y severidad del problema, B) cmo afecta a los distintos grupos de la poblacin?, C)
cules son sus posibles causas? y D) sus consecuencias. Antes de comenzar con el diagnostico se
presenta a continuacin una descripcin de la base analizada y ciertos aspectos metodolgicos que
se deben realizar antes de empezar cualquier diagnostico.
El municipio objeto de anlisis en este captulo ser Zipaquir que est situado cerca de la
ciudad de Bogot. La base de datos utilizada es la del SISBEN, la cual consta de 10,730 hogares y
46,865 personas.2 Tambin se podra utilizar informacin del Censo de Poblacin sin embargo,
para el caso prctico analizado en esta Pauta no se incluye dicha informacin ya que el ltimo
Censo disponible es aquel de 1993, es decir 10 aos antes de la informacin recolectada por el
SISBEN.
Por otro lado, cabe mencionar que existan distintas fechas en las cuales fue recolectada la
informacin del SISBEN, todas ellas comprendidas entre enero del 2003 y julio del 2004. En esta
base la nica variable monetaria era la ingresos totales recibidos en el mes, por lo que se
2
Para realizar anlisis comparativos de NBI y pobreza monetaria, de la base original de los 10,860 ncleos y 47,199 personas se
eliminaron los casos con ingresos nulos, 383 personas. Esto por cuanto en los anlisis de pobreza monetaria slo se deben considerar
los hogares con ingresos estrictamente positivos.
15
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
procedi a llevar todos estos valores a un solo mes y ao,3 de tal forma de que sean comparables y
se pueda utilizar una sola lnea de pobreza monetaria. Se escogi el mes de noviembre 2003 por
cuanto este mes recoga la mayor cantidad de hogares (moda de la variable ingreso).
Asimismo, cuando se analiza cualquier serie monetaria, en este caso, la variable ingreso,
es importante explorar la informacin con el fin de comprobar que no existan valores aberrantes o
extremos4 es decir, valores demasiado altos que no reflejen la realidad sino problemas de digitacin
o registro. Para este anlisis se puede utilizar la tcnica de inspeccin grfica mediante un box plot
o diagrama de caja.5 En el anexo 1 se presenta el diagrama de caja de la variable ingreso cruzada
con la variable zona. En base a este grfico se eliminaron los hogares con ingresos mensuales per
cpita6 de 508,892,000 y 87,199,665 que en dlares equivalen a US$179,440 y US$30,747. Se
consider que el primer valor es bastante elevado para una viuda que no tiene ninguna actividad
econmica y el segundo es alto para un jubilado con primer grado de primaria.
El resto de casos se mantuvieron porque pueden ser valores reales que reflejen una
inequitativa distribucin del ingreso.
En este punto cabe hacer una aclaracin del caso, si bien es cierto la variable monetaria de
ingresos mensuales de la base de datos analizada se encuentra en pesos colombianos para facilitar
la lectura, todos los valores monetarios se van a presentar en dlares de noviembre de 2003.7
3
De acuerdo a la variacin de la inflacin entre el mes y ao en el cual se realiz la encuesta (datos que se encontraban en la base) y
el mes y ao escogidos. En el caso que la fecha de realizacin de la encuesta sea antes de la fecha escogida, se debe multiplicar por
uno ms la variacin de la inflacin, es decir actualizar el valor con la inflacin de los meses anteriores. Por otro lado, en el caso de
observaciones con una fecha posterior a la fecha escogida se debe dividir por uno ms la inflacin, es decir descontar la inflacin de
los meses posteriores.
4
En ingls a estos puntos se los conoce como "outliers".
5
El box plot da una idea de la distribucin de una variable aun cuando el nmero de observaciones sea pequeo. Permite localizar
valores aberrantes es decir valores muy extremos (Govaerts, 2002).
6
Se suman los ingresos de los perceptores del hogar y se divide para el nmero total de personas en el hogar. En este caso cada
persona tiene la misma ponderacin, sin embargo en otras metodologas se consideran ponderaciones diferentes por grupos de
personas.
7
Para esto se consider la Tasa representativa del mercado que se refiere a la tasa promedio, calculada considerando nicamente los
das hbiles tomada de la Superintendencia Bancaria, clculos del Banco de la Repblica, Estudios Econmicos.
16
CEPAL - SERIE manuales N 48
8
Edgar Ortegn, Estado, Bienestar y Planificacin, conferencia dictada en la Universidad de Concepcin, 2005.
17
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Recuadro 2
MTODOS DE MEDICIN DE LA POBREZA
Existen cuatro mtodos para medir y cuantificar a la pobreza, as como para identificar a quin se
puede considerar como pobre:
1. El Mtodo Indirecto. Mide la pobreza a travs de un enfoque cuantitativo, es decir a travs de un
nivel de ingreso o consumo, se determina la lnea de la pobreza. Se define como pobre a una persona
carente de recursos monetarios suficientes para comprar una canasta de bienes y servicios que
satisfagan un nivel mnimo de necesidades y que generen un conjunto bsico de capacidades. El mtodo
indirecto de medicin de pobreza es un mtodo monetario y es indirecto porque se asume que el ingreso
es un medio para satisfacer necesidades. Este mtodo se realiza mediante las encuestas de hogares y
permite la continua obtencin de informacin de pobreza monetaria. Este mtodo responde a un criterio
utilitarista del bienestar.
2. El Mtodo Directo, o de las Necesidades Bsicas Insatisfechas. Intenta acercarse a un
enfoque de medicin ms cualitativo que cuantitativo sin embargo, concibe a la pobreza como un
conjunto de necesidades, en vez de concebirla como la carencia de capacidades. A partir de un conjunto
de necesidades insatisfechas (educacin, salud, vivienda, nutricin) se fija la lnea de pobreza, un hogar
que no satisface ciertas necesidades que se consideran bsicas, es considerado como pobre. Es as
como se define como pobre a una persona que adolece de carencias graves en el acceso a servicios
bsicos que proveeran las capacidades suficientes para funcionar normalmente. Este mtodo es ms
estable en el tiempo pero ms difcil de obtener por la falta de informacin. La satisfaccin de
necesidades depende parcialmente de decisiones familiares (Medina, 2005a).
3. El Mtodo Integral de la Pobreza. Es una aportacin latinoamericana, en funcin de que los dos
mtodos anteriormente expuestos presentan ciertas limitaciones que impiden una cuantificacin exacta
de la pobreza. El Mtodo Integral intenta reunir los puntos rescatables de los dos mtodos anteriores,
pero el resultado es menos confiable, porque se puede hacer una doble cuantificacin. Es importante
sealar, que estos tres mtodos, representan tres maneras distintas de concebir a la pobreza y por lo
tanto de identificarla. Segn el mtodo que se utilice depender el resultado. Este mtodo tambin
presenta serias limitaciones.
4. Pobreza humana. Se refiere a la negacin de oportunidades y opciones bsicas para el desarrollo
Humano. En este mtodo, la pobreza es un fenmeno multidimensional definido como la insatisfaccin o
privacin de las capacidades bsicas, es decir, la imposibilidad de vivir una vida mnimamente decente
(Sen, 1995). Por esta razn, la definicin comprende, adems de la insatisfaccin de una o ms
necesidades humanas bsicas, la carencia de oportunidades para satisfacerlas.
Esta medida se propone resumir tres aspectos de la pobreza: la probabilidad de morir a una edad
temprana, la privacin de educacin bsica, y la falta de acceso a recursos pblicos y privados (PNUD).
Para esto se considera las siguientes variables:
- Porcentaje de personas que morirn antes de los 40 aos.
- Porcentaje de adultos analfabetos.
- Porcentaje de personas sin acceso a servicios de salud (partos sin atencin profesional o
embarazos sin control pre-natal) y agua potable.
- Porcentaje de infantes con bajo peso al nacer.
Generalmente, se utiliza el primer mtodo para medir, cuantificar e identificar la pobreza. En el
mtodo indirecto o de la Lnea de pobreza, el objetivo es medir a la pobreza a travs de la incapacidad
monetaria para satisfacer lo bsico sobre la base de un ingreso mnimo, por eso se lo conoce como el
mtodo del ingreso. Consiste en calcular el ingreso mnimo requerido para satisfacer la canasta bsica;
a partir de este ingreso mnimo se obtiene la lnea de la pobreza, la cual identifica como pobres a todos
aquellos hogares cuyo ingreso es inferior a dicha lnea. A los hogares que no cubren con su ingreso el
valor de una canasta alimentaria, se les considera pobres. Aquellos hogares que no cubren con su
ingreso la mitad del valor de la canasta alimenticia de la definicin de pobres, se les considera como
pobres extremos.
Aunque los resultados que arrojan los diferentes enfoques de medicin de la pobreza no son
comparables, su estimacin permite tener un conocimiento ms amplio de la pobreza, desde
diferentes perspectivas. Por ejemplo, mientras el indicador de necesidades bsicas insatisfechas
muestra que la pobreza en Colombia disminuy 30.1% entre 1993 y 1998, el ndice de incidencia
18
CEPAL - SERIE manuales N 48
de la pobreza (H) muestra que la reduccin fue de slo 8.7%.9 De este modo, la definicin de
pobreza que se adopte y los indicadores que se seleccionen afectar la formulacin y evaluacin
proyectos y programas de lucha contra la pobreza (Van del Walle, 1995).
A continuacin, se analizarn los ndices antes mencionados.
1.1. Pobreza
El criterio utilizado para medir la incidencia de la pobreza monetaria es el ingreso en una
definicin simplificada, ya que por ejemplo no se incluyen ingresos de autoconsumo ni tampoco los
ingresos recibidos por remesas. Para esta medicin tambin se puede utilizar el consumo, sin
embargo, la base analizada no incluye esta variable.
Como ya se mencion anteriormente solo se consideran los hogares con ingreso no nulo
porque los hogares que no tienen ingreso, por defecto sern considerados como no pobres o pobres
slo por NBI en el Mtodo Integrado de la Pobreza (MIP), siendo que fueron excluidos del clculo
de H.
La incidencia de la pobreza (H) muestra el nmero de personas u hogares que tienen un
ingreso inferior al valor de una canasta bsica de bienes. Este valor se lo conoce tambin como
lnea de pobreza absoluta y cuyo valor para noviembre de 2003 es de 73.6 dlares de Estados
Unidos.
Considerando los indicadores monetarios de pobreza absoluta, Zipaquir tiene 91.6%
personas pobres y 88.4%, hogares pobres. Estos ndices son elevados, pero existen ms personas
que hogares pobres.10 Esta diferencia obedece al hecho que en promedio existen 4.09 personas por
hogar.
En el grfico 1 se puede analizar la incidencia de la pobreza por zona o rea geogrfica.
Como se puede observar, la zona rural dispersa tiene una incidencia de la pobreza de personas de
95.2%, ms alto que el promedio del Municipio que es de 91.6%. El centro poblado tiene la menor
incidencia de la pobreza, 89.1% y la cabecera tiene un % de 91.5 muy cercano al promedio de toda
Zipaquir.
9
Clculos en base al documento Public spending on social protection in Colombia: analysis and proposals. BID. www.iadb.org.
10
Para profundizar en el clculo de estos indicadores se puede consultar el Manual 15 del ILPES El uso de indicadores
socioeconmicos en la formulacin y evaluacin de proyectos sociales, en el apndice Clculo de los indicadores sociales,
pg.76-79.
19
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Grfico 1
INCIDENCIA DE LA POBREZA ABSOLUTA DE PERSONAS POR ZONA
5XUDOGLVSHUVR
&HQWURSREODGR
&DEHFHUD
Por otro lado, tambin se puede realizar el anlisis de pobreza con una lnea de pobreza
relativa, pero esta no debera estar muy cerca de la lnea de pobreza absoluta, caso contrario, el
anlisis no aporta informacin adicional o relevante. La lnea de pobreza relativa es igual a la
mediana de la distribucin del ingreso, es decir, se considera pobre a aquellas personas que tienen
un ingreso menor al valor ingreso que divide la serie del ingreso en dos partes iguales.
En trminos prcticos, para el clculo de la lnea de pobreza relativa se tom la encuesta de
hogares del 2004 en Colombia, en la cual se calcul la mediana del ingreso para la variable
Ingreso per cpita ajustado de la unidad de gasto11 que tiene un valor de US$ 102.4.
Es as como para la pobreza relativa, Zipaquir tiene un 96.4% de personas y 94.2% de los
hogares pobres. Estos ndices son ms altos que los obtenidos con la lnea de pobreza absoluta, lo
cual es obvio porque el valor de la lnea de pobreza relativa es ms alto que el de la pobreza
absoluta.
Para complementar el anlisis de la pobreza monetaria se calcula el ndice de necesidades
bsicas insatisfechas (INBI)12 donde no se realizan consideraciones monetarias sino que se incluyen
dimensiones de vivienda, servicios pblicos, hacinamiento, dependencia econmica y educacin.
Para este Municipio 25.78% de los hogares y 25.03% de las personas tienen una necesidad bsica
insatisfecha y por lo tanto son considerados pobres por NBI.
11
Como esta encuesta corresponda a noviembre del 2004, se descont la inflacin anual del 2004 a la lnea de pobreza relativa para
obtener una lnea a noviembre 2003.
12
Para profundizar en el clculo de estos indicadores se puede consultar el Manual 15 del ILPES El uso de indicadores
socioeconmicos en la formulacin y evaluacin de proyectos sociales, en el apndice Clculo de los indicadores sociales, pg.
67-75.
20
CEPAL - SERIE manuales N 48
Recuadro 3
COMPONENTES DEL NDICE DE NECESIDADES BSICAS INSATISFECHAS (INBI)
NBI Condicin
VI: vivienda inadecuada Piso de tierra
VS: vivienda sin servicios Sin agua por acueducto o sin conexin a alcantarillado
o a pozo sptico
HC: hacinamiento crtico Hogares con un nmero de personas por cuarto
superior a tres
DE: dependencia econmica Hogares cuyo jefe tenga un nivel educativo inferior a
tercero primaria y en la familia haya tres o ms
personas por cada persona ocupada
IE: inasistencia escolar Hogares en los cuales algn nio entre 7 y 11 aos,
pariente del jefe, no asista a algn establecimiento
educativo.
Fuente: ILPES (2001).
En el siguiente grfico se pueden observar las participaciones de los componentes del ndice
de Necesidades bsicas insatisfechas de la pobreza.
Grfico 2
COMPONENTES DEL INBI POBREZA DE PERSONAS
La necesidad que ms participa al INBI con un 39.9%, es la alta dependencia econmica, que
se calcula como el nmero de hogares cuyo jefe tenga un nivel educativo inferior a tercero primaria
y en la familia haya tres o ms personas por cada persona ocupada. En segundo lugar, con un
27.7%, se encuentra el hacinamiento crtico es decir los hogares con un nmero de personas por
cuarto superior a tres. Muy de cerca con 27.3% se encuentra la carencia en servicios bsicos (sin
21
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
servicio de agua por acueducto o sin conexin a alcantarillado o a pozo sptico). Las necesidades
de vivienda inadecuada, calculada como vivienda con piso de tierra y la inasistencia escolar,
(hogares en los cuales algn nio entre 7 y 11 aos, pariente del jefe, no asista a algn
establecimiento educativo) son los componentes que tienen una incidencia marginal de 2% y 3.1%
respectivamente.
5XUDOGLVSHUVR
&HQWURSREODGR
&DEHFHUD
22
CEPAL - SERIE manuales N 48
Grfico 4
COMPONENTES DEL NBI EXTREMA POBREZA DE PERSONAS
9LYLHQGD 6HUYLFLRV +DFLQDPLHQWR $OWD ,QDVLVWHQFLD
LQDGHFXDGD S~EOLFRV FUtWLFR GHSHQGHQFLD HVFRODU
Fuente: SISBEN Zipaquir.
Elaboracin: Autores.
En el grfico 4 se puede observar que para las personas que tienen ms de una necesidad
bsica insatisfecha, las necesidades ms crticas son la falta de servicios pblicos (26.2%), el
hacinamiento crtico (25.3%) y la alta dependencia econmica (19.5%), seguidos con porcentajes
menores por la vivienda inadecuada (6.1%) y la inasistencia escolar (4%).
23
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Cuadro 1
MIP LNEA DE POBREZA ABSOLUTA PARA
HOGARES Y PERSONAS
MIP ABSOLUTO Hogares con NBI Hogares sin NBI
Hogares Pobres 31.6% 56.9%
Hogares no pobres 2.3% 9.2%
Personas Pobres 33.0% 58.6%
Personas no pobres 1.3% 7.2%
Fuente: SISBEN Zipaquir.
Elaboracin: Autores.
LP NBI
Pobres
Pobres Pobres
crnicos
recientes estructurales
33%
58.6% 1.3%
NO POBRES 7.2%
13
El grfico es ilustrador pero con la salvedad de que las reas no son proporcionales al porcentaje que representan.
14
El formato del Grfico fue tomado de las presentaciones realizadas por los alumnos del IV Curso Internacional sobre Uso de
Indicadores Socioeconmicos para la Evaluacin del Impacto de Programas de Lucha contra la Pobreza realizado en Cartagena de
Indias, Colombia, del 4 al 15 de julio de 2005.
24
CEPAL - SERIE manuales N 48
Cuadro 2
MIP LNEA DE POBREZA RELATIVA PARA HOGARES
Y PERSONAS
MIP RELATIVO Hogares con NBI Hogares sin NBI
Hogares pobres 32,4% 61,8%
Hogares no pobres 1,5% 4,3%
Personas Pobres 33,6% 62,8%
Personas no pobres 0,7% 2,9%
Fuente: SISBEN Zipaquir.
Elaboracin: Autores.
En este caso existen ms hogares pobres por H relativo pero sin NBI, con un 61.8% y menos
hogares no pobres pero con alguna NBI con un porcentaje de 4.3. Tambin, existen menos hogares
no pobres, 1.5%.
Los valores que ms cambian respecto al mtodo MIP absoluto son las personas pobres por
H pero sin NBI que aumentan a 62.8% y las personas no pobres por los dos mtodos que bajan a
2.9%. Estos cambios se producen, por el hecho de que para la lnea de pobreza relativa existen ms
personas pobres que para la lnea de pobreza absoluta.
1,0
0,8 IEV
INE
0,6 IDH
0,4
II
0,2
15
Para profundizar en el clculo de este indicador se puede consultar el Manual 15 del ILPES El uso de indicadores socioeconmicos
en la formulacin y evaluacin de proyectos sociales, en el apndice Clculo de los indicadores sociales, pg,. 82-89.
25
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
El ndice de Ingresos (II) es el que baja la calificacin total, por otro lado, el ndice de
esperanza de vida16 (IEV) tiene el valor ms alto, 0.78, seguido por el ndice de nivel educativo
(INE) con un valor de 0.787.
Cabe mencionar que el ndice de nivel educativo se calcula como un promedio ponderado de
la Tasa de alfabetismo17 que se calcula como el nmero de personas mayores de 15 aos con
tercero de primaria o ms aos de educacin sobre el total de nmero de personas mayores de 15
aos y la Tasa de escolaridad18 (personas entre 7 y 24 aos que asisten al colegio en relacin al
total de personas entre 7 y 24 aos). Zipaquir tiene una Tasa de escolaridad (TESC) de 0.622 y
una tasa de alfabetismo de 0.859. Es decir en promedio la poblacin del municipio tiene un mejor
resultado para completar hasta tres aos de primaria pero tiene mayor dificultad para que los nios
y jvenes se mantengan en la escuela y/o colegio.
No se puede calcular el ndice de pobreza humana, ya que la encuesta SISBEN no cuenta con
las variables listadas a continuacin:
Personas que solicitaron el servicio de salud en los ltimos 12 meses.
Personas que solicitaron y no recibieron el servicio de salud en los ltimos 12 meses.
26
CEPAL - SERIE manuales N 48
Curva de Lorenz
1.0
0.9
Porcentaje acumulado del ingreso
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
dq
Porcentaje acumulado de los hogares
Equidistribucin
Medina (2005) seala que ninguna medicin de un fenmeno tan complejo y multicausal
como el de la pobreza se puede efectuar en forma precisa, por lo que todas las mediciones que se
hagan necesariamente encierran un cierto grado de subjetividad y arbitrariedad, y por tanto deben
considerarse parciales e incompletas.
20
Para profundizar en el clculo de este indicador se puede consultar el Manual 15 del ILPES El uso de indicadores socioeconmicos
en la formulacin y evaluacin de proyectos sociales en el apndice Clculo de los indicadores sociales pg.. 81-82.
27
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
2. Perfil
El segundo paso del diagnstico es el perfil de la pobreza. Para realizar un perfil de la
pobreza se deben realizar dos pasos, en primer lugar, cuantificar la incidencia de la pobreza por
grupos y en segundo, determinar cuanto participa cada grupo al nivel de pobreza segn los distintos
mtodos de medicin. Para el caso que compete a esta Pauta, Zipaquir se han determinado tres
grupos de anlisis: por tramos de edad, gnero y rea geogrfica. Los grupos de anlisis estarn
determinados por la disponibilidad de la informacin en la base de datos.
Este anlisis del perfil de la pobreza por grupos es una herramienta muy til en el
diagnstico, debido a que permite observar la heterogeneidad del problema. Es decir, identifica
aquellos grupos de la poblacin ms afectados, los cuales conformaran el grupo objetivo de
cualquier estrategia contra la pobreza.21
21
Tomado de ILPES, 2005.
28
CEPAL - SERIE manuales N 48
Cuadro 4
PARTICIPACIN DE LOS POBRES EN EL TOTAL DE POBLACIN DE CADA GRUPO
Edad Pobreza segn el mtodo de medicin
HA HR NBIP NBIPE
1 Personas entre 0 y 5 aos 95,3% 98,4% 27,0% 13,1%
2 Personas entre 6 y 14 aos 95,8% 98,3% 26,0% 12,0%
3 Personas entre 15 y 24 aos 91,3% 96,5% 25,0% 7,9%
4 Personas entre 25 y 44 aos 90,0% 95,7% 22,4% 8,1%
5 Personas entre 45 y 65 aos 86,6% 93,6% 24,0% 6,1%
6 Personas mayores de 65 aos 87,1% 94,1% 34,8% 7,8%
Gnero Pobreza segn el mtodo de medicin
HA HR NBIP NBIPE
1 Hombres 90,9% 96,0% 25,1% 9,5%
2 Mujeres 92,2% 96,7% 25,0% 9,0%
rea Pobreza segn el mtodo de medicin
HA HR NBIP NBIPE
1 Cabecera 91,5% 96,7% 23,3% 8,0%
2 Centro poblado 89,1% 94,5% 21,2% 5,2%
3 Rural disperso 95,2% 97,4% 26,8% 19,6%
Fuente: SISBEN Zipaquir.
Elaboracin: Autores.
Como se desprende del cuadro 4, por el mtodo de pobreza monetaria, las personas entre 6 y
14 aos son las ms pobres (95.8%) seguidos muy de cerca de las personas entre 0 y 5 aos
(95.3%). Por el mtodo de pobreza monetaria relativa los ms pobres son los nios entre 0 y 5 aos
con una incidencia de 98.4% y las personas entre 6 y 14 aos con 98.3%. Por el mtodo de NBI
insatisfechas las personas mayores de 66 aos tienen una incidencia de pobreza por NBI de 34.8%
y los nios entre 0 y 5 aos tienen una de 27%. Por el mtodo de NBI para extrema pobreza, es
decir ms de una necesidad bsica insatisfecha, los nios entre 0 y 5 aos tienen la incidencia ms
alta 13.1%. Se puede concluir que por tramos de edad el grupo ms vulnerable son las personas
entre 0 y 5 aos.
Al hacer un anlisis por gnero las mujeres tienen una incidencia de la pobreza ms alta por
los mtodos monetarios pero tienen ndices ms bajos por los mtodos de necesidades bsicas
insatisfechas. Por lo que se puede deducir que la discriminacin viene por el lado de los ingresos
ms no por el lado de la infraestructura y servicios.
Si se considera el rea de residencia, las personas que viven en la zona rural dispersa son
ms pobres bajo todos los mtodos de medicin (ingresos como NBI). Con esta misma unanimidad
de criterios, la cabecera se encuentra en una posicin intermedia y el centro poblado en una mejor
situacin que el resto de reas.
29
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Para el mtodo de pobreza monetaria absoluta, las personas que ms participan son por edad,
las personas entre 25 y 44 aos con el 28.5%, por gnero las mujeres, con 52.1% y personas que
viven en la cabecera con 63.6%. Para el mtodo de pobreza monetaria relativa participan los
mismos grupos que para la pobreza absoluta con participaciones respectivas de 28.7%, 51.9% y
63.9%.
Estos patrones de participacin se repiten para el mtodos de medicin de NBI de pobreza
donde las personas entre 25 y 44 aos participan con el 25.9%, las mujeres, con el 51.6% y
personas que viven en la cabecera con 59.4%.
Para el mtodo de INBI de indigencia, las personas entre 6 y 14 aos participan con el
26.5%, las mujeres con el 50.6% y las personas que viven en la cabecera con el 54.9%.
En definitiva, se puede concluir que en trminos de nmero de personas pobres, los ms
numerosos son las personas entre 25 y 44 aos, las mujeres y los que viven en la cabecera de
Zipaquir.
3. Determinantes de la pobreza
El tercer paso del diagnstico es realizar la matriz de determinantes de la pobreza segn su
estado: crnica, estructural y reciente. La pobreza crnica es aquella en la cual las personas son
pobres tanto por sus ingresos como porque tienen alguna necesidad bsica insatisfecha.
30
CEPAL - SERIE manuales N 48
31
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Tasa bruta de cobertura primaria promedio = Nmero de personas que asisten a primaria /
Nmero de personas entre 6 y 13 aos.
Tasa bruta de cobertura media promedio = Nmero de personas que asisten a secundaria /
Nmero de personas entre 14 y 17 aos.
Tasa bruta de cobertura superior promedio = Nmero de personas que asisten a educacin
superior / Nmero de personas entre 18 y 22 aos.
Tasa neta de cobertura primaria promedio = Nmero de personas entre 6 y 13 que asisten
a primaria / Nmero de personas entre 6 y 13 aos.
Tasa neta de cobertura media promedio = Nmero de personas entre 14 y 17 que asisten a
secundaria / Nmero de personas entre 14 y 17 aos.
Tasa neta de cobertura superior promedio = Nmero de personas entre 18 y 22 que asisten
a educacin superior / Nmero de personas entre 18 y 22 aos.
Tasa promedio de no acceso a electricidad de los hogares = Nmero de hogares sin
conexin a la red publica de electricidad / Nmero de hogares.
Tasa promedio de no acceso a agua potable de los hogares = Nmero de hogares sin
conexin a la red publica de agua potable / Nmero de hogares.
Tasa promedio de no acceso a acueducto de los hogares = Nmero de hogares sin
conexin a agua por caera / Nmero de hogares.
Tasa promedio de no acceso a servicio higinico de los hogares = Nmero de hogares sin
servicio higinico / Nmero de hogares.
Porcentaje promedio de hogares con casa propia = Nmero de hogares con casa propia /
Nmero de hogares.
En cuanto a la estructura familiar, el tamao promedio del hogar es ms alto para las
personas que se encuentran en pobreza crnica y es igual a 4.16 frente a 4.09 de toda la poblacin
analizada. Asimismo la participacin promedio de los nios en el hogar es ms alta para los pobres
crnicos siendo de 33%. Este grupo etario es uno de los que ms participa en el total de la
poblacin con un 27.9% junto con el grupo de adultos, entre 25 y 44 aos, con un promedio de
28.9%. Los pobres crnicos tienen ms nios y personas de la tercera edad que el promedio de la
poblacin as como menos jvenes y adultos. Entre los pobres crnicos un 30.2% de los hogares
tienen jefatura femenina frente al 26.7% que es el valor que corresponde a toda la poblacin.
Por otro lado, los indicadores de estructura ocupacional muestran que las personas que ms
sufren de desempleo son los pobres crnicos con un 20.2% y los pobres recientes con un 11.2%.
Para este mismo indicador, el grupo de personas que ms se ve afectado es el de los jvenes, con
25.33%. Esto justifica la propuesta del proyecto de capacitacin laboral a jvenes, adems de que
el desempleo juvenil es un problema latente en Amrica Latina y en el mundo, que ha sido
recogido como una meta del Objetivo 8 de los Objetivos de desarrollo del Milenio (Meta 16: En
cooperacin con los pases en desarrollo, elaborar y aplicar estrategias que proporcionen a los
jvenes un trabajo digno y productivo).
En cuanto a salud, las personas que sufren de alguna discapacidad son ms numerosas entre
los pobres estructurales con 2.8% frente a 1.7% del total de la poblacin.
Por el lado del acceso y uso de servicios pblicos, los pobres estructurales tienen la tasa neta
de cobertura de primaria promedio ms baja que el resto de los tipos de pobres, con un 63%. En
general, Zipaquir presenta una baja tasa neta de cobertura de primaria con tan solo 73% de los
32
CEPAL - SERIE manuales N 48
nios entre 6 y 11 que asisten a la escuela. Esto teniendo en cuenta que la Meta 3 de los Objetivos
del Milenio es: Velar por que, para el ao 2015, los nios y nias de todo el mundo puedan
terminar un ciclo completo de enseanza primaria.
Para la tasa neta de cobertura media promedio y la tasa neta de cobertura superior promedio
son los pobres crnicos quienes presentan las tasas ms bajas con 42% y 2% respectivamente.
En lo que se refiere a la infraestructura, son los hogares pobres estructurales quienes
presentan las tasas ms altas de Tasa promedio de no acceso a agua potable, con un 17.8%, as
como la Tasa promedio de no acceso a acueducto, 71.3% y la Tasa promedio de no acceso a
servicio higinico, 49.4%. Solo para la Tasa promedio de no acceso a electricidad, son los hogares
considerados pobres crnicos los que tienen la tasa ms alta, 1.7%. Los hogares pobres recientes y
los no pobres tienen tasas casi nulas de no accesos a estos servicios pblicos, excepto en el acceso
a acueducto, y es as como el 24.4% de todos los hogares tiene esta carencia. Esta importante
carencia en todos los estratos poblacionales justifica el planteamiento de un proyecto de
construccin de acueducto y alcantarillado.
Finalmente, son los pobres crnicos quienes tienen el ms bajo porcentaje promedio de
hogares con casa propia con un 34.5%. Solo el 44.8% de toda la poblacin tiene casa propia, lo que
hace evidente un problema de dficit de viviendas y justifica un proyecto que proponga la
construccin de las mismas.
En el anexo 3 se presenta el mismo anlisis que en el anexo 2 pero con la lnea de pobreza
relativa.
Este diagnstico permite tener un conocimiento de la situacin actual, el cual debe conducir
a la formulacin de una situacin futura deseable y posible. Evidentemente esta situacin debe
buscar un cambio positivo en las condiciones y calidad de vida de la poblacin. Este cambio se
logra a travs de la ejecucin de programas y proyectos sociales que ofrezcan soluciones al
problema identificado y que sern analizados en el siguiente apartado.
33
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
mujeres. Para esto el alcalde ha solicitado a los analistas que dialoguen con la poblacin de tal
forma que los procesos sean lo ms participativos posible.
Segn el documento The contribution of people's participation: 12 rural water suply
projects, del Banco Mundial citado Hacia una nueva visin de la poltica social en Amrica
Latina, los proyectos participativos tienen ms efectividad que los no participativos. En el cuadro 6
se puede observar que los proyectos en los cuales los beneficiarios tienen un alto grado de
participacin, tienen tambin un alto grado de efectividad. Es decir, la efectividad de un proyecto
est estrechamente ligada con el cpital social que ste puede incluir.
Cuadro 6
EFECTIVIDAD SEGN NIVELES DE PARTICIPACIN DE LA COMUNIDAD
EN PROYECTOS RURALES DE AGUA
Grado de participacin de los beneficiarios
Total % del
Bajo Mediano Alto proyectos total
Grado de Bajo 21 6 0 27 22%
efectividad de los Mediano 15 34 5 54 45%
proyectos
Alto 1 18 21 40 33%
Total de proyectos 37 58 26 121
% del total 31% 48% 21%
Fuente: Deepa Narayam "The contribution of peoples participation: 121 rural water supply projects",
Banco Mundial, 1994, citado en Hacia una nueva visin de la poltica social en Amrica Latina:
desmontando mitos; Bernardo Kliksberg (BID), 2004.
El alcalde quiere determinar cuales proyectos son los que ayudan a mejorar ms la
angustiosa situacin social de Zipaquir. A continuacin, se presenta una descripcin de los
proyectos solicitados por el Alcalde.
34
CEPAL - SERIE manuales N 48
35
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Fuente: Objetivos de Desarrollo del Milenio: una mirada desde Amrica Latina y el Caribe, CEPAL (2005).
36
CEPAL - SERIE manuales N 48
El municipio tiene capacidad para atender 800 nios por ao. El costo anual del proyecto
oscilara entre US$ 50,774.85 (5.3 dlares x 12 meses x 800 nios de primaria) y US$ 101,549.69
(10.6 dlares x 12 meses x 800 nios de secundaria.
Ante estas propuestas el alcalde y dems autoridades de Zipaquir tienen las siguientes
observaciones:
La poltica de inversiones debe estar sujeta a un diagnstico y determinacin de puntos de
equilibrio respecto de los procesos que deben inducir el recurso que se asignar, es
decir con cuanto se puede iniciar un proceso. Por ejemplo: El monto del subsidio ser de
US$ 17.5 mensuales por nio. El monto por nio a parte de estar asociado a una
cantidad mnima de caloras para un desarrollo normal, debera eliminar dficit
nutricionales relacionados con peso y talla de acuerdo a la edad y lugar al que pertenezca
el nio.
Si se establece una unidad nutricional mnima los proyectos de este tipo pueden evaluarse
en trminos de resultados en el costo unitario que debera incurrir un proyecto para
entregar esa unidad alimenticia. Aunque si bien es cierto, para combatir problemas
nutricionales no se han propuesto programas de subsidio a la oferta sino subsidios a la
demanda que deberan ir acompaados de programas de capacitacin nutricional para
multiplicar el efecto del subsidio.
Por otro lado, dar por sentado un monto mnimo por persona sin analizar costos es un
poco apresurado, lo correcto es establecer techos presupuestarios para diferentes polticas
y sobre eso establecer criterios de asignacin, de este modo es menos rgido el sistema y
permite desarrollar proyectos que compitan en eficiencia. Por ejemplo, en el programa de
la vivienda se hubiera podido determinar proyectos diferenciados para hogares
dependiendo de su nivel de ingreso, ayudando con subsidios ms altos para los ms
pobres y dando mrgenes al valor de la vivienda de esta forma no se impone un tipo
estndar de casa para toda la poblacin que as lo requiera.
Sin embargo, y dado que el Alcalde est urgido por poner en prctica los proyectos en este
ao, ha decidido aceptar valores fijos de subsidios y beneficiarios, previendo que en un futuro
prximo se fijen techos y pisos a las prestaciones.
37
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Tabla 1
VARIABLES DE IMPACTO
Proyectos Variables de Impacto Efectos Temporales Objetivos
2 Vivienda NBI, H, IDH, desempleo 240 trabajadores de la Dotar de vivienda a los hogares que
construccin carezcan de ella o vivan en condiciones
empleados durante inadecuadas y generar empleo temporal
cinco meses con la construccin de las mismas.
3 Capacitacin NBI, H, IDH, desempleo 256 jvenes sostenidos Capacitar a los jvenes para facilitar su
de Jvenes durante seis meses insercin en el mercado laboral.
4 Acueducto y NBI, H, IDH, desempleo 300 personas Proporcionar acueducto a los hogares
alcantarillado empleados por cinco que tengan esta carencia y generar
meses empleo temporal con la construccin de
los mismos.
Una vez que se han determinado las variables de impacto se determina la lnea de base para
cada variable de impacto, cabe mencionar que la base del SISBEN no cuenta con variables de
desnutricin sobre las cuales el primer proyecto podra tener impacto.
La lnea de base consiste en enunciar los valores que cada variable de impacto, sea de los
efectos temporales o de largo plazo tienen en el momento actual. En la tabla 2 se presenta la lnea
de base para cada proyecto con sus indicadores pertinentes.
Tabla 2
LNEA DE BASE PARA CADA PROYECTO
Proyectos Situacin inicial o de base
NBIP NBIP HA HR HI IDH Desempleo Tasa neta de cobertura
E Primaria Secundaria
1 Nutricin 91,6% 96,4% 56,6% 0,606
2 Vivienda 25,0% 9,2% 91,6% 96,4% 56,6% 0,606 13,2%
3 Capacitacin 25,0% 9,2% 91,6% 96,4% 56,6% 0,606 13,2%
de jvenes
4 Acueducto y 25,0% 9,2% 91,6% 96,4% 56,6% 0,606 13,2%
alcantarillado
5 Microcrdito 25,0% 9,2% 91,6% 96,4% 56,6% 0,606 13,2%
6 Subsidio 25,0% 9,2% 91,6% 96,4% 56,6% 0,606 13,2% 73,0% 57,7%
escolar
Fuente: SISBEN Zipaquir.
Elaboracin: Autores.
38
CEPAL - SERIE manuales N 48
4 Acueducto y 300 conexiones para hogares sin acueducto 300 personas empleados
alcantarillado alcantarillado y 300 personas desempleados por cinco meses
1. Beneficiarios permanentes
En el siguiente diagrama22 se presentan los criterios de seleccin del primer proyecto de
subsidio para la nutricin.
Diagrama 4
CRITERIOS DE SELECCIN PROYECTO 1 NUTRICIN
Seleccin
Nios Pobres Pobres Madres aleatoria
menores de extremos extremos con menos
7 aos LI =1 INBI =2 de 5 hijos
800
7 499 4 873 850 805
Como el proyecto est enfocado a los nios menores de 7 aos, el primer criterio de
seleccin es ste. En segundo lugar, se tom como criterio de seleccin el estado en pobreza
extrema por ingresos y en tercer lugar, los pobres extremos por necesidades bsicas insatisfechas.
El cuarto criterio para la seleccin los beneficiarios fue considerar a las madres con menos de 5
22
El formato del Diagrama fue tomado de las presentaciones realizadas por los alumnos del IV Curso Internacional Uso de Indicadores
Socioeconmicos para la Evaluacin del Impacto de Programas de Lucha contra la Pobreza realizado en Cartagena de Indias,
Colombia, del 4 al 15 de julio de 2005.
39
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
hijos. Como con este criterio no se alcanz la meta de 800 nios, se realiz una seleccin aleatoria
para llegar a este valor.
En el diagrama 3 se presentan los criterios para la seleccin del proyecto de vivienda.
Diagrama 5
CRITERIOS DE SELECCIN PROYECTO 2 VIVIENDA
Hogares que
no cuenten
con vivienda o
vivan en piso Seleccin
Pobres Zona rural aleatoria
de tierra extremos dispersa
NBIVI=1 I =1
60
61
221 155
El primer criterio de focalizacin es el de los hogares que vivan en piso de tierra. Como la
base del SISBEN solo considera hogares que tienen vivienda no se pudo considerar a aquellos
hogares que no cuentan con vivienda. De estos hogares se consideraron a los pobres extremos por
incidencia de pobreza monetaria. El tercer criterio fue geogrfico considerando solo a los hogares
que se encuentran en la zona rural dispersa, por ser esta zona la ms afectada por la pobreza.
A continuacin en el diagrama 4 se presentan los criterios de seleccin para el proyecto de
capacitacin a jvenes.
Diagrama 6
CRITERIOS DE SELECCIN PROYECTO 3 CAPACITACIN DE JVENES
El primer criterio de seleccin responde al grupo objetivo, es decir los jvenes, quienes son las
personas entre 15 y 24 aos. Entre ellos se escogi a los pobres absolutos y entre ellos a los
desempleados. Para asegurar que los jvenes puedan conseguir trabajo, se tom solo a las personas que
por lo menos saben leer y escribir. Por ltimo, se seleccion a un joven por hogar y finalmente, se realiz
una seleccin aleatoria para llegar a los 250 jvenes. Entre los beneficiarios existen 4 jvenes
embarazadas.
En el diagrama 5 se presentan los criterios de seleccin del cuarto proyecto.
40
CEPAL - SERIE manuales N 48
Diagrama 7
CRITERIOS DE SELECCIN PROYECTO 4 ACUEDUCTO Y ALCANTARILLADO
Hogares que
no cuenten
con
Nmero de Zona rural
acueducto o
alcantarillad personas Pobres dispersa o
o en el hogar Extremos centro
mayor a 3 LI =1 poblado
nbiser=1
363
824 635
1 801
Para este proyecto se realiz una seleccin por hogar considerando en primer lugar, aquellos
hogares sin servicio de agua por acueducto o sin conexin a alcantarillado o a pozo sptico. En segundo
lugar, se consider aquellos hogares cuyo nmero de personas en el hogar sea mayor que 3, con el fin de
que una mayor cantidad de personas tengan satisfecha esta necesidad. En tercer lugar, se consider a los
pobres extremos y en cuarto lugar, a los hogares de la zona rural dispersa o del centro poblado que son
las zonas con ms carencias de servicios pblicos. Finalmente, se realiz una seleccin aleatoria para
llegar justamente a 300 hogares.
En el diagrama 6 se presentan los criterios de seleccin del quinto proyecto.
Diagrama 8
CRITERIOS DE SELECCIN PROYECTO 5 MICROCRDITO
El grupo objetivo de este proyecto son las mujeres entre 30 y 60 aos, entre este grupo se
seleccion a las mujeres pobres (por la lnea de pobreza absoluta) que estn desempleadas (tercer
criterio de seleccin de beneficiarios). Asimismo, como en el proyecto de capacitacin laboral para
jvenes se seleccion una madre por hogar para poder ampliar la cobertura de hogares
seleccionados y finalmente, se realiz una seleccin aleatoria para llegar a las 200 mujeres.
41
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Recuadro 5
OTROS CRITERIOS DE SELECCIN DE BENEFICIARIAS PARA UN PROYECTO SIMILAR
Nios entre
7 y 18 aos
Nios que deberan Nios que Hogares Seleccin
entre 7 y estar en la no asistan Pobres con tres aleatoria
18 aos escuela o a clases extremos escolares
colegio LI =1
800
1 315 madres
12 123 2 104 1 433
12 077
En primer lugar, se seleccion nios y jvenes entre 7 y 18 aos, entre estos se seleccion
los que deberan estar en la escuela o colegio, excluyendo a aquellos que se encuentran en niveles
educativos tcnicos o universitarios. Entre estas personas se seleccion a nios y jvenes que no
estn asistiendo a ningn centro educativo. El siguiente criterio de seleccin fue que provengan de
hogares pobres extremos. Por ltimo, se seleccion hogares con un mximo de tres nios o
jvenes. Finalmente, se realiz una seleccin aleatoria de 800 madres, sin embargo esto no quiere
decir deban existir 800 nios o jvenes pues cada madre puede tener ms de un nio.
Es as como se seleccion a 1,026 nios o jvenes beneficiarios. De estos 69 no tienen
ningn nivel educativo, 129 estudian en primaria, 223 pasarn de la primaria a la secundaria y 379
continuarn en secundaria.
42
CEPAL - SERIE manuales N 48
En general como el objetivo principal del alcalde de Zipaquir es disminuir los angustiosos
ndices de pobreza que sufre la regin la variable ms utilizada principal de seleccin de los
beneficiarios es la extrema pobreza, ya se de ingresos o de infraestructura.
2. Beneficiarios temporales
En este punto se va a proceder a realizar la seleccin de los beneficiarios de los empleos
temporales generados por la implantacin del proyecto.
En la aplicacin metodolgica El uso de indicadores socioeconmico en la formulacin y
evaluacin de proyectos sociales (ILPES, 2001) se menciona que existen al menos dos mtodos
utilizados para la asignacin de empleos temporales generados por los proyectos. Estos mtodos
son: aleatorio donde los empleos se asignan al azar a personas de la PEA y subastador cuando un
mando central asigna los empleos de acuerdo a un criterio determinado.
En el caso de esta Pauta se escogi el segundo criterio, utilizando la aleatoriedad solo para
llegar al nmero deseado de trabajadores.
En los siguientes diagramas se presentan los criterios de seleccin de los trabajadores
temporales del proyecto 2 de vivienda y del proyecto 4 de acueducto y alcantarillado. Los dos
diagramas presentan los mismos criterios de seleccin.
Diagrama 10
CRITERIOS DE SELECCIN TRABAJADORES PROYECTO 2 VIVIENDA
Seleccin
Hombres Pobres Zona rural aleatoria
entre 18 y extremos Desempleados dispersa o
50 aos LI =1 centro poblado
240
274
10 550 5 194 868
43
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Diagrama 11
CRITERIOS DE SELECCIN TRABAJADORES PROYECTO 4 ACUEDUCTO
Seleccin
Hombres Pobres Zona rural aleatoria
entre 18 y absolutos Desempleados dispersa o
50 aos LI =1 centro poblado
300
370
10 550 9 331 1 162
En este caso no hubo problemas para el criterio geogrfico ya que los hogares beneficiarios
del proyecto de acueducto y alcantarillado provenan tanto de la zona rural dispersa como del
centro poblado.
44
CEPAL - SERIE manuales N 48
Este proyecto tiene efecto solo en la incidencia de la extrema pobreza y en el puntaje IDH,
sin embargo, los efectos son modestos. Por otro lado, el efecto de la variable sobre la cual este
proyecto tiene una mayor incidencia, la desnutricin no ha podido ser cuantificado por cuanto la
base SISBEN no tiene datos antropomtricos23 de los nios. Es decir, adicionalmente a los efectos
producidos en pobreza, este proyecto tambin puede contribuir a que en el futuro, Zipaquir cuente
con habitantes sanos que puedan sacar mejor provecho de sus estudios.
En el recuadro 6 se presentan las ventajas comparativas de un proyecto similar en la
municipalidad de Villa Esperanza.
Recuadro 6
VENTAJAS COMPARATIVAS DEL PROYECTO 1
23
Medidas de talla y peso de los nios.
45
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
46
CEPAL - SERIE manuales N 48
Cuadro 9
IMPACTO PROYECTO 3
Sin Proyecto Con Proyecto
Largo Corto
plazo plazo
H absoluta 91,56% 91,48% 91,53%
H relativa 96,37% 96,35% 96,34%
H indigencia 56,59% 54,40% 55,85%
IDH 0,60559 0,60608
NBI pobreza 25,78% 25,63%
NBI indigencia 8,13% 7,95%
Desempleo 13,2% 11,0%
Fuente: SISBEN Zipaquir.
Elaboracin: Autores.
En el corto plazo no hay impacto sobre desempleo y NBI, ya que los jvenes al estar en la
capacitacin, se consideran estudiantes y no pueden ser considerados como poblacin ocupada.
Tampoco hay efectos sobre el IDH ya que este ndice se calcula con una periodicidad anual.
De acuerdo a la simulacin, los efectos de este proyecto en el largo plazo son mayores que
en el corto plazo, lo cual es positivo ya que se espera que la capacitacin cree habilidades
permanentes en los jvenes que les permitan insertarse laboralmente.
Para este proyecto se seleccion a los pobres absolutos, razn por la cual se puede explicar
que este caso todas las variables mejoran en el largo plazo. Esto es un punto interesante ya que para
el proyecto 1 donde se seleccion solamente a los pobres extremos, se encontr efecto solo en esta
variable de pobreza monetaria.
Al comparar este proyecto con el de vivienda (esto es posible ya que los dos son proyectos
de infraestructura) se constata que este proyecto tiene un efecto mayor en el NBI de indigencia.
47
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Este proyecto de microcrdito mejora todas las variables sobre las cuales tiene un impacto,
aunque de forma marginal. Una vez ms se recuerda que en este caso tambin se utiliz como
criterio de seleccin la pobreza absoluta.
48
CEPAL - SERIE manuales N 48
Cuadro 12
IMPACTO PROYECTO 6
Sin Proyecto Con Proyecto
49
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
1. Restriccin presupuestaria
Debido al principio econmico de escasez de recursos, que para el caso del municipio de
Zipaquir se ve reflejado en la existencia de un presupuesto fijo al comienzo del ao, se requiere
realizar una correcta priorizacin de los proyectos que se van a realizar en funcin de criterios
tcnicos. La jerarquizacin ayuda a discriminar, entre proyectos, y establece la prioridad en la
asignacin de recursos, haciendo ms eficiente la asignacin de los mismos. Esta es una importante
herramienta para apoyar la toma de decisiones del alcalde de Zipaquir.
En este sentido es relevante recordar los principios que deben guiar la seleccin de
proyectos, tomando en cuenta su rentabilidad privada y social de acuerdo a la siguiente tabla:
Tabla 4
24
RENTABILIDAD PRIVADA Y SOCIAL
Rentabilidad privada
SI NO
Gravar con
NO No se hace
impuesto
De acuerdo a (ILPES, 1994), cuando se toma en cuenta las rentabilidades se pueden generar
4 casos o resultados al cruzar las conclusiones del anlisis econmico privado y social.
a) En primer lugar, se tiene la alternativa presentada en que el proyecto es conveniente
privada y socialmente, por lo que sera recomendable su realizacin desde cualquier punto
de vista. Este proyecto es ideal para incentivarlo.
b) Un segundo caso, se refiere al proyecto que es privadamente rentable, pero que desde el
punto de vista social no lo es. Este tipo de proyectos se deberan desincentivar, por ejemplo
con la aplicacin de impuestos.
c) El tercer caso se refiere un proyecto que es socialmente rentable pero privadamente no lo
es. Este proyectos hay que incentivarlos, como por ejemplo con subsidios para que
financieramente sea conveniente su realizacin.
d) Por ltimo, los proyectos que ni social ni privadamente son rentables. Desde un punto de
vista de la asignacin de recursos no sern jams realizados.
En resumen, una vez evaluados y aprobados los proyectos y fijados los techos
presupuestarios hay que ordenarlos o jerarquizarlos de acuerdo a reglas y criterios que permitan un
proceso que asegure el mejor uso de los recursos.
El Municipio de Zipaquir tiene una restriccin presupuestaria de US$ 480,000,000. El
alcalde de Zipaquir quiere que la seleccin de los programas est supeditada a la limitacin
monetaria dada por la Caja fiscal, ya sea que usen criterios de eficiencia, de eficacia o cualquier
otro.
24
Tomado de la presentacin del ILPES Jerarquizacin de proyectos Por qu y para qu, Mtodos, Indicadores, Aplicacin.
50
CEPAL - SERIE manuales N 48
La asignacin por costos cae en el caso de presupuesto fijo con proyectos de carcter
indivisible. En la lnea de mantener un control de los recursos presupuestarios, se puede realizar
una jerarquizacin de los proyectos de menor a mayor costo, tal como se presenta en la tabla 5.
Tabla 5
COSTOS Y TIPO DE ACCIN PBLICA DE LOS PROYECTOS
Proyectos Tipo de Costo Tiempo Jerarqua Costo Jerarqua
accin total mensual
pblica
1 Nutricin Subsidio $167 557 Un ao 2 $13 963 2
2 Vivienda Subsidio $334 268 5 meses 5 $66 854 5
3 Capacitacin Incentivo $178 593 Un ao 3 $14 883 3
de jvenes
4 Acueducto y Subsidio $370 233 5 meses 6 $74 047 6
alcantarillado del 90%
del costo
5 Microcrdito Incentivo $282 082 Un ao 4 $23 507 4
6 Subsidio Subsidio $114 751 Un ao 1 $9 563 1
escolar escolar
Fuente: Elaboracin de los autores.
Si se realiza una jerarqua de los proyectos de acuerdo al costo total o al costo mensual de
cada proyecto, el proyecto menos oneroso es el proyecto 6 de subsidio escolar, el segundo proyecto
es el de nutricin y el tercer proyecto es el de capacitacin a jvenes. Los proyectos ms onerosos
son los proyectos de infraestructura.
Si solo se considera el criterio de costos y se quisiera respetar la restriccin presupuestaria se
deberan seleccionar los proyectos 6, 1 y 3, con lo cual se utilizara $ 460,902. Sin embargo, esta
seleccin de proyectos de acuerdo al costo ms bajo, adolece de criterios que permitan determinar
qu proyectos tienen mayor impacto.
51
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Tabla 6
IMPACTO POR INDICADOR
Proyectos Impacto en
H H H IDH NBI NBI Desempleo
absoluta relativa indigencia pobreza indigencia
1 Nutricin 0,00% 0,00% -0,75% 0,03%
2 Vivienda 0,17% -0,23%
3 Capacitacin -0,08% -0,01% -2,20% 0,81% -0,15% -0,17% -2,21%
de jvenes
4 Acueducto y 0,10% -1,18%
alcantarillado
5 Microcrdito -0,21% -0,04% -1,10% 0,83% -0,17% -0,14% -1,26%
6 Subsidio 0,00% 0,00% -0,74% 0,03% 0,01% -0,10%
escolar
Fuente: Elaboracin de los autores.
Los cuadros que se encuentran en gris quieren decir que la simulacin del proyecto no
produjo ningn impacto en dichas variables. En la tabla 7 se presenta un anlisis de jerarquizacin
por eficiencia para cada uno de los indicadores considerando solo los distintos proyectos sobre los
cuales existe un impacto:
Tabla 7
JERARQUIZACIN POR EFICACIA
Proyectos Jerarqua
H H H IDH NBI NBI Desempleo
absoluta relativa indigencia pobreza indigencia
1 Nutricin 3 3 3 3
2 Vivienda 5 2
3 Capacitacin 2 2 1 2 2 3 1
de jvenes
4 Acueducto y 4 1
alcantarillado
5 Microcrdito 1 1 2 1 1 4 2
6 Subsidio 3 3 4 3 3 5
escolar
Fuente: Elaboracin de los autores.
52
CEPAL - SERIE manuales N 48
En este caso al tomar solo la jerarqua por H indigencia, la alternativa 1 dice que se debera
seleccionar los proyectos 1, 3 y 6 con un presupuesto no gastado de 19.098 dlares. Por otro lado si
se toma la jerarqua por NBI indigencia solo se puede seleccionar el proyecto 2 ya que caso
contrario se superara el presupuesto con el que Zipaquir cuenta, sin embargo, el monto de
presupuesto no ejecutado sera de US$ 145,732, mucho ms elevado que para la alternativa 1. No
hay lugar para una tercera alternativa que mezcle los dos criterios H indigencia y NBI indigencia,
ya que al considerar las primeras opciones se supera el monto fijo del presupuesto.
La alternativa 2 no es muy convincente pues en trminos simples, se es eficiente si se logran
los objetivos sin que exista desperdicio de recursos. (Aedo, 2005)
Existen algunos mtodos de jerarquizacin de proyectos, como por ejemplo listas de
verificacin en funcin de cumplimiento de criterios, modelos de puntuacin, indicadores
econmicos, modelos de dominancia entre proyectos, modelos de aporte a metas, modelos de
portafolio, modelos basados en programacin lineal, Interaccin nominal y q-sorting y mtodos
electre. En el documento ILPES, 1994, captulo 4 se presentan las ventajas y desventajas de todos
estos mtodos.
Debido a la dificultad de aplicar estos mtodos, en el siguiente paso se realizar una
jerarquizacin por eficiencia adaptando el mtodo sugerido por ILPES.
53
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
asign 0 al valor 0 y 100 al valor 1,500,000.25 Para el clculo del valor de la escala se asumi que
los proyectos que no tienen impacto en determinada variable tienen un valor 0 como valor costo
impacto.
En esta metodologa del ILPES, se acepta dar una ponderacin distinta a los indicadores
utilizados. La ponderacin es realizada, por parte del o de los evaluadores, de acuerdo la
importancia relativa de los distintos objetivos. Estos ponderadores debern sumar uno, lo cual
obligar a quienes los definan a analizar cuidadosamente la importancia relativa de cada uno de los
objetivos. Es fundamental contar con el respaldo de todos los evaluadores, si es posible mediante
consenso en las ponderaciones asignadas. De no ser as, el puntaje obtenido por un proyecto a base
de los puntajes parciales asignados por un evaluador podra no estar de acuerdo con la importancia
general que asigna el evaluador al proyecto. Idealmente esta decisin tambin debera tomarse en
un nivel superior. (ILPES, 1994)
Para evitar discrecionalidad en la asignacin de la ponderacin y a manera ilustrativa se
asign un peso igual a los dos indicadores, es decir de 0.5, considerando que los dos son
indicadores que ayudan al logro de la Meta 1 de los Objetivos del Milenio de Reducir a la mitad
entre 1990 y 2015 el porcentaje de personas con ingresos inferiores a un dlar.
Por el lado de la interpretacin, los proyectos que tienen el menor puntaje sern aquellos que
tendrn una mejor posicin en la jerarqua, ya que son los proyectos logran mayores resultados para
un costo o para el mismo resultado tienen costos menores.
En la tabla 9 se presenta la jerarquizacin de proyectos de acuerdo a la metodologa del
ILPES.
Tabla 9
JERARQUIZACIN POR EL MTODO ILPES
Proyectos Costo Costo impacto H Costo impacto NBI Puntaje Jerarqua
Valor Valor Valor Valor ponderado
original original original original
1 Nutricin $167 557 $222 808 $15 $0 0 7 3
2 Vivienda $334 268 $0 0 $1 472 321 98 49 6
3 Capacitacin de $178 593 $81 238 5 $0 0 3 1
jvenes
4 Acueducto y $370 233 $0 0 $314 067 21 10 5
alcantarillado
5 Microcrdito $282 082 $255 386 17 $0 0 9 4
6 Subsidio escolar $114 751 $155 236 10 $0 0 5 2
25
Los puntos (0,0) y (1,500,000,100) definen la ecuacin de una recta pendiente 100/1,500,000= 0.00007 e intercepto 0. el valor
transformado se calcula mediante la siguiente frmula, siendo VO el valor original y VT el valor transformado: VT = 2800*VO+ 0.
54
CEPAL - SERIE manuales N 48
En este punto se debe tener claro cuando se debe realizar una evaluacin de impacto ex post,
sobretodo tomando en cuenta como las evaluaciones de impacto ex-post demandan una cantidad
importante de informacin, tiempo y recursos. Uno de los puntos principales a tener en cuenta es si
la evaluacin de resultados puede proveer un aprendizaje potencial. Es mejor evaluar
intervenciones que maximicen el aprendizaje de los esfuerzos de reduccin de la pobreza y puedan
proveer correcciones de medio trmino al proyecto en curso. Para esto el Banco Mundial propone
realizar cuatro preguntas clave:
1. El programa es estratgico para reducir la pobreza?
2. La evaluacin de impacto del programa puede contribuir a completar vacos de
informacin sobre lo que funciona y lo que no funciona en la reduccin de la pobreza?
3. La evaluacin de la intervencin puede proveer una aproximacin innovadora para
reducir la pobreza?
4. La intervencin est orientada a grupos de difcil acceso o se espera que la intervencin
tenga impactos diferenciados por grupos de poblacin?
En este sentido la decisin del alcalde fue la correcta ya que la evolucin de impacto ex post
del programa de subsidios a la desnutricin puede contribuir a completar vacos de informacin en
la referente al impacto del proyecto sobre la desnutricin de los nios o proveer otros elementos
que la expliquen.
55
CEPAL - SERIE manuales N 48
26
La descripcin del programa fue tomada de Condiciones Iniciales de los Beneficiarios e Impactos Preliminares, publicado por el
Departamento Nacional de Planeacin de la Repblica de Colombia. (2004).
57
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
58
CEPAL - SERIE manuales N 48
Diagrama 12
PASOS PARA EVALUAR EL IMPACTO DE UN PROGRAMA SOCIAL
27
Cohen y Franco (1998) definen tambin otras categoras de resultado y sistema, originales y derivados, nicos y mltiples,
complementarios y competitivos e intermedio y competitivos.
59
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Recuadro 7
28
OBJETIVOS DEL PROGRAMA
Objetivo general:
Aumentar la acumulacin de cpital humano en la poblacin ms pobre de los municipios
con menos de 100 000 habitantes.
Objetivos especficos:
Complementar los ingresos de las familias con nios menores de siete (7) aos para
apoyar el gasto familiar en alimentacin.
Aumentar la atencin en salud de los nios menores de siete aos.
Contribuir a mejorar las prcticas de cuidado de los nios en salud, nutricin y la
prevencin de la violencia dentro de la familia.
Contribuir al mejoramiento del nivel de salud y nutricin infantil.
Fuente: Elaborado por el autor con base en Departamento Nacional de Planeacin de la Repblica de
Colombia (2004).
A partir del anlisis anterior es posible definir una lista con los efectos esperados por el
programa. Se debe tener presente que en un objetivo, general o especfico, puede haber ms de dos
efectos que algunas veces estn relacionados y en otros casos no. Por ejemplo, el Programa tiene
como objetivo especfico Contribuir a mejorar las prcticas de cuidado de los nios en salud,
nutricin y la prevencin de la violencia dentro de la familia. En este objetivo se mezclan las
prcticas en salud y nutricin con la prevencin de la violencia intrafamiliar. Si bien, son dos
aspectos que pueden contribuir a mejorar la salud y nutricin del nio, en la evaluacin de impacto
deben ser considerados como efectos distintos para poder aislar las distintas causas que mejoran la
salud y la nutricin de los nios. En el recuadro 8, se muestra la lista de los efectos esperados del
programa construida a partir de los objetivos generales y especficos del programa.
Recuadro 8
EFECTOS IDENTIFICADOS A PARTIR DE LOS OBJETIVOS DEL PROGRAMA
28
En el anlisis de los objetivos se tom como referencia a los objetivos generales y especficos del programa Familias en Accin
relacionados con la poblacin 0-6 aos, que es la poblacin objetivo del programa implementado en Zipaquir. La informacin fue
obtenida de ABC de Familias en Accin Cartilla No 4. Evaluacin de Polticas Pblicas Cartilla No 3. Conceptualizacin y
Evaluacin de Impacto.
60
CEPAL - SERIE manuales N 48
29
Algunos autores denominan a la relacin entre los componentes del programa y los efectos que se generan en los beneficiarios como
la teora del programa. Tal es el caso de Sidani y Sechrest (1999), quin define que la teora del programa explica por qu, cmo y
bajo qu contexto y condiciones ocurren los efectos de una intervencin. Adems, esta debe predecir los resultados y especificar que
las actividades se deben desarrollar para generar los efectos deseados.
30
Este proceso corresponde a una versin simplificada del proceso de seleccin del programa Familias en Accin.
61
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
3. Efectos
Luego de analizar las caractersticas y componentes del programa se deben identificar los
efectos de la intervencin. Rossi, Lipsey y Freeman (2004) diferencian los efectos de los
programas sociales de acuerdo al momento que se espera que ocurran. Estos pueden ser iniciales,
intermedios o finales.32
Efectos iniciales. Estos son todos aquellos cambios que ocurren en los beneficiarios
inmediatamente reciben los servicios que ofrece el programa. Los efectos iniciales del Programa
31
Tomado del programa Familias en Accin. ABC de Familias en Accin Cartilla No 4. Evaluacin de Polticas Pblicas Cartilla No
3. Conceptualizacin y Evaluacin de Impacto.
32
Cabe mencionar que la secuencia de causalidad entre los efectos que genera el programa no es automtica, y se requiere de ciertos
mecanismos que permitan el paso de efecto inicial, al intermedio y luego al final.
62
CEPAL - SERIE manuales N 48
63
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Diagrama 13
FACTORES EXGENOS AL PROGRAMA QUE SON DETERMINANTES
DE LA NUTRICIN DE LOS NIOS
Estado
nutricional del
nio
Programa
En cuanto a la relacin entre el ingreso del hogar y el estado nutricional de los nios, muchas
investigaciones sobre nutricin concluyen la existencia de una relacin positiva entre la pobreza y
la malnutricin. Por ejemplo, Nandy y otros (2003) estudiaron la relacin entre estas variables para
India encontrado una asociacin positiva del nivel de pobreza del hogar con la malnutricin. Por lo
tanto, es conveniente incluir entre los factores exgenos la pobreza del hogar medida por diferentes
mtodos (e.g. Necesidades Bsicas Insatisfechas e ingresos).
Por ltimo, las caractersticas individuales de los beneficiarios tambin son factores
exgenos que pueden incidir en los resultados del Programa. Generalmente stos estn asociados
con la edad, gnero, nivel de educacin, condiciones fsicas y mentales, entre otros.
5. Diagrama de flujo
Luego de haber definido los diferentes elementos del programa es necesario determinar
exactamente la secuencia de causalidad entre ellos. La herramienta ms utilizada para visualizar la
relacin entre los componentes del programa y los efectos son los diagramas de flujo. En estos
diagramas se definen todos los hitos que componen cada uno de los componentes del programa, sus
efectos y las relaciones de causalidad entre ellos. En la figura 5 se muestra la aplicacin de esta
herramienta.
64
CEPAL - SERIE manuales
Diagrama 14
DIAGRAMA DE FLUJO
N 48
65
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
33
En el programa de Familias en Accin el mdulo de gasto contiene ms de 350 preguntas. En tal caso hay que comparar los costos y
los beneficios de evaluar este tipo de efectos del programa.
66
CEPAL - SERIE manuales N 48
los diferentes componentes del programa en los efectos finales. Por ejemplo, en el diagrama de
flujo del programa se observa que al evaluar slo el efecto sobre la desnutricin es imposible
conocer cules componentes del programa estn incidiendo con mayor fuerza en el resultado,
perdindose la oportunidad de implementar ajustes en el programa que maximicen el impacto.
Teniendo en cuenta los criterios anteriores el evaluador debe definir qu efectos cuantificar.
En nuestro caso deberan incorporarse en la evaluacin todos los efectos iniciales e intermedios, y
los efectos finales relacionados con la nutricin y la salud de los nios. A manera de ejemplo, en la
presente pauta se evalan dos efectos iniciales (aumento en las visitas al mdico y aumento en el
ingreso per cpita del hogar) y dos efectos finales (disminucin de la desnutricin y mejora de las
condiciones de salud). En el diagrama 15 se muestra la ubicacin de estos efectos en el diagrama
de flujo, dejando en blanco los efectos que no sern evaluados.
67
68
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Diagrama 15
34
EFECTOS INCLUIDOS EN LA EVALUACIN
Requisito de Visitas al
visitas
mdico
Factores exgenos mdicas
Municipio: pobreza e
infraestructura en salud.
Hogar: produccin de
alimentos, ingreso y
transferencias Ingreso al Aumenta el Mejoran las Disminuye la
programa Subsidio ingreso del condiciones de desnutricin del
Madre: empoderamiento, hogar salud del nio nio
estado fsico y mental y
conocimeintos y creencias
34
Los casilleros en blanco representan los efectos que no son evaluados y que fueron incluidos en diagrama 14.
CEPAL - SERIE manuales N 48
69
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Recuadro 9
ESTNDARES PARA MEDIR EFICACIA
Los estndares que generalmente se utilizan para evaluar la eficacia de los programas
sociales son:
1. La necesidades de la poblacin objetivo.
2. Los objetivos y metas del programa.
3. Estndares profesionales.
4. Prcticas generalizadas.
5. Requerimientos legales.
6. Valores ticos y morales.
7. Resultados anteriores.
8. Opinin de expertos.
9. Lnea base de las condiciones de la poblacin.
10. Condiciones esperadas en ausencia del programa.
70
CEPAL - SERIE manuales N 48
seleccionados para medir los impactos del Programa y los factores exgenos. Se especifica el
nombre de las variables e indicadores y su forma de clculo.
1. Indicadores de impacto
En diagrama 14 se defini que se evaluarn los efectos del programa en: las visitas al
mdico, el ingreso de los hogares, las mejoras en las condiciones de los nios y el estado
nutricional.
Visitas al mdico
Este es un efecto de corto plazo del programa que se mide de forma sencilla preguntando el
nmero de vistas al mdico durante un determinado perodo de tiempo.
Cuadro 13
VISITAS AL MDICO
Variable Indicador Forma de clculo
Nmero de visitas al mdico en Igual a la variable Encuesta
el ltimo ao para consultas
relacionadas con crecimiento y
desarrollo
Fuente: Elaboracin de los autores.
35
Proporcin de personas que se enferman en un sitio y tiempo determinado.
71
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Cuadro 14
ESTADO DE SALUD DEL NIO
Variable Indicador Forma de clculo.
Nmero de nios que durante los Tasa de incidencia de la variable
ltimos 15 das tuvieron diarrea o diarrea
soltura del estomago N nios
Nnios= nmero de nios en la
muestra
Nmero de das que dur la Promedio de duracin de variable
diarrea o soltura de estomago la diarrea por nio
(referido a episodios en los N nios
ltimos 15 das) Nnios= nmero de nios en la
muestra
Nmero de nios que durante los Tasa de incidencia de la variable
ltimos 15 das tuvieron gripa gripa
N nios
Nnios= nmero de nios en la
muestra
Nmero de nios que durante los Tasa de inactividad variable
ltimos 15 das dejaron de
realizar sus actividades normales N nios
Nnios= nmero de nios en la
muestra
Nmero de nios que durante los Porcentaje de nios variable
ltimos 15 das tuvieron que postergados en cama
permanecer en cama N nios
Nnios= nmero de nios en la
muestra
Fuente: Elaboracin de los autores.
Estado nutricional
Se seleccionaron los indicadores utilizados por los programas Progresa/Oportunidades y
Familias en Accin para medir el estado nutricional de los nios. Son indicadores antropomtricos
de peso/edad (desnutricin global), peso/talla (desnutricin aguda) y talla/edad (desnutricin
crnica) que indican si la medida antropomtrica de los nios est por debajo del estndar que se
considera apropiado para su edad, altura y peso.
Cuadro 15
ESTADO NUTRICIONAL
Variable Indicador Forma de clculo.
ndice antropomtrico variable Z
Puntaje Z Z score =
Desv( Z )
Porcentaje de nios con Nmero de nios con puntaje Z >-6
Peso del nio (kilogramos) Edad
Talla
desnutricin aguda y -2 entre el total de nios
Porcentaje de nios en Nmero de nios con puntaje Z >-2
riesgo de desnutricin y -1 entre el total de nios
Porcentaje de nios en Nmero de nios con puntaje Z >-1
estado nutricional normal y 2 entre el total de nios
Porcentaje de nios con Nmero de nios con puntaje Z >2
sobrepeso y 6 entre el total de nios
Fuente: Elaboracin de los autores.
72
CEPAL - SERIE manuales N 48
Madre
Las caractersticas de las madres son en parte determinantes del cuidado de los nios. Las
variables que se seleccionaron fueron la edad, los aos de educacin, el estado civil y el cpital
social. Por restricciones de informacin no se pudieron incluir todas las variables propuestas por
Smith y Haddad (2000), principalmente aquellas relacionadas con el estado fsico y mental y el
empoderamiento de las madres.
Cuadro 17
CARACTERSTICAS DE LA MADRE
Variable Indicador Forma de clculo
Nmero de aos cumplidos de Igual a la variable Encuesta
la madre
Aos de educacin de la madre Igual a la variable Encuesta
Nmero nios con madres Variable dicotmica 1 si la madre del nio es
casadas o en unin libre casada o vive en unin libre
0 otro
Nmero nios con madres que Variable dicotmica 1 si la madre del nio
participan en una organizacin participa en una organizacin
civil o religiosa civil o religiosa
0 otro
Fuente: Elaboracin de los autores.
Hogar
Se incluy el ingreso total del hogar y se seleccionaron indicadores que se construyen a
partir de esta variable como incidencia de la pobreza absoluta y extrema. Tambin se seleccionaron
todas las variables del mtodo de Necesidades Bsicas InsatisfechasNBIpara contar con una
conjunto completo de medidas de la pobreza de los hogares. Finalmente, se seleccionaron los
indicadores del mtodo integrado de la pobreza que, como se analiz en el primer captulo combina
la pobreza por ingreso y NBI.
73
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Cuadro 18
CARACTERSTICAS DEL HOGAR
Variable Indicador Forma de clculo
Igual a la variable En pesos colombianos
Ingreso per cpita del hogar variable
N nios
Nhogar= nmero de miembros del
hogar
Variable dicotmica que 1 si el ingreso del hogar al que
Ingreso total del hogar indique si el nio vive en pertenece el nio est por debajo
hogares por debajo de la de la lnea de pobreza.
lnea de pobreza (LP= 0 otro
206,731)
Porcentaje de nios que 1 si el ingreso del hogar al que
viven en hogares por debajo pertenece el nio est por debajo
de la lnea de pobreza de la lnea de pobreza extrema.
extrema (LI= 79,282) 0 otro
NBI vivienda: nios que viven en Variable dicotmica 1 si el nio vive en una vivienda
viviendas con piso de tierra con piso de tierra
0 otro
NBI servicios: nios que viven en Variable dicotmica 1 si el nio vive en una vivienda sin
viviendas sin servicios de acueducto servicios de acueducto y
y alcantarillado alcantarillado
0 otro
NBI de hacinamiento: Nios que Variable dicotmica 1 si el nio vive en un hogar con
viven en hogares con hacinamiento hacinamiento crtico
crtico (nmero de personas por 0 otro
cuarto mayor a 3)
NBI de dependencia: nios que Variable dicotmica 1 si el nio vive en un hogar con
viven en hogares con dependencia dependencia econmica
econmica (hogares cuyo jefe de 0 otro
hogar tenga un nivel educativo
inferior a tercero primaria y tres o
ms personas por cada persona
dependiente)
NBI de inasistencia: nios que viven Variable dicotmica 1 si el nio vive en un hogar con
en hogares con inasistencia escolar inasistencia escolar
(algn nio entre 7 y 11 aos que no 0 otro
asista a un establecimiento
educativo)
Variable dicotmica 1 si el nio vive en un hogar con 1
NBI
0 otro
Nmero de NBI en los hogares Variable dicotmica 1 si el nio vive en un hogar con 2
o ms NBI.
0 otro
Nmero de nios en el hogar Igual a la variable Encuesta
Fuente: Elaboracin de los autores.
Municipio
Se seleccionaron los indicadores de pobreza NBI y el ndice de Calidad de Vida ICV. Por
su parte, la infraestructura en salud se cuantific con el nmero de hospitales, centros de salud y
puestos de salud.
74
CEPAL - SERIE manuales N 48
Cuadro 19
CARACTERSTICAS DEL MUNICIPIO
Variable Indicador Forma de clculo
Nmero de NBI en los hogares de Porcentaje de personas que q
todo el municipio viven en hogares con 1 NBI
N
q= nmero de persona que viven
en hogares con 1 NBI
Mltiples variables relacionadas ndice de Calidad de Vida
con las condiciones demogrficas Anlisis multivariado
y socioeconmicas de los hogares
Nmero de hospitales Igual a la variable
Nmero de centros de salud Igual a la variable
Nmero de puestos de salud Igual a la variable Encuesta
Nmero de otras instituciones de Igual a la variable
salud
Fuente: Elaboracin de los autores.
75
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
necesidad que la intervencin satisface. En el diagrama 16 muestra la ruta que se sigue, en general,
en la seleccin y aplicacin de los diseos de evaluacin de impacto. Se observa que la primera
opcin que se debe considerar para evaluar un programa social es el diseo experimental, y slo
una vez descartada su aplicacin se debe considerar la aplicacin de diseos cuasi-experimentales.
En esta pauta se descart el uso de diseos experimentales para estimar el impacto del Programa
debido a que no se cuenta con informacin experimental. Sin embargo, los mtodos de estimacin
del impacto que se analizan para el caso de los diseos cuasi-experimentales aplican en la mayora
de los casos para los diseos experimentales (Shadish, Cook y Campbell, 2002). En el anexo 4 se
resumen las principales caractersticas, ventajas y limitaciones de estos diseos de evaluacin.
76
CEPAL - SERIE manuales N 48
Diagrama 16
RUTA A SEGUIR EN LA SELECCIN Y APLICACIN DE LOS DISEOS DE EVALUACIN DE IMPACTO
PASO 5: Estimacin el impacto
77
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
78
CEPAL - SERIE manuales N 48
programa. Estos cambios afectan los resultados de las evaluaciones de impacto si estn
relacionados con los indicadores de impacto.
En la evaluacin del programa de transferencias condicionadas podra haber sesgo por
maduracin debido a que los indicadores del estado nutricional de los nios involucran medidas
antropomtricas de talla y peso que cambian rpidamente en la poblacin de 0-6 aos. De este
modo, es casi seguro que la talla y el peso de los nios beneficiarios del programa hayan
aumentado en el perodo de implementacin del programa, sin embargo, parte de ese aumento se
debe al incremento de la edad de los nios y no al programa.
Desercin. Disminucin en el tamao de los grupos de tratamiento y control. El tamao de
estos grupos se disminuye cuando algunos de sus miembros abandonan el estudio de evaluacin
despus de la primera medicin (antes de iniciar el programa), bien sea porque desertan del
programa o no es posible ubicarlos para medir su situacin despus de la implementacin del
programa. El sesgo por desercin ocurre cuando los individuos que desertan en el grupo de
tratamiento son significativamente diferentes de aquellos que abandonan el grupo de control. Si las
caractersticas de los desertores son diferentes, la equivalencia inicial entre el grupo de tratamiento
y de control se pierde, abriendo la posibilidad que las variaciones en los indicadores de impacto
sean atribuibles a estas diferencias. En otras palabras, el sesgo por desercin es similar al que se
genera por la autoseleccin pero que ocurre despus de que el programa ha iniciado sus actividades
y no antes como en el caso del sesgo por seleccin. La desercin es bastante probable en
evaluaciones de impacto de programas sociales ya que debido a la naturaleza de los efectos que
estos programas buscan generar se exige la definicin de prolongados perodos de evaluacin.
Aplicacin de pruebas. Efectos de tomar la misma prueba dos veces. La mayora de las
evaluaciones de impacto involucran una medicin de los indicadores de impacto antes y despus de
la intervencin. Es posible que en algunos programas los indicadores cambien debido a la
familiaridad o reaccin de los entrevistados ante la primera medicin. Por ejemplo, en nuestro caso
los nios son medidos y pesados al inicio del programa y al momento de la evaluacin. En la
primera medicin las madres pueden sentirse juzgadas por el encuestador al conocer que sus hijos
no tienen el peso y talla adecuada para su edad. As, esta presin social podra inducir un cambio
en el comportamiento de las madres con el propsito de mostrar en la segunda medicin una
mejora en el peso de los nios. Este resultado es deseable en trminos de los objetivos del
programa, sin embargo, el problema surge cuando este cambio se le atribuye errneamente a la
intervencin y no se identifica la existencia de sesgo por aplicacin de pruebas.
Instrumentacin. Cambios en los instrumentos de recoleccin de la informacin sobre los
indicadores de impacto antes y despus de la intervencin. Estos cambios pueden implicar que las
variaciones observadas en los indicadores de impacto se deban a cambios en el procedimiento de
recoleccin de la informacin y no al programa. Por ejemplo, en el Programa podra ocurrir sesgo
por instrumentacin en caso que en la primera medicin (antes de iniciar el programa) los nios se
hayan pesado con bsculas mecnicas, y luego en la segunda medicin se haya decido utilizar
bsculas digitales, que son ms precisas. Cambios en las preguntas y opciones de respuesta en los
formularios utilizados en la recoleccin de la informacin tambin pueden introducir sesgo por
instrumentacin.
En las siguientes dos secciones se desarrollan los pasos que se siguen para estimar el
impacto con diseos cuasi-experimentales (ver actividades en el diagrama 16). En la primera
seccin se analiza la opcin 1 de evaluacin de impacto, en la que se utilizan grupos de control
reflexivos. Luego, se describen las actividades que se siguen al aplicar la opcin 2 de evaluacin
que utiliza grupos de control no equivalentes, en la que a su vez existen dos alternativas: los
diseos slo despus y diferencias en diferencias. Los indicadores de impacto que se evalan son:
79
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
el nmero de visitas al mdico, el ingreso per cpita del hogar, el estado de salud de los nios y el
porcentaje de nios en riesgo de desnutricin.
X
Yt-n Yt-4 Yt-3 Yt-2 Yt-1 Programa Yt+1 Yt+2 Yt+3 Yt+4 Yt+n
Fuente: Elaborado por el autor con base en Shadish, Cook y Cambell (2002).
80
CEPAL - SERIE manuales N 48
Tabla 10
INDICADORES DE IMPACTO EN LA SITUACIN CON Y SIN PROYECTO
Indicadores de impacto Grupo de tratamiento
Sin proyecto (a) Con proyecto (b)
Porcentaje de nios que asisten a consultas 78,18 100,00
de crecimiento y desarrollo
Nmero de visitas al mdico 2,05 5,55
Ingreso per cpita del hogar (mensual) 65 419,92 74 101,01
Tasa de incidencia de la diarrea (porcentaje) 8,75 10,00
Duracin de la diarrea (das) 0,51 0,55
Duracin de la gripa (das) 6,14 5,61
Tasa de inactividad (porcentaje) 22,44 29,26
Porcentaje de nios que tuvieron que 63,63 75,00
permanecer en cama
Porcentaje de nios en riesgo de desnutricin 10,81 0,00
(peso/edad)
Porcentaje de nios en riesgo de desnutricin 25,68 1,25
(peso/talla)
Fuente: Elaborado por los autores con base en informacin de la evaluacin de impacto del
programa Familias en Accin publicada en la pgina de Internet del Departamento Nacional de
Planeacin de la Repblica de Colombia.
Nota: El ingreso per cpita est en pesos colombianos.
36
En el caso de Familias en Accin, las mismas preguntas fueron hechas a los beneficiarios antes y despus de iniciar el programa.
81
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Tabla 11
IMPACTO PROMEDIO DEL PROGRAMA USANDO
CONTROLES REFLEXIVOS
Indicadores de impacto Impacto t-test
Absoluto Porcentual
(b-a) (b/a-1)*100
Porcentaje de nios que asisten a 21,82 27,91 3,30***
consultas de crecimiento y
desarrollo
Nmero de visitas al mdico 3,50 170,14 6,37***
Ingreso per cpita del hogar 8 681,09 13,27 0,78
(mensual)
Tasa de incidencia de la diarrea 1,25 14,29 0,27
(porcentaje)
Duracin de la diarrea (das) 0,04 7,32 0,11
Duracin de la gripa (das) -0,53 -8,69 0,64
Tasa de inactividad (porcentaje) 6,82 30,39 0,73
Porcentaje de nios que tuvieron 11,37 17,87 0,57
que permanecer en cama
Porcentaje de nios en riesgo de -10,81 -100,00 2,96***
desnutricin (peso/edad)
Porcentaje de nios en riesgo de -24,43 -95,13 4,80***
desnutricin (peso/talla)
Fuente: Elaborado por los autores con base en informacin de la evaluacin de
impacto del programa Familias en Accin publicada en la pgina de Internet del
Departamento Nacional de Planeacin de la Repblica de Colombia.
Nota: El ingreso per cpita est en pesos colombianos.
En la estimacin del impacto del Programa es indispensable que los cambios sean
estadsticamente significativos.37 Para determinar la significancia estadstica del impacto se aplic
una prueba de diferencia de medias utilizando el t-estadstico, la cual se describe en detalle ms
adelante en la tabla 16. Los resultados indican que el Programa gener, de acuerdo con el diseo de
controles reflexivos, un impacto significativo en el nmero de visitas al mdico y el porcentaje de
nios en riesgo de desnutricin. En el primer indicador, como se analiz anteriormente, los
beneficiarios incrementaron el nmero de visitas en un 170.1%. Por su parte, el porcentaje de nios
en riesgo de desnutricin disminuy en un 100% utilizando como medida antropomtrica el
peso/edad y 94.74% usando peso/talla. Estos cambios son estadsticamente significativos a un nivel
de confianza del 95%. En el resto de indicadores de impacto no se observan cambios
estadsticamente significativos. Es importante mencionar, que con excepcin de la duracin de la
gripa, todos los indicadores de impacto relacionados con problemas de la salud, que se esperara
que disminuyeran en la situacin con proyecto, aumentaron (ver tabla 12).
Los resultados que se muestran en la tabla 12 tambin se pueden obtener utilizando un
anlisis de regresin. En este caso, la especificacin del modelo es:
Yi = 0 + P Pi + donde i=1..160 que corresponde al nmero de nios [3]
Donde Y es el indicador de impacto del programa; P refleja el momento en el que se hizo la
medicin del indicador de impacto (0 en la situacin antes de la implementacin del programa y 1
despus). En este caso, P se interpreta como la situacin sin y con participacin en el proyecto. Por
su parte los s son los coeficientes de regresin, o , es el valor de Y cuando no se participa en el
programa o intercepto de la regresin, y P indica en cunto se modifica Y debido a la
participacin en el programa. As, este coeficiente corresponde al impacto del programa en este
37
Si estos no son significativos es posible que al recolectar de informacin de otra muestra representativa de los beneficiarios la
variacin del indicador sea cero.
82
CEPAL - SERIE manuales N 48
modelo simple, el cual es equivalente al impacto absoluto (a-b) calculado en la tabla 11.
Finalmente, el trmino es el error no observado que contienen todas las variables que fueron
omitidas en la evaluacin, observables y no observables.
El mtodo de estimacin utilizado en la ecuacin 3 es Mnimos Cuadrados Ordinarios
MCOaplicado a variables cuantitativas o de intervalo, como es el caso del ingreso.38 Este mtodo
busca estimar la asociacin que existe entre dos o ms variables a travs de una lnea recta que
minimice la diferencia al cuadrado entre el valor observado y estimado de la variable dependiente
(Y). Por su parte, cuando el indicador de impacto es una variable cualitativa se pueden usar dos
mtodos MCO o Mxima Verosimilitud MV-. Los modelos que se pueden estimar son el de
Probabilidad Lineal, Probit y Logit que estiman el cambio en la probabilidad de ocurrencia del
evento que se analiza. Las variables de no intervalo ms usadas son las dicotmicas. Por ejemplo,
sexo (hombre, mujer), raza (Negro, Blanco), estado civil (casado, soltero), entre otros. En este caso,
al indicador de impacto se le asigna el valor de 1 o 0 para representar cada una de las categoras
(Lewis-Beck, 1980 y Wooldrifge, 2003). Por ejemplo, un modelo utilizado para estimar el impacto
de un programa de terapia para parejas determinar el cambio en la probabilidad de seguir casado.
El anexo 5 contiene un anlisis detallado de los supuestos de los mtodos de estimacin mnimos
cuadrados ordinarios MCO, as como una explicacin intuitiva de que es la mxima verosimilitud
(MV) y los modelos de regresin simple y mltiple. Se recomienda al lector revisar este anexo
antes de continuar.
En la tabla 12 se muestran las caractersticas de los indicadores de impacto utilizados en la
evaluacin y el modelo de estimacin que se utiliza. En el caso de las variables dicotmicas se
escogi el modelo Probit, pero los resultados del Logit son equivalentes.
Tabla 12
MODELOS ECONOMTRICOS EN LA ESTIMACIN DEL IMPACTO DEL PROGRAMA
Indicadores de impacto Tipo de variable Modelo de estimacin
38
En este tipo de variables se puede medir, con precisin numrica, la distancia entre dos observaciones.
83
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Tabla 13
39
ESTIMACIN ECONOMTRICA DEL IMPACTO DEL PROGRAMA
Indicadores de impacto S Error estndar t-test
(z en el Probit)
Porcentaje de nios que asisten a consultas de n.a n.a n.a
crecimiento y desarrollo
Nmero de visitas al mdico 3,50 0,55 6,38
Ingreso per cpita del hogar (mensual) 8 681,08 11 152,34 0,78
Tasa de incidencia de la diarrea (porcentaje) 0,01 0,460765 0,27
Duracin de la diarrea (das) 0,04 0,34 0,11
Duracin de la gripa (das) -0,53 0,84 -0,64
Tasa de inactividad (porcentaje) 0,07 0,09 0,74
Porcentaje de nios que tuvieron que permanecer 0,11 0,19 0,59
en cama
Porcentaje de nios en riesgo de desnutricin 0,11 n.d n.d
(peso/edad)
Porcentaje de nios en riesgo de desnutricin -0,24 0,05 -3,83
(peso/talla)
Fuente: Elaborado por los autores con base en informacin de la evaluacin de impacto del programa
Familias en Accin publicada en la pgina de Internet del Departamento Nacional de Planeacin de la
Repblica de Colombia.
Nota: El ingreso per cpita est en pesos colombianos.
39
El impacto en el indicador del porcentaje nios que son llevados a visitas al mdico no pudo ser estimado a travs del modelo Probit
debido a que en la situacin con proyecto todos los miembros del grupo de tratamiento asisten son llevados a visitas al mdico y por
lo tanto no se dispone de la variacin suficiente para estimar el modelo.
Cuando el factor exgeno no est asociado con P su efecto en el indicador de impacto es capturada por en el trmino .
40
84
CEPAL - SERIE manuales N 48
Recuadro 10
DEMOSTRACIN MATEMTICA DEL SESGO QUE SE GENERA AL
NO AISLAR UN FACTOR EXGENO AL PROGRAMA
Considere que el verdadero modelo para la estimacin del impacto es:
Y = 0 + T T + Z Z + [1]
Donde Y es el indicador de impacto del programa; T es una variable dicotmica que representa la participacin en
el programa (1 para los beneficiarios que conforman el grupo de tratamiento y 0 para los miembros del grupo de
control); Z es un vector de variables que incluye los indicadores seleccionados para medir los factores exgenos;
y T es magnitud del impacto del programa.
Sin embargo no se cuenta con informacin sobre Z y se decide estimar el impacto del Programa con el siguiente
modelo:
Y = 0 + T T + [2]
Si existe una relacin entre las Zs y T el modelo de la ecuacin 4 podra estar sobreestimando o subestimando el
verdadero impacto del programa dado que captura tanto la incidencia del programa (T) como de las Zs en el
indicador de impacto (Y). En tal caso las Zs estn asociadas tanto la participacin de los beneficiarios en el
programa como el resultado en el indicador del impacto. Matemticamente la relacin entre Z y X estara dada por
la siguiente ecuacin.
Z = 0 + TT + [3]
Y = 0 + T T + Z ( 0 + T T + ) + [4]
Y = [ 0 + Z 0 ]+ T [ T + Z T ]+ [ Z + ] [5]
La ecuacin 5 muestra que al omitir las Zs el coeficiente del impacto (T) es T + Z T en lugar de T que
es el verdadero impacto del programa. Adems se deduce que cuando T es igual cero es irrelevante incluir o
no las Zs dado que no estn asociadas con T y por lo tanto su efecto es contenido por sin sesgar el coeficiente
del impacto del programa.
As, cuando se identifiquen estos problemas de sesgo se requiere incluir los factores
exgenos en la regresin y utilizar modelos de regresin mltiple. En la siguiente ecuacin, Z
representa el vector de factores exgenos que puedan cambiar y estar asociados con P y Y.
Yi = 0 + p Pi + z Z i + [4]
85
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
41
La significancia estadstica de los coeficientes de regresin indica si en la poblacin el valor de estos coeficientes es diferente de
cero en la poblacin. Un coeficiente igual cero significa que no hay asociacin entre la variable dependiente e independiente. La
prueba de significancia estadstica es importante porque los coeficientes de regresin son estimados a partir de una muestra de la
poblacin, y por lo tanto es probable que aunque en la muestra el valor de los coeficientes sean diferentes de cero, el valor
poblacional sea igual a cero. Vale la pena aclarar que se puede probar la significancia estadstica de un valor diferente de cero, sin
embargo, en ciencias sociales generalmente se prueba la significancia respecto a 0 (Ver anexo 6 prueba de hiptesis).
86
CEPAL - SERIE manuales N 48
Es importante mencionar que en los modelos en los que se incluyeron factores exgenos la
significancia estadstica del impacto no cambi drsticamente. En el caso de la estimacin del
impacto medido como el cambio en el ingreso per cpita del hogar, la tasa de incidencia de la
diarrea y su duracin, el impacto del Programa continuo siendo no significativo, despus de incluir
los factores exgenos. Por su parte, el impacto del Programa en el nmero de visitas al mdico
continu siendo significativo, luego de incluir los factores exgenos (el cpital social de la madre,
el nmero de nios en el hogar y el ingreso per cpita del hogar). El coeficiente de impacto
aument de 3.5 a 4.05 y el estadstico t que mide su significancia estadstica pas de 6.38 a 7.74. Es
decir, al excluir este conjunto de variables se estaba subestimando el impacto del Programa.
Cuando el coeficiente del Programa cambia al aislar el efecto de los factores exgenos es
conveniente examinar el sesgo que cada uno de estos estaba generando. Por ejemplo, en el caso del
nmero de visitas al mdico el valor del coeficiente del ingreso per cpita del hogar es positivo
(.0000145)42 al igual que su asociacin con la variable de participacin en el Programa P
(8681.084),43 lo que indica que al excluir esta variable de la estimacin de impacto del Programa, el
coeficiente P capturaba el efecto del ingreso en el nmero de visitas y su asociacin positiva con
P.
Finalmente, se debe tener en cuenta que aun incluyendo algunos factores exgenos en la
estimacin del impacto con controles reflexivos, es posible, en la mayora de los casos, que el
verdadero impacto del programa contine sobreestimado o subestimando. Esto sucede porque,
como se mencion, es muy difcil contar con informacin de todos los factores exgenos asociados
con Y y P. Es ms, seguramente muchos de ellos todava ni siquiera han sido identificados por la
teora que orienta las intervenciones sociales. De este modo, es muy probable que el diseo con
controles reflexivos no pueda eliminar completamente los problemas de validez interna causados
por historia y maduracin, que debilitan los resultados de este diseo.
42
Corresponde al coeficiente z de la ecuacin 4 en el Recuadro 10.
Corresponde al coeficiente T de la ecuacin 3 en el Recuadro 10.
43
87
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Diagrama 18
DIAGRAMA DE FLUJO DE LA EVALUACIN USANDO GRUPOS DE CONTROL
Requisito de Visitas al
visitas
mdico
mdicas
Estos resultados pueden tener diferentes explicaciones. La primera es que los efectos
observados en la desnutricin no son atribuibles al programa. Porque si se observan cambios en los
indicadores de impacto de ms largo plazo sin que se hayan generado todos los efectos iniciales e
intermedios, no sera posible concluir que los cambios sean atribuibles al programa. Entonces, la
conclusin podra ser que los cambios en la desnutricin no estuvieron asociados con el programa.
Una segunda explicacin es que las relaciones de causalidad establecidas en la evaluacin
estuvieran mal definidas. Por ejemplo, es posible que las mejoras en el estado de salud de los nios
ocurran debido a los cambios en la nutricin y no viceversa como se plante. Tambin, es posible
que el requisito de asistir a los controles mdicos sea el nico componente del programa que
influye en la desnutricin. En estos casos, los cambios en la desnutricin si seran atribuibles al
programa y lo que es necesario revisar son las relaciones de causalidad establecidas en el diagrama
de flujo de la evaluacin.
88
CEPAL - SERIE manuales N 48
89
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Figura 1
DIVISIN DE LAS PROVINCIAS DE LA SABANA CENTRO Y OCCIDENTE
Una vez listados los potenciales municipios para conformar el grupo de control, se deben
identificar aquellas variables que deben ser similares a Zipaquir. Estas se denominan variables de
pareo y se refieren a caractersticas de los municipios que afectan positiva o negativamente los
indicadores de impacto, y que al no tenerlas en cuenta en la evaluacin podran subestimar o
sobreestimar el verdadero impacto de la intervencin. En general, si la teora del programa fue
construida apropiadamente, las variables para el pareo de municipios deben corresponder a los
factores exgenos. Estos estn asociados con la pobreza, la infraestructura en salud, el cpital
social, entre otros.
En principio, el pareo se debiera hacer teniendo en cuenta todas las variables de contexto
identificadas en la teora del programa. Sin embargo, por problemas de disponibilidad de la
informacin generalmente slo es posible realizar la seleccin del control incluyendo algunas de
ellas. Tambin, cabe mencionar que utilizar slo las variables ms relevantes hace ms sencillo y
eficaz el ejercicio de pareo dada la dificultad de encontrar dos unidades de anlisis que sean
estadsticamente similares en muchas variables. Teniendo en cuenta estas consideraciones, a
manera de ejemplo, en este ejercicio se seleccion como variable de pareo la pobreza.44
El nivel de pobreza en los municipios es una de las caractersticas que podra tener una alta
incidencia en las variables de impacto del programa. Altos ndices de pobreza implican la
existencia de una inadecuada oferta de servicios sociales y un insuficiente y/o inequitativo
desarrollo econmico que impiden el acceso de los hogares a servicios bsicos como vivienda,
salud, educacin, etc. Los indicadores que se seleccionaron para medir la pobreza en los
municipios fueron: el ndice de necesidades bsicas insatisfechas y el ndice de calidad de vida. En
el cuadro 20, se muestra el valor de estos ndices para cada uno de los municipios de las provincias
de la sabana centro y occidental. El INBI oscila en un rango ente 19% y 40%, y el ICV entre 73 y
85 puntos.
44
En el caso del programa Familias en Accin las variables de pareo que se definieron fueron: nivel de urbanizacin (tamao de
cabecera municipal), tamao potencial del programa (nmero de familias elegibles), ndice de calidad de vida (calidad y servicios de
la vivienda, nios menores de 7 aos, hacinamiento, escolaridad de los 12 y ms, y asistencia escolar de los 5 a 18 aos), e
infraestructura en de educacin y salud.
90
CEPAL - SERIE manuales N 48
Cuadro 20
INBI E ICV EN LOS MUNICIPIOS DE LAS PROVINCIAS
DE LA SABANA CENTRO Y OCCIDENTE
Municipio INBI ICV
Boajac 34,95 72,8
Cajic 24,08 80,8
Chia 19,90 82,8
Coguea 23,58 80,8
Cota 21,60 79,7
Facatativa 21,66 81,8
Funza 26,15 77,2
Gachancip 29,01 78,7
Madrid 27,04 74,7
Mosquera 40,29 75,4
Nemocn 35,00 77,4
Sopo 19,39 81,3
Subachoque 27,61 79,6
Tabio 21,40 84,7
Tenjo 20,38 81,8
Tocancip 28,21 78,3
Zipacn 30,01 75,7
Zipaquir 19,39 81,8
Desviacin estndar 5,89 3,07
Fuente: Elaborado por los autores con base
informacin del Sistema de Indicadores Socio-
Demogrficos para Colombia (SISD).
Departamento Nacional de Planeacin de la
Repblica de Colombia.
91
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Recuadro 11
PRUEBA ESTADSTICA DE DIFERENCIA DE MEDIAS
Paso 1. Calcular las diferencias en la media de las variables para los grupos:
X1 X 2
Paso 2. Estimar el error estndar de la diferencias en medias calculado en el paso 1.
S12 + S12
2
2
S X 1 X 2 =
n
Donde S es la varianza estimada para cada grupo.
Paso 3. Clcular del t-estadstico
X1 X 2
t=
S X 1 X 2
Paso 4. Tomar la decisin
Si t > 2 la diferencia entre las medias de los dos grupos es significativa al 95% de
confianza.
45
Estos municipios hicieron parte del grupo de control en la evaluacin de impacto del programa Familias en Accin.
92
CEPAL - SERIE manuales N 48
Cota.46 De este modo, el grupo de control para evaluar el programa de transferencias condicionadas
en Zipaquir estar conformado por hogares residentes en estos tres municipios. Como se observa
en la figura 2, los municipios seleccionados tienen adems en comn que estn localizados en la
misma rea geogrfica que Zipaquir, lo cual podra sugerir que el rea es bastante homognea en
sus caractersticas.
Figura 2
MUNICIPIOS SELECCIONADOS PARA CONFORMAR EL GRUPO DE CONTROL
46
Tambin se hubiera podido aplicar muestreo por conveniencia en donde se los municipios sean seleccionados con base al criterio del
evaluador.
93
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Cuadro 21
TAMAO DE LA MUESTRA DEL GRUPO DE CONTROL
Municipio Nmero de hogares Nmero de nios 0-6 Nios por hogar
Cha 25 40 1.6
Cajic 17 20 1.2
Cota 6 12 2.0
Total grupo de control 48 72 1.5
Fuente: Elaborado por los autores con base en informacin de la evaluacin de impacto del programa Familias
en Accin publicada en la pgina de Internet del Departamento Nacional de Planeacin de la Repblica de
Colombia.
El grupo de control est conformado por 48 hogares y 72 nios de 0-6 aos. Este tamao es
similar al del grupo de tratamiento que est conformado por 54 hogares y 87 nios.
Para continuar con la evaluacin de impacto con grupos de control no equivalentes se debe
decidir si es posible construir una lnea de base que contenga informacin sobre los indicadores de
impacto y factores exgenos de los grupos de tratamiento y control. Si no es posible la recoleccin
de esta informacin se debe aplicar un diseo de slo despus. Cuando se dispone de esta
informacin, la alternativa es estimar el impacto del programa usando un diseo de diferencias en
diferencias. A continuacin se analiza cada una de estas alternativas.
94
CEPAL - SERIE manuales N 48
95
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Tabla 16
IMPACTO PROMEDIO DEL PROGRAMA USANDO EL DISEO DE SLO DESPUS
Indicadores de impacto Impacto t-test
Absoluto (b-a) Porcentual (b/a-1)*100
Ingreso per cpita del hogar (mensual) -68 284,49 -47,96 1,37
Tasa de incidencia de la diarrea (porcentaje) -1,11 -10,00 0,22
Duracin de la diarrea (das) 0,11 23,75 0,35
Duracin de la gripa (das) -1,36 -19,49 1,40
Tasa de inactividad (porcentaje) -9,20 -23,92 0,86
Porcentaje de nios que tuvieron que 1,67 2,27 -0,09
permanecer en cama
Porcentaje de nios en riesgo de -4,17 -100,00 1,85**
desnutricin (pesos/edad)
Porcentaj de nios en riesgo de desnutricin -5,69 -82,00 1,80**
(peso/talla)
Fuente: Elaborado por los autores con base en informacin de la evaluacin de impacto del programa Familias en
Accin publicada en la pgina de Internet del Departamento Nacional de Planeacin de la Repblica de Colombia.
Requisito de Visitas al
visitas
mdico
mdicas
En conclusin, los valores estimados del impacto, usando el diseo de slo despus, tambin
deben analizarse con precaucin. Este diseo es superior al diseo con controles reflexivos en la
47
Los casilleros en blanco representan los efectos que no son evaluados y que fueron incluidos en diagrama 14.
96
CEPAL - SERIE manuales N 48
Antes Despus
(Situacin sin proyecto) (Situacin con proyecto)
T Yt-n Yt-4 Yt-3 Yt-2 Yt-1 X Yt+1 Yt+2 Yt+3 Yt+4 Yt+n
Programa
C Yt-n Yt-4 Yt-3 Yt-2 Yt-1 Yt+1 Yt+2 Yt+3 Yt+4 Yt+n
Fuente: Elaborado por los autores con base en Shadish, Cook y Cambell (2002).
48
Si los municipios no se hubieran pareado sin duda las diferencias seran mayores.
97
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
98
CEPAL - SERIE manuales N 48
Tabla 17
DIFERENCIAS ENTRE LOS GRUPOS DE CONTROL Y TRATAMIENTO
EN LA SITUACIN SIN PROYECTO
Variables Tratamiento Control Diferencia t-estadstico
Indicadores de impacto
Nmero de visitas de crecimiento y desarrollo 2,05 2,00 0,050 0,0368
Porcentaje de nios en riesgo de desnutricin 0,10 0,17 -0,067 1,2119
(peso/edad)
Porcetnaje de nios en riesgo de desnutricin 0,24 0,17 0,071 1,0792
(peso/talla)
Tasa de incidencia de la diarrea 0,09 0,08 0,004 0,0927
Duracin de la diarrea (das) 0,51 0,36 0,151 0,5174
Duracin de la gripa (das) 6,68 6,53 0,151 0,1304
% nios que no pudieron realizar las actividades 0,22 0,40 -0,171 1,7886**
Nmero de das que no pudieron realizar las 0,88 1,09 -0,216 0,5314
actividades normales
Nmero de das que tuvieron que guardar cama 2,27 2,24 0,038 0,0391
Variables del nio
Porcentaje de hombres 0,53 0,47 0,053 0,6464
Edad (meses) 43,70 45,86 -2,161 0,6293
Variables de la madre
Edad 29,99 30,58 -0,596 0,4807
Estado civil casado o compaero 0,70 0,79 -0,092 1,2906
Aos de educacin de la madre 6,95 7,67 -0,721 1,4441*
Participacin en organizaciones civiles o 0,14 0,18 -0,041 0,6900
religiosas
Variables del hogar
Nmero de nios en el hogar 2,03 2,08 -0,058 0,3958
NBI de vivienda (%) 0,14 0,17 -0,029 0,4981
NBI de servicios (%) 0,88 0,90 -0,028 0,5395
NBI de hacinamiento crtico (%) 0,40 0,54 -0,142 1,7541**
NBI de dependencia econmica 0,44 0,25 0,188 2,4539***
Porcentaje de hogares pobres por NBI 0,325 0,2916 0,033 0,4413
Porcentaje de hogares pobres extremos por NBI 0,625 0,6666 -0,042 0,5329
Ingreso total de hogar (mensual) 369 730 472 703 -102 973 1,5197
Ingreso per cpita del hogar (mensual) 65 420 70 261 -4 841 1,365*
Porcentaje de hogares pobres por ingreso (H) 0,9558 0,9843 -0,029 0,9504
Porcentaje de hogares pobres extremos por 0,7647 0,6406 0,124 1,5642*
ingreso (H)
Porcentaje de hogares pobres extremos por NBI 0,50 0,375 0,125 1,4467*
e ingresos
Variables del municipio
Porcentaje de hogares pobres por NBI 19,39 21,86 -2,5 n.a.
ndice de calidad de vida 81,80 81,10 0,7 n.a.
Nmero de hospitales 1,00 0,67 0,3 n.a.
Nmero de centros de salud 3,00 0,33 2,7 n.a.
Nmero de puestos de salud 14,00 - 14,0 n.a.
Nmero de otras instituciones de salud 24,00 33,00 -9,0 n.a.
Fuente: Elaborado por los autores con base en informacin de la evaluacin de impacto del programa Familias en Accin
publicada en la pgina de Internet del Departamento Nacional de Planeacin de la Repblica de Colombia.
Nota: (1) En la columna del t-estadstico se indica con tres asterisco si la diferencia entre los grupos es significativa al 95%
de confianza, con dos al 90% y uno al 80%. (2) El ingreso per cpita est en pesos colombianos.
99
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
100
CEPAL - SERIE manuales N 48
101
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Cuadro 24
MATRIZ DE IMPACTO EN EL DISEO DE DIFERENCIAS EN DIFERENCIAS (TERICA)
Grupo de tratamiento Grupo de control Diferencia
Situacin sin proyecto 0 + T 0 T
Situacin con proyecto 0 + P + T + PT 0 +P T + PT
Diferencia P + PT P Impacto
PT
Fuente: Schoeni (2004).
Comparando los resultados del diseo de diferencias en diferencias acerca del impacto del
Programa en el riesgo de desnutricin con los obtenidos en los otros diseos, se concluye que al
utilizar el diseo con controles reflexivos se sobreestimara el impacto y en el caso del diseo de
slo despus se subestimara. En promedio el impacto calculado con controles reflexivos es un
50% mayor al estimado con diferencias en diferencias. En el caso del diseo de slo despus el
resultado es contrario, subestimndose el impacto en cerca de 50% (ver grfico 8).
102
CEPAL - SERIE manuales N 48
Grfico 8
IMPACTO DEL PROGRAMA EN EL RIESGO DE DESNUTRICIN AL PRIMER AO DE EJECUCIN
SEGN DIFERENTES DISEOS DE EVALUACIN DE IMPACTO
Diseo de diferencias en
Diseo con controles Diseo slo despus con diferencias con grupos
reflexivos grupos de comparacin de control no
equivalentes equivalentes
-
-5,00
-5,69
Puntos porcentuales
-10,00
-15,00 -12,91
-20,00
-25,00
-24,43
-30,00
Fuente: Elaborado por los autores con base en informacin de la evaluacin de impacto del programa Familias en
Accin publicada en la pgina de Internet del Departamento Nacional de Planeacin de la Repblica de Colombia.
103
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
grupos, y por tanto se neutralice su incidencia en los indicadores de impacto. Aunque el diseo de
diferencias en diferencias tiene mltiples ventajas en comparacin con los otros diseos cuasi-
experimentales se debe tener en cuenta que siempre la sobrestimacin o subestimacin del impacto
es una amenaza si los supuestos del diseo no se cumplen. En especial, el supuesto que los factores
exgenos afectan en igual magnitud tanto al grupo de tratamiento como de control. Adems, la
confiabilidad de los resultados depende en gran medida en que se seleccione un grupo de control lo
ms similar posible al grupo de tratamiento en la situacin sin proyecto. Respecto a este ltimo
punto, vale la pena mencionar que los diseos con grupos de control no equivalentes se combinan
frecuentemente con el mtodo de pareamiento por probabilidad de similitud (propensity score
matching) que busca minimizar las diferencias entre los miembros del grupo de tratamiento y
control.49
1. Eficacia
El paso fundamental en el anlisis de la eficacia de una intervencin es seleccionar la medida
de comparacin sobre la cual se contrastan los impactos estimados. En el paso 3 se mencion que
existen diferentes medidas de comparacin, siendo los objetivos y las metas de las intervenciones
las ms usadas. Tambin la comparacin de los resultados del programa con los impactos
generados por intervenciones que persiguen los mismos objetivos.
Cuando se establecen los objetivos y metas de la intervencin como medida de comparacin,
la intervencin es eficaz si el impacto generado es mayor o igual a estos parmetros establecidos en
la etapa de pre-inversin. Por ejemplo, si la meta fijada en el Programa fue reducir el porcentaje de
nios en riesgo de desnutricin aguda en 15 puntos, se concluye que la intervencin fue ineficaz
dado que la reduccin en este indicador, atribuible al Programa, fue de 12.91 puntos porcentuales.
Por el contrario, si la meta fue menor a 12.91 puntos porcentuales, se considera que el Programa
fue efectivo en el logro del objetivo propuesto. Desafortunadamente, en este ejericicio no fue
posible utilizar esta medida de comparacin debido a que en el diseo del programa Familias en
Accin no se establecieron metas especficas para el indicador que se esta analizando.
Por su parte, cuando la medida de comparacin son otros programas similares, se considera
que el programa que se evala es eficaz si el impacto que genera es mayor al obtenido por las
intervenciones de comparacin. La dificultad que se encontr para comparar el impacto del
Programa con otros programas de transferencias monetarias condicionadas implementados en
49
Ver Aedo (2005) para un anlisis completo de los pasos que se siguen en la implementacin de este mtodo.
104
CEPAL - SERIE manuales N 48
Amrica Latina fue que los indicadores estimados en las evaluaciones no son estrictamente
comparables. Por ejemplo, en la evaluacin de Progresa se estim el impacto en la desnutricin
crnica de los nios en lugar de la desnutricin aguda, como se realiz en nuestro ejercicio. En el
caso de la Red de Proteccin Social de Nicaragua se evalu el impacto en este ltimo indicador,
pero se analiz el porcentaje de nios desnutridos y no en riesgo de desnutricin.50 La dificultad de
encontrar parmetros de comparacin con otros programas indica la importancia de definir la
metodologa para analizar la eficacia del programa en la etapa de diseo de la evaluacin y no una
vez se ha realizado la evaluacin de impacto. Lo ptimo es que los elementos del anlisis de
eficacia se definan en el paso 3 cuando se determina: Qu se quiere conocer sobre los efectos del
programa.51
2. Eficiencia
En el anlisis de eficiencia los resultados del programa se contrastan con los costos en que se
incurri para generar el impacto. Existen dos enfoques para evaluar la eficiencia de un programa
social: el anlisis costo-beneficio y el anlisis costo-efectividad. La diferencia bsica es el mtodo
que utilizan para valorar los beneficios. El primero, expresa los beneficios en trminos monetarios,
mientras que en el segundo enfoque los beneficios son valorados a travs de indicadores sociales
que miden los cambios en las condiciones de bienestar que se evalan. A partir de los resultados de
la evaluacin de impacto se pueden aplicar los dos mtodos para determinar la eficiencia de la
intervencin (Navarro 2005). En la tabla 21, se describen los pasos que se deben seguir para la
aplicacin de cada unos de estos mtodos.
Tabla 21
PASOS METODOLGICOS EN EL ANLISIS DE EFICIENCIA DE UNA INTERVENCIN
Actividades Anlisis costo-beneficio Anlisis costo-efectividad
1) Valoracin de los impactos Valoracin de los impactos
2) Valoracin de los impactos en n.a.
trminos monetarios (beneficios)
3) Valoracin de los costos en Valoracin de los costos en
trminos monetarios (a precios trminos monetarios (a precios
econmicos) econmicos)
4) Comparacin de los beneficios y los Comparacin de los impactos y los
costos. costos.
50
El indicador de destruccin utilizado en la evaluacin de la Red de Proteccin Social de Nicaragua no fue usado en esta pauta
debido a que el nmero de nios desnutridos fue muy bajo en la muestra que se analiz. En el grupo de tratamiento slo 4 nios
sufran de desnutricin aguda y tres en e grupo de control.
51
Para una descripcin completa de los elementos que integran un anlisis de eficacia, ver Navarro (2005).
105
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
En este ejercicio slo se cuenta con el valor de las transferencias monetarias que se entregan
mensualmente a los hogares, que asciende a US$ 20. El costo total en un ao se calcul de la
siguiente forma:
Costo total anual= nmero de hogares en el grupo de tratamiento x valor de la transferencia
mensual x 12.
= 54 x 20 x 12
= US $ 12,960
Comparacin de los impactos y los costos
Los impactos y costos se comparan a travs de la relacin costo-impacto RCI- que indica el
costo promedio por unidad de impacto generado.
Costo Total
RCI =
Impacto ( )
106
CEPAL - SERIE manuales N 48
107
CEPAL - SERIE manuales N 48
Conclusiones
109
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
110
CEPAL - SERIE manuales N 48
Bibliografa
111
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
_____ (2005), Polticas hacia las familias, proteccin e inclusin sociales. Irma Arriagada (editora), Serie
Seminarios y Conferencias 46.
_____ (2005), Aprender de la experiencia. El capital social en la superacin de la pobreza. Irma Arriagada
(editora).
_____ (2005), Capital social y reduccin de la pobreza en Amrica Latina y el Caribe: en busca de un nuevo
paradigma. Ral Atria, Marcelo Siles (compiladores).
Coady, D. (2000), The application of Social Cost-Benefit Analysis to the Evaluation of Progresa.
Cohen, E. (2000), Educacin, eficiencia y equidad: una difcil convivencia. Tomado de Hacia dnde va el
gasto pblico en educacin?; logros y desafos, volumen I: la bsqueda de la eficiencia. Serie Polticas
Sociales, N 42 Santiago: CEPAL.
Cohen, E. y Franco, R. (2005), Gestin Social. Cmo lograr eficiencia e impacto en las polticas sociales.
CEPAL.
_____ (1998), Evaluacin de Proyectos Sociales. Mxico, DF: Siglo Veintiuno.
Cordera, Rolando. Glosario. Tomado de http://www.rolandocordera.org.mx/
Departamento Administrativo Nacional de EstadsticaDANEde la Repblica de Colombia. (2005),
Informacin estadstica. Datos consultados en http://www.dane.gov.co/.
Departamento Nacional de Planeacin de la Repblica de Colombia. 2004. Programa Familias en Accin.
Condiciones Iniciales de los Beneficiarios e Impactos Preliminares. Evaluacin de Polticas Pblicas No. 1.
Daper N. y Smith (1981), Applied regression analysis, Wiley, New York
Departamento Nacional de Planeacin DNP. SISBEN. Tomado de http://www.dnp.gov.co/
Feres, J.C. y Mancero, J. (2001a), Enfoques para la medicin de la pobreza. Breve revisin de la literatura. En
serie estudios estadsticos y prospectivos. Santiago de Chile: CEPAL/Naciones Unidas.
_____ (2001b), El mtodo de las necesidades bsicas insatisfechas (NBI) y sus aplicaciones en Amrica
Latina. En serie estudios estadsticos y prospectivos. Santiago de Chile: CEPAL/Naciones Unidas.
Foster, James E., Greer, Joel y Thorbecke, Erik. A Class of Decomposable Poverty Measures. Econometrica
52(3), 1984: 761-765.
Govaerts, Bernadette (2002), Calcul statistique sur ordinateur: notes de cours. Institut de Statistique.
Universit catholique de Louvain. Louvain La neuve. CIACO
Gradn, Carlos y del Ro, Coral (2001), La medicin de la pobreza, Universidad de Vigo.
Gujarati, Damodar. Econometra. Mc Graw Hill. Santaf de Bogot. 1997
Hahn, J., Todd, P. & Van der Klaauw, W. (2001), Identification and Estimation of Treatment Effects with a
Regression-Discontinuity Design, Econometrica, Econometric Society, vol. 69(1), pages 201-09.
Hayashi, Fumio (2000), Econometrics. Princeton. United States of America
Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social ILPES (1994), Manual de
Jerarquizacin de proyectos.
_____ (2001), El uso de indicadores socioeconmicos en la formulacin y evaluacin de proyectos sociales,
aplicacin metodolgica. En serie manuales. No 15. Santiago de Chile: CEPAL/Naciones Unidas.
_____ (2003a), Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas, Serie
Manuales 24. Edgar Ortegn y Juan Francisco Pacheco. Santiago de Chile: CEPAL/Naciones Unidas.
_____ (2003b), Infoproyect 5: 57 Metodologas, manuales y guas sobre preparacin y evaluacin de
proyectos. Edgar Ortegn (editor). CD. Santiago de Chile: CEPAL/Naciones Unidas.
_____ (2003c), Trabajos de grupo y monografas seleccionadas. CD, Curso internacional El uso de
indicadores socioeconmicos en la evaluacin de impacto de proyectos y programas de lucha contra la
pobreza. ILPES/AECI/Universidad de Alcal. La Antigua, Guatemala, 9 al 20 de junio de 2003.
_____ (2004), Trabajos de grupo y monografas seleccionadas. CD, Curso internacional El uso de
indicadores socioeconmicos en la evaluacin de impacto de proyectos y programas de lucha contra la
pobreza. ILPES/AECI/Universidad de Alcal. Santa Cruz de la Sierra, Bolivia, 3 al 14 de mayo de 2004.
_____ (2004), Los sistemas nacionales de inversin pblica en Centroamrica: marco terico y anlisis
comparativo multivariado, Serie Manuales 34. Edgar Ortegn, Juan Francisco Pacheco.
_____ (2004), Evaluacin social de inversiones pblicas: enfoques alternativos y su aplicabilidad para
Latinoamrica. Serie Manuales 37. Eduardo Contreras.
_____ (2004), Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza.
Serie Manuales 41. Hugo Navarro.
112
CEPAL - SERIE manuales N 48
_____ (2005), Trabajos de grupo y monografas seleccionadas. CD, Curso internacional El uso de indicadores
socioeconmicos en la evaluacin de impacto de proyectos y programas de lucha contra la pobreza.
ILPES/AECI/Universidad de Alcal. Cartagena de Indias, Colombia, 4 al 15 de julio de 2005.
_____ (2005), Metodologa del marco lgico para la planificacin, el seguimiento y la evaluacin de proyectos y
programas, Serie Manuales 42. Edgar Ortegn, Juan Francisco Pacheco y Adriana Prieto.
_____ (2005), Metodologa general de identificacin, preparacin y evaluacin de proyectos de inversin pblica, Serie
Manuales 39. Edgar Ortegn, Juan Francisco Pacheco y Horacio Roura, 2005.
_____ (2005), Los sistemas nacionales de inversin pblica en Argentina, Brasil, Mxico, Venezuela y Espaa como
caso de referencia (cuadros comparativos), Serie Manuales 40. Edgar Ortegn y Juan Francisco Pacheco, 2005.
_____ (2005), El sistema de inversiones pblicas en la provincia de San Juan, Repblica de Argentina, Serie Manuales
44. Edgar Ortegn, Juan Francisco Pacheco y Ana Carolina Cmpora Rudolff, 2005.
_____ (2005), Los sistemas nacionales de inversin pblica en Barbados, Guyana, Jamaica y Trinidad y Tobago, Serie
Manuales. Edgar Ortegn y Diego Dorado.
Khandrer, S. y otros (2001), Poverty Manual. Banco Mundial. http://www.worldbank.org/wbi/povertyanalysis/manual/
Kliksberg, Bernando (2005), Hacia una nueva visin de la poltica social en Amrica Latina. Desmontando mitos.
Ponencia (BID).
Lewis-Beck, M. (1980), Applied Regression. An introduction. Sage Publications.
Medina., F. (2003a), La conceptualizacin y medicin de la pobreza. Curso internacional El uso de indicadores
socioeconmicos en la evaluacin de impacto de proyectos y programas de lucha contra la pobreza.
ILPES/AECI/Universidad de Alcal. La Antigua, Guatemala, 9 al 20 de junio de 2003.
_____ (2003b), Los ndices para la medicin de la pobreza: alcances y limitaciones. Curso internacional El uso de
indicadores socioeconmicos en la evaluacin de impacto de proyectos y programas de lucha contra la pobreza.
ILPES/AECI/Universidad de Alcal. La Antigua, Guatemala, 9 al 20 de junio de 2003.
_____ (2005a), La medicin del bienestar: Algunas reflexiones conceptuales y elementos para la praxis. Curso
internacional El uso de indicadores socioeconmicos en la evaluacin de impacto de proyectos y programas de
lucha contra la pobreza. ILPES/AECI/Universidad de Alcal. Cartagena de Indias, Colombia, 4 al 15 de julio de
2005.
_____ (2005b), Marco terico para el estudio del bienestar, la equidad y la pobreza. Curso internacional El uso de
indicadores socioeconmicos en la evaluacin de impacto de proyectos y programas de lucha contra la pobreza.
ILPES/AECI/Universidad de Alcal. Cartagena de Indias, Colombia, 4 al 15 de julio de 2005.
Nandy, S. y otros (2003), A New Aggregate Measure of Malnutrition in Young Children
Narayam, Deepa. (1994), The contribution of people's participation: 121 rural water supply projects. Banco Mundial.
Navarro, H. (2003), Esquema general para la evaluacin de impacto de proyectos y programas de lucha contra la
pobreza. Curso internacional El uso de indicadores socioeconmicos en la evaluacin de impacto de proyectos y
programas de lucha contra la pobreza. ILPES/AECI/Universidad de Alcal. La Antigua, Guatemala, 9 al 20 de
junio de 2003.
Prennushi, G., G. Rubio, and K. Subbarao (2000), "Monitoring and Evaluation." In Sourcebook for Poverty Reduction
Strategies. Washington, D.C.: World Bank.
Presidencia de la Repblica de Colombia (2004), El ABC de Familias en Accin. Cartilla No. 4
Ravallion, Martin (1999), "The Mystery of the Vanishing Benefits: Ms. Speedy Analyst's Introduction to Evaluation."
Policy Research Working Paper 2153, World Bank, Development Economics Research Group, Washington, D.C.
Rawlings Laura, Rubio Gloria (2003), Lecciones desde Amrica Latina E valuacin del impacto de los programas de
transferencias condicionadas en efectivo. Cuadernos de desarrollo humano. Mexico
Rossi, P., Lipsey, M. y Freeman, H. (2004), Evaluation A Systematic Approach. Septima edicin.
Sadish, W., Cook, T. y Campbell, D. (2002), Experimental and Quasi-experimental Designs for Generalized Causal
Inference.
Schoeni, R. 2004. Lecture Notes. Program Evaluation. Master of Public Administration. Gerald R. Ford
School, University of Michigan.
Silva, I. (1996), Preparacin y evaluacin de proyectos. ILPES
Smith, L. y Haddad, L. (2000), Explaining Child Malnutrition in Developing Countries. A Cross Country Analysis.
Stiglitz, J. (2003), El rumbo de las reformas, hacia una nueva agenda para Amrica Latina. Revista de la CEPAL. No. 80.
Verbeek, Marno. (2000), A guide to modern econometrics. Wiley. Great Britain.
Wiesner Eduardo Funcin de evaluacin de planes, programas, estrategias y proyectos, Serie Gestin Pblica 4,
Santiago, 2000.
Wooldridge J. (2002), Econometric analysis of cross section and panel data. Massachusetts Institute of Technology.
113
CEPAL - SERIE manuales N 48
Anexos
115
CEPAL - SERIE manuales N 48
Anexo 1
DIAGRAMA DE CAJA PARA DETERMINAR VALORES ABERRANTES
117
118
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Anexo 2
MIP CON LNEA DE POBREZA ABSOLUTA
VARIABLES
Tipo de pobreza No pobre Total poblacin
Crnica Estructural Reciente
1 Nmero de personas 15 444 600 27 413 3 350 46 807
2 Nmero de hgoares 3 709 174 7 075 494 11 452
3 Nmero de nios en el hogar 5 091 77 7 406 495 13 069
4 Nmero de jvenes en el hogar 3 778 145 6 987 748 11 658
5 Nmero de adultos en el hgoar 3 975 154 8 219 1 195 13 543
6 Nmero de adultos mayores en el hogar 1 803 153 3 824 720 6 500
7 Nmero de personas de la tercera edad en el hogar 797 71 977 192 2 037
8 Nmero de hogares con jefe de hogar mujer 1 119 60 1 640 237 3 056
9 Poblacin en edad de trabajar 10 353 523 20 007 2 855 33 738
10 Poblacin econmicamente activa 4 247 276 9 511 1 809 15 843
11 Poblacin desempleada 872 16 1 157 54 2 099
12 Poblacin empleada 3 375 260 8 354 1 755 13 744
13 Poblacin inactiva 6 222 131 11 119 423 17 895
14 Ingreso total de los hogares 4 891 771 137 742 500 844 11 715 794 245 5 527 472 877 22 607 539 103
15 Nmero de aos de educacin 59 789 2 889 160 267 25 633 248 578
16 Nmero de personas entre 14 y 30 aos con primaria incompleta 2 085 77 1 997 191 4 350
17 Nmero de personas entre 14 y 30 aos con secundaria incompleta 3 652 139 5 347 476 9 614
18 Nmero de personas con discapacidad 335 17 403 43 798
19 Nmero de personas que asisten a primaria 2 181 40 3 310 213 6 044
20 Nmero de personas entre 6 y 11 que asisten a primaria 1 675 26 2 984 179 4 864
21 Nmero de personas entre 6 y 11 aos 2 556 41 3 835 229 6 661
22 Nmero de personas que asisten a secundaria 1 046 30 2 878 261 4 215
23 Nmero de personas entre 12 y 17 que asisten a secundaria 845 26 2 189 183 3 243
24 Nmero de personas entre 12 y 17 aos 1 990 43 3 346 241 5 620
25 Nmero de personas que asisten a educacin superior 35 6 304 111 456
26 Nmero de personas entre 18 y 22 que asisten a educacin superior 23 2 164 41 230
27 Nmero de personas entre 18 y 22 aos 1 324 74 2 687 315 4 400
28 Personas que asisten a un plantel educativo 4 233 92 8 259 727 13 311
29 Nmero de hogares sin conexin a la red pblica de electricidad 63 2 10 1 76
30 Nmero de hogares sin conexin a la red pblica de agua potable 563 31 - - 594
31 Nmero de hogares sin conexin a agua por caera 1 953 124 687 33 2 797
32 Nmero de hogares sin servicio higinico 1 128 86 - - 1 214
33 Nmero de hogares con casa propia 1 278 66 3 449 332 5 125
Fuente: Elaboracin de los autores.
CEPAL - SERIE manuales
INDICADORES
Tipo de pobreza No pobre Total poblacin
Crnica Estructural Reciente
Estructura familiar
1 Tamao promedio del hogar 4,35 1,20 4,51 1,30 4,09
2 Participacin promedio de los nios en el hogar 32,7% 9,3% 26,3% 13,4% 27,9%
3 Participacin promedio de los jvenes en el hogar 24,5% 24,1% 25,4% 20,7% 24,9%
4 Participacin promedio de los adultos en el hogar 25,7% 25,3% 30,3% 36,7% 28,9%
5 Participacin promedio de los adultos mayores en el hogar 12% 30% 14% 23% 14%
6 Participacin promedio de los adultos mayores en el hogar 23% 14% 17% 8% 18%
7 Porcentaje de hogares con jefe mujer 31,4% 16,7% 27,0% 11,1% 26,7%
Estructura ocupacional
8 Tasa global de participacin promedio 41,2% 55,4% 48,7% 64,5% 47,0%
9 Tasa de desempleo 20,2% 4,9% 11,2% 3,6% 13,2%
10 Tasa de ocupacin 32,9% 52,7% 43,2% 62,2% 40,7%
11 Tasa de inactividad 57,7% 84,0% 48,4% 87,7% 53,0%
12 Tasa de dependencia 2,6 1,7 1,7 1,6 2,0
13 Ingreso per cpita del hogar 326 875 1 530 246 462 633 2 453 412 482 995
Educacin
14 Aos promedio de educacin de las personas mayores de 22 aos 3,89 4,84 5,93 8,46 5,31
Salud
15 Porcentaje de personas con discapacidad 6,7% 20,0% 5,5% 9,8% 6,1%
Acceso y uso de servicios sociales
16 Tasa bruta de cobertura primaria promedio 85% 106% 94% 91% 91%
17 Tasa bruta de cobertura media promedio 53% 61% 87% 126% 75%
18 Tasa bruta de cobertura superior promedio 3% 10% 12% 50% 10%
19 Tasa neta de cobertura primaria promedio 66% 56% 78% 75% 73%
20 Tasa neta de cobertura media promedio 43% 57% 66% 83% 58%
21 Tasan eta de cobertura superior prmedio 2% 5% 6% 16% 5%
22 Tasa promedio de no acceso a electricidad de los hogares 1,7% 1,5% 0,1% 0,2% 0,7%
23 Tasa promedio de no acceso a agua potable de los hogares 15,1% 17,8% 0,0% 0,0% 5,2%
24 Tasa promedio de no acceso a acueducto de los hogares 52,4% 67,7% 10,1% 6,1% 24,4%
25 Tasa promedio de no acceso a servicio higinico de los hogares 30,1% 46,5% 0,0% 0,0% 10,6%
26 Porcentaje promedio de hogares con casa propia 34,3% 38,3% 47,4% 65,8% 44,8%
Fuente: Elaboracin de los autores.
119
N 48
120
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Anexo 3
MIP CON LNEA DE POBREZA RELATIVA
VARIABLES
Tipo de pobreza No pobre Total poblacin
Crnica Estructural Reciente
1 Nmero de personas 15 720 324 29 386 1 377 46 807
2 Nmero de hogares 3 614 269 6 512 1 057 11 452
3 Nmero nios en el hogar 5 138 30 7 717 184 13 069
4 Nmero de jvenes en el hogar 3 845 78 7 450 285 11 658
5 Nmero de adultos en el hogar 4 047 82 8 908 506 13 543
6 Nmero de adultos mayores en el hogar 1 859 97 4 225 319 6 500
7 Nmero de personas de la tercera edad en el hogar 831 37 1 086 83 2 037
8 Nmero de hogares con jefe de hogar mujer 1 134 45 1 760 117 3 056
9 Poblacin en edad de trabajar 10 582 294 21 669 1 193 33 738
10 Poblacin econmicamente activa 4 360 163 10 550 770 15 843
11 Poblacin desempleada 880 8 1 183 28 2 099
12 Poblacin empleada 3 480 155 9 367 742 13 744
13 Poblacin inactiva 6 106 247 10 496 1 046 17 895
14 Ingreso total de los hogares 5 138 472 204 495 799 778 13 594 918 865 3 378 348 257 22 607 539 103
15 Nmero de aos de educacin 61 109 1 569 174 255 11 645 248 578
16 Nmero de personas entre 14 y 30 aos con primaria incompleta 2 123 39 2 134 54 4 350
17 Nmero de personas entre 14 y 30 aos con secundaria incompleta 3 719 72 5 676 147 9 614
18 Nmero de personas con discapacidad 346 6 428 18 798
19 Nmero de personas que asisten a primaria 2 202 19 3 739 84 6 044
20 Nmero de personas entre 6 y 11 que asisten a primaria 1 691 10 3 094 69 4 864
21 Nmero de personas entre 6 y 11 aos 2 5779 18 3 972 92 6 661
22 Nmero de personas que asisten a secundaria 1 059 17 3 037 102 4 215
23 Nmero de personas entre 12 y 17 que asisten a secundaria 855 16 2 305 67 3 243
24 Nmero de personas entre 12 y 17 aos 2 005 28 3 506 81 5 620
25 Nmero de personas que asisten a educacin superior 37 4 355 60 456
26 Nmero de personas entre 18 y 22 que asisten a educacin superior 23 2 186 19 230
27 Nmero de personas entre 18 y 22 aos 1 359 39 2 881 121 4 400
28 Personas que asisten a un plantel educativo 4 278 47 8 687 299 13 311
29 Nmero de hogares sin conexin a la red pblica de electricidad 61 4 9 2 76
30 Nmero de hogares sin conexin a la red pblica de agua potable 546 48 - - 594
31 Nmero de hogares sin conexin a agua por caera 1 895 182 656 64 2 797
32 Nmero de hogares sin servicio higinico 1 089 125 - - 1 214
33 Nmero de hogares con casa propia 1 241 103 3 085 696 5 125
Fuente: Elaboracin de los autores.
CEPAL - SERIE manuales
INDICADORES
Tipo de pobreza No pobre Total poblacin
Crnica Estructural Reciente
Estructura familiar
1 Tamao promedio del hogar 4,35 1,20 4,51 1,30 4,09
2 Participacin promedio de los nios en el hogar 32,7% 9,3% 26,3% 13,4% 27,9%
3 Participacin promedio de los jvenes en el hogar 24,5% 24,1% 25,4% 20,7% 24,9%
4 Participacin promedio de los adultos en el hogar 25,7% 25,3% 30,3% 36,7% 28,9%
5 Participacin promedio de los adultos mayores en el hogar 12% 30% 14% 23% 14%
6 Participacin promedio de los adultos mayores en el hogar 23% 14% 17% 8% 18%
7 Porcentaje de hogares con jefe mujer 31,4% 16,7% 27,0% 11,1% 26,7%
Estructura ocupacional
8 Tasa global de participacin promedio 41,2% 55,4% 48,7% 64,5% 47,0%
9 Tasa de desempleo 20,2% 4,9% 11,2% 3,6% 13,2%
10 Tasa de ocupacin 32,9% 52,7% 43,2% 62,2% 40,7%
11 Tasa de inactividad 57,7% 84,0% 48,4% 87,7% 53,0%
12 Tasa de dependencia 2,6 1,7 1,7 1,6 2,0
13 Ingreso per cpita del hogar 326 875 1 530 246 462 633 2 453 412 482 995
Educacin
14 Aos promedio de educacin de las personas mayores de 22 aos 3,89 4,84 5,93 8,46 5,31
Salud
15 Porcentaje de personas con discapacidad 6,7% 20,0% 5,5% 9,8% 6,1%
Acceso y uso de servicios sociales
16 Tasa bruta de cobertura primaria promedio 85% 106% 94% 91% 91%
17 Tasa bruta de cobertura media promedio 53% 61% 87% 126% 75%
18 Tasa bruta de cobertura superior promedio 3% 10% 12% 50% 10%
19 Tasa neta de cobertura primaria promedio 66% 56% 78% 75% 73%
20 Tasa neta de cobertura media promedio 43% 57% 66% 83% 58%
21 Tasa neta de cobertura superior promedio 2% 5% 6% 16% 5%
22 Tasa promedio de no acceso a electricidad de los hogares 1.7% 1,5% 0,1% 0,2% 0,7%
23 Tasa promedio de no acceso a agua potable de los hogares 15,1% 17,8% 0,0% 0,0% 5,2%
24 Tasa promedio de no acceso a acueducto de los hogares 52,4% 67,7% 10,1% 6,1% 24,4%
25 Tasa promedio de no acceso a servicio higinico de los hogares 30,1% 46,5% 0,0% 0,0% 10,6%
26 Porcentaje promedio de hogares con casa propia 34,3% 38,3% 47,4% 65,8% 44,8%
Fuente: Elaboracin de los autores.
121
N 48
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Anexo 4
DISEOS DE EVALUACIN
Diseo de evaluacin
Experimental Cuasi experimental
Caractersticas Asignacin aleatoria antes de Asignacin no es aleatoria. El
iniciar la operacin del proyecto grupo de control puede
conformarse una vez iniciado el
proyecto
Ventajas Grupos en promedio similares en Se puede realizar en cualquier
todas sus caractersticas excepto proyecto.
en la participacin en el proyecto
Limitaciones La asignacin aleatoria no es tan La asignacin de grupos similares
viable polticamente. no es fcil. Existe un sesgo de
seleccin.
Fuente: Elaboracin de los autores.
Anexo 5
Modelos economtricos
En primer lugar es importante mencionar que un modelo es una aproximacin de un
fenmeno ms complejo. Es por eso que cualquier modelo que refleje una situacin compleja debe
contener un trmino de error, que represente la diferencia entre el modelo terico y lo observado.
y = 0 + 1 x1 +
La estimacin de los parmetros de este modelo puede ser realizada mediante el anlisis de
la regresin.
Regresin lineal simple (una sola variable)
La regresin puede calcular estimadores para estos parmetros en base a una serie de
observaciones y de factores explicativos.
El objetivo de la regresin es estimar la funcin de regresin poblacional con base a la
funcin de regresin muestral (FRM) en la forma ms precisa posible.
El modelo de regresin lineal simple puede estar escrito para cada observacin de la muestra
de la siguiente manera:
yi = 0 + 1 xi 1 + i
donde i = 1,2,...n
xi 1
es la cantidad o el factor explicativo para la observacin i
1 es la pendiente de la recta
n es el tamao de la muestra de observaciones
Las hiptesis sobre el trmino de error son:
122
CEPAL - SERIE manuales N 48
donde
K es el nmero variables independientes
O en trminos matriciales:
y=X +
Este modelo tiene los siguientes supuestos:
1. Estricta exogeneidad de las variables independientes
2. E( i X) = 0 donde i = 1,2,...n
123
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
7. E( i j X) = 0 donde i, j = 1,2,...n;i j
La estimacin de los coeficientes de una regresin mltiple se realiza por MCO y es un
clculo bastante complicado y laborioso, por lo que se requiere del empleo de programas de
computacin especializados. Sin embargo, la interpretacin de los coeficientes es similar al caso de
la regresin simple: el coeficiente de cada variable independiente mide el efecto separado que esta
variable tiene sobre la variable dependiente. El coeficiente de determinacin, por otro lado, mide el
porcentaje de la variacin total en y que es explicado por la variacin conjunta de las variables
independientes.
Para ms detalle ver:
Daper N. y Smith (1981) Applied regression anlisis, Wiley, New York.
Hayashi, Fumio. (2000) Econometrics. Princeton. United States of America.
Verbeek, Marno. (2000) A guide to modern econometrics. Wiley. Great Britain.
Modelo Probit.
Supongamos que se quiere explicar si un nio es desnutrido o no de acuerdo a una serie de
caractersticas del nio
y i = 1 si el nio i est desnutrido
yi = 0 si el nio i no est desnutrido
Cuando la variable dependiente est descrita por una variable binaria, utilizar un modelo de
regresin lineal no es correcto ya que lo que se debe obtener es una probabilidad y est debe estar
comprendida entre 0 y 1. Por otro lado, el trmino de error en un modelo de esta naturaleza tiene
una distribucin no normal y sufre de heterocedasticidad, ya que solo existen dos resultados 0 o 1.
Para solucionar estos problemas se utilizan modelos de eleccin binaria, que son diseados
para modelos de eleccin entre dos alternativas discretas. Esto modelos describen la probabilidad
de que y i = 1 .
Fuente: (1) Govaerts, Bernadette. (2002) Calcul statistique sur ordinateur: notes de cours. Institut de Statistique. Universit
catholique de Louvain. Louvain La neuve. CIACO. (2) Hayashi, Fumio. (2000) Econometrics. Princeton. United States of
America.
Elaboracin: Autores.
124
CEPAL - SERIE manuales N 48
Anexo 6
Pruebas de hiptesis
Se recuerda que se puede estimar un parmetro a partir de los datos contenidos en una
muestra. Puede encontrarse ya sea un slo nmero (estimador puntual) o un intervalo de valores
posibles (intervalo de confianza). Sin embargo, es necesario tomar una decisin entre aceptar o
rechazar una proposicin sobre algn parmetro. Esta proposicin recibe el nombre de hiptesis.
Este es uno de los aspectos ms tiles de la inferencia estadstica, puesto que muchos tipos de
problemas de toma de decisiones, pruebas o experimentos, pueden formularse como problemas de
prueba de hiptesis.
Supongamos que si quiere saber si el coeficiente de impacto del programa sobre la
desnutricin es o no nulo. Esto puede expresarse de manera formal como:
H0 : k = 0
H1 : k 0
La proposicin H 0 : k = 0 , se conoce como hiptesis nula, mientras que la proposicin
H 1 : k 0 , recibe el nombre de hiptesis alternativa. Es importante recordar que las hiptesis
siempre son proposiciones sobre la poblacin o distribucin bajo estudio, no proposiciones sobre la
muestra. Por lo general, en ciencias sociales en la hiptesis nula se evala el valor nulo del
parmetro de la poblacin especificado. La eleccin de los parmetros se determina en alguna de
las tres maneras:
1. Puede ser resultado de la experiencia pasada o del conocimiento del proceso, entonces el
objetivo de la prueba de hiptesis usualmente es determinar si ha cambiado el valor del
parmetro.
2. Puede obtenerse a partir de alguna teora o modelo que se relaciona con el proceso bajo
estudio. En este caso, el objetivo de la prueba de hiptesis es verificar la teora o modelo.
3. Cuando el valor del parmetro proviene de consideraciones externas, tales como
especificaciones de diseo. En esta situacin, el objetivo usual de la prueba de hiptesis
es probar el cumplimiento de las especificaciones.
Un procedimiento que conduce a una decisin sobre una hiptesis en particular recibe el
nombre de prueba de hiptesis. Los procedimientos de prueba de hiptesis dependen del empleo de
la informacin contenida en la muestra aleatoria de la poblacin de inters. Si esta informacin es
consistente con la hiptesis, se concluye que sta es verdadera; sin embargo si esta informacin es
inconsistente con la hiptesis, se concluye que esta es falsa. Debe hacerse hincapi en que la
verdad o falsedad de una hiptesis en particular nunca puede conocerse con certidumbre, a menos
que pueda examinarse a toda la poblacin. Usualmente esto es imposible en muchas situaciones
prcticas. Por tanto, es necesario desarrollar un procedimiento de prueba de hiptesis teniendo en
cuenta la probabilidad de llegar a una conclusin equivocada.
La hiptesis nula, representada por H 0 , es la afirmacin sobre una o ms caractersticas de
poblaciones que al inicio se supone cierta (es decir, la creencia a priori).
La hiptesis alternativa, representada por H 1 , es la afirmacin contradictoria a H 0 , y sta
es la hiptesis del investigador.
125
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
Uno de las pruebas o test utilizados para rechazar una hiptesis es el t estadstico
mencionado en el Recuadro 11.
Para ser precisos se puede rechazar la hiptesis nula si la probabilidad de observar el valor
de t k es menor que el nivel de significancia , que muchas veces es 5%. Consecuentemente a un
nivel de significancia de 5% (o 95% de confianza), la hiptesis nula puede ser rechazada si t k es
mayor es que su valor crtico.
Fuente: http://www.itch.edu.mx/academic/industrial/estadistica1/cap02.html
126
CEPAL - SERIE manuales
Anexo 7
ALGUNOS DE LOS ESTUDIOS DE EVALUACIN DE IMPACTO REALIZADOS
EN AMRICA LATINA Y EL CARIBE EN LA LTIMA DCADA
Programa Pas Perodo de Perodo de Evaluador
operacin del evaluacin
programa impacto
I. Programas de bsqueda de empleo
Sistema Nacional de Empleo Brasil 1975-presente 1999 Instituto Iberoamericano de investigaciones econmicas (2002)
(SINE)
II. Programa de empleo
Trabajar Argentina 1996-presente 1990-1997 Banco Mundial (1999, 2000 y 2002). Ministerio de Trabajo de
Argentina (1999)
Proempleo Argentina 1998-2000 1998-2000 Ministerio del Trabajo de Argentina y Banco Mundial (2001)
Empleo en Accin Colombia 2002-presente 2002-2004 Institute of Fiscal Studies (IFS), Econometria S.A. y Sistemas
Especializados de Informacin S.A. (SEI)
III. Capacitacin
SENA Colombia 1957-presente 1996-1997 Universidad de los Andes (Colombia, 2001)
Probecat Mxico 1984-presente 1984-1998 El Colegio de Mxico y CIMAT (2001). Ministerio del Trabajo de
Mxico (1995). Banco Mundial (1992 y 1999)
Programa Joven Argentina 1996-2000 1996-1998 Unidad de estadsticas y evaluacin de impacto del Programa Joven (1996
y 1998). ILADES-Georgetown University (Chile, 1996)
Chile Joven Chile 1991-95 (fase I) 1995-1997 Santiago Consultores (Chile, 1998)
1996- (fase II)
Projoven Per 1996-presente 1996-2000 Grupo de Anlisis para el Desarrollo GRADE (Per, 2002)
Pro Joven Uruguay 1996-presente 1996-1997 Banco Interamericano de Desarrollo e Instituto Nacional de la
Juventud de Uruguay (1997)
Jvenes en Accin Colombia 2002-presente 2002-2004 IFS (Inglaterra), Econometria S.A (Colombia) y SEI (Colombia)
IV. Programas de transferencias
Progresa (actualmente se llama Mxico 1997-presente 1997-1999 International Food Policy Research Institute IFPRI (2001)
Oportunidades)
Bolsa Escola (actualmente se Brasil 2001-presente 1999 Banco Mundial (2002)
llama Bolsa Familia)
Familias en Accin Colombia 2002-presente 2002-2003 IFS (Inglaterra), Econometria S.A. (Colombia) y SEI (Colombia)
Programa de Asignacin Honduras 2000 International Food Policy Research Institute IFPRI (2000) (en
Familiar (PRAF) proceso)
Red de Proteccin Social Nicaragua 2000- 2000-2001 International Food Policy Research Institute IFPRI (2000 2002)
(RPS)
Bono de Desarrollo Humano Ecuador 1998-presente 2003-2005 Secretara Tcnica del Frente Social (Ecuador)- Banco Mundial (en
(BDH) proceso)
(contina)
N 48
127
128
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
ANEXO 7 (CONCLUSIN)
ALGUNOS DE LOS ESTUDIOS DE EVALUACIN DE IMPACTO REALIZADOS
EN AMRICA LATINA Y EL CARIBE EN LA LTIMA DCADA
(conclusin)
Programa Pas Perodo de Perodo de Evaluador
operacin del evaluacin
programa impacto
V. Fondos de inversin social
Fondo de inversin social de Nicaragua 1990- 2000 Banco Mundial y FISE (2002)
emergencia de FISE
FONCODES Per 1991- 1993-1996 Banco Mundial (2002)
Fondo de Inversin social Bolivia 1986-presente 1994-1998 Banco Mundial (2002)
VI. Trabajo Infantil
PETI Brasil 1996-presente 1996-1999 Banco Mundial (2001)
VII. Nutricin
Programa Bolsa-Alimentao Brasil 2001-2005 2002 IFPRI, Emory University, The London School for Hygiene and Tropical
(actualmente se llama Bolsa Medicine, e Instituto de Estudos do Trabalho e Sociedade (2003).
Familia)
VIII. Informe final
a) Estudio de evaluacin de Chile 1997-2005 2003-2005 Banco Mundial, Universalia de Canad y Michael Bamberger.
impacto del Programa de
Evaluacin de Programas.
Evaluaciones de impacto y
evaluaciones de los programas
del Gobierno.
b) El aporte de FUNDES a las Chile, 2002-2003 2000-2003 CEPAL/FUNDES (Marco Dini, Giovanni Stumpo, Sebastin Vergara)
pymes en Amrica Latina: una Argentina,
evaluacin de impacto. El Salvador
Fuente: Tomado del Manual 41 del ILPES Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza (2005).
CEPAL - SERIE manuales N 48
Serie
manuales
Nmeros publicados
1. Amrica Latina: Aspectos conceptuales de los censos del 2000 (LC/L.1204-P), NGHYHQWD6,,*86 10.00),
1999. www
2. Manual de identificacin, formulacin y evaluacin de proyectos de desarrollo rural (LC/L.1267-P; LC/IP/L.163),
NGHYHQWD6,,*86 10.00), 1999. www
3. Control de gestin y evaluacin de resultados en la gerencia pblica (LC/L.1242-P; LC/IP/L.164), N de venta:
S.99.II.G.25 (US$ 10.00), 1999. www
4. Metodologa de evaluacin de proyectos de viviendas sociales (LC/L.1266-P; LC/IP/L.166), N GH YHQWD
S.99.II.G.42 (US$ 10.00), 1999. www
5. Poltica fiscal y entorno macroeconmico (LC/L.1269-P; LC/IP/L.168), en prensa. N GH YHQWD 6,,*
(US$ 10.00), 2000. www
6. Manual para la preparacin del cuestionario sobre medidas que afectan al comercio de servicios en el hemisferio
(LC/L.1296-P), NGHYHQWD6,,*86 10.00), 1999. www
7. Material docente sobre gestin y control de proyectos (LC/L.1321-P; LC/IP/L.174), N GH YHQWD 6,,*
(US$ 10.00), 2000. www
8. Curso a distancia sobre formulacin de proyectos de informacin (LC/L.1310-P), N GH YHQWD 6,,*
(US$ 10.00), 2000. www
9. Manual de cuentas trimestrales, Oficina de Estadsticas de la Unin Europea (EUROSESTAT) (LC/L.1379-P, NGH
venta: S.99.II.G.52 (US$ 10.00), 2000. www
10. Procedimientos de gestin para el desarrollo sustentable (LC/L.1413-P), N GH YHQWD 6,,* 86 10.00),
2000. www
11. Manual de cuentas nacionales bajo condiciones de alta inflacin (LC/L.1489-P), N GH YHQWD 6,,*
(US$ 10.00), 2001. www
12. Marco conceptual y operativo del banco de proyectos exitosos (LC/L.1461-P; LC/IP/L.184), N GH YHQWD
S.00.II.G.142 (US$ 10.00), 2000. www
13. Glosario de ttulos y trminos utilizados en documentos recientes de la CEPAL (LC/L.1508-P), N GH YHQWD
S.01.II.G.43 (US$ 10.00), 2001. www
14. El papel de la legislacin y la regulacin en las polticas de uso eficiente de la energa en la Unin Europea y sus
Estados Miembros, Wolfgang F. Lutz (LC/L.1531-P), NGHYHQWD6,,*86 10.00), 2001. www
15. El uso de indicadores socioeconmicos en la formulacin y evaluacin de proyectos sociales, en prensa (US$ 10.00),
1999. www
16. Indicadores de sostenibilidad ambiental y de desarrollo sostenible: estado del arte y perspectivas (LC/L.1607-), NGH
venta: S.01.II.G.149 (US$ 10.00), 2001. www
17. Retirado de circulacin.
18. Desafos y propuestas para la implementacin ms efectiva de instrumentos econmicos en la gestin ambiental de
Amrica Latina y el Caribe (LC/L.1690-P), NGHYHQWD6,,*86 10.00), 2002. www
19. International trade and transport profiles of Latin American Countries, year 2000 (LC/L.1711-P), Sales N
E.02.II.G.19, (US$ 10.00), 2002. www
20. Diseo de un sistema de medicin de desempeo para evaluar la gestin municipal: una propuesta metodolgica,
Ricardo Arriagada (LC/L.1753-P; LC/IP/L.206), NGHYHQWD6,,*86 10.00), 2002. www
21. Manual de licitaciones pblicas, Isabel Correa (LC/L.1818-P; LC/IP/L.212) N GH YHQWD 6,,*
(US$ 10.00), 2002. www
22. Introduccin a la gestin del conocimiento y su aplicacin al sector pblico, Marta Beatriz Peluffo y Edith Cataln
(LC/L.1829-P; LC/IP/L.215), NGHYHQWD6,,*86$ 10.00), 2002. www
23. La modernizacin de los sistemas nacionales de inversin pblica: Anlisis crtico y perspectivas (LC/L.1830-P;
LC/IP/L.216), NGHYHQWD6,,*86 10.00), 2002. www
24. Bases conceptuales para el ciclo de cursos sobre gerencia de proyectos y programas (LC/L.1883-P; LC/IP/L.224), N
de venta: S.03.II.G.48, (US$ 10.00), 2003. www
129
Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza
25. Gua conceptual y metodolgica para el desarrollo y la planificacin del sector turismo, Silke Shulte (LC/L.1884-P;
LC/IP/L.225), NGHYHQWD6,,*1, (US$ 10.00), 2003. www
26. Sistema de informacin bibliogrfica de la CEPAL: manual de referencia, Carmen Vera (LC/L.1963-P), NGHYHQWD
S.03.II.G.122, (US$ 10.00), 2003. www
27. Gua de gestin urbana (LC/L.1957-P), NGHYHQWD6,,*86 10.00), 2003. www
28. The gender dimension of economic globalization: an annotated bibliography, Mara Thorin (LC/L.1972-P), N GH
venta: E.03.II.G.131, (US$ 10.00), 2003. www
29. Principales aportes de la CEPAL al desarrollo social 1948-1998, levantamiento bibliogrfico: perodo 1948-1992,
Rolando Franco y Jos Besa (LC/L.1998-P), NGHYHQWD6,,*86 10.00), 2003. www
30. Tcnicas de anlisis regional, Luis Lira y Bolvar Quiroga (LC/L.1999-P; LC/IP/L.235), NGHYHQWD6,,*
(US$ 10.00), 2003. www
31. A methodological approach to gender analysis in natural disaster assessment: a guide for the Caribbean, Fredericka
Deare (LC/L.2123-P), NGHYHQWD(,,*86 10.00), 2004. www
32. Socio-economic impacts of natural disasters: a gender analysis, Sarah Bradshaw (LC/L.2128-P), N GH YHQWD
E.04.II.G.56, (US$ 10.00), 2004. www
33. Anlisis de gnero en la evaluacin de los efectos socioeconmicos de los desastres naturales, Sarah Bradshaw y
ngeles Arenas (LC/L.2129-P), NGHYHQWD6,,*86 10.00), 2004. www
34. Los sistemas nacionales de inversin pblica en Centroamrica: marco terico y anlisis comparativo multivariado,
Edgar Ortegn y Juan Francisco Pacheco (LC/L.2160-P); (LC/IP/L.246), N de venta: S.04.II.G.88 (US$10.00),
2004. www
35. Polticas de precios de combustibles en Amrica del Sur y Mxico: implicancias econmicas y ambientales, Hugo
Altomonte y Jorge Rogat (LC/L.2171-P), N de venta: S.04.II.G.100 (US$ 15.00), 2004. www
36. Lineamientos de accin para el diseo de programas de superacin de la pobreza desde el enfoque del capital social.
Gua conceptual y metodolgica, Irma Arriagada, Francisca Miranda y Thas Pvez (LC/L. 2179-P), N de venta:
S.04.II.G.106, 2004. www
37. Evaluacin social de inversiones pblicas: enfoques alternativos y su aplicabilidad para Latinoamrica, Eduardo
Contreras (LC/L.2210-P), N de venta: S.04.II.G.133 (US$ 10.00), 2004. www
38. Pobreza y precariedad del hbitat en ciudades de Amrica Latina y el Caribe, Joan Mac Donald y Marinella Mazzei
(LC/L. 2214-P), N de venta: S.04.II.G.136 (US$ 15.00), 2004. www
39. Metodologa general de identificacin, preparacin y evaluacin de proyectos de inversin pblica, Edgar Ortegn
Juan Francisco Pacheco Horacio Roura (LC/L.2326-P), N de venta: S.05.II.G.69, 2005. www
40. Los sistemas nacionales de inversion pblica en Argentina, Brasil, Mxico, Venezuela, y Espaa como caso de
referencia (cuadros comparativos), Edgar Ortegn; Juan Francisco Pacheco (LC/L.2277-P), N de venta:
S.05.II.G.53, 2005. www
41. Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza, Hugo Navarro
(LC/L.2288-P), N de venta: S.05.II.G.41, 2005. www
42. Metodologa del marco lgico para la planificacin, el seguimiento y la evaluacin de proyectos y programas, Edgar
Ortegn Juan Francisco Pacheco Adriana Prieto (LC/L.2288-P), N de venta: S.05.II.G.89, 2005. www
43. Estadsticas del medio ambiente en Amrica Latina y el Caribe: avances y perspectivas, Rayn Quiroga Martnez
(LC/L. 2348-P), NGHYHQWD6,,*www
44. El sistema de inversiones pblicas en la provincia de San Juan, Repblica de Argentina, Edgar Ortegn, Juan
Francisco Pacheco y Ana Carolina Cmpora Rudolff (LC/L.2387-P; LC/IP/L.261). N de venta: S.05.II.G.130, 2005.
www
45. Indicadores de desempeo en el sector pblico, Juan Cristbal Bonnefoy y Marianela Armijo (LC/L.2416-P;
LC/IP/L.263), N de venta: S.05.II.G.163, 2005. www
46. Los sistemas nacionales de inversin pblica en Barbados, Guyana, Jamaica y Trinidad y Tabajo, Edgar Ortegn y
Diego Dorado (LC/L.2436-P; LC/IP/L.265). N de venta: S.05.II.G.182, 2006. www
46. National public investment systems in Barbados, Guyana, Jamaica and Trinidad and Tobago, Edgar Ortegn and
Diego Dorado (LC/L.2436-P; LC/IP/L.265), Sales number: E.05.II.G.182, 2006. www
47. Evaluacin del impacto, Cristin Aedo (LC/L.2442-P), N de venta: S.05.II.G.189, 2005. www
48. Pauta metodolgica de evaluacin de impacto ex-ante y ex-post de programas sociales de lucha contra la pobreza-
Aplicacin metodolgica-, Hugo Navarro, Katiuska King, Edgar Ortegn y Juan Francisco Pacheco (LC/L.2449-P;
LC/IP/L.266), N de venta: S.06.II.G.18, 2006. www
130
CEPAL - SERIE manuales N 48
El lector interesado en adquirir nmeros anteriores de esta serie puede solicitarlos dirigiendo su correspondencia a la Unidad
de Distribucin, CEPAL, Casilla 179-D, Santiago, Chile, Fax (562) 210 2069, correo electrnico: publications@cepal.org.
Nombre:....................................................................................................................................
Actividad:.................................................................................................................................
Direccin:.................................................................................................................................
Cdigo postal, ciudad, pas: .....................................................................................................
Tel.: ............................ Fax: ..................................... E.mail: ....................................................
131