Está en la página 1de 12

VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov.

2001

La construcción de líneas de base dentro de un sistema evaluativo


en programas sociales

Lic. Violeta Adriana Ruiz

La línea de base en un sistema evaluativo

Tradicionalmente se ha entendido la evaluación de programas y proyectos sociales como un momento,


en general ubicado al finalizar las acciones, en el que se “miden” los resultados alcanzados, el alcance
de las metas previstas y se trata de establecer el “impacto” de dichas acciones. En algunos casos
también se plantea el monitoreo de las acciones durante la ejecución, básicamente asociado al control
de gestión y seguimiento de las actividades.

Desde concepciones más innovadoras el proceso de programación, ejecución y evaluación es


considerado como un todo indivisible en el que se distinguen momentos o funciones y en el que la
evaluación debe mostrar si los cambios de situación que se preveían a partir de la ejecución de las
acciones del programa o proyecto, se produjeron o están en vías de producirse efectivamente; en virtud
de qué factores se produjeron. Además, apunta a apreciar en qué medida las acciones que se realizaron
resultan las más adecuadas y qué cambios se aconseja introducir en la manera de hacer las cosas.

Así, entendemos el proceso evaluativo como un continuo que acompaña toda la gestión de los
proyectos y programas. Ese proceso involucra instancias evaluativas tanto antes, como durante y al
finalizar esta gestión. El fin de la evaluación así entendida es transformar la información que recolecta
en nuevo conocimiento que permita la toma de decisiones adecuadas para perfeccionar las acciones
dirigidas a mejorar las condiciones de vida de las poblaciones que se atiende (Nirenberg, O.;
Brawerman, J.; Ruiz, V, 2000). En un modelo evaluativo como este, la evaluación ex - post es
entonces, un “momento”, el final del proceso / sistema de evaluación. Es la instancia evaluativa que se
lleva a cabo en forma posterior a la finalización del período de ejecución del programa y su énfasis está
colocado en los resultados o efectos de dicha gestión.

Por lo tanto, el sistema evaluativo que se diseñe para acompañar la gestión, deberá distinguir al menos
los siguientes momentos: a. Evaluación ex – ante (el proyecto en su fase de formulación y diseño); b.
Construcción de la Línea de base (diagnóstico de la situación al comienzo de la ejecución); c.
Evaluación y monitoreo de la gestión (durante los procesos de la acción); d. Sistematización de la
experiencia acumulada durante la gestión (como paso previo al análisis de los resultados obtenidos); y
Evaluación ex – post (cuyo énfasis es en los resultados o efectos).

Es dentro de este contexto que la línea de base se presenta como el primer paso de un sistema
evaluativo. Tiene como objeto establecer los parámetros que permitan conocer la situación inicial de la
que parte el programa, para poder compararla con la situación final y obtener conclusiones acerca del
logro de los fines propuestos.

En ese sentido, es considerada como un diagnóstico de situación de la problemática que se pretende


modificar con el desarrollo de las acciones del programa. Ese diagnóstico, sin embargo tiene la
peculiaridad de que debe relevar información y sistematizarla de forma tal, que sea pertinente para
valorar los logros de los proyectos luego de ejecutados.
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

Desafíos y dificultades

Sin embargo, plantearse la construcción de una línea de base sigue siendo un desafío. Esto es debido a
que existe muy poca experiencia en la materia. Merecen destacarse al menos dos factores que
contribuyen a esta situación: por una parte la persistencia en el uso de modelos tradicionales que
implican pensar la evaluación de impactos como único camino posible y, por la otra la tendencia de los
decisores de recurrir a los evaluadores cuando las acciones del programa o proyecto están finalizando o
ya terminaron.

Con respecto al primer punto, durante mucho tiempo la primacía del paradigma neopositivista en
ciencias sociales, privilegió la necesidad de contar con elementos de juicio acerca de “los impactos de
las estrategias desplegadas” por los programas. Ello derivó a que la tendencia fuera realizar sofisticados
diseños que pretendían replicar condiciones experimentales o cuasi-experimentales siguiendo métodos
y herramientas provenientes de la investigación en ciencias duras, por lo tanto “científicamente”
válidas según el paradigma dominante. Lo cierto es que estos diseños requieren condiciones muy
difíciles de ser replicadas en programas y/o proyectos sociales, suelen ser de carácter externo con poca
relación con los ejecutores de las acciones y resultan en abundante información de escasa utilidad o
eficacia para introducir cambios en las prácticas concretas. Esta baja eficacia y el alto costo de llevarlas
adelante se transformó en una de las causas del poco prestigio que, entre los decisores políticos y los
técnicos sociales, tiene la evaluación y en particular, la construcción de líneas de base.

En cuanto al otro punto, la tendencia de responsables de programas y decisores políticos de encarar las
evaluaciones sólo al final del proceso de ejecución de hecho se traduce en la no inclusión de líneas de
base en el diseño de evaluaciones de programas y proyectos sociales pues la información debe ser
relevada al inicio o inmediatamente antes de comenzar las actividades. Al no contar con esos datos se
diseñan evaluaciones que realizan comparaciones entre las metas previamente establecidas y las que
efectivamente se alcanzaron, o se buscan datos diagnósticos en estadísticas generales, pero que poco
pueden decir acerca de la situación real de la que partió la población, el área o la organización sujeto de
las acciones del proyecto y en cuanto se mejoró en comparación con ese estado inicial.

Por otra parte, es importante tener en cuenta que las pocas experiencias con las que se cuenta han
resultado poco confiables en el momento de “decir algo” con respecto a la situación inicial de las
poblaciones, entidades y/o áreas destinatarias de las acciones del programa. Sin embargo estos intentos
han sido útiles para conocer lo que “no debe hacerse” y para incentivar la búsqueda de estrategias que
den mayor confiabilidad, validez y utilidad a los datos relevados por una línea de base.

Este problema se debe fundamentalmente a que las concepciones más comunes que se presentan
cuando se han diseñado líneas de base han sido, por un lado colocar el foco en establecer la
comparación a partir de dos situaciones polares: en “lo micro”, (el seguimiento de cada beneficiario) o
por el contrario, en “lo macro” (referirse a indicadores demasiado globales por ej.: tasa de mortalidad
infantil, repitencia escolar, etc.)

La visión micro enfatiza el contar con mediciones que den cuenta de la situación inicial de cada
beneficiario incorporado al proyecto, tratando luego de seguirlo en el tiempo y poder observar las
mejoras que se operan en cada individuo debido a su inserción en actividades o recepción de
prestaciones en el marco del proyecto. Este tipo de aproximación también está ligada a formas
tradicionales de encarar la evaluación, asociadas fundamentalmente al diseño de modelos cuasi

2
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

experimentales1. La misma presenta dos inconvenientes. Primeramente los programas sociales tienen
alta rotación de beneficiarios, los que “entran y salen” de las actividades, permaneciendo en la mayoría
de los casos, por espacios de tiempo más cortos que la duración prevista del proyecto con lo cual los
beneficiarios “se pierden” y al momento de realizar la comparación ex – post resulta difícil encontrar a
los individuos sobre los que se construyó la línea de base, inutilizándose de esta manera la información
contenida en la misma. El otro inconveniente de esta mirada micro es que pierde de vista los posibles
cambios operados en la población general del área de referencia del proyecto o programa, generalmente
más importante como resultado de un proyecto social. Está demostrado que las acciones, aún en un
grupo relativamente reducido de beneficiarios, de proyectos cuyas acciones son integrales e involucran
aún indirectamente o con acciones esporádicas a grupos mayores de población, colaboran a mejorar la
situación de individuos y grupos en contextos generales de poca estimulación y escasas oportunidades.

Con respecto a los diseños que enfatizan la mirada macro, buscan indicadores de índole macrosocial y
de esta manera logran decir muy poco con respecto a los resultados e impactos de las acciones del
programa o proyecto, ya porque este no duró lo suficiente como para que el indicador muestre alguna
sensibilidad o porque difícilmente un indicador de esta naturaleza se pueda modificar a través de las
acciones de un proyecto, sino que requiere la convergencia de múltiples acciones y factores. Sin
embargo, si se tomaran en cuenta indicadores menos complejos, pero igualmente significativos,
seguramente habría varios aspectos del programa que mostrarían variaciones e impactos elocuentes.

Resignificando el concepto de línea de base

Asumiendo, como se dijo al inicio del documento, que la evaluación debiera ser un proceso continuo
que acompañe la gestión en el planteamiento del problema a resolver y en el diagnóstico de situación,
durante las acciones previstas y al finalizar períodos determinados, entonces, ante todo la línea de base
establecería los puntos de partida que sirvan de parámetro comparativo para poder observar al final de
del programa o proyecto evaluado los logros alcanzados.

Ahora bien, aún bajo esta concepción y cuando efectivamente se construyan líneas de base, la
tendencia es asumirla como el primer momento, la “toma de medición” para la evaluación ex – post. Se
constituye en el primer corte para la comparación antes – después. Se construye, se carga, se “mete en
un cajón” y se la deja allí guardada hasta el final de la gestión, momento en el que “se desempolva” y
se ve como se realiza la “segunda medición” (ex – post); incluso existen agencias de financiamiento
que han establecido normas que pautan cuando debiera ser reflotada; por ejemplo 6 meses o un año
después de finalizar el proyecto o programa.

Desde esta perspectiva se pierde el valor de diagnóstico inicial de la línea de base y su riqueza para el
acompañamiento de la gestión. En la concepción de línea de base a la que se refiere este documento, la
misma puede también ser de utilidad para la evaluación de procesos y para el monitoreo de las
acciones. La comparación contra sí mismo en el tiempo2 es la que idealmente se puede llevar adelante
al contar con una línea de base y esta comparación no debiera realizarse sólo al final de las acciones. Es
sumamente útil, sobre todo en los primeros tramos de la ejecución de un programa o proyecto, ya que
permite observar si se producen mejoras significativas con respecto a la situación de partida, tal como
1
Eso es así si se piensa que una comparación es la que se haría entre esos beneficiarios a los cuales se les hizo el
seguimiento durante el proyecto, contra otro sujeto similar en las diversas variables socioeconómicas y demográficas, pero
que no haya pasado por acciones o prestaciones del proyecto (o similares); estos últimos sujetos constituirían el “grupo
control” en el marco de un diseño cuasi.experimental. Existen discusiones éticas acerca de este tipo de diseños, pero acá no
se harán mayores alusiones.
2
El otro tipo de comparación es contra estándares establecidos.

3
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

la establece la línea de base, y eso es muy gratificante para los que ejecutan las acciones, ya que
muestra los logros obtenidos y permite programar con mejores fundamentos.

Así, la línea de base puede ser útil como parámetro de comparación para el monitoreo de las acciones.
Sin embargo, esta utilidad no la convierte en condición suficiente para el seguimiento de la gestión. El
monitoreo del programa o proyecto contiene aspectos que no necesariamente estarán incluidos en la
línea de base, y que por lo tanto será necesario relevar por otros mecanismos.

En primer lugar el seguimiento requiere mayor detalle en los indicadores de proceso. Cada corte
evaluativo que se programe durante la gestión determina un foco, una aproximación más exhaustiva a
algún aspecto o momento de las acciones previstas. Y aunque la línea de base diseñada sea muy
abarcativa, muy probablemente no incluirá variables e indicadores para todos los aspectos, sino que
pondrá énfasis en lo que, luego de terminadas las acciones, permita concluir acerca de los efectos e
impactos vinculados al accionar del proyecto. Por otra parte hay infinidad de datos que son imposibles
de observar, o de obtener parámetros antes del inicio de la gestión del proyecto. Resulta entonces difícil
incorporarlos a la línea de base y son ineludibles en la evaluación de procesos.

Sin embargo, el hecho de que los datos contenidos en la línea de base, puedan ser consultados y
utilizados durante el proceso de la gestión del proyecto, la despoja de inmovilidad, la transforma en un
insumo más, muy útil, para observar las transformaciones en el proceso y constituirse en un elemento
de aprendizaje. Más aún si se recuerda que muchos cambios o resultados (esperados y no esperados) se
producen durante el proceso mismo de ejecución de los proyectos, y la posibilidad de comparar con la
línea de base permite detectar y valorar mejor esos resultados intermedios, que de otro modo podrían
pasar inadvertidos o ser subvaluados.

Pero se reitera que el criterio primario para la construcción de una línea de base es que sirva, en el
momento de la evaluación ex – post, como el conjunto de datos de “control” y sea útil para emitir
juicios valorativos ulteriores sobre la eficacia de las acciones llevadas adelante por el proyecto o
programa. Este criterio básico se sustenta en una perspectiva de evaluación donde lo importante pasa a
ser el aprendizaje y donde las variaciones de los indicadores originales se transforman en señales para
orientar la mirada, dirigir los esfuerzos y modificar o reforzar las acciones. En ese contexto los
indicadores de la línea de base son el espejo donde es posible apreciar esas variaciones.

Por otra parte, el diseño mismo de la línea de base ayuda a precisar mejor cuáles son los ejes
relevantes. Al delimitar los niveles de análisis, las dimensiones, variables e indicadores sobre los que es
necesario obtener información diagnóstica, colabora desde el inicio a la direccionalidad de la gestión ya
que alerta a los ejecutores de las acciones sobre los temas hacia dónde debieran dirigir la mirada.
Permite identificar desde el comienzo los aspectos importantes, los de deberían observarse y cuya
evolución debe vigilarse.

Nueva utilidad para las líneas de base

Todos estos aspectos plantean una nueva utilidad para las líneas de base, que aún a riesgo de
reiteración, conviene enumerar:

• Como diagnóstico: Se dijo al iniciar este documento que como primer paso dentro de un sistema
evaluativo que acompañe la gestión del programa o proyecto, la línea de base puede ser considerada
un diagnóstico de situación de la problemática que se pretende modificar con el desarrollo de las
acciones del mismo. Sin embargo, es diferente al diagnóstico que puede dar lugar a la formulación

4
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

del proyecto. Este, cuyo principal objetivo es fundamentar el problema, puede ser de índole general
en el sentido que dará cuenta de los múltiples factores que producen una situación, presentando
además cuantificaciones y apreciaciones que pueden referirse a regiones y grupos humanos mucho
más abarcativos que la población y área sobre la que realmente tendrá incidencia el proyecto que se
está diseñando. Por su parte los indicadores que presente la línea de base deben tener mayor
precisión en cuánto al área y población de referencia, limitarse a aquellos aspectos del problema
que encarará el proyecto y fundamentalmente tendrá la peculiaridad de ser pertinente para valorar
los resultados y logros del proyecto luego de la ejecución de sus acciones.

• Para fundamentar el programa mismo y también sus acciones: Contar con información diagnóstica
de este tipo también colabora a dar fundamentos a la existencia misma del programa o proyecto.
Aquí habría que recordar que un proyecto es un intento de modificación de alguna situación que se
supone puede mejorar o ser superada a través de las acciones propuestas. Es así que, tener
información diagnóstica, con el nivel de detalle y desagregación que requiere la construcción de la
línea de base, da fundamentación sólida que, en la mayoría de los casos, la formulación misma del
proyecto o programa no brinda.

• Para la evaluación de procesos: Como ya se mencionó, la utilidad en este aspecto está dada en que
contribuye a determinar los aspectos sobre los que dirigir la mirada y a partir de allí ayuda a la
determinación de la dimensiones, variables e indicadores que serán parte del seguimiento de las
acciones. Es en ese sentido que contribuye a dar direccionalidad a la gestión y alerta sobre posibles
brechas entre la situación inicial y las metas que, en cada etapa y como un todo, el programa se
propone.

La línea de base es en sí misma un modelo evaluativo

El diseño y carga de una línea de base son en sí mismos un sistema de evaluación ya que, como un
modelo evaluativo, son una representación que se construye para comprender y explicar una realidad
compleja. La construcción de la línea de base facilita la comprensión de la situación de la que parte la
intervención social y fija los parámetros a partir de los cuales la misma se articula.

También, como un modelo evaluativo, la línea de base se integra por diferentes módulos o dimensiones
y se sintetiza en momentos, en este caso dos: su construcción (programación) y la carga de los datos
(ejecución). Cada uno de estos momentos incluye actividades específicas que a continuación se
enumeran:

Construcción de la línea de base


• Definiciones conceptuales
• Determinación de las unidades de análisis que incluirá
• Clasificación de las dimensiones de análisis
• Definición de las variables
• Selección de los indicadores
• Determinación de las técnicas e instrumentos para la recolección de información
• Diseño de la base de datos

Carga
• Relevamiento de información mediante el desarrollo de las actividades y la aplicación de las
técnicas e instrumentos

5
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

• Entrenamiento de los recursos humanos para la carga


• Carga de la información en la base de datos
• Supervisión de los datos cargados
• Elaboración de Informe sobre la situación de inicio del proyecto
• Devolución a los actores y diseminación de conclusiones
• Incorporación al sistema de información del programa o proyecto

Conviene detenerse en cada una de estas actividades, porque si bien, como se dijo, son similares a la de
un modelo evaluativo, tienen especificidades que es útil analizar.

Construcción de la línea de base

La etapa de diseño de la línea de base es el momento en el que se definen los aspectos conceptuales, los
niveles de análisis que incluirá y se determinan las principales dimensiones. El diseño que se plantee
deberá además incluir variables e indicadores que permitan apreciar la situación de inicio en los
diversos niveles que presenten los proyectos a evaluar y es conveniente que enfatice la importancia de
contar con información, lo más precisa posible, sobre la población que se verá afectada por la ejecución
del proyecto.

A continuación se detalla cada uno de los pasos a seguir en esta etapa:

Definiciones conceptuales
De la misma forma que un modelo evaluativo debe reflejar la teoría del cambio que sustenta la
intervención social, la línea de base debe retomar esa concepción ya que se supone que es una parte, la
primera, del sistema evaluativo. Así como el modelo debe poner en evidencia los supuestos, los
requerimientos contextuales, las estructuras necesarias y las líneas de acción a desarrollar para obtener
los resultados esperados, la línea de base debe tomar cada uno de esos aspectos y transformarlos en
indicadores diagnósticos que permitan, al final del proceso, apreciar en qué medida se cumplió con
esos supuestos, cómo influyeron elementos contextuales, de qué forma las estructuras respondieron a
las necesidades planteadas y cómo los procesos desencadenados colaboraron en el logro de los
resultados.

Las unidades de análisis


A partir de esa primer definición es necesario aclarar los niveles de análisis que incluirá la línea de base
es decir, todas aquellas unidades de análisis donde se esperen producir cambios mediante las acciones
previstas. Así, debería haber coincidencia con los niveles de intervención del programa. La gran
mayoría de los programas y proyectos sociales se dirigen, en forma más o menos directa, a grupos
poblacionales con algún grado de vulnerabilidad. Estos grupos, los reales beneficiarios o destinatarios
de las acciones del programa, formarán siempre parte de la línea de base porque son el principal objeto
de las estrategias que los proyectos sociales despliegan. Así, si por ejemplo el programa para el cual se
está diseñando la línea de base incluye acciones en centros de salud dirigidas reducir la mortalidad
materna e infantil un primer nivel e análisis serán las mujeres embarazadas y niños menores de 1 año
del área de intervención del programa o proyecto.
Pero además de este nivel de análisis, que casi con seguridad va a estar siempre presente, el proyecto
que se debe evaluar puede incluir otros niveles de intervención. Puede incorporar en su diseño
estrategias tendientes a modificar acciones o perfiles de instituciones, organizaciones no
gubernamentales, áreas de gobierno, redes de efectores, etc. En estos casos, el sistema evaluativo que
se construya, desde la línea de base en adelante, debiera incluirlos. Siguiendo con el ejemplo anterior,

6
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

si el proyecto para reducir la mortalidad materna e infantil se plantea modificaciones en la estrategia de


la atención primaria de salud, poniendo el eje en el fortalecimiento de los centros y puestos de salud, a
través de diversas actividades, la red de atención primaria, deberá ser un nivel de análisis a incorporar
en todas las instancias evaluativas.

Las dimensiones, variable e indicadores


A partir de la definición anterior, el paso más relevante lo constituye la determinación de las
dimensiones o capítulos que se incluirán, la especificación de sus variables y la definición de los
indicadores. Si bien es importante que haya coincidencia con las que se incorporen en el modelo
evaluativo diseñado para el programa o proyecto, no necesariamente se incluirán todas aquí. Como se
dijo anteriormente, la línea de base inserta en un sistema de evaluación continua puede ser un insumo
de utilidad para el seguimiento de los proyectos, sin embargo raramente incluirá dimensiones, variables
e indicadores de procesos, los que sí serán incluidos y muy útiles para el ulterior monitoreo de las
acciones. Se reitera que los capítulos más importantes en una línea de base son aquellos que pueden
traducirse en resultados.

Las técnicas, los instrumentos, las fuentes de recolección


La información a incluir debe ser relevada, utilizando en algunos casos información secundaria, tal
como la que forma parte de la formulación del proyecto o programa, sobre todo en su capítulo de
justificación o diagnóstico; aunque deberá tenerse en cuenta que generalmente esa información
requerirá ser reprocesada a los fines propios de la línea de base. También se pueden utilizar algunos
datos estadísticos existentes (como los registros regulares de establecimientos educativos o de salud, o
bien los sistemas de estadísticas provinciales o municipales) y que den cuenta de la situación de los
beneficiarios, las áreas de intervención y los problemas que se pretende resolver con la implementación
del programa o proyecto. Sin embargo seguramente será necesario relevar información adicional de
forma directa, ya sea porque no existe el dato que se necesita, porque el que existe no es confiable o no
coincide con el área de intervención del proyecto. En todos los casos se definirá con qué técnicas se
relevaran los datos que se incorporarán a la base de datos y de que fuentes se obtendrán.3 Las más
apropiadas son el taller, las entrevistas pautadas y para algunos casos las pequeñas encuestas.

La base de datos
También en esta etapa se diseñará la base de datos en la que se volcará la información de la línea de
base. Esta, es la que tradicionalmente se debiera mantener “cerrada” hasta finalizar el proyecto para
recién volver a activarla cuando se realice la evaluación ex – post. Tal como venimos diciendo, dentro
de una concepción en que la línea de base es útil para la gestión del proyecto o programa, la misma
debe ser “abierta”, o ser utilizada durante la ejecución del proyecto y por ende la base que se diseñe,
debe guardar coherencia con la que se diseñe para el monitoreo

La misma puede tener un formato Excel o bien otros softwares más sofisticados. Esto dependerá de las
posibilidades económicas, de la complejidad que la base requiera y hasta del conocimiento que posean
quienes la diseñen. Lo que verdaderamente importa es que sea fácil de cargar, segura en cuanto a evitar
la manipulación de los datos que contenga y que sea lo más autoexplicativa posible para que no de
lugar a dudas sobre los contenidos de cada celda o campo a completar. Esto dependerá de la destreza
de quien la diseñe y en la mayoría de los casos se recomienda asistencia de programadores
competentes.

3
Para mayor información sobre técnicas ver Nirenberg O., Braewerman J., Ruiz V., “Evaluar para la transformación”, 2000,
Capítulo 4.

7
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

La carga de la línea de base

Esta etapa de construcción de la línea de base es tan importante como el diseño de la misma. De la
forma en que se releven los datos, la manera en que los mismos se carguen en la base diseñada, y de los
recaudos que se tomen para su guardado e incorporación al sistema de información general del
programa o proyecto, dependerá en gran medida la validez que la misma tenga como parámetro de la
evaluación ex –post y también su uso como parámetro de comparación para monitorear acciones
durante la gestión.

El relevamiento de la información
El primer paso para la carga de la línea de base es el relevamiento de la información que va a contener.
Como ya se anticipó las técnicas a emplear pueden ser variadas y lo importante es que las que se
utilicen colaboren a reflejar de la mejor manera posible la situación de inicio de los proyectos.

Dependiendo de la magnitud de la cobertura o extensión territorial prevista por el programa, es


recomendable realizar un diagnóstico participativo que podrá realizarse preferentemente a través de un
taller o en su defecto a partir de entrevistas4. Mas allá de la técnica que se instrumente, el mismo
debiera involucrar la intervención de las instituciones relevantes, informantes calificados y adultos
significativos de la comunidad en la que se ejecutará el proyecto. La información recogida para ese
diagnóstico es de suma utilidad para la construcción de la línea de base ya que permitirá contar con
información precisa sobre el área de intervención del proyecto (que muchas veces no coincide con los
datos existentes que están desagregados en diferente escala) y, sobre la población que se verá afectada
por la ejecución de cada proyecto. Todo ello permitirá contar con “denominadores” ajustados, básicos
para poder medir y apreciar por una parte, las variaciones que se produzcan en los potenciales
beneficiarios, y por la otra. conocer si estas variaciones han alcanzado a una proporción
suficientemente significativa de la población afectada.

El entrenamiento para la carga de la línea de base


Es importante que quienes realicen la carga de los datos sean técnicos involucrados en la gestión del
proyecto o programa. El hecho de cargar la base “obliga” a revisar la formulación, involucrarse con la
lógica de cada proyecto, y corroborar la pertinencia de cada uno de los datos que se vuelca. Todo ello
“obliga” a un conocimiento más directo de los proyectos, situación que será muy útil al momento de la
gestión. Además, para que las cifras y valoraciones que se carguen en la línea de base sean precisos y
confiables es necesario que todos los involucrados manejen los mismos conceptos y compartan iguales
criterios. Para que esto suceda es imprescindible realizar un entrenamiento que tendrá dos partes:

a. la confección del instructivo de carga


b. el entrenamiento propiamente dicho.

a. El Instructivo
Es aconsejable que el entrenamiento para la carga de información en la base de datos sea presencial,
pero debe ser acompañada por un manual instructivo en el que se definan y aclaren todos los aspectos y
conceptos que llevan a que la información incorporada sea confiable y precisa. Este Instructivo servirá
como consulta permanente durante la carga de la información y, colabora para que la interpretación del
significado de cada variable e indicador sea unívoca. De todas formas es necesario aclarar que por si

4
Los diagnósticos participativos son más recomendables para el nivel local, para programas o proyectos que se ejecutan con
limites territoriales definidos; por ejemplo barrios, zonas dentro de un municipio, o municipios de tamaño pequeño o
intermedio.

8
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

mismo, sin entrenamiento presencial, no garantiza esa condición. Es por ello que el entrenamiento de
los encargados de la carga de la línea de base es imprescindible.

El instructivo que se diseñe debiera incluir al menos dos aspectos:


• Información con respecto a la carga y la base de datos
• La especificación de cada una de las variables e indicadores y su categorización

Deberá incluir ejemplos claros y gráficos donde se planteen los pasos y secuencias requeridas para
aclarar los procedimientos de la carga de cada indicador y variable.

b. Entrenamiento propiamente dicho:


Este entrenamiento debiera ser teórico práctico y demandará por lo general dos jornadas. Se incluirá
como consigna muy importante la lectura previa del instructivo por parte de los asistentes. Un primer
día se realizará una aproximación al tema de la evaluación ex - post y la línea de base como su primer
insumo. Se deberán detallar los diversos aspectos de la misma (niveles de intervención, universo,
variables e indicadores). Se debe explicar el contenido de la línea de base, sus definiciones y supuestos,
los alcances de los indicadores, sus categorías y las fuentes de las que proviene la información y se
trabajará específicamente sobre los indicadores y su categorización. Por otra parte, en el mismo
entrenamiento se debe presentar la base de datos diseñada, explicar su funcionamiento y forma de
carga.

En la segunda jornada se entrenará en forma práctica a los encargados de incorporar los datos a la base.
Durante esta segunda instancia, cada uno realizará la carga de los datos de un proyecto con lo que se
podrán revisar los conceptos contenidos en cada indicador, experimentar las dificultades que plantea la
carga, eliminar dudas y consensuar el significado de cada definición. Este paso es de suma importancia
para garantizar la homogeneidad de los datos cargados.

La carga
La carga de la información se realizará una única vez, al comienzo de la ejecución de cada proyecto.
No es importante que el volcado de los datos se realice verdaderamente antes del inicio de actividades,
sino que puede efectivizarse durante las primeras etapas de la gestión, pero lo que resulta
imprescindible es que los datos que se vuelquen reflejen de manera precisa la situación de todos los
niveles de análisis incluidos, antes de iniciar las actividades de cada proyecto.

Supervisión de la carga
Esta tarea se iniciará cuando se termina la carga. Consiste en la revisión de una parte de los datos
cargados por cada uno de los que tuvieron a su cargo la tarea. En caso de detectar discrepancias, las
mismas deberán ser corroboradas con cada uno de los involucrados hasta considerar que la información
contenida en la base de datos es confiable y precisa. En el caso de programas complejos conviene
realizar de una muestra aleatoria, de un porcentaje de los proyectos cuyos datos fueron cargados (por
ejemplo el 20%) y revisar esa muestra. De la misma forma si se detectan errores se realizarán las
adecuaciones que corresponda.

Informe sobre la situación de inicio del proyecto y devolución a los actores intervinientes
Es conveniente que la información consolidada se traduzca en un informe sobre la situación de inicio y
que el mismo sea distribuido y conversado con todos los actores intervinientes en el proyecto o
programa, incluyendo a los propios beneficiarios de las acciones. Este informe y las reuniones a que dé
lugar su discusión, se convierten así en una valiosa devolución para los involucrados en la gestión, por
una parte porque, ayuda a dimensionar más acabadamente el problema que se pretende resolver y por

9
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

otra porque permite, como ya se adelantó, enfocar la mirada de los que están inmersos en la ejecución,
ya que conocer y comprender los ejes que van a ser evaluados contribuye mucho a dar direccionalidad
de las acciones. Finalmente, la devolución de los datos volcados en la línea de base a los protagonistas
del proyecto, es un imperativo ético ineludible.

El sistema de información
En el marco de una concepción como la que aquí se plantea, de línea de base “activa”, la misma
necesariamente debe formar parte de un sistema de información. Así como la línea de base debe formar
parte del modelo evaluativo propuesto para el programa, la base de datos en la que se cargue la
información debe formar parte de un sistema más amplio de información del programa o proyecto. Este
es un instrumento de generación y transferencia de conocimiento, en forma de información útil y
oportuna. En este sentido, es una herramienta de apoyo para la programación, seguimiento y evaluación
de un proyecto o programa. Si bien es una estructura de soporte, tiene criterios técnicos, metodológicos
que le son propios y que es necesario tener en cuenta cuando se formula su estructura y
funcionamiento.

Ante todo un sistema de información deberá proveer información creíble, o sea, deberá poseer atributos
de confiabilidad y oportunidad. Confiable en tanto la información que aporte no ofrezca ninguna duda
y oportuno en tanto esté disponible para la toma de decisiones cuando sea necesario. Para ello deberá
ser de un nivel de complejidad adecuado al programa del que forme parte y los indicadores y variables
que se seleccionen deben responder a una lógica de utilidad y factibilidad. Útiles en tanto permitan
conocer las variaciones que se producen en relación al proyecto y factibles en cuanto a la capacidad
para producir información.

El sistema, del que la línea de base formaría parte, deberá entonces producir información útil y
oportuna que posibilite planificar, reprogramar, gerenciar, administrar, monitorear y evaluar las
acciones que se ejecuten sobre los beneficiarios de los proyectos y las organizaciones intervinientes.
Además, deberá insertarse en la estructura organizativa ya existente en el programa y en especial
debería adecuarse a las necesidades de las áreas de gestión y seguimiento del mismo. Eso forma parte
del propósito de dejar instalada una cultura evaluativa, que ya comienza a instalarse desde el mismo
inicio de un proyecto.

Algunas consideraciones sobre la evaluación ex - post

Como se dijo, la evaluación ex - post se lleva a cabo en forma posterior a la finalización de la ejecución
del programa y pone foco en los resultados o efectos de la gestión, aunque también se considera de
utilidad tomar en cuenta algunas estrategias procesuales de los proyectos, de modo de poder explicar
mejor el modo en que se obtuvieron los resultados. Es el final del proceso evaluativo iniciado con la
carga de la línea de base y, en realidad es este momento el que, en situaciones de normal ejecución del
proyecto o programa, evidenciará la validez y utilidad de la misma.

En general es conveniente que esta parte de la evaluación sea de carácter "externo", y que el área de
evaluación del proyecto o programa sea la interlocutora del equipo externo que se integre. En su diseño
se considerarán resultados esperados (en relación con los objetivos explícitamente propuestos por el
programa) y los no esperados y las estrategias desplegadas en la gestión de los proyectos, que permitan
explicar los logros / resultados obtenidos. Además, en el caso de un conjunto de proyectos en el marco
de un programa se evaluarán los efectos de la ejecución del conjunto, particularmente el grado de
articulación y trabajo en red entre ellos, así como con otras organizaciones que trabajen en la temática.

10
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

En el marco de una concepción de evaluación como la que sustenta este trabajo, la línea de base es un
insumo, muy importante sin lugar a dudas, pero una parte de un grupo de elementos necesarios para
que los resultados y recomendaciones de la evaluación sean relevantes y puedan colaborar en la toma
de decisiones. Así, el primer paso será la sistematización de la información que se generará a partir del
monitoreo y la gestión del proyecto. Por otra parte se realizará el relevamiento específico, para
contrastar los datos relevados al completar la línea de base, a los que se agregarán estudios especiales
que se crea conveniente en ese momento, de acuerdo a la experiencia acumulada en la ejecución del
proyecto o programa. Se detallan a continuación los tres paquetes de insumos de los que conviene
disponer:

a Sistematización, análisis y evaluación de información existente


Se deberá en primera instancia analizar y sistematizar la información disponible en el Programa y los
proyectos desde la perspectiva de las variables e indicadores sugeridos y otros que se consideren
pertinentes al momento de realización de la evaluación ex – post. Ejemplo del tipo de información útil
es la que sigue:

Informes de avance realizados por el proyecto o programa.


Informes de las diversas aplicaciones evaluativas realizados por el proyecto (en función del modelo
evaluativo del mismo).
Informes finales producto de visitas evaluativas, realizados por el equipo de evaluación del
programa o proyecto.
Respuestas a la guía de sistematización de la experiencia, completada por el proyecto al momento
de su finalización e informe resumen realizado.

Si bien todos los insumos listados serán de relevancia, la actividad de sistematización reviste particular
importancia para la evaluación ex - post, debido a su contenido comprehensivo, a su carácter
“acumulativo” de todo el período de la gestión de cada proyecto y al momento de su aplicación, que
será a la finalización de los proyectos respectivos.

b. Relevamiento ex - post propiamente dicho


Constituye la otra cara de la línea de base. Es este relevamiento el que permite contrastar los resultados
obtenidos luego de la gestión del proyecto con la situación de inicio y en ese sentido con la ”memoria”
del mismo. Incluirá la confección de instrumentos y recolección de información que permita medir y
apreciar las variaciones de cada uno de los indicadores previstos en la línea de base.

c. Estudios y relevamientos especiales


A partir del análisis de la documentación mencionada se determinará la necesidad de realizar estudios y
relevamientos especiales, a través de talleres, entrevistas a informantes clave, aplicación de
cuestionarios, entre otras técnicas posibles. Esto se debe a que los indicadores diseñados para la línea
de base, al inicio del Programa, si bien serán un insumo importante al momento ex - post, no alcanzan
para dar cuenta de la riqueza de situaciones que pueden suscitarse en un área de intervención luego del
funcionamiento por un tiempo prolongado del/los proyecto/s. Ejemplos de este tipo de estudios podrían
ser en un proyecto cuyo objetivo fuera colaborar en el mejor desempeño escolar de un grupo de niños,
analizar de qué manera el apoyo escolar brindado colaboró a mejorar el rendimiento de los niños y a
disminuir la repitencia (o el riesgo de repitencia) en el área de referencia. Otro ejemplo: un estudio de
conformidad de los beneficiarios es relevante para calificar los resultados de un proyecto social; el
mismo debe dar cuenta del grado de satisfacción de los principales destinatarios del proyecto y requiere
relevar las opiniones de los participantes respecto al modo cómo se llevaron a cabo las acciones y los
resultados obtenidos.

11
VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires, Argentina, 5-9- Nov. 2001

Bibliografía

Banco Interamericano de Desarrollo, Oficina de Evaluación (EVO): Evaluación: Una herramienta de


gestión para mejorar el desempeño de los proyectos, Washington, DC, sin fecha..
Briones, G.: Evaluación de Programas Sociales, México, Ed. Trillas, 1991.
Greene Jennifer: “Qualitative Program Evaluation, Practise and Promise” en Handbook of Qualititative
Research, Denzin N y Lincoln S, Editors., Sage Publications Inc., 1994.
Nirenberg, Olga; Brawerman, Josette y Ruiz, Violeta. Evaluar para la Transformación: innovaciones
en la evaluación de programas y proyectos sociales. Paidós, Tramas Sociales. Vol. 8. Buenos
Aires. 2000.
Patton, M.Q.: How to use qualitative methods in evaluation, Thousand Oaks, California, Sage
Publications, 1987.
Patton, M.Q.: Qualitative evaluation and research methods, 2ª Ed., Thousand Oaks, California, Sage
Publications, 1990.
Pedersen, D.: “El dilema de lo cuantitativo y lo cualitativo: de las encuestas a los métodos rápidos de
investigación en salud”, en F.Lolas
Ruiz, Violeta La línea de base del Proame, Buenos Aires. Documento interno del PROAME,
Ministerio de Desarrollo Social y Medio Ambiente/BID; 1999.
Ruiz, Violeta La evaluación ex - post del Proame, Buenos Aires. Documento interno del PROAME,
Ministerio de Desarrollo Social y Medio Ambiente/BID; 2000.
Sulbrandt, J.: “La evaluación de los programas sociales: una perspectiva crítica de los modelos
usuales”, en Kliksberg B. (comp.), Pobreza, un tema impostergable, nuevas respuestas a nivel
mundial, México, Fondo de Cultura Económica, 1994.

Reseña Biográfica

La autora es socióloga, graduada de la Universidad de Buenos Aires, con estudios en Programación


Social. Es diplomada en Ciencias Sociales de FLACSO y actualmente tiene en curso la tesis de
Maestría en Sociología.
En 1997 ganó el Premio ADEBA (Asociación de Bancos de Buenos Aires) sobre Eficiencia del Gasto
Social por el trabajo “Evaluando por productos. Decisiones y acciones en la búsqueda de un programa
social más eficiente”.
Actualmente es Coordinadora del Área de Evaluación y Monitoreo del PROAME (Programa de
Atención a Menores en Riesgo) del Ministerio de Desarrollo Social y Medio Ambiente de la Nación.
vruiz@sminter.com.ar
Desde el año 1999 es evaluadora del componente comunitario del Programa UNI - Una Nueva
Iniciativa en la Formación de los Profesionales de la Salud – (23 proyectos en 11 países de América
Latina y el Caribe, de la Fundación W.K. Kellogg.
Durante los últimos 15 años se ha desempeñado como consultora en programas sociales dependientes
de distintas áreas de gobierno (en el Programa de Fortalecimiento de la ex Subsecretaría de la Mujer;
del Promin del Ministerio de Salud; en la Evaluación del Gasto Social de la Secretaría de Programación
Económica del Ministerio de Economía; en el PRANI de la ex Secretaría de Desarrollo Social).
Además ha coordinado y colaborado en evaluaciones de programas para Organizaciones de la Sociedad
Civil, UNICEF y programas dependientes de la Secretaría de Desarrollo Social de la Nación.
Es docente de Evaluación de Proyectos y Programas Sociales de la Maestría de Políticas Sociales de la
Universidad Nacional de Buenos Aires, de la Maestría de Ciencias Sociales y Salud de FLACSO y del
Curso de Especialización en Políticas Sociales de la Universidad de General San Martín.

12

También podría gustarte