Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Nerio Neirotti
1
CONTENIDOS
1. Introducción
2. ¿Qué es evaluación?
Definición de evaluación
Requisitos de una buena evaluación
Relación de la evaluación con otras actividades emparentadas
Aspectos políticos y técnicos de la evaluación
Niveles de aplicación de la evaluación
3. Tipos y criterios de evaluación
Según el momento, el objeto y el alcance de la evaluación
Según quién evalúa
Según la perspectiva de los involucrados
Criterios de evaluación
4. Perspectivas teóricas y metodológicas de la evaluación
El debate metodológico
Modelos de comparación
5. Pasos para llevar a cabo una evaluación
5.1. Planteamiento de la evaluación y toma de decisiones
5.2. Diseño de la evaluación
Objetivos y preguntas clave
Marco teórico e hipótesis
Dimensiones, variables, indicadores y unidades de análisis
Fuentes, técnicas e instrumentos
Matriz de evaluación
5.3. Recolección de información y procesamiento
Programación de actividades
Selección y entrenamiento del equipo
Recolección de información y manejo de instrumentos
Procesamiento de la información
5.4. Análisis de la información
2
5.5. Comunicación y diseminación
6. Conclusiones
3
1. INTRODUCCIÓN
4
los métodos de evaluación tienen que cambiar; es necesario desarrollar los
currículos bajo un principio de adaptación continua y escribir nuevos textos; se
debe aprovechar el potencial de las nuevas tecnologías y dar espacio a la
experimentación; las innovaciones exitosas tienen que ser identificadas. En fin,
pasar del eje de la modernización al eje de las innovaciones como principio de la
reforma conlleva girar al sistema en 180 grados, poniéndolo a funcionar como
un organismo adaptativo cuando hasta aquí ha operado esencialmente como un
mecanismo de conservación. (…) Lejos por tanto de cualquier determinismo
tecnológico, la reforma de las innovaciones necesitará apoyarse en los profesores
y alumnos en primer lugar; en la organización de la escuela y las capacidades de
su personal directivo, enseguida y, en tercer lugar, en las redes de agentes que
pueden contribuir a la innovación, como los padres, miembros activos de la
comunidad local, personal de investigación y desarrollo que trabaja en
innovaciones educacionales, agencias de transferencias y difusión de tecnologías
innovadoras, empresarios comprometidos con la renovación educacional,
facultades de pedagogía y universidades” 1 .
Las innovaciones educativas son procesos complejos que podrían ser concebidos
como configuraciones novedosas de recursos, prácticas y representaciones en las
propuestas educativas de un sistema, subsistema y/ o institución educativa,
orientados a producir mejoras 2 .
Para desarrollar innovaciones educativas no basta con contar con más o nuevos
recursos, sino que es preciso incorporar nuevas acciones y traslucir las
innovaciones en la prácticas educativas. Es decir, es necesario que los actores
involucrados den forma a un nuevo estilo de gestión y produzcan una
transformación de las prácticas institucionales cotidianas.
Además de los recursos y las prácticas, una tercer dimensión es necesaria para
definir las innovaciones educativas: las representaciones, creencias y valores que
subyacen en los puntos anteriores, es decir, los supuestos que existen por detrás
de las prácticas y los recursos empleados, el grado de internalización que existe y
el nivel de compromiso.
5
suelen ser la faceta más visible de las innovaciones, sin embargo, un cambio en
las prácticas y en las representaciones resultan ser los aspectos más claros de
que la innovación ha sido implementada, y a la vez los más complejos de
promover.
6
todos los niveles. En este marco, el presente documento ofrece conceptos sobre
evaluación y herramientas para su implementación que se inscriben en la
concepción de la misma como actividad sistemática de reflexión, entendimiento
entre actores diversos y recomendación de nuevos caminos de acción.
2. ¿QUÉ ES EVALUACIÓN?
5Citado por Stufflebeam, Daniel L. y Anthony J. Shinkfield, Evaluación sistemática. Guía teórica
y práctica, Barcelona, Paidos / M.E.C., 1995, p. 19.
7
SIEMPRO (Sistema de Información, Monitoreo y Evaluación de Programas
Sociales), con la inquietud de fortalecer la institucionalidad social y con el
propósito de desarrollar conocimientos y capacidades sobre planificación y
evaluación en el ámbito estatal y de la sociedad civil, produjo un manual que
contiene la siguiente definición:
8
Definición de evaluación
Los aportes anteriores nos sugieren los aspectos centrales del concepto de
evaluación, que podrían sintetizarse en las siguientes notas:
9
A la vez permite:
Un gran número de condiciones han sido señaladas como necesarias para que la
evaluación resulte adecuada. En algunos casos se han llegado a elaborar check
lists que deberían ser seguidas como instrumentos de verificación. Como ejemplo,
se incluyen los Estándares Para la Evaluación de Proyectos del Joint Committee
on Standards for Educational Evaluation que presenta en su libro Rocío
10
Fernández-Ballesteros 8 . Estos estándares fueron diseñados con el objetivo de
asegurar la concreción de evaluaciones útiles, factibles, éticas y adecuadas y
contienen 30 normas:
Estándar
Criterio
1. Identificación de implicados (de tal forma que sus necesidades
pueden ser tenidas en cuenta)
competentes)
11
3. Derechos de los sujetos humanos (deben respetar los derechos
y bienestar de los sujetos humanos)
ADECUACIÓN
4. Fuentes de información admisibles (las fuentes deben ser
descriptas de manera que la interpretación sea valida)
5. Información valida (los procedimientos de recogida de
información deben asegurar una interpretación válida)
12
11. Informe imparcial (los procedimientos del informe deben ser
salvaguardados contra la distorsión causada por sentimientos
personales y sesgos)
12. Metaevaluación (la evaluación debe ser formativa y sumativa
de tal modo que su ejecución sea apropiadamente guiada y que los
implicados puedan examinar sus puntos fuertes y débiles)
13
organizadas como funciones en el sentido que tienen responsables específicos y
requieren cierto grado de especialización. Al respecto pueden mencionarse las
siguientes: auditoría, control de gestión y supervisión.
La auditoría es una función que tiene por objeto garantizar el buen uso de los
recursos del Estado y de la empresa en cuanto a la adquisición de insumos,
buscando evitar acciones negligentes o delictivas. El control de gestión va más
allá, en el sentido que atiende a los procesos de conversión de los insumos en
productos, es decir, a las actividades y los resultados esperados de la misma, en
cantidad y calidad. Por su parte, la supervisión se orienta a observar que los
procesos se desarrollen según lo previsto, incorporando actividades de apoyo o
asesoramiento. Como se podrá observar, si bien todas estas funciones se apoyan
en el propósito de garantizar las mejores condiciones de la gestión, no brindan
insumos sistemáticos de conocimiento que permitan arrojar luz para llevar a
cabo procesos transformadores.
Pero hay otras actividades que brindan estos insumos y que también se
diferencian de la evaluación. Las experiencias que llevan a cabo las
organizaciones de la sociedad civil requieren, por su carácter singular e
innovador, llevar a cabo procesos de sistematización. Del mismo modo, sus
exploraciones suelen ser objeto de atención de los investigadores. En tal sentido,
resulta conveniente distinguir y delimitar los procesos de sistematización,
investigación y evaluación.
14
implementación de un programa se generan descubrimientos, se producen
debates, se construyen conceptos y se organizan sistemáticamente. Este proceso
es dinámico, puesto que la sistematización tiene una lógica explicativa provisoria,
abriendo paso a nuevas dudas que deberán ser respondidas en el futuro y dando
lugar a renovados esquemas de relación entre los hechos y el ordenamiento de la
información.
15
Otro de los aspectos que distingue a la evaluación es que incorpora de manera
explícita los valores. Precisamente, evaluar significa valorar y la evaluación
siempre supone juicio sobre el objeto evaluado: mejor o peor, más cercano o más
lejano a lo deseado, más o menos ajustado, etc. Al tomar como referencia los
efectos deseados se está pensando en un horizonte al que se considera como el
más conveniente o adecuado, y esto significa que se está partiendo de
preferencias, prioridades y elecciones, todas las cuales se basan en los valores de
los involucrados.
16
de ser poco realistas, de imaginar procesos y de identificar resultados desde una
perspectiva ajena al escenario social donde suceden los acontecimientos.
Evaluaríamos en términos ideales, sin ofrecer conocimiento útil para la toma de
decisiones. Y lo que es peor, aplicaríamos nuestros propios valores, puesto que
no existen posiciones técnicas avalorativas. Si, por el contrario, sólo nos
apoyáramos en argumentos de orden político, estaríamos menospreciando el
saber científico-técnico que ha sido probado a través de la experiencia y que ha
dado lugar a la conformación de campos específicos del saber.
Los programas adquieren un nivel de mayor especificidad que los planes (no
necesariamente tienen que depender de un plan). Están a su vez conformados
por componentes (puede ser también por proyectos), que constituyen partes
relacionadas entre sí funcionalmente, es decir, los componentes o proyectos
cumplen funciones que coadyuvan al alcance de los objetivos del programa y
tienen entre sí una relación de tipo sistémico. Los programas suelen ser
17
continuados o tener períodos de duración no claramente delimitados puesto que
finalizan cuando dejan de subsistir los problemas que les dieron origen.
A su vez, los proyectos tienen un nivel de especificidad mayor que los programas
y pueden ser parte de estos (al igual que la relación entre programa y plan, la
relación entre proyecto y programa es de inclusión y parte). Cabe la misma
aclaración que se hizo en referencia a los programas: los proyectos no
necesariamente deben estar incluidos en un programa, puesto que es muy
común encontrar proyectos que existen de modo independiente. Los proyectos
tienen un período y un fin claramente delimitados y sus productos son obras, o
bienes y servicios que generan un efecto multiplicador.
Las actividades de evaluación son diferentes según el nivel de gestión del que se
trate. Los proyectos son más sencillos de reconstruir y resultan en principio más
inteligibles, puesto que incluyen objetivos, productos y procesos de intervención
acotados. En muchos casos contienen unas pocas líneas de acción y los
involucrados, además de no ser muy numerosos, se reúnen con expectativas
claras y funciones bastante delimitadas.
Los programas tienen un nivel mayor de complejidad, puesto que contienen más
líneas de acción y suelen incluir varios componentes o proyectos. En su caso
resulta más difícil delimitar las responsabilidades propias del grupo operativo de
aquéllas que tienen que ver con el medio institucional o social en el que se
implementan los programas. Los involucrados son más numerosos y las
18
relaciones entre los mismos son más complejas, a la vez que la normas y las
reglas del juego en el marco de las cuales se desarrollan son más imbricadas. Al
ascender del nivel del proyecto al de programa se hace más difícil hacer una
evaluación comprehensiva, razón por la cual hay que acotar el objeto a evaluar,
es decir, hay que definir algunas dimensiones en detrimento de otras.
19
• A través de la evaluación de programas, clusters o proyectos, lo cual
equivale a seleccionar determinadas líneas de acción que se han puesto en
marcha y que constituyen una parcialidad de la política en ciernes.
20
Según el Según el objeto Según el Según Según la
momento en de evaluación alcance quien perspectiva de
que se evalúa evalúa los involucrados
Ex – ante ¾ De diseño De decisión ¾ Los
¾ De viabilidad beneficiarios
y factibilidad ¾ Los
¾ De financiadores
¾ Externa
Sustentabilidad ¾ El poder
¾ Interna
De proceso ¾ Monitoreo Formativa político
¾ Autoev.
¾ De Gestión ¾ El equipo de
¾ Mixta
Ex – post ¾ De efectos Sumativa gestión
¾ De impacto ¾ Otros
¾ De ¾ Combinaciones
satisfacción
Existe correlación entre los primeros tres criterios, dado que según el tiempo,
corresponden distintos objetos o aspectos a evaluar y el alcance también es
correlativo, tal como se explica a continuación.
21
condiciones políticas (en un sentido amplio, de acuerdo de actores involucrados
y de gobernabilidad) e institucionales (normativa y de reglas del juego no
escritas) para impulsar el programa.
Como se podrá observar, todos estos tipos de evaluación están relacionados con
la toma de decisión previa a la iniciación de un programa que responde a la
siguiente pregunta: ¿Existen las condiciones para ponerlo en marcha? Según
cuál sea la respuesta se hará la opción. Por esta razón, con base en el criterio
del alcance se ubica la evaluación ex-ante como evaluación “de decisión”.
22
todos estos aspectos se construyen indicadores que permiten verificar el
cumplimiento de metas a lo largo del proceso.
Se podría decir que el monitoreo ofrece una visión del movimiento del programa,
aunque superficial. Mientras que la evaluación de gestión se detiene a analizar
diferentes funciones de la misma en profundidad. El monitoreo se asocia a una
película y la evaluación de gestión a una fotografía con detalles más rigurosos.
Las funciones que pueden ser abordadas en una evaluación de gestión son
variadas y se eligen según la necesidad: a) organización del programa,
incluyendo la división del trabajo, responsabilidades y jerarquías; b) secuencia de
actividades, relación entre las mismas y ubicación en el tiempo; c) asignaciones
presupuestarias y cronograma de erogaciones; d) organización de recursos; e)
dirección y coordinación; f) comunicación interna y externa; g) reclutamiento,
organización, capacitación e incentivos de recursos humanos; h) el clima de
trabajo; i) los productos y los efectos inmediatos; j) aspectos institucionales; k) la
planificación y el monitoreo mismos.
Por evaluación de efectos se entiende aquélla que indaga sobre los cambios en la
realidad producidos por el programa, es decir, nuevos estados o condiciones en
las personas, en las cosas o en las instituciones que son producto de la
intervención del programa, ya sea que respondan o no a los objetivos planteados.
Algunos programas tienen objetivos o propósitos que se limitan a la construcción
de infraestructura o equipamiento, y en este caso sólo se evalúan sus productos,
pero en general, los efectos son consecuencia de los bienes o servicios prestados
por el programa.
23
La evaluación de impactos busca analizar los cambios producidos por el
programa en un período mayor de tiempo (mediano y largo plazo) conjuntamente
con otros factores intervinientes.
24
La autoevaluación es un tipo especial de evaluación interna, donde quienes la
realizan son los mismos involucrados en la gestión. La evaluación interna no
necesariamente es autoevaluación, puesto que, como se señaló anteriormente,
esta última puede ser responsabilidad de un equipo que sea externo al proceso de
gestión aunque pertenezca a la planta del programa.
Con la evaluación mixta se busca reunir las ventajas de ambos tipos, a través de
la conformación de equipos que reúnen agentes internos y externos. Existen
diferentes grados de asociación (mayor proporción de agentes externos o internos)
dependiendo de la medida en que cada parte coopera en el proceso de evaluación.
En algunos casos se opta por reunir evaluadores externos e internos en número
similar, en otros se opta por un equipo externo que cuenta con apoyos internos, y
en otros se prefiere organizar equipos internos con la inclusión de especialistas
externos. Desde esta última perspectiva, el evaluador externo aparece en la
bibliografía especializada bajo la figura del “agente provocador” o “amigo crítico”,
términos que dejan claramente planteada la idea de una interlocución crítica y
reflexiva que puede potenciar aún más las ventajas de la auto evaluación,
otorgando al agente externo independencia pero posibilidad de estar inmerso en
el proyecto.
Por último, queda por señalar que existen distintos tipos de evaluación según la
perspectivas de los involucrados, sean éstos los beneficiarios, los financiadores, el
poder político y las autoridades, el equipo de gestión, otros o combinaciones de
los mencionados.
25
Es conveniente reiterar el carácter sistémico que debe tener la práctica evaluativa
en dos sentidos: a) concebir a la evaluación (y el monitoreo) como una función de
la gestión que se integra a las demás funciones (planificación, organización,
dirección, presupuestación, etc.); b) articular las distintas evaluaciones (por
ejemplo: evaluaciones ex – ante, monitoreo, evaluaciones de efectos, etc.) en un
todo estructurado, de modo que confluyan diseños, bases de datos, capacidades y
recursos. El montaje de un sistema de información permite garantizar la práctica
de la evaluación como un proceso permanente en una organización o programa.
Criterios de evaluación
26
Eficiencia: se define como la relación entre los productos o resultados esperados
de un programa y los costos de los insumos o procesos de apoyo o
funcionamiento que implica, Debe brindar elementos de juicio para identificar
alternativas de acción que permitan obtener mejores resultados con igual
cantidad de recursos o bien los mismos resultados con una mejor combinación o
utilización de los recursos existentes. La eficiencia tiene relación con la
maximización del impacto del gasto público, el que siempre enfrenta desafíos
asociados al costo de oportunidad de asignar recursos a determinados programas
en relación a otros, en un contexto de variadas y complejas necesidades sociales
no satisfechas. Es importante aclarar que la eficiencia no se logra sencillamente
minimizando costos. La eficiencia obliga a poner un estándar a la minimización
de costos: cumplir el objetivo, a mínimo costo o generar el mayor logro, para un
determinado costo.
27
positivista, y resaltan los valores y las opiniones de la pluralidad de actores
involucrados en el programa a evaluar. Reconoce la diversidad de intereses en
juego, la multiplicidad de perspectivas y promueve activamente la participación
de los diferentes actores en la evaluación. Varias versiones de este enfoque
fueron emergiendo a lo largo del siglo pasado, pero vale la pena puntualizar las
siguientes:
28
El debate metodológico
29
emerge en el proceso. Generalmente, estos métodos se ajustan a las evaluaciones
de programas locales o de aspectos locales de los programas.
Por último, dado que no hay método que no presente problemas, dificultades o
inconvenientes, la tercera ventaja que ofrece la articulación de ambos enfoques es
30
la de posibilitar la triangulación de métodos que permitan disminuir los sesgos
propios a cada uno de ellos. La triangulación puede darse entre distintas
perspectivas teóricas , entre distintas perspectivas metodológicas, entre técnicas
cuantitativas y cualitativas, entre tipos de información disponible
(documentación, informantes de todo tipo, observación) y entre distintos tipos de
informantes
11 Cohen, Ernesto y Franco, Rolando Evaluación de proyectos sociales Buenos Aires, 1988 p. 134
31
La aplicación de este modelo requiere la selección aleatoria de los integrantes de
los dos grupos. Esta exigencia implica que la muestra debe ser sustancialmente
mayor y , por lo mismo más caro. Pero además el modelo ha sido cuestionado por
otras dos razones fundamentales: a) una razón ética: por el hecho de que
experimentar con personas interfiere en la vida personal y social de las mismas;
b) una razón política: este modelo implica excluir a un grupo de personas de los
posibles y eventuales beneficios que genera un programa o política
32
b) Modelo sólo “después” con grupo de comparación: se aplica cuando resulta
imposible seleccionar un grupo de control que cumpla con los pre-requisitos
que establece el modelo experimental. Contrasta los resultados obtenidos en el
grupo del proyecto con los de un “grupo de comparación” que opera como
testigo.
Se cuente o no con un sistema de evaluación, cada vez que hay que “crear” esta
obra de arte que es la evaluación es menester seguir los siguientes pasos:
33
necesidad se instaló en la agenda de la organización impulsora del programa o en
la agenda del medio social en el que se actúa.
• ¿Quiénes son los actores involucrados? En este caso hay que distinguir
los actores directos (tienen injerencia en el “proceso de conversión” de
insumos en productos, ya sea como responsables, agentes intervienientes
en el programa, como proveedores o como beneficiarios) de los actores
indirectos (aquéllos que son concernidos por el programa pero que no
participan en su proceso de conversión). ¿Cuáles son sus intereses, sus
fortalezas, sus debilidades, sus recursos?
34
instituciones, partidos; y son también priorizados en función de las pujas de
poder entre aquéllos), al igual que la definición, selección y jerarquización de
objetivos.
El análisis de actores no sólo nos permitirá conocer qué visión tienen de los
problemas que emergen en el diagnóstico sino que también contribuirá a avizorar
quién estará a favor y quién en contra de un conjunto de decisiones, cómo se
opondrán o apoyarán, cuánto y hasta qué punto estarán dispuestos a hacerlo.
Sinónimos de actores involucrados podrían ser afectados (beneficiados o
perjudicados), interesados, implicados o concernidos.
El siguiente cuadro refleja los principales puntos a tener en cuenta para analizar
los actores sociales involucrados. En primer lugar es conveniente establecer un
patrón de clasificación y agruparlos (públicos, privados, sociedad civil / técnicos,
políticos, administradores/ por regiones / por tipo de institución/ etc.) En la
primera columna enunciamos los grupos que intervienen, luego cuáles son los
intereses de cada uno de ellos, sus fortalezas y debilidades, los recursos que
aportan y, por último, cuales son los potenciales conflictos que pueden ocasionar.
35
requiere la existencia de un equipo operativo que hace sus aportes técnicos, se
retira a organizar el proceso en todas sus instancia, se aísla para preparar los
canales de participación y análisis de la información y luego vuelve al conjunto de
los involucrados.
Por otra parte es necesario considerar la limitación que tiene que ver con los
recursos: dinero, tiempo, si se cuenta con el marco institucional y el marco
político adecuado. En otras palabras, no existe la evaluación ideal, toda
evaluación es diseñada a medida y en función de circunstancias y de un
escenario en la que juegan todos estos factores técnicos y políticos.
36
desarrollar, convocar con antelación a los informantes, ordenar la documentación
y calcular los recursos necesarios. Además, de este modo se podrá también
hacer una recolección de información sobre la situación inicial del programa, a la
cual se le llama línea de base.
37
d) organizarlas según las relaciones causales que existan entre las mismas.
Este encuadre teórico o conceptual no es inmóvil, sino que cambia conforme van
emergiendo evidencias a partir de la intervención. Estas obligan a modificar las
perspectivas desde las que se observa e interpreta la realidad. Por esta razón, se
habla de la necesidad de poner al día el marco teórico, haciendo un análisis
crítico de las suposiciones que dieron sustento a la acción en el pasado.
38
• Descriptiva: Se corroboran los logros, hayan sido planificados o no, cómo así
también los problemas.
Dado que todo programa supone una hipótesis de intervención (“si se llevan a
cabo tales actividades, de las que surgen tales prestaciones, se lograrán tales
objetivos”), en gran parte de las evaluaciones, con la hipótesis de evaluación se
propone corroborar el grado en que se cumplió la hipótesis de intervención.
Luego, al preguntarse “por qué”, pueden aparecer varias razones (causas) o
correlaciones (hechos relacionados sin que se pueda considerar que uno da
origen al otro). Hay hipótesis que tienen relación con la totalidad de las
dimensiones y otras sólo interpretan lo que ocurre en relación a una sola
dimensión.
Indicadores: Signos que permiten percibir los movimientos de las variables. Una
variable es captada o descripta por medio de uno o más indicadores. Siguiendo
los ejemplos anteriores de variables propias de la dimensión educativa, podemos
39
seleccionar la variable “eficiencia interna de los centros educativos”, para la cual
los indicadores podrían ser “tasa de permanencia” (o su opuesta: deserción), “tasa
de promoción” (o su opuesta: repetición) y “tasa de asistencia” (o su opuesta:
inasistencia).
• su pertinencia;
• su precisión y comparabilidad;
• su fiabilidad.
12 Sauvageot, Claude Indicators for educational planning: a practical guide, IIPE- UNESCO,
1997.
40
Un buen indicador debe permitir:
41
factibilidad / viabilidad de los programas, el texto del programa con sus
anexos.
• Información de contexto, o sea del medio en el que se desarrolla el programa.
Se trata de información geográfica, histórica, demográfica, económica, socio -
cultural y educativa. De especial utilidad será la información sobre política y
práctica educativa en el lugar.
• Documentación de trabajo: manuales operativos, instructivos, guías / pautas
de trabajo, registros e informes internos.
• Materiales de difusión, capacitación y diseminación.
• Información periodística.
• Documentación sobre la organización coordinadora y otras organizaciones que
conformen la alianza, que contengan información sobre su historia, objetivos,
actividades, estilos de gestión, organización, etc.
• Investigaciones relacionadas con el programa (sí las hubiera).
42
análisis documental un ejercicio de tipo exploratorio y otro de carácter más
pautado en el que la búsqueda de información es regida por categorías,
preguntas, dimensiones y variables previamente construidas. La
documentación a ser analizada deber ser previamente seleccionada,
distinguiendo documentación principal de aquélla que tiene carácter
complementario. La documentación no está organizada según los fines de la
evaluación sino conforme a otras necesidades (programación, sistematización,
capacitación, difusión, etc.), razón por la cual el análisis documental deber
intentar construir respuestas a los interrogantes de la evaluación atravesando
transversalmente los diversos materiales. Para ello puede resultar pertinente
construir previamente guías o pautas de análisis documental que orienten
“qué preguntar” en relación con estas fuentes. Por eso es importante no
confundir, aún más en este caso, la fuente secundaria con el instrumento con
el que se releva información para la evaluación.
43
¾ Encuesta: Se utiliza cuando se busca información proveniente de un número
elevado de personas y cuando no resulta indispensable tomar contacto directo
con el respondente.
6) Economía de preguntas.
8) Diseño de la muestra.
¾ Grupo focal: También llamado “grupo de discusión”, tiene por objeto encontrar
el sentido de la acción del grupo, las diferencias o matices de opinión,
percepción, valoración e intereses entre sus integrantes como así también las
relaciones entre ellos y sus posiciones relativas.
44
participantes elementos de metodología que son usados en un análisis
concreto.
45
• Probar con anticipación los instrumentos que se van a utilizar y, a partir
de ellos realizar los reajustes pertinentes. Esta prueba supone controlar
tanto la redacción de las consignas (en el caso de instrumentos cerrados) o
la constatación sobre la pertinencia de las categorías que organizan una
guía (por ejemplo, para la observación o para una entrevista
semiestructurada) como los tiempos previstos en cada caso para el
relevamiento de la información.
Matriz de evaluación
¿Qué ocurre?
Preguntas
Dimensiones Variables Indicadores
orientadoras
¿Con qué?
Unidades de análisis
46
De esta manera la matriz debería poder contemplar la siguiente información:
Preguntas Unidades
Dimensiones Variables Indicadores Técnicas Fuentes Instrumentos
orientadoras de análisis
47
trabajar en el sentido inverso: instrumento, fuente, unidad de análisis. Así,
aparecen todas las preguntas o todos los indicadores y se puede definir cuál es el
instrumento que hay que construir para esta técnica, cuál va hacer la fuente de
información, cuál la unidad de análisis a abordar, etc.
Es decir, deberán identificarse todas las veces que se ha hecho mención al mismo
tipo de instrumento para recolectar información de diferentes tipos de unidades
de análisis e indicadores, para construir y aplicar una misma herramienta que
permita obtener todos los datos buscados. Toda vez que se haga referencia a
encuesta, por ejemplo, deberá tabularse, de modo que cuando esa encuesta sea
elaborada recoja todos los indicadores a los cuáles se hizo referencia y recoja
información de todas las unidades de análisis a las cuáles remite.
A través de un
Instrumento
48
técnicas elegidas, utilizando los instrumentos elaborados de modo especial para
este menester. Es decir, a través de las fuentes, técnicas e instrumentos se
obtiene información sobre diferentes aspectos de la realidad (dimensiones,
variables e indicadores) con el fin de vincularlos con las hipótesis y el marco
teórico referencial.
Programación de actividades
49
• Vías de comunicación con los proveedores de información.
50
encontrarse en le trabajo de campo, los tiempos de duración del mismo y definir
claramente quiénes serán sus unidades de análisis y recolección.
Por otra parte, es importante que cuando el equipo de campo esté realizando sus
tareas de recolección, pueda contactarse con miembros del equipo evaluador en
caso que le surgiera alguna duda o inconveniente.
También es importante que si el trabajo de campo fue diseñado con una amplia
duración en el tiempo, existan entregas intermedias del material recogido. De esta
manera, a través de la edición de ese material, se puede sugerir al equipo de
campo que realice ciertas modificaciones en las próximas salidas a campo, que
enfatice ciertos aspectos, o que continúen en la línea en que venía
desarrollándose. Estas entregas intermedias, además, aceleran los tiempos de
procesamiento, puesto que pueden realizarse cargas parciales aún no habiendo
finalizado todo el trabajo de campo.
Además es necesario que cada uno de los instrumentos aplicados pueda ser
identificado con la persona que lo aplicó. De esta manera, cuando, durante las
etapas de edición y codificación, surgieran dudas, pueda contactarse fácilmente a
la persona y evacuar las dudas.
51
asegurarse la confiabilidad del proceso de recolección de información y la
verificación de una muestra representativa de los datos recogidos.
Procesamiento de la información
Fuente técnica 1
Variable 1
Fuente técnica 2
Fuente técnica 3
Fuente técnica 1
Variable 2
Fuente técnica 3
Fuente técnica 5
Variable
Fuente técnica 2
52
El camino inverso es el que va de las fuentes / técnicas a las variables,
indicadores y unidades de análisis. Las variables son las unidades más
pertinentes en este análisis. Es así que en esta etapa se organiza la información
que se obtiene de las fuentes técnicas según las variables, agrupando toda
referencia a la variable en un mismo lugar físico y electrónico. También existe
información proveniente de las fuentes que no corresponde a ninguna variable.
Esta información debe ser agrupada por separado, ya que es información “extra”
o “residual” pero puede llegar a ser muy relevante a la evaluación.
53
5.4 Análisis de la información
54
En general el análisis de los datos obtenidos tras una evaluación culminan con
algún tipo de recomendación o sugerencia, de modo de reafirmar el carácter de
aprendizaje que la evaluación implica. Estas recomendaciones pueden versar en
trono a la modificación de algún aspecto, a la permanencia, a la posibilidad de
replicabilidad o a las particularidades del proyecto.
En cuanto a la diseminación, es una condición para que otros que estén llevando
a cabo experiencias parecidas o estén interesados en seguir caminos similares
puedan apropiarse del conocimiento producido. No se trata de replicar
experiencias mecánicamente, sino de transferir capacidades para la
transformación, especialmente la de aprender a innovar. De allí la importancia
de acercar los resultados de las evaluaciones a congresos, seminarios, ámbitos
académicos, medios de comunicación, ámbitos de decisión política, agencias de
cooperación, sindicatos, fundaciones empresariales, organizaciones no
gubernamentales, redes, etc.
Entre las recomendaciones de las evaluaciones figuran aquéllas que tienen que
ver con el programa mismo (continuar, suspender, modificar, ampliar el respaldo,
55
generar mayor participación de los involucrados, etc.), con decisiones de política,
con necesidades de llevar a cabo nuevas experiencias o de profundizar el
conocimiento a través de ciertas líneas de investigación.
56
o Cuando el informe está destinado a responsables políticos, conviene
iniciarlo por las conclusiones y recomendaciones, seguido de los
resultados
o La propuesta debe ser práctica, fácilmente utilizable, con
correcciones o modificaciones realizables (no se trata de proponer lo
óptimo sino lo posible).
o Datos necesarios: no hay que confundir a la audiencia con datos
interesantes pero no necesariamente vitales.
o Utilizar recursos gráficos y visuales
6. CONCLUSIONES
57
normativo— y lo que se ha realizado, poniendo a prueba de este modo la
estrategia implementada y los pasos operativos. La evaluación es, a la vez que
ordenador de la intervención, instancia de apertura y de reconexión con el futuro.
Este ejercicio de combinación entre análisis y síntesis contribuye a desarrollar
valiosas capacidades en los equipos de los proyectos.
58
apropiarse de sus frutos y poder colaborar sin menoscabo de las tareas
habituales que tienen a su cargo en los programas.
Por último, la evaluación es una actividad que requiere pasión. En primer lugar
por las actividades que los programas desarrollan, por los beneficios que se
proponen brindar a la población, y en segundo lugar por la verdad, por el
esclarecimiento de situaciones que requieren ser iluminadas.
59
BIBLIOGRAFIA SUGERIDA PARA SU LECTURA
60
• The UK Evaluation Society
• The Brazilian Evaluation Network
• French Evaluation Society (Societé Française de l’Évaluation)
• German Evaluation Society
• International Development Evaluation Association (IDEAS)
• UN Evaluation Forum
• UNESCO Bureau of Programming and Evaluation
• www.unicef.org/reseval
• International Association for the Evaluation of Educational Achievement
• United Nations Inter Agency Working Group on Evaluation
• IADB – Inter-American Development Bank Office of Evaluation and Oversight
• World Bank Group's Evaluation Monitoring and Quality Enhancement
• IDRC – International Development Research Centre
• INTEVAL – International Evaluation Research Group
• MEASURE Evaluation
• Resources for Methods in Evaluation and Social Research
61