METODOLOGA PARA LA EVALUACIN DE

PROGRAMAS DE INTERVENCIN SOCIAL

387
Sonia Tirado Gonzlez
Universidad Miguel Hernndez de Elche
RESUMEN
En un sentido amplio, evaluar consiste en el examen riguroso y sistemtico,
a partir de criterios especficos, de los logros obtenidos por una poltica o progra-
ma social en relacin a las metas que se ha propuesto y a los objetivos esperados
en los grupos sociales beneficiarios (Jacinto y Gallart, 1998). El nfasis est puesto
en la efectividad, recurrindose a mecanismos que permitan establecer relaciones
de causalidad entre las acciones del programa y los resultados, es decir, determi-
nar los efectos estrictamente imputables o atribuibles al programa. Para ello, se
recurre a mtodos experimentales, cuasi-experimentales y/o a herramientas estads-
ticas como modelos causales lineales. En este texto se presenta de forma muy
sucinta los conceptos bsicos en metodologa para la evaluacin de programas que
se desarrollarn en el mdulo correspondiente, con el objetivo de que el asistente
sea capaz de discernir la problemtica subyacente a la evaluacin de un programa
de intervencin social, adquiera los conocimientos bsicos sobre diseo y evalua-
cin de programas y conozca los instrumentos metodolgicos necesarios para
poder llevar a cabo la evaluacin con garantas de rigor.
INTRODUCCIN
La Evaluacin de Programas se est configurando desde hace varias dcadas
como un campo profesional y acadmico de primer orden y de clara utilidad prc-
tica, reconocindose la necesidad de valorar las intervenciones con el fin no slo
de conocer mejor la propia accin, sino tambin para mejorar los programas y las
polticas, rendir cuentas sobre los mismos y dar luz sobre acciones futuras.
El considerable volumen econmico que impulsan los programas de accin
ha convertido a la Evaluacin de Programas en un componente de total relevancia
dentro del ciclo de intervencin social. Se han trasladado los conocimientos adqui-
ridos en el laboratorio al mbito social, implementndolos en la prctica con rigor
metodolgico y comprobndose la validez ecolgica de tales hallazgos.
La evaluacin trata de contribuir a la resolucin de problemas sociales, sin-
tetizando los logros de programas anteriores, ofreciendo retroalimentacin para
mejorar las operaciones del programa y probando ideas para nuevos programas o
nuevos aspectos que puedan ser aadidos a los programas ya existentes. La evalua-
cin es claramente multisectorial y multidisciplinar, aunque se refiere principal-
mente a programas de bienestar social.
Un programa se halla formado por un conjunto heterogneo de acciones, a
vec-es con una estructura difusa, cuyo objetivo es el de resolver algn problema
que in-cumbe a los sujetos (usuarios o beneficiarios) y, una vez fijadas las necesi-
dades a cubrir mediante un anlisis de necesidades, la evaluacin de programas
consiste en una aplicacin de procedimientos de investigacin social para el enjui-
ciamiento o anlisis sobre el mrito, valor o eficacia de acciones humanas concre-
tas implantadas en la realidad social . La evaluacin de programas implica una
cadena de toma de decisiones que se inicia con el inters por los objetivos estable-
cidos basndose en las necesidades detectadas y evaluadas de acuerdo con algu-
no de los modelos existentes al efecto y se concreta con la supuesta relevancia del
impacto esperado de las actividades programadas, de forma que se produzca un
cambio efectivo en la direccin deseada con el mnimo coste posible (Fernndez-
Ballesteros, 1995).
Entre los nfasis ms recientes se destaca que en el diseo de los proyectos
se tenga en cuenta su evaluabilidad posterior y se desarrollan metodologas espe-
cficas con este fin. Se resalta tambin la conveniencia de adoptar enfoques meto-
dolgicos multidimensionales, que tengan en cuenta todos los datos disponibles y
el conocimiento, las perspectivas y los valores de todos los involucrados (Jacinto y
Gallart, 1998).
388
La Evaluacin de Programas se encuentra en pleno proceso de expansin, lo
cual queda demostrado por el hecho de su veloz crecimiento e inters despertado,
como se puede comprobar en la gran cantidad de publicaciones e incluso mono-
grafas peridicas, la organizacin de congresos de mbito nacional e internacio-
nal, la imparticin de programas de doctorado especficos, la constitucin de
sociedades (Sociedad Espaola de Evaluacin Psicolgica, Evaluation Research
Society, Evaluation Network, American Evaluation Society, etc.) y puesta en marcha
de proyectos de gran envergadura respaldados por instituciones pblicas y privadas
de los pases ms desarrollados (Anguera, 1989).
Aunque este campo se ha desarrollado ms en otros pases, en la actualidad
y de forma creciente se reconoce su necesidad y su utilidad, y se est demandan-
do actividad especializada en la mayora de los sectores (Bustelo, 2002). Sin
embargo, como en todo mbito incipiente, todava existe una falta de profesiona-
les, equipos y unidades tcnicas especializadas.
La evaluacin es el proceso de determinar si los programas o ciertos aspec-
tos de los programas son apropiados, adecuados, efectivos y eficientes y, si no,
cmo hacerlos as. Adems, la evaluacin muestra si los programas tienen benefi-
cios inesperados o si crean problemas inesperados.
Y la evaluacin es mucho ms fcil de lo que se cree. Como en muchas tare-
as, la clave del xito es la preparacin. Los logros de un programa y la facilidad
con la que se pueden evaluar dependen directamente del esfuerzo puesto en el
diseo y puesta en marcha del programa.
Mientras se disea el programa tambin se planifica cmo se evaluar su
xito. As, se incluyen los siguientes componentes en el diseo de un programa:
- Un plan para realizar una prueba piloto de todos los procedimientos,
activid-ades y materiales (Evaluacin formativa).
- Un mtodo para determinar si el programa est funcionando como debe-
ra y si est llegando a toda la gente que estaba planificado que llegara
(Evaluacin del proceso).
389
- Un sistema para reunir los datos que se necesitarn para evaluar los
resultados finales del programa (Evaluacin del Impacto y Evaluacin
de resultados).
COMPONENTES DE LA EVALUACIN
Toda evaluacin debe contener ciertos componentes bsicos (Thompson y
McC-lintock, 2000):
1. Un objetivo claro y definido, concretado en una frase que defina clara
y esp-ecficamente el propsito de la evaluacin. Sin tal frase, los evalua-
dores estn desenfocados y no saben qu medir.
2. Una descripcin de la poblacin diana y, si es posible, el grupo de
comparacin (grupo control), siendo tan especfico como sea posible. La
poblacin diana variar dependiendo del objetivo de la evaluacin.
3. Una descripcin de qu va a ser evaluado, incluyendo el tipo de infor-
macin que debe recogerse y cmo esa informacin se relaciona con los
objetivos del programa.
4. Mtodos especficos, apropiados para cubrir el objetivo de la evalua-
cin y q-ue producirn el tipo de informacin que se busca.
5. Instrumentos para recoger los datos, que deben ser diseados y/o pro-
bados.
6. Informacin bruta de los componentes de la poblacin diana, es decir,
informacin que se recoge segn avanza el programa.
7. Informacin procesada, de forma que se haga posible su anlisis.
Normalmente, esto significa introducir la informacin en una base de
datos que permite al evaluador realizar clculos estadsticos.
8. Anlisis de la informacin cualitativa o cuantitativa.
9. Informe de evaluacin, que incluya los resultados de los anlisis y la
significacin y relevancia de los mismos.
390
TIPOS DE EVALUACIN
Idealmente, la evaluacin es un proceso continuo que comienza tan pronto
como se concibe la idea del programa, se entreteje con las actividades a lo largo
de la vida del programa y termina despus de que el programa finaliza. Algunas
veces la evaluacin contina durante aos tras acabar el programa para ver si sus
efectos se mantienen a lo largo del tiempo. Mediante la evaluacin de cada paso,
los programas pueden afrontar y solucionar los problemas de forma temprana, lo
que no slo ahorra tiempo y dinero sino que hace el xito ms probable..
La evaluacin incluye cuatro fases que se inician en este orden: formativa, de
pr-oceso, de impacto y de resultado. La planificacin de cada fase comienza mien-
tras se desarrolla un programa, y ninguna fase est totalmente completada hasta
que el programa ha finalizado.
- Evaluacin formativa:
Est indicada cuando se proponen programas, intervenciones o procedimien-
tos nuevos, o bien elementos nuevos en programas ya existentes. La evaluacin for-
mativa en las fases de diseo y pre-implementacin de un proyecto hace nfasis en
la evaluacin de necesidades, estando diseada para ayudar a identificar necesida-
des o desajustes en el servicio que el programa debera cubrir o para dar respues-
ta a otras cuestiones que necesitan ser contestadas (por ejemplo, cul es la mane-
ra ms eficiente de seleccionar a los participantes, qu tipo de actividades son pre-
feribles o con qu procedimientos medimos las preferencias de los clientes)
As, la evaluacin formativa se realiza para recoger datos que nos dan info-
rmacin acerca de la intervencin que se est realizando, no tanto informa-cin
sobre el proceso, sino ms bien acerca de cmo reaccionan los sujetos a la inter-
vencin.
Por tanto, la evaluacin formativa es una manera de asegurar que los planes,
procedimientos, actividades, materiales y modificaciones del programa funciona-
rn como estaba planeado. Comienza tan pronto como se concibe la idea del pro-
grama.
391
- Evaluacin del proceso:
Segn se desarrolla un programa surge la necesidad de evaluar cmo est
yendo su puesta en marcha para, si es necesario, hacer correcciones. En estas fases
debemos dar respuesta a muchas cuestiones de evaluacin que tienen que ver con
la supervisin del programa y la evaluacin de las actividades relacionadas.
Contestar a estas preguntas concierne a la evaluacin del proceso. La evaluacin
del proceso implica documentar el funcionamiento real del programa, medir la
exposicin y difusin de las intervenciones e identificar las barreras a la implemen-
tacin. Incluye la identificacin de la poblacin diana, una descripcin de los ser-
vicios prestados, el uso de recursos, y las competencias y experiencias del perso-
nal que participa en el programa.
La evaluacin del proceso comienza tan pronto como el programa entre en
funcionamiento. En esta fase no se buscan resultados.
- Evaluacin del Impacto:
El propsito de la evaluacin del impacto es medir cualquier cambio que
produzca el programa en el conocimiento, actitudes, creencias o conductas de la
poblacin diana. La informacin de lnea base para la evaluacin del impacto debe
recogerse inmediatamente antes o justo cuando el programa entre en funciona-
miento. La evaluacin del impacto nos da los resultados intermedios del programa.
- Evaluacin de resultados:
Cuando la evaluacin del proceso muestra que el programa ha sido imple-
mentado adecuadamente, debemos medir la efectividad del mismo. Los resultados
de la evaluacin deben ser: (1) objetivos, es decir, que puedan ser observables; (2)
medibles de manera vlida y fiable; (3) atribuibles a la intervencin; y (4) sensibles
al grado de cambio esperado por la intervencin.
Podemos medir muchos tipos de resultados: biolgicos, conductuales, cogni-
tivos, econmicos, de estado de salud (cambios en la mortalidad y morbilidad), etc.
392
En algunos casos puede ser relevante considerar resultados que no son medibles
directamente (por ejemplo, algunas secuelas que aparecen aos despus de haber
consumido una sustancia).
FASES DE LA EVALUACIN
Tal como refleja el manual de evaluacin de la Fundacin W. K. Kellogg
(1999), al revisar la literatura existente sobre evaluacin aparecen claras tres cosas.
Primero, que el proceso de evaluacin es diferente para cada comunidad y para
cada proyecto, de manera que no hay una nica forma correcta de realizar una
evaluacin.
La segunda es que hay ciertos pasos a seguir que todo proyecto debe consi-
derar para asegurar que se desarrollen e implementen estrategias de evaluacin efi-
caces que conduzcan a mejoras reales.
La tercera es la continuidad del proceso de planificacin. Aunque existe cier-
to or-den en cuanto a los pasos iniciales para encarar un proyecto, por naturaleza
stos son evolutivos y a lo largo del desarrollo del proyecto entrarn en juego dife-
rentes aspectos de cada paso y se implementarn distintas estrategias de evalua-
cin.
1. PLANIFICACIN DE LA EVALUACIN
Fase 1: Identificacin de las partes interesadas y formacin del equipo ev-aluador
La evaluacin puede ser planificada y ejecutada por un evaluador, quien a-
cta como experto o en representacin de una agencia evaluadora, como ocurre
en el caso de las evaluaciones externas.
La evaluacin se puede, tambin, realizar por un equipo evaluador. En el ca-
so de las evaluaciones internas, el equipo puede estar formado por personas vin-
culadas al programa o a la organizacin gestora del programa. Pueden existir gru-
393
pos de evaluacin que obran como agentes externos y tambin pueden darse gru-
pos con una formacin mixta que incluya personal interno y personal externo.
El equipo de evaluacin puede formular el proyecto de evaluacin, formular-
lo y ejecutarlo o slo ejecutarlo. La tendencia actual es que la evaluacin sea una
tarea colectiva, ms que individual, yendo ms all al plantear modelos ms parti-
cipativos de la evaluacin, sugiriendo que los diferentes actores del programa par-
ticipen en su evaluacin.
Fase 2: Desarrollo de las preguntas de evaluacin
- Qu objetivos se propone el proyecto?
- Cmo se determinar si se logran los objetivos?
- Qu actividades se realizarn para lograr esos objetivos?
- Qu factores pueden afectar, tanto negativa como positivamente, su c-apa-
cidad para lograr los objetivos?
- Qu datos necesita compartir con quienes estn interesados en su proyec-
to?
Fase 3: Determinacin del presupuesto de la evaluacin
Para llevar a cabo una evaluacin se necesita una gran inversin de recur-sos.
Los resultados logrados a travs de una evaluacin bien planeada y cuida-dosa-
mente llevada a cabo ciertamente justifican los costos, que pueden repre-sentar
entre el 5 y el 7 por ciento del presupuesto total del proyecto. Worthen a-nd
Sanders (1987) indican que el presupuesto debe incluir el salario y prestaciones del
personal de la evaluacin, los asesores, las dietas y desplazamientos, los gastos de
correo y telfono, los gastos fungibles y los inventariables.
394
Fase 4: Seleccin del evaluador
El primer paso en cualquier evaluacin es decidir quin la har. A la hora de
elegir evaluador/es hay que considerar una serie de factores importantes como la
experiencia profesional, la especializacin en mtodos cuantitativos o cualtitativos
o la motivacin.
2. DISEO DE LA EVALUACIN
El diseo de una evaluacin comprende la determinacin de las unidades de
observacin, las unidades de anlisis, los instrumentos de recoleccin de informa-
cin, definicin del tipo de evaluacin, el diseo y el procesamiento e interpreta-
cin de la informacin.
Fase 5: Determinacin de los mtodos de recoleccin de datos
Las unidades de observacin son las variables que deben ser medidas, co-
ntenidas en los objetivos o preguntas de evaluacin. Sin embargo, para medir una
variable es necesario traducirla a indicadores. La construccin de indicadores es,
tal vez, una de las tareas ms complejas de la evaluacin.
Las unidades de anlisis tambin son denominadas fuentes de informacin.
Una vez definidos los indicadores, nos preguntamos quines (individuos, familias,
grupos, comunidades, etc.) o qu objetos (documentos, artefactos, situaciones,
etc.) contienen esos indicadores. Hablamos, entonces, de las fuentes de informa-
cin, que pueden ser objetos o sujetos.
La eleccin de las fuentes est condicionada por las unidades de observacin
(lo que se quiere medir), por la naturaleza del programa objeto de evaluacin, por
los objetivos de evaluacin, por los recursos humanos, tcnicos y financieros dis-
ponibles, por la posibilidad de acceder a las fuentes y por la disponibilidad de
tiempo.
395
Para capturar o recoger informacin sobre los indicadores que estn prese-
ntes en unas fuentes debemos recurrir a diferentes mtodos e instrumentos de
medicin o recoleccin de informacin.
En este momento del proceso, deben elaborarse los instrumentos enunciados
en el proyecto de evaluacin: cuestionarios, guas de observacin o entrevista, test,
guas para historias de vida, guas para entrevistas en profundidad o para grupos
focales.
Siempre que se utilizan instrumentos de recoleccin de informacin es con-
veniente hacer pruebas piloto para probar su consistencia, fiabilidad y validez. La
realizacin de pruebas piloto sirve para revisar los contenidos y la forma de los ins-
trumentos. As, se puede comprobar si estn comprendidos todos los indicadores,
si el orden es el ms indicado, si son claras y precisas las preguntas, cmo es la
reaccin de los sujetos frente a cierto tipo de preguntas, si la forma de presentacin
en el caso de instrumentos autoadministrados es la ms conveniente, etc.
La evaluacin utiliza los instrumentos propios de la investigacin social, bien
sean de naturaleza cuantitativa, como los cuestionarios, o de naturaleza cualitati-
va, como las entrevistas en profundidad. La eleccin de los instrumentos depende
de la naturaleza de lo que se quiere evaluar, el tipo de indicadores, las fuentes de
informacin, los recursos humanos y econmicos disponibles, el tiempo de ejecu-
cin de la evaluacin, el diseo elegido y la perspectiva conceptual y metodolgi-
ca del evaluador o del equipo de evaluacin.
Debido a que los mtodos cualitativos son abiertos, son especialmente valio-
sos en la fase de evaluacin formativa, cuando se estn realizando pruebas piloto
de los procedimientos, actividades y materiales. Ellos permiten al evaluador un
alcance ilimitado para probar sentimientos, creencias e impresiones de la gente
que participa en la evaluacin y hacerlo sin prejuzgar a los participantes con la
opiniones del evaluador.
Los mtodos cualitativos tambin son tiles para probar diseos, procedi-
mientos y materiales cuando surge un problema mientras se usan. Usando estos
mtodos, los evaluadores pueden determinar la causa de cualquier problema y
corregirlo antes de que el dao sea mayor.
396
Los mtodos cualitativos ms utilizados son las entrevistas personales, los
grupos focales y la observacin participante.
Los mtodos cuantitativos nos ayudan a recoger informacin que est exp-
resada en nmeros. Se utilizan durante la evaluacin del proceso, del impacto y de
resultado y a veces se utilizan tambin en la evaluacin formativa.
A diferencia de los resultados producidos por los mtodos cualitativos, los
producidos por los cuantitativos se pueden utilizar para establecer conclusiones
sobre la poblacin diana. Entre los diferentes mtodos cuantitativos, se utilizan nor-
malmente en evaluacin los siguientes: sistemas de recuento, encuestas, cuestiona-
rios y diseos experimentales y cuasi-experimentales.
En este sentido, el cmo funciona un programa est influido por cmo se pla-
nifica su evaluacin. Utilizando diseos experimentales o cuasi-experimentales la
evaluacin del impacto y de los resultados ser algo sencillo ya que, en efecto,
estaremos aplicando y evaluando el programa al mismo tiempo.
Podemos clasificar los diseos dentro de una sencilla clasificacin de tres
grupos preguntando algunas cuestiones clave:
Primero: Utiliza el diseo la asignacin aleatoria de los sujetos? Si se utiliza
la asignacin al azar, podemos llamar al diseo Experimento aleatorio,
Experimento Verdadero o Diseo Experimental. Si no se utiliza la asignacin ale-
atoria, entonces tenemos que hacernos una segunda pregunta: Incluye el diseo
varios grupos o medidas?
Si la respuesta es s, deberamos llamarlo Diseo cuasi-experimental. Si es
no, podemos llamarlo diseo no experimental.
Esta clasificacin es especialmente til para describir los diseos con respec-
to a la validez interna. Un experimento aleatorizado generalmente es el ms fuer-
te de los tres cuando nos interesa establecer una relacin causa-efecto. Un diseo
no experimental es generalmente el ms dbil a este respecto.
397
Esto no quiere decir que el diseo no experimental sea el ms dbil de los
tres diseos en general, sino slo en lo que respecta a la validez interna. De hecho,
la forma ms simple de diseo no experimental es el diseo de una sola medida,
que consiste en una nica observacin. sta es posiblemente una de las formas ms
comunes de investigacin y, para algunas investigaciones (especialmente para las
descriptivas) es claramente un diseo fuerte. Cuando decimos que los diseos no
experimentales son los ms dbiles respecto a la validez interna nos referimos a
que no son mtodos particularmente buenos para evaluar la relacin causa-efecto
que suponemos que existe entre un programa y sus resultados.
Como vemos, la evaluacin toma prestados de la investigacin social los
diferentes diseos disponibles y que han sido probados en el estudio de la realidad
social. Algunos de estos diseos, inclusive, no son exclusivos de las ciencias socia-
les, tambin son aplicados en las ciencias naturales, como es el caso de los dise-
os experimentales.
Por tanto, se debe determinar si el diseo de la evaluacin ser no experim-
ental o experimental. Los diseos de evaluacin estn asociados a los enfoques de
evaluacin: de corte cuantitativo o de corte cualitativo y a los modelos de evalua-
cin existentes.
El principal propsito del evaluador que utiliza el experimento como mode-
lo de investigacin es generar informacin que sea exacta, confiable y, sobre todo,
que sea vlida. Efectivamente, podemos decir sin temor a equivocarnos que a la
hora de planificar un programa las dos principales pretensiones del evaluador tie-
nen que ver, por un lado, con la comprobacin de la posible influencia del progra-
ma sobre la conducta de los sujetos y, por otro, con la generalizacin de los posi-
bles efectos de su intervencin a otros organismos, tratamientos y ambientes.
Sin embargo, hay acontecimientos externos al programa que pueden produ-
cir cambios en el conocimiento, creencias y conductas de los miembros de la
poblacin diana, haciendo as que el programa parezca ms (o menos) efectivo de
lo que es en realidad. Esos acontecimientos son lo que se denomina amenazas a la
validez del estudio. Los diseos experimentales minimizan los efectos de las
influencias externas en los resultados del programa; los diseos cuasi-experimen-
tales reducen esos efectos.
398
Fase 6: Recogida de datos
Es el momento para aplicar los instrumentos de medicin a las unidades de
anlisis o fuentes de informacin. En esta fase es donde entra en juego el muestreo.
Hay diversos tipos de muestreo y, aunque unos son ms aconsejables que otros, a
veces tenemos que limitarnos a utilizar nicamente el que podemos. Bsicamente,
se distinguen dos tipos de muestreo:
- Muestreo probabilstico: aqul en el que puede calcularse de antemano
la probabilidad de obtener cada una de las muestras que sea posible
seleccionar; para esto es necesario que la seleccin de la muestra pueda
considerarse como un experimento aleatorio. ste es el nico tipo de
muestreo que es capaz de darnos el riesgo que cometemos con la inferen-
cia.
- Muestreo no probabilstico: es todo mtodo de seleccin que opera de
forma intencional, es decir, la persona que selecciona la muestra procura
que sta sea representativa, por lo que esta representatividad depende de
la opinin de esa persona; tambin se incluyen aqu los mtodos de mues-
treo circunstanciales o errticos, en los que se selecciona la muestra de
cualquier manera, por razones de comodidad o capricho.
Slo el primero, ya que se basa en la Teora de la Probabilidad, nos puede
dar la probabilidad de error que cometemos, es decir, en qu grado la muestra es
representativa de la poblacin; con el otro es imposible conocer el error.
Fase 7: Anlisis e interpretacin de datos
El procesamiento y anlisis de los resultados implica la depuracin de la
informacin (cuando se han administrado instrumentos de recoleccin de informa-
cin estandarizados), la organizacin de la informacin, el procesamiento de
datos, la representacin de datos y el anlisis estadstico y lgico de los resultados.
La evaluacin comparte con la investigacin social los mismos procedimie-
ntos para el procesamiento e interpretacin de la informacin. Hoy estn dispo-
399
nibles paquetes estadsticos de procesamiento de informacin para datos cuantita-
tivos y cualitativos. Si bien el uso del ordenador facilita y garantiza rapidez y alta
calidad en el procesamiento de la informacin, la intervencin de los evaluadores
es fundamental.
Desde la elaboracin de los instrumentos, se debe tener muy claro cul es el
programa que se va a utilizar con el objeto de adecuar el sistema de codificacin
a los requerimientos del programa o paquete estadstico elegido, si es del caso.
Una vez procesada la informacin y teniendo los datos representados en ta-
blas o grficos, se hace una lectura e interpretacin de ellos. En esta etapa la for-
macin terica del evaluador, su capacidad interpretativa y el marco referencial
son claves para lograr que los datos adquieran su verdadero valor.
El anlisis debe ser lgico y estadstico. El anlisis estadstico va a depender
de la naturaleza de los datos producidos por la evaluacin. El anlisis lgico o de
contenido parte del marco referencial y conceptual del programa evaluado. Debe
recordarse que los datos tienen sentido en la medida en que se hagan hablar desde
una interpretacin comprensiva.
3. COMUNICACIN DE HALLAZGOS Y UTILIZACIN DE RESULTADOS
Fase 8: Comunicacin de hallazgos e interpretaciones
La evaluacin es una investigacin aplicada que debe producir conclusiones
a manera de hallazgos conceptuales y metodolgicos referidos al programa, pero
adems debe ofrecer alternativas de accin a manera de acciones mejoradoras para
el programa. Los evaluadores deben tener, por lo tanto, habilidades administrativas,
conocimientos sobre planificacin y gerencia para proponer recomendaciones que
mejoren el programa.
El informe de evaluacin debe dar cuenta no solo de los resultados finales de
la evaluacin, sino que debe recoger adems el proceso que va desde la fo-rmula-
cin del proyecto de evaluacin, su implementacin y ejecucin.
400
No basta con la escritura de los informes de evaluacin, tambin se requie-
re tener estrategias para la diseminacin o entrega de los resultados a los diferen-
tes pblicos o usuarios de la informacin evaluativa.
Para la presentacin de los informes pueden utilizarse formatos escritos o
visuales, segn los destinatarios de la informacin. Los formatos ms comunes son:
el informe tcnico, el resumen ejecutivo, el reporte profesional, el artculo para
publicacin, una conferencia de prensa, un reporte para un medio de comunica-
cin, una reunin pblica, un taller, afiches, plegables, memos, audiovisuales, etc.
Los resultados correspondientes a una evaluacin podrn presentarse simul-
tneamente de diversas maneras, de acuerdo con los criterios definidos a continua-
cin: La naturaleza del programa que se est evaluando, Los contratantes de la eva-
luacin, Los usuarios de la evaluacin, o sea los responsables de la utilizacin de
los resultados. El nivel de comprensin de los destinatarios, Las condiciones de
tiempo y espacio en las cuales se presentar el estudio, Los recursos con que se
cuenta en el presupuesto para invertir en el informe.
Fase 9: Utilizacin del proceso y de los resultados de la evaluacin
Por ltimo, los usos especficos de la informacin obtenida tras finalizar el
programa variarn dependiendo del propsito de su evaluacin y de las preguntas
que se estudian. Estos usos pueden orientarse a la mejora del programa, apoyando
las decisiones y acciones que se tomen con esa finalidad, identificar fortalezas y
debilidades del programa, evaluacin de la efectividad del programa, o descubrir
nuevos conocimientos para lograr un programa ms efectivo.
401
BIBLIOGRAFA
Aguilar, M. J. y Ander-Egg, E. (1992). Evaluacin de servicios y programas so-
ciales. Madrid: Siglo XXI.
Alvira, F. (1991). Metodologa de la evaluacin de programas. Madrid:
Centro de Investigaciones Sociolgicas.
Anguera, M. T. (1989). Innovaciones en la metodologa de evaluacin de
progr-amas. Anales de Psicologa, 5, 13-42.
Ato, M., Quiones, E. y Romero, A. (1989). Evaluacin de programas: aspec-
tos bsicos. Anales de Psicologa, 5, 1-12.
Ballart, X. (1992): Cmo evaluar programas y servicios pblicos? Madrid:
Mi-nisterio para las Administraciones Pblicas
Bouffard, J. A., Taxman, F. S. y Silverman, R. (2003). Improving process evalu-
ations of correctional programs by using a comprehensive evaluation methodology.
Evaluation and Program Planning, 26, 149 -161.
Campbell, D. y Stanley, J. (1973): Diseos experimentales y cuasiexperiment-
ales en la investigacin social Buenos Aires: Amorrortu (Ed. original: 1966)
Chacn, S.,Lpez, J. y Prez, J. A. (1992). Metodologa de la evaluacin de
pr-ogramas en servicios sociales. Apuntes de Psicologa, 36, 77-89.
Cohen, E. y Franco, R. (1988). Evaluacin de Proyectos Sociales. Buenos
Aire-s: Grupo Editor Latinoamericano.
Cols, P. y Rebollo, M. A. (1997): Evaluacin de programas. Una gua prcti-
ca. Sevilla. Kronos.
402
CONSAD Research Corporation (1991). EAP Handbook. Consultado en http-
://www.consad.com/eap/eap_toc.htm.
Cook, T.D. y Reichardt, C. S (Eds.): Mtodos cuantitativos y cualitativos
Madrid: Morata (Ed. original, 1982)
Correa, S., Puerta, A. y Restrepo, B. (1996). Investigacin evaluativa. En Insti-
tuto Colombiano para el Fomento, Especializacin en teora, mtodos y tcni-cas
de investigacin social. Descargado de http://www.icfes.gov.co/cont/ s-
_fom/pub/libros/ser_inv_soc/modulo6.pdf.
Fernndez, J. R. y Secades, R. (1999). La evaluacin de programas de trata-
miento para drogodependientes en Espaa. Psicothema, 11, 279-291.
Fernndez, S. (2000). La efectividad de los programas sociales. Enfoques y t-
cnicas de la Evaluacin de Procesos. Revista de Psicologa del Trabajo y de las
Organizaciones, 16, 259-276.
Fernndez-Ballesteros, R. (Coord.) (1994). Evaluacin conductual hoy. Un
enf-oque para el cambio en psicologa clnica y de la salud. Madrid: Pirmide.
Fernndez-Ballesteros, R. (Dir.) (1992). Introduccin a la Evaluacin
Psicolgica (vol. I y II). Madrid: Pirmide.
Fernndez-Ballesteros, R. (Ed.) (1995). Evaluacin de programas: una gua
prctica en mbitos sociales, educativos y de la salud. Madrid: Sntesis.
Fundacin W.K. Kellogg (1999). Manual de Evaluacin. Descargado de http-
://www.wkkf.org/Pubs/Tools/Evaluation/SpnEvHbook_00447_03672.pdf.
Garca del Castillo, J. A., Lpez, C., Fernndez, I. y Catal, L. (2003).
Evaluaci-n del programa de prevencin de drogas "Barbacana". Salud y drogas, 3,
33-55.
403
Garca Ferrando, M., Ibaez, J. Y Alvira, F. (Comp) (1996). El anlisis de la
rea-lidad Social: Mtodos y tcnicas de investigacin. Madrid: Alianza (Segunda E-
dicin revisada).
Jacinto, C. y Gallart, M. A. (1998). La evaluacin de programas de capacita-
cin de jvenes desfavorecidos: una ilustracin con programas para jvenes dese-
mpleados en los pases del Cono Sur. Documento de Trabajo, Serie Estrategias de
educacin y de formacin para los grupos desfavorecidos. Pars: UNESCO.
King, J. A., Stevahn, L., Ghere, G. y Minnema, J. (2001). Toward a taxonomy
of essential evaluator competencies. American Journal of Evaluation, 22, 229-247.
Monreal, J. (1989). Las variables socioeconmicas como contexto metodol-
gico en la evaluacin de programas. Anales de Psicologa, 5, 43-51.
Moreno, M. P.(1999). Intervencin psicosocial con personas drogodepen-
dientes en un contexto penitenciario. Descripcin y resultados de un programa.
Intervencin Psicosocial, 8, 233-250.
National Center for HIV, STD and TB Prevention (2004). Program Operations.
Guidelines for STD Prevention. Descargado del Center for Disease Control and
Prevention, http://www.cdc.gov/std/program/.
Palomares, A. y Daz, M. L. (1997). La evaluacin de programas de preven-
cin de drogas en el mbito escolar. Psicologa Educativa, 3. Descargado de htt-
p://psicodoc.idbaratz.com/Restringido/revistas/EDUCATI/1997/vol1/arti2.htm.
Rossi, P.H. y Freeman, H.E. (1989) Evaluacin: Un enfoque sistemtico para
p-rogramas sociales. Mexico: Trillas (Ed. original, 1985)
Royo, J., Viladrich, M.C., Guirado, M.V., Hernndez, F., lvarez, J. A.,
Alcaraz, J. M. y Bays, R. (1994). Estudio, evolucin y factores innovadores de un
prog-rama de intercambio de jeringuillas para usuarios de drogas en Barcelona.
404
Intervencin Psicosocial, 3. Descargado de http://psicodoc.idbaratz.com/
Restringido/ revistas/social/1994/vol3/arti10.htm.
Stufflebeam, D.L. y Shikfield , A.-J. (1987): Evaluacin sistemtica: Gua te-
rica y prctica Barcelona: Paidos (Ed. original, 1985).
Thompson, N. J. y McClintock, H. O. (2000). Demonstrating your programs
wo-rth. A primer on evaluation for program to prevent unintentional injury. Atlanta:
Centers for Disease Control and Prevention, National Center for Injury.
Weiss, C. H. (1990). Investigacin evaluativa. Mtodos para determinar la efi-
ciencia de los programas de accin. Mxico: Trillas
405