ISiéirom ur/ZiTiu

15

P r o y e c t o e d it o r ia l
S ÍN T E S IS P S IC O L O G ÍA

D irecto r:
Ju an M ayor

EVALUACIÓN DE PROGRAMAS.
Á re a s d e publicación:

UNA GUÍA PRÁCTICA

EN ÁMBITOS SOCIALES, EDUCATIVOS
P S IC O L O G ÍA B Á S IC A
C oo rd in a d o r: J u a n M a yo r .
Y DE SALUD

. P S IC O B IO L O G ÍA
C oo rd in a d o r: C arlos F ernández Frías ROCÍO FERNÁNDEZ-BALLESTEROS (EDITORA)

M E T O D O L O G ÍA D E L A S C IE N C IA S D E L C O M P O R T A M IE N T O
C oordinadora: R osario M artínez .

P E R S O N A L I D A D , E V A L U A C IÓ N Y T R A T A M IE N T O P S IC O L Ó G IC O
C oordinador: J o sé A n to n io Carrobles

P S IC O L O G ÍA E V O L U T IV A Y D E L A E D U C A C IÓ N
C o o rd in a d o r: Jesús Beítrán

P S IC O L O G ÍA S O C IA L
C oo rd in a d o r: Jo sé M ," Peir'ó '

P S IC O L O G ÍA Y M U N D O A C T U A L
' C o o r d in a d o r Ju a n M ayor
 RELACIÓN DE AUTORES

A nguera Argilaga, M aría Teresa

Catedrática de M etodología de las Ciencias del Com portam iento de la U niversidad

rio

Botella Auslna, Juan

P rim era reim presión: m ayo 1996 Profesar Titular de M etodología de las Ciencias del C om portam iento de la U ni­
versidad A utónom a de M adrid.
Diserto d e cubierta: JV D iserto gráfico
Barriopedro, M aría Isabel
Reservados lodos los derechos. E stá prohibido, bajo
las sanciones penales y el resarcim ien to civil p rev is­
tos en las leyes, reproducir, reg istra r o tran sm itir e sta
U niversidad P ontificia de Com illas.
publicación, íntegra o parcialm en te, p o r c u alq u ier
sistem a d e recuperación y p o r cu a lq u ie r m edio, sea Fernández-Ballesteros G arda, Roclo
m ecánico, electrónico, m agnético, e lectro ó p tlco , p o r
fotocopia o p o r cualquier o tro , sin la au to rizació n Catedrática de E valuación y T ratam ientos Psicológicos d e la U niversidad A u tó n o ­
previa p o r escrito de E ditorial S ín tesis, S. A.
ma de M adrid.
© Rocío Fernández-B allesteros (E ditora)
F ernández del Valle, Jorge
© E D IT O R IA L SÍN T E SIS , S. A .
Valleherm oso, 34 * 28015 M adrid Profesor T itular de E valuación y Tratam ientos Psicológicos de la U n iv ersid ad de
Teléf.: (91) 593 20 9? Oviedo.
D epósito Legal: M. 15.530-1996
ISBN : 84-7738-311-1 F o m s Satitacana, M aría

Im presión: L avel, S. A. Catedrática de E valuación y T ratam ientos Psicológicos de la U niversidad A u tó n o ­

Im preso en España - Printed In Spain m a de Barcelona.
 ■ CAPÍTU LO 4

PROCEDIMIENTOS DE RECOGIDA DE INFORMACIÓN

EN EVALUACIÓN DE PROGRAMAS

José M anuel Hernández. López

4.1,. Introducción
Un program a de acción social representa un trabajo organizado para d ar solucio­
nes a problem as detectados a través de las necesidades de unos determ inados colecti­
vos de población. En tal esfuerzo organizado intervienen multitud de actores (impli­
cados) que juegan un papel diferenciado en el program a y se requiere la realización
do acciones puntuales y específicas supuestam ente especificadas " a p rio ri" en el mis­
mo. Todo ello se traduce en una inversión económ ica, temporal y personal, que obli­
ga a preguntarse, con posterioridad, acerca de si tal esfuerzo ha m erecido la pena. La
respuesta a esa pregunta constituye el objeto de la evaluación de program as (véase,
entre otros m uchos, Rossi y Freem an, 1989; Shadish, Coolc y L evitón, 1991; Fem án-
dez-Ballesteros, 1992).
En este sentido, desde un punto de vista investigador, podríamos considerar al pro­
grama como un objeto de investigación sobre el cuál efectuar una serie de com proba­
ciones que nos lleven a discrim inar cuáles son las verdaderas consecuencias que gene­
ra’ program a pu’ede.se r investigado de Igual forma que un experto en Química
IL?árfftJitndÍarJa^aluxalezft^.c.<OTp.o.5jcjón,.y_"compoftamréñtofrl l e un'Beferm íriadó
'rg B m esto qnfyplcn. A si, partiendo di; una de^gm inaiK reantfeS' (la im plantación del
programa, la existencia del com puesto) $e pretende l'leg y a si) conocifniento, exhaus-
ll^?..Ií9í|;;SSD¿§ffiíít£ÍS^eF‘r con m ínim o error posible cuál será su com portam iento
&T futuro decir, cuál se r! la utilidad B é ñ ü esfro 'co m ^ ’ésíórcuárés"l5~cáp"á£í'dttd
dpi programa para elim inar esos problem as que le dieron origen y cuál será su actua­
ción futura con otros usuarios), Sin em barro, para no faltar a la verdad, el programa
no "p u ed e",ser,in v estig ad o “ de igual form a" que el com puesto químico. No es
momento éste pora discutir acerca de las diferencias que m arcan las investigaciones
sobre problem as “naturales” y sobre problem as "sociales” . Tampoco es m om ento para
discutir la m ayor o m enor cientificidad de unas sobre otras. Sim plemente, lim itém o­
nos a señalar que lq evaluación de un program a representa un tipp especial de trabajo
En p rim e rju g ar, evaluar un program a implica utilizar una serie de instrum entos,
herramientas y procedim ientos de recogida de información que, previamente, han sido
definidos y caracterizados desde el m arco de la investigación básica. Dicho de otra for­
ma, e y ^ u ^ 4JilB ro£!!m p representa plantearse u n problema de investigación desde un
punto de vista "aplica3offlTO_reeT cuál em plear los avancesderjyádos ^ e ^ d e la ciencia
j>ásfcjL.
En segundo lugar, en la evaluación de u n program a se hallan inmersas una gran
diversidad de disciplinas científicas (psicología, sociología, economía, m edicina, físi-
_ca,_ec5>ÍQgís..,) cada una de ellas aportando tanto sus contenidos teóricos com o sus
avances metodológicos.
En tercer lugar, en e l diseño e im plantación del pro^rama_se encuentran involucra­
das muchas personas que, com o hem os dicho anteriormente, tienen funciones díferefi-
.glgS¡gS.,.Es decir, que, sin perder de vista el referente del individuo, no podem os olvidar
ios diferentes "grupos” que tienen que ver con tal programa.
P o fJ líim o , com o requiere la naturaleza de la investigación aplicada, no podemos
oividar que ips resultados de tai investigación pueden tener erectos sociales inm edia­
tos y q~yje fian de ser com unicados a responsables que han<te tomar decisiones acerca
de la continuidad de tales programasTEÍTo quiere decir queTos resüítá3os lian de ser
comunicados de la form a m ás clara y m enos tecnocrática posible.
Todo ello nos lleva a una opción m etodológica que conlleva una posibilidad “roaxl-
malista" en la evaluación del program a. Nos referimos a'la evaluación, si ello eTposi-
ble, de todas (o al m enos una m uestra representativa de ellas) las personas pertene­
cientes a un grupo de im plicados, de todos los grupos con una am plia gam a de
instrumentos y herramientas de evaluación procedentes de diversas disciplinas científi­
cas y con la presencia de un grupo de evaluadores que sean capaces de contrastar lo
infirm ación que se va obteniendo. E n definitiva, nos referimos a una opción que des­
cansa e n el m ullipllsmo p ropuesto por Cook (1985) y en la triangulación originalrnen-
.•o*-™**-
El objetivo, pues, es obtener el m áxim o de información “coincidente" desde diver­
sos inform antes, procedim ientos de recogida de información y evaluadores que n °s
perm ita considerar esa inform ación con la suficiente “calidad” como para poder garan­
tizar “científicam ente” las conclusiones a las cuales lleguemos a través de ella (Her­
nández, 1994a),
U na últim a consideración m etodológica introductoria que caracteriza al proce­
so de la evaluación de ún pro g ram a nos lleva a resaltar su carácter singular. En efec­
to, a pesar de la m ultiplicidad de actores inm ersos en el program a, el objeto del m is­
m o (las necesidades a cubrir), los propios im plicados y los m ecanism os u tiliz a d o s
(las acciones a im plantar) son singulares y específicos para cada uno de ellos. Esio
afecta sobrem anera al p ro ceso de tom a de decisiones sobre la utilización de instru­
m entos de evaluación, procedentes de d iscip lin as com o la p sico lo g ía, la m ed icin a o
la sociología, ya validados y estan d arizad o s e im plica, por re g la g en eral, la co n s­
trucción a d hoc de una instrum entación que se aju ste a la realid ad p u n tu al de! p ro ­
grama.
f~ A lo largo de esle Capítulo vam os a hacer un recorrido sobre u n a gran m ayoría de
las posibilidades tecnológicas que un ev aluador p uede utilizar, é s te reco rrid o será d iv i­
dido en función del tipo de inform ación que produzca. Así, hablarem os d e p ro ced i­
m ientos que otorgan dalos con significado estad.ístico1 los propios de los llam ados'
métodos cuantitativos y de Técnicas que propician palabras organizadas en discursos
\ con contenido sem ántico, las pertenecientes a los m étodos cualitativos,"............................
4-2. L§.ÜÍgja,.RflJÍmiC-a-CU9n(Jtatlvo vs c u a lita tiv o : las dos c a ra s d e u n a m ism a
m o n ed a * ................... " "
D esde el m arco de las Ciencias S o ciales se ha m antenido y se m antiene una po lé­
mica entre los defensores de los llam ados m étodos cuantitativos y lo s d e los d en o ­
minados m étodos cualitativos. Una polém ica que contem pla la d efen sa de procesos
de investigación regidos por la teoría, la técnica y la com binación d e am bas que están
pre-determ inados en su inicio y que no van a su frir variaciones en función d e la natu ­
raleza de la inform ación obtenida frente a la defensa d e procesos cuya un id ad funda­
mental es e¡ investig ad o r y que pueden ir variando en función de cóm o éste va o tor­
gando significado a la inform ación conform é la va consiguiendo. En definitiva, un
viejo debate acerca de la conveniencia de la obtención de datos co n seg u id o s m ed ian ­
te la utilización de recursos tecnológicos y por investigadores no im p licad o s perso­
nalmente en el proceso de recolección de los m ism os que perm itan la m anipulación
y el análisis m atem ático o de la n ecesidad del estudio de discursos o b tenidos a través
de una im plicación personal del in v estig ad o r en el contexto p ro d u cto r de tales d is ­
cursos. ’
r- A pesar de la esperanza dem ostrada por R eichardt y Cook (1982) acerca del fin de
tal polém ica en su conocido Capítulo no creem os que ésta haya sido h asta el m o m en ­
to superada. Y no lo ha sido porque es la traducción actual del enfrentam iento entre dos
maneras de entender la Ciencia que sitóan a la cantidad y a la calidad en dos planos de
~ com pletam ente distintos (Beltrán, 1986). Este enfrentam iento se arrastra d e s­
de el principio de la Filosofía O ccid en tal1 pasando por el nacim iento de la F ísica
m o d em a-el debate acerca de la plenitud o el vacío del Universo entre L éib n iz y N ew -
to n - (Conde, 1994) y desem bocando en u n recrudecim iento en el cam po de las C ien­
cias Sociales donde el recurso a lo subjetivo (tan caro a los m étodos cualitativos) es tan
i-cilm ente asum ible. ,
-uebido a las características anteriorm ente m encionadas (singularidad del progra­
ma. tanto en lo tem poral como en lo contextual y m ultiplicidad de im plicados, funda-
m=ntalmente), e y 5i3 je x e J m -m a ilte t¿ te j!d m m £íaI)ias,ón.í!.6,.lirogram as._C reem os)
.L °^^w qae_ 45L?jLei.sjs.unaílsadp.;__
—ÍL aiua4ro-4J.^e^eflej^alg u o as.d eJasjÍil^.® S ÍS ^fu Q d ¿m _ en tales_ en _ tre, am bos
J!:S 5Í5S «L lS L aafeJsn g .q u e ver con la ev aluació n jJe program as:
 CUADRO 4 .1 . C u a n tita tiv is m o v s c u a lita tiv is m o : D if e r e n c ia s e n e v a lu a c ió n d e p r o g ra m a s .
MÉTODOS CUANTITATIVOS MÉTODOS CUALITATIVOS
• Búsqueda de objeiividad o de intersubjeti- • Búsqueda de subjetividad de implicados
representativos.
vidad.
* Establecimiento de generalidades. • Conocimiento exhaustivo de particularidades.
• Obtención de datos. • Obtención de discursos.
* Sujelo de evaluación: individuo en pobla­ • Sujelo de evaluación: individuo en grupos.
ciones.
• Diseño planificado. • Diseño emergente.
• Dirigidos a evaluaciones de programas de • Dirigidos a evaluaciones de programas lo­
gran alcance. cales.
1 Evaluación del resultado. • Evaluación del proceso.
Adm itiendo, com o hem os hecho, que la evaluación de programas pasa ineludible­
' menle por la recogida de información lo más amplia posible, el problem a radica en la
dirección que demos a tal exhaustividad. Podemos optar por llegar al m áximo número
posible de im plicados en la búsqueda da la intersubjelividad2 y la posibilidad de signi­
ficación estadística de nuestros resultados (p. ej.: m ediante la utilización de una encues­
ta de opinión, técnica em inentem ente cuantitativa) o podem os optar por profundizar en
la opinión d e unos pocos representantes de esos grupos de im plicados escogidos en fun­
ción de su significación dentrb del grupo al que pertenecen y buscando precisamente la
, subjetividad d e sus opiniones (p. ej.: llevando a cabo u n grupo de discusión, quizá la
¡["Joya de la Corona" dentro de las técnicas cualitativas). En definitiva, y dicho en otras
i palabras, preguntar a m uchos implicados acerca de lo esencial o preguntar a los esen-
¡ ciales sobre m uchos aspectos del programa. Quizá la solución al debate sería la de pre­
guntar a m uchas más cuestiones pero eso, aparte de ser técnicam ente Inabordable, no
dejaría contentos a los partidarios de ninguno de los dos m étodos ya que violaría algu­
nos de los supuestos fundam entales de sus técnicas.
,_ Dado que, en evaluación de program as, la referencia al individuo im plicado en el
I program a es inevitable, tanto desde lo cuantitativo com o desde lo cualitativo, se pos­
tulan técnicas cuyo único objetivo es el de la obtención de inform ación de ese indivi­
duo. Ello hace que, con algunas excepciones, las técnicas sean prácticam ente las n y
mas, diferenciándose, com o verem os c o n ‘posterioridad, no_ tanto "e n ló s co ntenido*
com o en las’ T o ’m ias'^d éliev arlás V cab o y de tratar la in fó rm ácló ñ '^ tem d á. Así,
cada una de l a s ' técnicas'cuantitativas podríamos enunciar una cualitaKvaTjue reprc-
Isentarfa la cruz de esa m ism a moneda; entrevista estructurada v i'en trev ista abierta
Xpero entrevista al fin y al cabo: interacción entre un individuo que responde y otro q«1'
pregunta), observación en base a códigos vs observación participante (con el punto f"
com ún de registrar los com portam ientos de los individuos en su contexto natural). tfL‘
nicas de autoinform e vs grupos de discusión (im plicados en el program a que expresan
su opinión acerca de la eficacia y efectividad del mismo). E n el Cuadro 4.2 podem os
observar un resum en de las principales técnicas cuantitativas y cualitativas utilizadas
en evaluación de programas agrupadas en pares por su sem ejanza:
CUADRO 4 .2 . T é c n ic a s c u a n tita tiv a s y c u a lita tiv a s en e v a lu a c ió n d e p r o g ra m a s .
MÉTODOS CUANTITATIVOS MÉTODOS CUALITATIVOS
• Entrevista estructurada. • Entrevista abierta.
■Encuesta. • Metodología participante.
• Medidas de autoinforme. • Grupos de discusión.
• Observación estructurada. • Observación participante.
• Indicadores social&s. • Analizadores sociales.
Además de esto, los resultados pueden ser Iratados de form a indistinta. D e hecho, hay
experiencias de evaluaciones que'han hecho un csftoerzo p o r integrar los datos obtenidos
desde ambas perspectivas (véase a este respecto la muy reciente revisión de M asón, 1994).
f No hay que olvidar que cualquier tipo de información puede ser cuantificada (Mayntz,
\ Holm y H übner, 1975). "Así, discursos obtenidos, por ejemplo, a través de una entrevista
-abierta se pueden reducir a un análisis de frecuencias en base a categorías previa o'poste-
riormente establecidas. Esta ha sido, incluso, una de las principales críticas de los cuan-
titatiyistas extremos hacia la posición cualitativa en el sentido de que sólo m ediante la ape­
lación a esa distribución categorial puede extraerse información útil; sólo cuantificando se
puede manejar tal volumen de información. O lo que es lo mismo que los contenidos
extraídos m ediante técnicas cualitativas de evaluación no producen ningún tipo de infor­
m ación aprovechable para la evaluación (Chen, 1990; Sechrest y Figueredo, 1993). Por
otro lado, incluso en una entrevista altamente estructurada puede ser conveniente anotar
respuestas o apreciaciones personales del entrevistador que pudieran tener su utilidad pos­
tenor quizá no para ser tratadas estadísticamente aunque sí para guiar futuros pasos en la
evaluación del programa. He aquí uno de los principales argumentos defensivos d e los
cualitativistas" que apelan a la “cualidad” como criterio organizador de las cantidades
obtenidas (Lourau, 1979) y a la imposibilidad de sustráeH a subjetividád del evaluador y
de los evaluadíorsiendo. por tanto, imposible eliminar"su influencia^ lo que puede hacer
l_vanar eT"n 'ás estructurado d élos planes y diseños de evaluación (Patton, 1983).
. ^ clu so se supone, Dávila (1994), que ambos enfoques com parteneTm lsm o reduc-
C|onismo en su intento por describir una determinada realidad. En este sentido, algún autor
«irno Beitrán (1986), defiende que éstas son sólo dos de las posibilidades de acceder a la
f n n b soc*a' (s'endo las otras tres, el método histórico, el comparativo y el crítico-racio-
] i-, ; ° tro sentido, si la discusión se planteara no en términos de lo cuantitativo y lo cua-
' r» k ' ° S!n° en e * ^ ^ í t o de Investigación confirmatoria y exploratoria, la integración de
n os métodos sería más factible"dado que la exploración y la confirmación se pueden
resi i ? Como c*os Pasos complementarios y secuenciales en el proceso científico (Sech- ..
' ¡le y r '1?'Jeredo. 1993) considerándolos ambos elementos fundamentales del contexto de
\ — ÍSlLsiüllenío y del contexto de justificación (Popperj 1959j_Brown, 1977).
- . . . . . . , . i_oi
 122 Parte 11: Metodología Capítulo 4: Procedimientos de recogida de Infonuaclón en evaluación de programas 123

Por dltihio, desde el punto de vista multiplista que estamos defendiendo, un requisi-
I to necesario para proceder a una evaluación más rica sería el de la utilización de ambos
tipos de métodos y técnicas (Reíchardt y Cook, 1982). Independientemente de cuál sea la
posición de partida desde la que se aborde el problema (y la nuestra es claramente de ori­
gen cuantitativisla), la evolución de la evaluación de programas en cuanto a disciplina
aplicada de las Ciencias Sociales exige una formación metodológica plural del evaluador
que le permita resolver sin dudas los problemas que el devenir cotidiano de la evaluación
[ J e pueda plantear. D e hecho en Estados Unidos, tal y com o plantea Sechrest (1992), son
numerosos los evaluadores asociados en la A.E.A. (Am erican Evaluation Association)
que pertenecen tanto al grupo de estudios cuantitativos (Quantltatlve Topical interest
G m up) como al grupo de estudios cualitativos (Qualitative Topical Interest Group), lo
que da idea de la necesidad e interés por el conocimiento de ambos tipos de técnicas.
Seguidam ente vamos a describir cuáles son las cáracterfslicas de las principales
técnicas de origen cuantitativo y cualitativo en evaluación d e program as.
r Nos ocuparem os de este Ultimo elemento. No debem os olvidar que ios instrum en-
i tos y técnicas a utilizar se aplican, salvo algunas excepciones (observación, datos de
1 archivo...) sobre individuos que, evidentemente, no pueden sustraerse a su propia sub-
, jetividad. Si adem ás consideram os su grado de involucración con el program a, bien por­
que lo hayan recibido, bien porque lo hayan diseñado o bien porque lo hayan aplicado,
esa posibilidad de sesgo se ve claramente aumentada. Por ello, la tarea de utilización de
¡¡instrumentos lo más objetivos posible se convierte en un requisito fundam ental.
Uha dificultad añadida es, com o hemos apuntado anteriorm ente, el carácter singu­
lar del program a (y, p o r tanto, de su evaluación) que no suele p erm itir la utilización de
instrumentos de evaluación con garantías científicas y a probadas. A pesar de lo dicho,
no podemos sacrificar la “utilidad” de la inform ación p o r la “com odidad" en la eva­
luación. Dicho de otra m anera, datos con garantías p e ro sin un referente claro a la rea­
lidad del program a, son .datos difícilm ente aprovechables.
CUADRO 4.3. Técnicas c u a n tita tiv a s : s u je to s d o e v a lu a c ió n y f o rm a s d e a p li c a c i ó n .

TÉCNICA DB SUJETO DE FORMAS DE

4.3. T écnicas d e recogid a de in fo rm ació n d e índole c u a n tita tiv a _ EVALUACIÓN EVALUACIÓN APLICACIÓN
• Entrevista estruciurada. - Responsables. Entrevistador experto (preferente­
En las primeras evaluaciones de las que tenem os constancia escrita, los prim ige­ - Gestores. mente un miembro dei equipo de
nios trabajos de Tyier (1942) sobre program as educativos, las técnicas utilizadas fue­ evaluación que haya participado en
ron técnicas cuantitativas D p. hpr-hn de '-T.- c lísic a tv - !u ;c ;ír . p e r objetivo; ai diseño do ia entrevista).
en donde se pretendía constatar estadísticam ente si el program a, tras su implantación, • Encuesta. - Gestores. Encuesladorcs entrenados (unifor­
había logrado sus objetivos y hasta qué punto los había conseguido. Estas_técnicas l)an_ - Usuarios. midad en instrucciones y formas de
sidojuitizadas p.rioritaiianienta para efectuar una evaluación de resultados. bien sea ¡sn" - Población general. formular las preguntas).
lu_evaluaclón de la eficacia o de la efectividad del program a, Es decir, bien sea para - P. Objetivo.
e stimar el grado de cum plim iento de Ios-objetivos com o para~éstím arlos efectos que~~ • Técnicas - Usuarios. Amoaplicacián evaluadores entre­
se han producido en los beneficiarios del program a tras su Implantación, de autoinforme. nados: si no es posible la autoapll-
Así, al.hablar de técnicas de recogida de inform ación de índole cuantitativo hace­ cnción (uniformidad en instrucciones
mos referencia a técnicas de. m edida de un a determ inada realidad social. En el caso que y formas de formular Ins.preguntas).
nos ocupa, se pretende m edir el estado de los beneficiarios del program a para ver si, • Observación. - Contextos de aplicación Obsenadores expertos, ajenos y no
después de la Im plantación del m ism o, se han cum plido los objetivos del program a y/o de los programas. participantes (preferentemente miem­
se han mitigado o han desaparecido ¡as necesidades que le dieron origen. En definiti­ bros del equipo de evaluación que
va, « .tr a te ÚP. m edir la_gíj5tgflqiflj.no..d6 carencias en unos, individuos, concretos, hoyan participado en el diseño del
TW y com o hemos indicado anteriorm ente, esas técnicas de evaluación van a pro­ código de observación).
ducir una "m edida" (un referente num érico) sobre la cual establecer todos los análisis • Indicadores sociales, - Población general. Personal contratado (becarios de
estadísticos pertinentes y, por tanto, llegar a conclusiones form alizadas. económicos y de salud. - Población objelivo. investigación, personal en forma­
<- Dentro de esta perspectiva, hay un objetivo claram ente perseguido: la oblención de ción) que recoja la información en
' un dalo de calidad, es decir, un dato lo suficientemente preciso, válido y fiable que no dé plantillas estructuradas.
lugar a posibles sesgos a la hora de procesarlo formalmente. Ahora bien, para c u m p l i r esta ■Dalos de archivo sobre - Usuarios. Personal contratado (becarios de
f aspiración (que a veces se convierte en obsesión) se han de poner en juego muchos ele- usuarios. investigación, personai on forma­
Ulientos metodológicos. Se' encuentran implicadas cuestiones de diseño (diseño planifica­ ción), que recoja la información en
do en el sentido de especificación previa de individuos, asignación de grupos y momen­ plantillas estructuradas.
to de mediciones en la búsqueda del mayor control posible que garantice la no existencia ' Datos de archivo sobre —Documentación escrita Evaluadores expertos (preferente­
de fuentes de variabilidad), de elección de muestra, de com petencias del evaluador o eva­ el programa. sobre el programa. mente miembros del equipo de eva­
luadores y, por supuesto, de "calidad metodológica” del Instrumento de evaluación. luación).
 No obstante, no podem os olvidar que cuando sea necesaria la construcción de ins­
trum entos de recogida de inform ación específicam ente destinados a la evaluación del
program a habría que determ inar, previam ente a su utilización, sus “garantías científi­
cas” . Dicho en otras palabras, habría que com probar con una peg ú e te m uestra (m edian­
te la realización de un estudio pilotó), que tales instrumentos realmente van ¿ ser útiles
a los objetivos de evaluación.
Sin profundizar en todas las técnicas cuantitativas, nos vam os a .detener en aqué­
llas que podríam os considerar clásicas en evaluación conductual junto con otras que se
utilizan de form a más específica en evaluación de programas. Así, dedicarem os nues­
tra atención a la entrevista estructurada, la encuesta, las medidas de autoinform e, la
observación estructurada, la utilización de indicadores sociales, económ icos y de salud
y los datos de archivo.
Bn el Cuadro 4.3 se relacionan las diversas técnicas cuantitativas de recogida de
inform ación en evaluación de program as con el grupo de implicados sobre el que reco--
ger inform ación y las form as de aplicación correspondientes.
A cnntinuación,Iremos.desarrollando,,V-,dfctallanda.to^p.Qnxt6nQias..Ae-e.ste.(;uftdro.
4.3.1. La entrevista estructurada
A un estando de acuerdo con S ilva (1992) cuando afirm a que no se puede plantear
la cuestión de la estructuración de la entrevista en términos dicotómicos sino que cabe
hablar de grados de estructuración dentro.de un continuo, a efectos de consideración
de la entrevista com o una técnica cuantitativa de recogida de inform ación, haremos
r t í e r ^ c Í 3 . o i l i i P ^ d B m t r m 5 t M l L ^ a t ^ y r u c t B r a á a JJ IM _ e s tr ^ u r ^ ó n _ n o afecta
sólo a ljip o d e preguntas a realizar sino tam bién, y como sostienen H aynes (1978) y
Fisseni'(1990)3 entre o tro 's,"¿ lip ó 'd é ,re S E U ^ ta ^ ,a Jia jM ^ n a a fija _ d ^s.p reg u n ta s, al
registro y a la interpretación de ia inform ación. A sí, a partir de este momento, estare-
c ° n respuestas ajustablesj_
cáicpñrías d cffm da| “a p r io r F y cóñ“r e p 7 tr y ‘^ ^ § n .ie p _ l de la in.foTOaciónJa ser posi-
“ [ílHTsiéfñpré’y cuand*o el entrev istad o d é su perm iso; mediante’lá utilización de graba­
ción d e la entrevista) quft nos arettg.infom adén..T SJeyante. fiable y válida.
L a entrevista estructurada no difiere, en cuanto a sus características definí lorias,
cuando es utilizada en evaluación de program as en relación al uso que de ella se hoce
en otras aplicaciones (entrevista clínica, de selección,.,). Ej_q]yet¡yo
esta céqnica_es_el_de recoger el. ro jb q p o d t infam a c ió n útil t e la que pueda aportar In
persona entrevistada (M árquez, Rubio y H ernández, i 987; M árquez y Muñoz, 1994).
... L a diferencia fundam ental con, por ejem plo, la entrevista clínica radica en que
m ientras ésta es utilizada com o u n a técnica de 1er nivel (Silva, 1992; Llavona, 199-1
para explorar de form a general cuál es la naturaleza del problem a de la persona que
u ju d e a consulta, en evaluación de program as ese primer rastreo tiene que haber sido
realizado precisam ente m ediante, la consulta a datos de archivo y el subsiguiente esiif
‘dio de toda la docum entación escrita que haya sobre el programa. E sa tom a de conloe
vro inicial "así como el giupo de pertenencia del entrevistado m arcará las directrict.
sobre las que enfocar la estructura de la entrevista.
. D esde el punto de vista m ultiplista que venimos adoptando, esta técnica es gasto­
sa en cuanto requiere la utilización de m ucho tiempo y la exclusividad del entrevistá-
Hór en ese tiem po para obtener inform ación de una sola persona. L a contrapartida es la
posibilidad deexhaustivización de la información. Tal grado de p ro fu n d iz a ro n n o sue­
le ser posible utilizando otro tipo de técnicas (encuesta o medidas de autoinform e en
general). P o r otro lado, también requiere un nivel de preparación y experiencia p o r par­
te del entrevistador que asegure la no aparición de posibles sesgos en la recogida de
información.
Estas razones m arcan que su utilización, en evaluación de program as, sea limitada
y se restrinja a sólo algunos de los grupos de implicados en el mismo. En concreto, y
dependiendo de la naturaleza del program a, su utilización se suele centrar en respon­
sables (encargados de tom ar las decisiones acerca de la implantación, continuidad,
! mejora o fin del program a) y gestores (los propios implantadores del program a pero en
: sus puestos más directivos). Es decir, aquellos grupos que pueden ser abarcados en su
totalidad sin excesivo coste. P lantearse efectuar entrevistas a todos los usuarios o una
gran parte de ellos o incluso a una m uestra representativa, supone un a tarea que podría
llegar a ocasionar el bloqueo del trabajo evaluativo.
- A efectos prácticos, el recurso a la entrevista estructurada resulta especialm ente
¡ recomendable cuando se pretende conocer sí existe coincidencia entre los im plicados
' en cuanto a la determ inación de las necesidades (y las formas en que éstas han sido
detectadas) a las que supuestam ente se pretende dar respuesta, la naturaleza de los
objetivos que se pretenden cum plir tras la implantación del program a y la pertinencia
y adecuación de los m edios puestos a disposición para el cumplimiento d e tales obje-
jlvós. El conocim iento dé posibles discrepancias en tales tópicos puede dar inform a­
ción relevante cora, fundam entalm ente, a la determinación de la evaluabilidad del pro­
grama o lo que es lo m ism o la facilidad y/o factibilidad para proceder a su evaluación
(Wholey, 1987; H ernández y Rubio, 1991). Asimismo, el conocim iento de esa posible
discrepancia puede ayudar en la interpretación de ios resultados obtenidos tras la eva­
luación.
f Por último, la entrevista, sobre todo aquella dirigida a los encargados de tom ar las
decisiones, se presum e como la única técnica capaz de detectar la existencia de posí-
bles objetivos encubiertos (y, po r tanto, no declarados explícitamente) que pudieran
^csiar a la base de la organización que diseña e implanta el programa.
En esencia, el entrevistador en evaluación de programas ha de m anejar las v aria­
o s que, desde un punto de vista form al, contribuyen al máximo cum plim iento del
objetivo de obtención de inform ación útil. Son aquellas que M atarazzo (1965, 1978)
nS™Pó bajo el nom bre de anatom ía de la entrevista', duración de las verbsjizecit. ncs
£ntrevistador y el entrevistado, refuerzos (verbales con y sin contenido sem ántico
y no verbales), m anejo del contacto ocular, latencias (tiempo transcurrido entre ei fin
ini Una v? | k a*‘zac>ón ¿el entrevistado y el inicio de la siguiente del entrevistador) e
''t i r TU^C'0neS ^ scurso ^el entrevistado (Márquez, Rubio y H ernández, 1987;
ble 1:11162 ^ ^ ufioz' 1994). A sim ism o, desde este punto de vista form al, hay una varia-
ler d ,I naraar desde el principio el curso de toda la entrevista dado su caxác-
6 ,nleracción directa entre dos individuos. Tal variable puede ser defin id a com o
o conexión positiva-entrevistador-entrevistado que garantice la reducción de
 126 Parle 11: Metodología
Capítulo 4: Procedimientos de recogida de U\formación en evaluación de pmgramas 127

incertidum bre del entrevistado (Pope, 1979) y cree u n a atm ósfera confortable y faci­
Todo lo dicho hasta el momento confiere un papel activo al entrevistador en cuan­
litadora del desarrollo de la entrevista (Nay, 1979). A un cuando es difícil afirm ar que
to a “ tom ador de decisiones” inmediatas acerca del planteam iento d e cuestiones poste­
la experiencia en realización de entrevistas dé garantías de-una buena conexión inicial
riores. A sim ism o, el entrevistador deberá decidir con rapidez qué inform ación reforzar
con el entrevistado, los entrevistadores expertos (con m uchas entrevistas realizadas)
y cuándo y cómo hacerlo, cuándo Interrumpir, cuándo retirar el contacto ocular, cuán­
gozan de un m ayor repertorio de estrategias encam inadas a la consecución de ese buen
do alargar o dism inuir !a duración de sus verbatizaciones, etc.
com ienzo. . '
Todo ello sin ovidar la observación de las garantías científicas que maximlcen la
fiabilidad y la validez de la información obtenida y que tienen que ver, prioritariam en­ 4,3.2.' L a encuesta '
te, con la estabilidad (obtención de la m ism a inform ación en distintas situaciones), el
valor predictivo o criterial de tal inform ación y la validez de contenido en cuanto a la
- La encuesta es el procedim iento d e reco g id a d e inform ación m ás u tilizad o por

r
recogida de datos ajustados a las exigencias de la estructura planteada originalmente en
la entrevista (Silva, 1992). .
D esde el punto de vista del contenido, hay que contar con una serie de caracterís­
ticas peculiares de la evaluación del program a a tener en cuenta a la hora de diseñar
tanto las preguntas como el formato de respuesta a tales cuestiones.
r parte de la sociología em pírica y aplicada (G arcía F erran d o , 1986). E x p resad o d e for­
m a sencilla, u n a encuesta-consiste en la form ulación de p reg u n tas a u n núm ero
determ inado de in d iv id uos que representan a'u~n c o lectivo m ás am plio en la b úsque­
da de inform aciones que sean generalizáETes p ara ese colectivo (G h ig lio n e y M ata-
lon, 1989). En esencia, com o puede apreciarse, al h abiar de en cu esta se e s tá aludien­
E n prim er lugar, como en toda entrevista, form atos altam ente estructurados mar­
do a un procedim iento m ás que a un instrum ento de recogida de in fo rm ació n . Serían
can, por un lado, la especificidad en las respuestas (evitando que el entrevistado "se
cuestionarios, m ás o m enos estructurados, sobre los cuales llev ar a cabo tal procedi­
vaya por las nubes”) y, por otro, la facilidad de codificación y posterior análisis de la miento.
inform ación, obtenida. En este sentido, un form ato de respuesta abierta (aun en una
A plicada a la evaluación de program as, la en cuesta perm ite recab ar la opinión,
entrevista m áxim am ente estructurada en cuanto a la secuencialización de las preguntas
■ sobre aspectos relacionados con ei program a, de u n a jn u e slra representativa d e indivi-
y la planificación de los temas) obliga a un trabajo posterior de.calegorización de las
» i^rtcriecióiiicaa alguno de los grupos de im plicados. En esle sentido, den tro de la
^respuestas obtenidas que puede ralentizar tal proceso de codificación y análisis.
' ''clásica distinción, originalm ente form ulada p o r Hyrrian (1955) y recogida p o r G óm ez
•En segundo lugar, parece conveniente diseñar un form ato de entrevista adecuado
Benito (1990), entre encuestas de tipo descriptivo y d e tipo analítico, las utilizadas en
a las peculiaridades del program a (por supuesto) y a la posición con respecto al mis­
evaluación de program as pertenecen al segundo tipo. E s decir, aquellas que pretenden
m o del im plicado a entrevistar. Elio hace difícil que puedan encontrarse dos forma­
obtener inform ación de grandes grupos que m uestren la distribución e intensidad de,
tos de entrevista iguales, aun cuando am bos se estén refiriendo a un mismo progra­
en este caso, los efectos provocados por la im plantación de las acciones contem pladas
ma. N o obstante, cabe señalar algún intento para form alizar estructuras estándar de en el program a. .
entrevistas dentro de la evaluación de program as com o el que llevaron a cabo Her­
A tendiendo a los diversos grupos do im plicados, especialm ente interesante resulta
nández y F em ández-B allesteros (1990) que el Instituto N acional de Servicios Socia­
su utllización en referencia al grupo dejusuarios de! pro g ram a. E n este sentido, se b u s­
les (IN SE R SO ) dispensaba a las personas m ayores de 60 años.
caría la generalización de las opiniones 3 e los usuarios encuestados al grupo al cual
f- Una últim a consideración a realizar tiene que ver con la duración de la entrevista­
pertenecen. Es m ás, cabe la posibilidad, si el núm ero no es m uy elevado, d e encuesíar
’ Pudiera existir la creencia sobre qué entrevistas quo em plean un m ayor periodo de
? lotios integrantes de ese grupo y, p o r tanto, despreocuparse de los p roblem as dé
tiem po obtendrán una m ayor cantidad de inform ación relevante. Bsta no es una rela-
generalización d e los resultados,
jció n lineal. Es más, cabe señalar que aquellas entrevistas, supuestam ente más breves,
f El recurso a la encuesta, no obstante, resulta im prescindible cuando tratam os de
"en las que el grado de estructuración es m áxim o e, incluso, el entrevistado dispone de
* recnbar inform ación sobre la población objetivo (aquella que presen ta las m ism as
un listado con las categorías de respuesta a cada pregunta, revelan un m ayor monto de
características que los usuarios pero que, por alguna razón, no está recibiendo el pro­
inform ación aprovechable que esas otras en las que se perm ite la divagación no dirigi­
grama) y, especialm ente, sobre la población general a la que sería p o co pro b ab le acce-
da. La econom ía de tiempo, además, suele ser un aspecto que el entrevistado agradece. L r de °tra m anera. ’
Para conseguir nuestro objetivo de máximo de inform ación en mínimo de tiempo,
” *ros grupos d e im plicados, tales com o los responsables y g estores (salvo en el
necesario el conocim iento preciso del contenido global de la entrevista de tal forma que
o de que sean m uy num erosos), pueden ser cuestionados a través de otros m edios
el entrevistador pueda detectar si en la respuesta a una pregunta, el entrevistado da res­
puesta a una pregunta posterior. Este reconocim iento perm itirá, bien no incidir en rei­ ncce°’ ^ ° r eJem P '0’ Ia entrevista. N o obstante, en los casos en los que no s e estim e
teraciones, b ien utilizar la posterior cuestión com o m edio de contrastación de la infor­ encf501"10 recakar u n a inform ación m uy am plia de Jos integrantes d e estos grupos, la
procej í a Puede ayudar a resolver determ inados problem as de accesibilidad al ser un
m ación. E'íjo justifica, una vez más, la participación directa del diseñador de W
im iento de recogida de inform ación que requiere m enos tiem po que la entrevis-
entrevista en la realización de la misma. 13 a la que aludíam os anteriorm ente.
v- El ahorro de tiempo es una de las principales ventajas que cabe m encionar de la
• encuesta. Así, se accede a un 'mayor núm ero de personas con una m enor inversión de
tiempo y. esfuerzo. Una ventaja añadida es que, para la realización de una encuesta,
tam poco es necesario un alto grado de conocim iento del program a y de implicación
con la evaluación de! m ism o, siendo factibieutilizar encuestadores ajenos al equipo de
< evaluación contratados especialm ente para tal efecto. Pero ésta que es una de las prin­
c i p a l e s ventajas puede llegar a constituir uno de los m ayores peligros. El encuestador
^ajeno puede introducir una fuente de sesgos en la inform ación recogida en función de
cómo presente la encuesta y de cómo registre e interprete la información. U na forma
de intento.de control de estos posibles sesgos sería m ediante la utilización de una doble
estrategia. '
En p rim er lugar, el entrenam iento previo de los encuestadores para lograr la coinci­
dencia en su m anera de presentar la encuesta y en su manera de registrar la informa­
ción. Para ello, sería necesario establecer sesiones de “rol-playing” y llegar a determi­
r , ^ diferencia de las técnicas cualitativas, com o veremos posteriorm ente, con los
nar índices de acuerdo (fiabilidad inter-jueces) en el registro de una serie de encuestas
i autoinformes no se busca la información subjetiva "libre" del individuo. P or el contra­
de prueba. L a no utilización de m uchos encuestadores facilitará extraordinariam ente el
logro d e estos acuerdos. '
En segundo lugar, un form ato de cuestionario altam ente estructurado reducirá la
probabilidad de interpretación de la inform ación y facilitará la tarea de la codificación
posterior. Si tenem os en cuenta que el núm ero de individuos encuestados suele ser ele­
vado (si no lo fuera probablem ente utilizaríam os otra técnica de recogida de informa­
ción), esta facilidad en la codificación de las respuestas registradas, cobra especial-
relevancia. •
4.3.3. Medidas de autoinforihe
f En esencia, tanto la enttevista com o la_encuesta pueden ser_consideradas com o
m edidas de autoinform e .sjejhpre que se refieran á' cuestiones relativas a sí mismo. S>
' efecto, u n ’inálvíduo, ya Sea entrevistado o encuestado, expresa opiniones, sensaciones,
juicios acerca del im pacto que sobre él está causando la im plantación del programa.
E s t o concuerda con la definición de autoinform e que afirm a que éstfi supone la emi­
s i ó n d e una verbalización donde un individuo refleja algo que está haciendo - n iv e l
. co n d u ctu al- o que está experim entando -n iv e l fisiotógico- o que está p e n s a n d o - n iv e l
: co g n itiv o - (Bellack y H ersen, 1977; Fem ández-B allesteros, 1983a).
L os autoinformes presentan, en relación al grupo de im plicados y en c o m p aració n
con la entrevista, la ventaja de la accesibilidad a un m ayor núm ero de elementos cea
im m enor esfuerzo debido a que no es precisa la interacción individuo a individuo pro­
pia de la entrevista. El autoinform e presenta un grado de especificación que, en prin­
c ip io , no tiene la encuesta. D icho de otra m anera, si el objetivo de u n a encuesta es o
:de llegar a un amplío núm ero de-personas para obtener inform ación sobre aspecto1
generales, el autoinform e ayuda a recabar inform ación m ás profunda sobre determiné"
¡ios aspectos del program a a costa, quizá, de no abarcar a tantas personas.
í<- En el Cuadro 4.3 hem os señalado que el grupo de im plicados con el que se emp'1’3'
-, Iría esta técnica sería, únicam ente, el de usuarios al ser éste, en principio, el único grv-
po que puede inform ar acerca de los posibles cambios acaecidos en su vida gracias a
|te . im plantación del program a. En efecto, es de interés para la evaluación del program a
«constatar cuáles son los efectos, considerados de manera am plia, que se producen en
este grupo, conform e se va procediendo a su implantación y cuáles han sido los efec­
tos que tal im plantación ha producido en los usuarios al final de la:misma.
D ifícilm ente, podrem os establecer la evaluación de un program a si ignoram os
cuales son las repercusiones que el mismo tiene sobre su población de usuarios y difí­
cilmente podrem os, tal y como defiende Lieberm an'(1979), enteram os de tales reper-
cusiones.si no procedem os a preguntárselo a los implicados. A hora bien» en últim o
término, estam os indagando sobre aspectos claramente subjetivos, buscam os la per­
cepción del usuario y pretendemos traducir en términos cuantitativos tal subjetividad.
Esto, en principio, podría parecer una contradicción pero profundizando en ello obser­
vamos cóm o no se produce tal,
no, sg_pretende conocer indicadores “subjetivos,’ sqbre una serie de tópicos m arcados
— ^¡nUemano ppr e[ evaíüaaor. Es mas; una garantía sobre la “calidad'’ de la c o n s tr u í
cion del autoinform e tiene que ver con la posibilidad d e contrastación de la inform a-
f ion obtenida m ediante otro tipo de técnicas (Fem ández-Ballesteros, 1983a, 1991). En
es e sentido, el autoinform e referido a comportamientos m otores o respuestas fisioló­
gicas serf m ás fácilm ente contrastable que el autoinforme relativo a eventos internos
Mucho se ha escrito acerca de los sesgos de la inform ación obtenida a través de
cífien [°™ es Pr°P lcm dos tanto por el propio informante com o por el autoinform e espe-
n entfe ,aS ftlerUeS de distorsil5n de respuesta m ás frecuentes citadas
nuco, , eStCr0S (1983a); simulación, deseabilidad social y tendencia de res-
hav qU6’ en cvaIuacl6n de programas, son estas dos últim as sobre las que
nay que prestar una mayor atención. 4
necesidadouT^cn»1V'da! i qUe US'í? ri'? eS una persona que riene una determ inada
usuario j P? BUPerar- Teniendo en cuenta esto, no es de extrañar que el
UdacJes d i e n t e 6r a rofo,r nwr oon un sesB° Positivo hacia el program a con dos fina-
"evitar n o s ih w C0,IPpí,e !T’en‘.arias: "no dei ar en mal lugar” a ¡^plan tad o res y/o
resulta más fárN P ,!!?• ÍP' eJ" exPulsl<ín del Programa), Dicho en otras palabras,
corno un siano 1 ^ C^ C° “ V Í ? a 9ue esto. ad™ á s , puede entenderse
puede hacer fldaPtación s0011*1 d<=la persona (Bardbum y Sudmnn, 1979). Poco se
«n las ventaia* m fSí^ a . Pnrasra da ta >“ finalidades salvo, quizá, hacer hincapié
r« p cci0 a la sam ^ l Ien8iíyerCer c,rft!,c as P°s¡ílvas P*™ m ejorar las actuaciones. Con
Pür ejemnlo ..A . J? | 6S la Sapinlía de confidencialidad y anonim ato su salvaguarda.
de los ’a l u r n ™ i “ r la actuaci6n docente del profesorado universitario por
f« o r implicadn n „ J ’ aifo™ eE no SÓIa s°n anónimos sino que se entregan al pro-
‘ lumnos (al m , , " Vf Z i Ue haya firmado las actas con las calificaciones d e los
La tendenc rf SB ^ HCe 60 la Univers*dad Autónom a de M adrid).
^ t i o n a r i o e S i r in respuesta- P01' su Parte' aPela a la calidad de ía construcción del
ü^pucsia se a iu L ° C° m ° S° ? 0r<e d s la ¡nformación a recoger. Cuando el form ato de
7 'lem entos suelen ^ " i escalacon ™ número impar de categorías (norm alm ente 5 o
i ser tas opciones más utilizadas) puede producirse, en opinión de
 Saal, Downey y Lahey (1980), un doble fenómeno. P or un lado, dar respuestas siste­
m áticas en el centro de la escala y, por otro, darlas en ¡os extrem os de ia m isma, todo
ello con independencia dp las cuestiones planteadas en los cuestionarios. L a utilización
de formatos de respuesta con opciones pares obliga a decantarse po r alguno de los
polos y controla la tendencia a dar respuestas sistem áticas centrales pero, no evita las
respuestas sistem áticas hacia los extremos, Teniendo en cuenta que el empleo de
auloinform es referido a la evaluación de program as siem pre im plica la consideración
de] grupo y no de casos individuales se pueden utilizar procedim ientos estadísticos
para controlar este tipos de sesgos sistemáticos (Fem ández-Ballesteros, 1983a).
En conclusión, parece necesario apelar a medidas de autoinform e p ara obtener una
información, principalm ente proviniente de los usuarios, difícil de conseguir con otro
tipo de técnicas. Ahora bien, una vez más, el rigor con el que se construya el cuestio­
nario específico, el form ato de respuesta y el sistem a de codificación y análisis de tales
respuestas así com o la garantía continua de anonim ato y confidencialidad, ayudará a
obtener una inform ación m ás contrastable y, por tanto,.m ás segura y útil.
4.3.4. La observación estructurada y/o sistemática
P B1 primer paso para la obtención de conocim iento científico es el de la observación
j de los fenómenos de la naturaleza. Así, observar implica conocer.
Á h n r a hif»n HpcHp* u n ru
------- ---------------r m f n r l* --------
------------ \ / ¡ c t a mo>/>/4r»lAr»;~«
----------------O*--- >_•«* wwMwt i w x i . u.i.L./.mnuwt
! senta el registro objetivo y. específico, la c odificación y eh in a lisis d e ja forma, duración,
frecuencia, antecedentes y cqnsecuenciíjcle com portam ientos y7o acciorieTsbciales pre-
'vm m enté fdéñtiTicadás. (Anguera, 1981, [990; Fem ández-Ballesteros, 1ÍTS3&; 'García
Ferrando y Sanm artín, 1986). Mos encontramos ante una observación dirigida que per­
sigue unos objetivos prefijados de antemano.
Pues bien, aplicada a la evaluación de program as, la observación ha de ser enten­
dida como una técnica* q ue pretende recoger inform ación_com pjem entaria a la obteni­
da m ediante la utilización d e o tro s procedim ientos, Ésta técnica requiere, tal y como
'p6sfula."Angúera (1990), la precilTófi'dél’obietivo de la observación (tanto personas
com o situaciones), la disposición de m edios técnicos adecuados que garanticen la pre­
cisión de la informaciSiCTa'otitefición de datos cuantificables y, por últim o, la plausi-
1 bilidad en la form ulación de hipótesis. Bn.defiñíSva’ lá observación sobre implicados,
'"‘tontextos o eíernentos del program a ha de contar con el suficiente soporte epistemoló­
gico, tecnológico y m etodológico que perm ita alcanzar respectivam ente el m ayor nivel
de objetividad, el conocim iento de las características y circunstancias que afectan a los
hechos observados y las mejores condiciones para la recogida de la inform ación, el
análisis de los datos y la futura transm isión de la inform ación de tales datos recogidos
(Tcrroba, 1992).
Una de las tareas fundam entales a realizar po r el evaluador es el del diseño del for­
mato de observación y del código que sirva de traducción de la realidad percibida a los
datos a analizan E stando de acuerdo con Blanco y A nguera (1993) en la idea de qoe el
nivel de sistem atización se extiende a lo largo de un continuo, dentro de este tipo de
observación sería necesario tener, al menos, un nivel parcial de sistem atización y, P^r
tanto, trabajar con listas d e control y escalas de estimación cuando no se p ueda d isp o ­
ner de un nivel elevado de sistem atización en cuyo caso optaríam os p o r el trabajo con
sistemas de categorías-o form atos de cam po (Anguera, 1994).
. En el Cuadro 4.3 especificam os que este esfuerzo corresponde a los m iem bros del
equipp evaluador en cuanto a conocedores de los porm enores del program a y del d ise­
ño de la evaluación. P o r tanto, se requieren observadores expertos. Con respecto a las
características d e los observadores, todavía cabría m encionar dos más. P o r un lado, la
observación estructurada y precisa de observadores ajenos a la realidad del program a
(es decir, salvo que se quiera introducir un procedim iento d e nuto-observación,. no
cabría que el observador perteneciera a ninguno de los grupos de im plicados). P o r otro,
es fundam ental que el observador sea no participante en el sentido de que perm anez-
l í a:a alejado del objeto de estudio y no se produzca interacción entre ellos (A nguera,
1991), Ello se presen ta com o u n a m ecanism o de control frente a las posibles fuentes
de error que pudieran proceder del citado observador (Fem ández-B allesteros, 1983b).
r Un problem a especialm ente relevante a la hora de hablar d e observación referida a
¡ la evaluación de program as, tiene que ver con el contexto o lugar donde se llev a a cabo
la m isma. TYadicionalmente, se han distinguido ¿¡TFiiñciSñ de esta variable d os tipos de
observación; la n a tural y la artificial. L aprim era sería aquella que perm ite reco g er datos
en el contexto natural doriclefeñ'éste caso, se esté im plantando el program a, L a segun-
i da, se lleva a cabo en un contexto alejado del natural donde se pretenden replicar las
[condiciones del m ism o. Bsta dicotom ía, no obstante, introduce un elem ento de confu­
r . ' . ■ ‘r’.T.'T
sión ya que no p arece adecuado, tal y como sostiene Fem ández-B allesteros (1983b),
dividir en dos los tipos de observación atendiendo a esta variable m áxim e atendiendo
al 'continuo de naturalidad” form ulado por Caim s (1979) según el cual cualquier tipo
de observación podría situarse en algún punió del continuo y no necesariam ente en uno
de sus extremos. C onform e nos aproximemos al polo “natural” o al polo “artificial" se
introducen una serie de ventajas y de limitaciones.
¡” La aproxim ación al polo natural im plica una m axim ización de la validez externa,
es decir, la posibilidad de generalización de los datos obtenidos y la validez ecológica
pero, a su Vez, supone una m erm a en la validez interna por cuanto no se p u ed e esta­
blecer control sobre los com portam ientos que van a efectuar los individuos. E sto, ad e ­
más, puede hacer que el coste de la observación sea mucho m ayor. P o r el contrario, ia
aproximación al po lo artificia] conlleva una reacción de signo contrario; u n a m erm a en
la validez externa y en la ecológica y una maximización de la interna. U n a últim a co n ­
sideración tiene que v e r con el tipo de comportamientos a realizar p o r porte d e los
observados. E n este sentido, cuanto m ás alejemos a la persona d e su contexto natural
mas se corre el riesgo de obtener com portam ientos menos espontáneos y m ás m edinli-
! “ dos por las propias condiciones m arcadas por el proceso de observación y por el
que la p erso n a conozca que está siendo observada. N os estam os refiriendo al
problema de la reactividad en la respuesta de los observados (H aynes y H orn, 1982;
Enguera, 1994). En líneas generales, este problem a estará m ediatizado p o r el m odo en
el cual se “artificialice" la situación d e observación (Fem ández-B allesteros, 1983b).
Aplicada a la evaluación de program as, toda esta problem ática req u iere u n a re-
IQtírfn Par!' cu*ar' H em os com entado con anterioridad y en otros trabajos (H ernández,
0; 1995) que un program a y, por tanto, su evaluación representan un caso singular.
 E s decir, el program a se aplica en un m om ento puntual sobre una población específica
y con unas acciones concretas, Si adm itim os esto, la posibilidad de generalización de
los resultados tío sería una condición dem asiado importante ya que cabe hipotetizar que
los resultados del program a sólo tienen interés pará la población sobre la que se ha
im plantado el m ismo. A hora bien, desde otro punto de vista, la propia singularidad
m arca que las acciones del program a se estén implantando en contextos específicos lo
que aconseja que los datos recogidos m ediante observación se refieran a ese propio
contexto. Pongam os un ejem plo, quizá extrem o pero, sin duda, aclaratorio. Imagine­
m o s.q u e estam os im plantando un program a para m ejorar el clim a social de una insti­
tución penitenciaria y que uno de los elem entos a observar es la-interacción entre reclu­
sos. Podríam os observar tal interacción en una habitación donde los dejáram os solos y
efectu ar el registro a través de un espejo unidireccional. Esto perm itiría obtener un
registro m uy porm enorizado de tal interacción. A pesar de que los resultados de la eva­
luación se referirán sólo a eso program a, cabe hipotetizar qua si pudiéramos observar
tal interacción en su contexto natural (por ejemplo, en el patio), los resultados serían
m en o s precisos pero quizá más significativos. . .
E n últim o térm ino, no podem os olvidar que la observación en situaciones natura­
les suele entrañar num erosos problem as desde el punto de vista técnico y eso, en oca­
siones, m arca la opción por la observación artificial que siempre buscará la creación de
situaciones y contextos que tengan los mayores puntos en com ún con las naturales.
4.3,5, La utilización de indicadores sociales, económicos y de salud
/ L os indicadores sociales, económ icos y de salud se pueden entender como la for-
i nía m ás “ objetiva” de recolectar datos sobre los grupos de implicados en la evaluación
Vde un program a. En efecto, el evaluador puede acudir a estos indicadores para obtener
inform ación acerca de la situación social, económica, de salud tanto del grupo de usua­
rios com o del de población objetivo e incluso de la población general. Su utilización
es tan generalizada que lleva a algunos autores, AJvira (Í991), a afirm ar que sin recu-
iT ir a ellos la tarea de seguim iento, control y evaluación operativa de un programa no
se puede llevar a cabo. ■ luador aunque sea personal contratado el que se encargue de la recolección de los
/ M uchos han sido los trabajos que han pretendido profundizar en la definición y
i natu raleza de los indicadores. B e todos ellos se desprende que un indicador-es-uoa
| m ed ida estad ística que perm ite dar cuenta de una realidad so c iaf desde un punto de^
\ vista diacrónico para reflejar su evolución y desarrollo —véase a este respecto, la revi-
1 i'6frHé"G'asas ( 19 £ 9 5 y'i&míjién, entre otros muchos, L ázaro (1992) y Pérez-Campa-
neco (1 9 9 1 )-, Cuanto más extensa sea esa realidad más am plio será el indicador, Así,
por ejem plo, si estuviéram os evaluando un program a de salud para m ayores de 65
años en u n determ inado m unicipio, podríam os obtener el índice de m ortalidad de éstos
en el país y conocer ese m ism o índice de m ortalidad para los habitantes de ese deter­
m inado m unicipio. E sto perm itiría utilizar la com paración entre am bos in d ic a d o re s
com o elem ento en la evaluación de la efectividad de dicho program a.
E n investigación social se han distinguido, clásicamente, dos tipos de indicadores:
1los descriptivos y los evaluativos (Clark, 1973; Blanco y Chacón, 1985). Los primeros
serían u n a m era recolección de datos sin buscar relaciones, entre los elem entos de la
realidad que pretende medir. P or el contrario, los segundos, también llam ados indica­
dores norm ativos, analíticos o diagnósticos, sí reflejan las relaciones que en el pasado
se han éstablecido entre los elem entos que lo componen e intentan predecir si éstas se
producirán en el futuro. En evaluación de programas, los indicadores norm alm ente uti-
I lizados son los d e éste último tipo.
f- Eslos. indic^¿ores_eysJii3tiyPs>en líneas generales, son empleados para tres grandes
i propósitos. E n n rim e r lugar, inserto, dentro del proceso de planificación y program ación
social, com o u n a herram ienta básica en el análisis de necesidades de la población obje­
tivo y, por consiguiente, de los potenciales usuarios dsl program a, En segundo, corao
medio para contrastar el logro del cum plimienjo d ejM objetiyos dgl ptograjpa. P or últi­
mo, como instrum ento de estim ación de los efectos ño deseadas que h a generado su
^im plantación.
Para cualquiera de los tres propósitos, se abren dos posibilidades técnicas que el
evaluador ha de considerar, Por un lado, la construcción, al diseñar la evaluación, de un
sistema de indicadores específico asociado a los objetivos definidos en el program a, P o r
otro, la selección de indicadores que hayan sido recogidos por organismos externos (o
incluso internos) a la propia realidad del programa. Esto supone una ventaja adicional,
desde el punto de vista de la no contam inación de los resultados. Ahora bien, tal y com o
acertadamente sugieren Bertrand, M ock y Franklin (1981), esta selección ha de tener,en
cuenta las siguientes características: 1) L a accesibilidad al indicador. 2) L a relación
directa del m ism o con alguno de los objetivos del :programa. 3) El conocim iento de la
“calidad” con la cual se l a obtenido. A) El bajo coste en su consecución. 5) L a posibili­
dad de ser contrastado periódicam ente.
E nlazando con el ejemplo anterior, el equipo evaluador puede construir, a partir de
los datos existentes en el m unicipio, el índice de mortalidad de los ciudadanos del m is­
mo (siem pre y cuando éste no sea muy grande si, por ejemplo, el m unicipio fuera
Madrid o Barcelona la tarea desbordaría al equipo evaluador), pero se verá obligado a
acudir a algún organismo para obtener el índice de mortalidad general de los m ayores
de 65 años ya que la tarea de su construcción sobrepasaría claramente sus posibilidades.
L a construcción de un sistem a de indicadores debe ser realizada por el equipo ev a­
datos. D e igual form a, la selección de los indicadores que pueden ser útiles h a de ser
llevada a cabo por el equipo de evaluación mientras que, en este caso con m enor ries-
, J>°. Ia recogida de ios datos puede rem itirse a personal ajeno a tal equipo contratado
específicamente pora la realización de ese trabajo, Una tarea especialm ente relevante
• consiste en el establecim iento de sistem as de ponderación o “pesos" asignados a cada
uno de los indicadores obtenidos. E ste sistem a de ponderación puede provocar que la
interpretación de la realidad que nos aporta el indicador varíe en función de su natu ra­
leza. Dicho de otro modo, el significado de un indicador será distinto en fanción d e la
*: P°í’,^eración que de él hagam os y de la ponderación efectuada sobre aquellos otros
-- ndicadores que se encuentran interrelacionados (Lázaro, 1992). Así, si nuestro objeti-
' ° ?s evf>luar un program a educativo podríam os seleccionar un sistem a de indicadores
sociales, económ icos, educativos y/o de salud relacionados entre sí. En este caso p are­
cería lógico poner más peso en los indicadores educativos. Si, por el contrario, quisié­
 ramos evaluar un program a de salud, probablem ente el sistem a de indicadores y las
relaciones entre ellos sufrirían alguna variación y, adem ás, ahora serían los indicado­
res de salud los que tendrían una mayor ponderación.
" E specíficam ente referido a la evaluación de program as, y en relación con la cons­
trucción de un sistem a de indicadores, Aguilar y A nder-Egg (1992). éxplicitan cuatro
requisitos que debería cum plir un sistem a de indicadores para ser útil en la estimación
de la eficacia. E stos son: I) independencia —la utilización de cada indicador para sólo
un objetivo-; 2) verificabiiidad -posibilidad de la constatación em pírica de los cam ­
bios que e! program a vaya generando—; 3) validez -c a d a objetivo debe llevar asociado
un ind icad o r- y 4) accesibilidad -facilidad en su obtención-,
’ Bn este sentido, no hay que olvidar, como apuntan Cohén y F ranco (1988), que la
relación entre indicadores y objetivos o entre indicadores y necesidad es una relación
de tipo probabilfstico con lo que la diversidad de indicadores aum entará las probabili­
dades de obtener una correcta medición de los objetivos y un adecuado establecim ien­
to de las necesidades.
A pesar de todo lo dicho, la utilidad de los indicadores ha de ser entendida de for­
m a m atizada. Parecerá, a prim era vista, que la garantía de “objetividad" que nos ofrer
ce el indicador es suficiente para Ja recomendación de su uso indiscrim inado, pero tal
objetividad h a sido puesta en tela de juicio. Así, algunos defensores a ultranza de esta
form a de m edición pueden llegar a confundir la aproxim ación a la realidad que supo­
ne un indicador con la m ism a realidad que pretende m edir (A guilar Y Ander-Ees,
1992) o incluso podem os argdir que el proceso de construcción y/o selección de indi­
cadores es realizado por parte de un evaluador que hace esa selección o construcción
basándose en su juicio “subjetivo” o, en últim o térm ino, el proceso de elaboración de
sistem as de ponderación también puede estar bañado por esa subjetividad. Teniendo en
cuenta esto, si retom am os el ejemplo anterior, otorgar en un caso m ayor peso a los indi­
cadores educativos y en otro a los indicadores de salud, no deja de ser una decisión
tom ada por el evaluador con base en algo que trasciende a esa “objetividad” del indi­
cador. N o debem os olvidar que ponderar en exceso un indicador lleva aparejado el
defecto en la ponderación de otro. Dicho de otro m odo, pudiera ser que en la evalua­
ción del p rogram a de salud, los aspectos educativos estén jugando un papel al menos
tan relevante com o propiam ente los de salud.
C om o conclusión de todo lo dicho, los indicadores representan una forma de resu­
m ir grandes porciones de la realidad en unos pocos datos “objetivos" en cuanto a que.
en principio, están libres de sesgos. N o obstante, ha de com prenderse que represen­
tan lim itaciones por su propia naturaleza y, por tanto, son insuficientes como únicu
herram ienta de recogida de inform ación en la evaluación de un program a de acción
social. ' ^•4. T écnicas de reco g id a de In fo rm ació n d e ín d o le cu alitativ o
4.3,6. C onsulta de datos de archivo
M uy directam ente relacionado con los indicadores se encuentra la consulta de
datos de archivo. En térm inos reduccionistas, se podría argum entar que de los d ato s di
archivo, al fin y al cabo, se obtienen indicadores sobre u n a serie de particularidades
relacionadas con el progTama. Pero el recurso a este procedim iento de recogida de
inform ación presenta alguna peculiaridad que m erece la pena resaltar.
. En el Cuadro 4.3 señalábam os que son dos las posibilidades que se abren a la hora
de consultar el archivo de un program a. Por un lado, se pueden ex traer datos acerca de
cuál era la posición de los im plicados en el program a antes de iniciar éste en alguna de
las variables consideradas como relevantes, P or otro, la consulta a la docum entación
escrita del program a que aporte al evaluador una inform ación inicial im prescindible
, para el conocim iento del mismo.
¡ ^ a prim era de las posibilidades es una condición ideal que no en todos los casos
está, a disposición de. la evaluación, No obstante, todo aquel dato que n os p ueda ap o r­
tar la organización dispensadora del program a en relación con la situación inicial de los
usuarios o con los criterios barajados para la selección de tales usuarios es un dato
potencialm ente útil de cara a la determ inación de su eficacia y efectiv id ad . D esde un
punto de vista técnico, una vez exam inado el conjunto de datos de los que se dispone
y seleccionados aquellos que pueden ser de interés (tarea a realizar p o r el evaluador),
el registro y codificación de los mism os puede ser realizado por cu alq u ier tipo de per­
ic o n a ! contratado a tal efecto, •
■j* D e m ás relevancia parece ser el otro tipo de datos a recolectar. Todo program a de
1 acción social debe estar porm enorizado en docum entos que, al m enos, contengan los
antecedentes del problem a que lo ha originado, los objetivos que se persiguen con su
im plantarían y loe accicr.:;, persona!, w,L,u^.uia y plazos a realizar para desarrollarlo.
Esta inform ación es vital para la estim ación de la evaluabilidad del -program a y tam ­
bién para el establecim iento de la eficacia o grado de cum plim iento de objetivos del
■ mismo. En este sentido, es especialm ente relevante el conocim iento del grado de for-
[m a liz a c ió n de Ids objetivos estipulados. Esta tarea requiere el m áxim o d e com petencia
lecmca ya que m arcará en gran m edida el diseño de la evaluación del p rogram a, A so ­
ciados a esos objetivos habrá que determ inar indicadores, a ser p o sib le cuantitativos,
que nos inform en acerca de los logros obtenidos tras su im plantación.
Desde el punto de yista de la evaluabilidad, la disposición de este tipo d e datos así
f DIT|M , cal'^ a^ " d e ' os mism os es uno de los elem entos que m arcan la factibilidad y
ncilidad de la futura evaluación del program a. En este sentido, F em án d ez-B allestero s
y em ández (1989) lo consideran u n a dim ensión relevante p ara la evaluación de p ro ­
gramas y com o tal la incluyeron en el instrum ento de análisis d e la ev aluabilidad que
nsh-uyeron para la evaluación de los program as que el Instituto N acional de Servi-
s Sociales (IN SER SO ) dispensaba a los m ayores de 65 años.
tilativSle tipQ de técrí icas fue introducido con bastante posterioridad a las técnicas cu an ­
'' "'c'’aluac'rtn ^ ValUaC’Ón de ProEram as- Aeí- ,os prim eros inform es que presentaban la
1 sendo f Un Pro Sram a con metodología, cualitativa datan de 1969. En concreto,
V en aleu de G ,aser y 'Mech que evaluaron program as de regulación del em pleo
^—19821 n ° S i~ sta^ os norteam ericanos m ediante observación p articip an te (Filstead,
• o obstante, las prim eras m onografías que aparecen publicadas con respecto a
 la utilización de la m etodología cualitativa en evaluación de program as no llegaron © CUADRO 4,4. Técnicas cualitativas: sujetos de evaluación y formas do aplicación.
I hasta finales de los años 70 y prim eros de los 80, Nos referim os a los textos publica­
d o s por G uba (1978) y Patton (1978, 1980). . TÉCNICA DB SUJETO DB FORMAS DE-..
r Ello da lu gar al surgim iento de un tipo de evaluación llam ado narurallstsi (G aba y EVALUACIÓN EVALUACIÓN APLICACIÓN
f Lincoln, 1981) que resta im portancia a la obtención de datos com pa rativos de curopli- • Entrevista abierta. -Usuarios. Necesario entrevistador experto (co­
m iento de objetivos y la otorgaJJa.descriE.ci0n d é'lo s'co ntextos en los que se im plah- nocimiento previo del programa).
^tá~ef prógmmarBíTijTtimo término, surge una pléyad'iTHéevaluadores naturalistas que
* Grupos de discusión, - Responsables. Modemdor con dominio de técnicas
: constituye, lo que en térm inos de G aba y Lincoln (19B9), se conoce com o la 4" gene-
- Gestores. de animación (puede ser ajeno al
i ración de evaluadores. * _ - Usuarios. equipo de evaluación aunque en ese
^ — X dem ás, la irrupción de estos métodos recoge la critica que algunos im portantes
caso debería conocer las caracterís­
evaluadores (Scriven, 1974; Stalce, 1976) hablan realizado a la evaluación de resulta­ ticas del programa).
n d o s por se r ésta excesivam ente sim plista. Consecuencia de estas críticas fue la postu-
1 lación de u n a evaluación del proceso, de los pasos que se dan en la im plantación del • Observación - Contexto de Agente de campo (observadorparti­
program a. E sta evaluación, además,’puede ir modificando alguna de las acciones a rea­ participante. aplicación de los cipante que se introduce en el con­
programas. texto de aplicación del programa.
lizar en función de las anteriores im plantadas. As( pues, interesaba no tanto_el resulta­
como un miembro más del mismo).
do final com o las opiniones, vivencias y experiencias de los participantes en el pro-
,'Írám aT E IIó~ocásioñ'ó que tuvieran cabida otrcTtipo de técnicas que tienen como • Analizadores - Población objetivo. Obtención de analizadores en cuan­
fi objetivo in d agar en la subjetividad de los i ndividuos. E sto no quiere decir que se pro- sociales. to claves explicativas del funciona­
' ’dújera una elim inación total de la evaluación de resultados (incluso uno de los cualita- miento de los gi'upos.
tivistas m ás im portantes en evaluación de program as, Scriven, no desprecia por com­ • Método Delphi. - Expertos (desde un Grupos de expertos a los que el eva­
pleto la evaluación sum a/iva - d e resultados- aunque ponga el énfasis principal en la punto de vista técnico), luador ha enviado los cuestionarios
evaluación fo rm atlva - d e proceso-). D e hecho, la práctica profesional de la evaluación - Gestores. y los resultados de los mismos.
de program as ha revelado cóm o las evaluaciones cualitativas suelen restringirse a pro: - Responsables,
gram as locales, es decir, muy contextúa]izados m ientras qü¿ las cuantitativas son las
‘em pleadaT éíTiquellos que superan ese ámbito local y son más am biciosos en sus obje­
tivos de alcan ce -p ro g ra m a s de ámbito estatal y nacional en los E stados U n id o s-(v é a ­
se a este respecto la m onografía editada por Fetterman, 1991). En el Cuadro 4.4 se señalan una serie de técnicas cualitativas así com o las unida­
, - En cuanto al diseño, Guba y Lincoln (1989) sostienen que la evaluación es un p.ra.-- des dB evaluación sobre cómo habría que utilizarlas y la forma de aplicarlas de la for­
( ceso em ergente y gue^gor ta n tc ^ ^ m p o ^ b ie .d is e ñ a rjn a A Y riu a c ió n exceptp_de_uiw. ma más provechosa. A continuación las veremos con más detalle.
’Í Toriñg"general.”61 'proceso es"sitstancFál'metüe im predecible porque no se puede cono-
■^cSr^üé construcciones serán introducidas por los diversos im plicados o qué encontra­
rán estos im plicados interesante para dirigir las reconstrucciones. U f t evaluador n o pue­ 4.4.1, ¿ a entrevista abierta y el attálisis de contenido
de predecir nada. C ada paso es contingente ni paso que se h aya dado con a n t e r io r i d a d .
U na consecuencia lógica del diseño emergente es que el conjunto total de las caracte- r To.d as las características que hemos mencionado con anterioridad en relación a la
rísllcas del diseño, decisiones metodológicas y procesos de identificación puede ser ] dnlrev>sta estructurada pueden ser aplicadas a la entrevista abierta. L a diferencia fun­
sólo especificado cuando la evaluación ha sido declarada com o term inada. damental radica tanto en los objetivos como, sobre todo, en la estructura y en al aspec­
D e entre la enorm e variedad de técnicas que se han construido desde esta perspec­ to orinal, Así, en la entrevista abierta el objetivo fundamental es la captación del dis-
tiva (adem ás de las que vamos a tratar, podríam os m encionar las siguientes: el grupo • ^ y j p o t j v a c i o n a l del entrevistado sin niiígSíTtipo de cortapisa infclaf7D :t(,T 986)!
central o entrevista de grupo, el sondeo de problem as, la técnica del grupo nominal, el const ¡?’ f * sistem ^ * ¿raplear consiste en dejar hablar con libertad ai entrevistado sin
sistem a I.C . de Ideas Clave, el campo de fuerza, la m atriz de decisiones, los guiones, dor d h ■ 1 *aS pr68yiltas de un cuestionario. Esta libertad im plica que el entrevista-
los árboles d e decisión..:) vamos a centram os en aquellas que, por un lado, son las mas Yde la M e n tar "captar" toda aquella información de utilidad y reconducir e! sentido
utilizadas y, por otro, tienen su', referente en las técnicas cuantitativas anteriormenie l;en^ VÍSta en ^unoll5n áo las respuestas escuchadas (Ibáñez, 1986).
m encionadas. En concreto, vamos a esbozar las líneas m aestras de ia entrevista abier­ fWón d T d' feretlcia fundamental entre ambos tipos de entrevista, en relación a la evalua-
ta y el análisis de contenido, de losgrupos de discusión, de la observación participa15
te y la etnografía, del socioanálisis y de la técnica Delphi.
f tido a | ProgTamM' se refiere el gtupo sobre el cual efectuar tales entrevistas. En este sen-
I i, onso ( 1994) señala cómo las dos reglas de oro de la entrevista abierta son, p o r un
 ’ lado, la ausencia de reglas fyas para su realización y la conducta del entrevistador y, por
Lptro, la imposibilidad de generalización de los resultados obtenidos.
' Tal y como sostiene Ortf (1986), la entrevista abierta es especialm ente útil para el
estudio de casos extrem os o típicos con la intención de reproducir ciertas situaciones
"sociales a partir del discurs’ó individual.de personas con peso específico dentro de esos
grupos (Alonso, 1994). Asf, se puede em plear esta estrategia para m iem bros destaca­
dos del grupo de usuarios cuya opinión sea relevante (p. ej.: presidentes de Ju n ta de
Gobierno en R esidencias de ancianos si queremos evaluar program as a im plantar en
mayores de 65 años en contextos residenciales, representantes de estudiantes- en el
Claustro de una institución universitaria, cuando el objetivo sea la evaluación de la
calidad del sistem a universitario, etc.).
El objetivo de la expresión libre da ¡dea de la importancia concedida al discurso del
entrevistado. Esto m arca la necesidad de registrar de la forma más fidedigna posible tal
/""discurso norm alm ente m ediante medios mecánicos. Así, tras la realización de la entre­
s vista se dispondrá de un m aterial amplio al que habría que dar una estructura que ayu-
\ d e a digerirlo.
f Él procedim iento norm alm ente utilizado es el análisis de conteniclp que pretende
, tanto describir los resultados de una interacción comüñlcatTvacorno la form ulación de
l inferencias que posibiliten llegar a conclusiones de orden superior a partir de los ele-
H nentos de tal com unicación (Krippendorff, 1980; López-A ranguren, 1986). Este nivel
de inferencia trata de m ostrar cóm o el contenido del discurso está po r encim a del pro­
pio discurso siendo csíó uiíüTiO £i ü¿ ¡uun-iua puta ucscuut 11 ei prim ero y, po r L a u ­
to, trascender su m ero contenido sintáctico en una búsqueda de las relaciones entre tal
„ nivel y el sem ántico y el pragm ático (Navarro y Díaz, 1994). Los objetivos del análi-
i sis de contenido son principalm ente dos! Por un lado, la descripción “textual” del dis-
1 curso y, por otro, la indagación sobre las relaciones entre el discurso y realidades de
\ j orden superior no incluidas explícitam ente en él.
" D e manera- general, cabe afirm arse que el análisis de contenido es un a técnica de
análisis de inform ación previam ente recogida, que debe utilizarse no sólo en relación
a la entrevista abierta sino tam bién con los grupos de discusión, inform aciones de ana­
. lizadores-sociales, observación participante y, en general, todos aquellos procedim ien­
tos de recogida de inform ación que utilicen como “dato” de investigación o evaluación
. el discurso de un individuo o grupo de individuos y el contexto en el cual se produce.
D tsde un punto de vista técnico, las inferencias a realizar, están m arcadas por el mar-
l co teórico del que parta, en este caso, el entrevistador.' P or poner un ejem plo obvio, en la
práctica terapéutica á e la P sicología no serían las mismas inferencias las que realizaría
un ortodoxo freudiano que un rogeriano frente al mismo .discurso (partiendo de la base
de que ambos utilizarían la entrevista en profundidad como herram ienta de trabajo de
primera mano). P or otra parte, tal marco teórico también limita los contenidos (por tan­
to, las preguntas a realizar) y el desarrollo (es decir, el aspecto formal) de la entrevista,
f Pero no sólo es relevante para el análisis de contenido, el discurso del individuo,
j sino todos los elem entos que fuera de él están influyendo en su em isión (Navarro V
Díaz, 1994). Nos referim os a inform ación adicional sobre el entrevistado, contexto en
el cual se produce la com unicación, características form ales de la interacción tales
como distribución del m obiliario donde se produce la entrevista, vestim enta del entre-
vistador y entrevistado, hora de! d ía en la que se desarrolla la entrevista y, p o r supues­
to, la situación del entrevistador frente al problem a (o prqgrania) sobre el cual se le
está preguntando. Todo ello, lo "textual" y lo “extratextual", form a las u nidades de
registro que pueden ser definidas, siguiendo a L ópez-A ranguren (1986) com o lodo
aquel elemento que puede ser analizable de form a separada del conjunto p o r contener
f referencias que el evaluador (en función de su marco teórico de partida) considera
í relevantes. , •
Una vez aisladas tales unidades de registro, el siguiente paso a realizar consiste en
la codificación o categorización d e las mismas, Este proceso guarda m uchas sim ilitu­
des con la categorización a realizar cuando se aplica una observación estructurada. La
.única diferencia es que en relación con el análisis de contenido, éste es un proceso a 1le­
var a cabo después de tener los d atos m ientras,.q\ie en la observación, estructurada se.
produciría antes de~la producciSn de estos. López-A ranguren (1986) señala cinco requi:
sitos básicos enTa form ulación del sistem a de categorías:
1) C ontem plar los objetivos de la evaluación.
2) S er exhaustivo. .
3) D efinir categorías m utuam ente excluyentes.
4) D efinir categorías independientes.
i 5) A tender a u n único principio de clasificación.
At igual que ocurría cuando hablábam os d e lautillzación de m edidas d é autoinfor-
me, la singularidad que representa la evaluación de un program a suele im posibilitar la
utilización de sistem as de categorías estándar (incluso contenidas en paquetes infor­
máticos muy desarrollados a tal efecto) y, p o r tanto, obliga a la'confección de tales sis­
temas de form a que se puedan aplicar al program a que se está evaluando,
p El siguiente paso consistiría en lq clasificación de cada una de las un id ad es de
I registro en un a de las categorías del sistem a, T?ánTelto, el evaluador ha de tener muy
claro cuál es-el criterio de clasificación o lo que es lo mismo cuáleS'Son las reglas de
adscripción a cada una de las categorías. P or últim o se ha de proceder al a n á lisis de la
li-jrcfo^ación. Tal análisis puede tom ar un cariz cuantitativo o cualitativo. G eorge
x m y r s n i n trabajo clásico atribuye com o elemenTolié'"'án5[fsis'én el p rim er caso, la
ecuencia de apariciones m ientras que en el segundo serla la p resencia o au sen cia de
características del contenido a p artir de las cuales hacer las inferencias. M ientras que,
en un principio, la tendencia era la de efectuar análisis de contenido de tipo cuantitati-
^986) actua^ ac* ca^ e a-firTnar ta' tendencia se ha invertido (López-A ranguren,
f. Se han postulado num erosas técnicas para proceder a las inferencias a p artir d e los
I categoriales cu y a descripción superaría los objetivos d e este trabajo5. N o obs-
I, ^ hay que señalar que todos tienen en com ún la puesta de relieve d e la im por-
c,a de la captación de los niveles sem ánticos y pragm_átic_qs_ de la com unicación
'^ ^ iS ^ e la d o ^ ^ é j ^ j - e a l i d a d e s 'B Ú b y a é e h t e s &_iós^discursos_ em ftlcíb fp ’o F él éntre-
~ no tanto el centrarse en el nivel sintáctico' que estaría más acorde con una
.— J^egta de tipo cuantitativo. ” ..........
 4.4.2. Los grupos de discusión
I" E sta es u n a técnica em inentem ente cualitativa. Para algunos, incluso, la más im por­
tante (C anales y Peinado, 1994). En pocas palabras, m ediante esta técnica se pretende
|legac.al..estah[ecim ¡ento de cdnsensos entre los m iembros del grupo acerca de temas
j diversos. En esencia, y com o informa P'érez-Campanero (1991) se pretende llegar a la
■"■"conciliación de opiniones divergentes” (p. 141). _ ¡Tá discusión; la preparación donde se seleccionan a los participantes, se procede a la
En relación a la evaluación de program as, esta lécnica puede ser útil para llegar a
acuerdos en tre los im plicados en un program a (especialm ente en el grupo de usuarios)
sobre los efectos provocados por la im plantación del m ism o, lo cual convierte a la téc­
nica en interventiva adem ás dé m eram ente evaluativa.
f B1 grupo de discusión es una m uestra de la perspectiva estructural en investigación
* social frente a otra perspectiva distributiva, de la que la principal representante serfa la
! en cu esta (Ibáñez, 1986a). D icho, en otras palabras, el grupo de discusión tiene por
objetivo pro v o car debates internos entre m iem bros sig n ificativ o sjT ^n tras^q ü eT s.
en cu esta-p«té5¡3érfa"15 o b t e n c i ó n de m uchas opiniones dive'fsas sin preocuparse, al
m enos "a priori", por é í jjra d g de acuerdo entre e]jas (éste en caso'He que se produzca
'q u ed a rá refléj¡rjólriédrante"¿l uso de los análisis estadísticos correspondientes).
En principio, esta es una técnica “libre” en el sentido de que no responde a yn plan
de trabajo especificado con anterioridad y queTio coarta ninguna de las expresiotíHSTjüS"
T pU aiSñ em itir (os individuos pertenecientes al grupo. Pero, a pesar de esto, presenta
i una serie de lim itacionesjnetodológicaí que pasam os a comentar.
‘5- L a prim era tiene que ver co ñ 'la'p ro p ia com posición del grupo. Éste está siempre
com puesto p o r una persona que convoca al grupo y provoca el tema de discusión y los
p ropios integrantes del grupo. El convocante recibe el nom bre de preceptor (en térmi­
nos de Ibáñez 1986b aunque nosotros preferim os llam arlo m oderador o m onitor) y en
• evaluación d e program as bien podrfa ser el propio evaluador. Ei m oderador, por las
' tareas a desarrollar, debe dom inar técnicas de anim ación tales com o la invitación fl la
participación, utilización de la escucha activa, potenciación de las interacciones, bús­
queda de consensos grupaies, etc. (Pérez-Cam panero, 1991) procurando que sean los
p articipantes en el grupo los realmente protagonistas del m ism o y, por tanto, alejando
la atención d e su figura (Á vila y G arcía de la H oz, 1994). El número de participantes
ideal para el desarrollo del grupo de discusión está situado entre_ 5 y 10 personas.
. incluido el m oderador (Ibáñez, 1979). • y análisis, norm alm ente extensos, del entorno social que está siendo estudiado con el
L a segunda m arca u n a duración m áxim a del grupo de 90 m inutos (Ibáñez, 1979).
T iem po en el cual se han de pJañfeafTos” iem as, exponer las opiniones y alcanzar los .
■..acuerdos.
- 3 ' U na tercera restricción apela a los criterios de selección de los participantes en el
g ru p D . P or la propia lim itación m arcada por e f núm ero de participantes no se puedo
apelar a criterios estadísticas de reclutam iento de la muestra. Lo que se busca es tener
7 e ^ £ sé ñ t5 a a s“"deterni¡nadas estructuras y relaciones sociales (Canales y P e in a d o .
, 1994). El núm ero y tipo de características a incluir en tal proceso de selección depende­
rá de los objetivos del trabajo que se hayan'm arcado con anterioridad.
O tra regla escrita es la que alude a la necesidad de desarrollar m ás de un grupo de
! discusión (por supuesto con com posiciones distintas aunque se pueda coincidir en el
/ preceptor) para cada objetivo de investigación. A este respecto, tam bién se restringe la
^•posibilidad de utilizar uri'núm ero muy elevado de grupos debido a razones de disper­
sión y posible redundancia'de la inform ación y de elevado coste (Canales y Peinado,
1994). Un núm ero de entre tres y cinco puede ser, en principio, aconsejable,
f- En relación al desarrollo del grupo, los autores distinguen fundam entalm ente tres
1 grandes m omentos (Ibáñez, 1986b; Pérez-Cam paneró, 1991). Uno anterior al inicio de
convocatoria y éTm odérador prepara el tem a de discusión. Un segundo m om ento coin­
cide con él desarrollo del grupo en ei que el m oderador introduce el tema, busca la con­
frontación de'opiñíóñes, establece un plan de trabajo p ara llegar a posibles consensos
y, en definitiva, m odera la discusión que se produzca. Por últim o, se procede a la Ínter-
pretación y análisis del discurso del g rupo. Es precisam ente esta.últím a ia que confie­
re, en nuestra opiruím, el carácter cualitativo a esta técnica. La regla de oro p ara p ro ­
cederá esta interpretación es que no hay reglas en la interpretación (Ibáñez, 1986b). El
moderador no busca, sim plem ente encuentra tanto lo que se haya dicho de form a m ani-
, fiesta, en él propio desarrollo del grupo como lo que haya quedado de form a latente, El
nivel de inferencia es, pues, muy elevado y otorga una im portancia capital a la propia
L subjetividad del moderador.
En el Proyecto Experim ental de Evaluación de la Calidad del Sistem a U niversita­
rio que se ha desarrollado durante el curso académico 1992/93 se incluían (en las tres
universidades participantes: Universidad Autónom a de M adrid, U niversidad de Cór­
doba y Universidad del País Vasco) ju n to a otras técnicas cuantitativas, tres grupos de
discusión; uno para alumnos, otro p ara profesores y un tercero para persona] de adm i­
nistración y servicios cuyas conclusiones sirvieron de apoyo a los datos recabados
mediante el análisis de datos de archivo, encuestas y entrevistas estructuradas realiza­
das con m uestras de personas de esos tres grupos (Consejo de U niversidades, 1994).
4,4.3. La observación participante y la etnografía
r" Los procedim ientos etnográficos están considerados como la principal herram ien-
¡ la metodológica d é la Antropología (Britan, 1981; Campbell, 1982;R oper, 1983...)6.B1
! elemento principal puesto en juego en una investigación etnográfica es la descripción
un de detallar el funcionam iento de u n sistem a social o de un determ inado aspecto de
este (Knapp, 1982), En relación a la evaluación de programas, el objetivo de la eva­
. , “ación etnográfica sería la observación detallada de la im plantación del program a en
1Uno de los diferentes contextos en los que se aplica,
ra ra llevar a cabo dicha descripción y análisis del entorno social es necesario pro-
c er a una observación, registro y análisis de] comportam iento en tal contexto que
permitan llegar a descripciones de los sistem as sociales considerando las interrelacio-
emr® conductas particulares, costum bres, ritos, creencias y valores en térm inos de
' r° ns5 amplios de conocim iento cultural, estructura social y am biente (Britan, 1981).
sido 1 ,m Portanc¡a del trabajo de cam po en el marco de la evaluación etnográfica ha
cabaIlo de batalla, con rriás argum entaciones tanto por los defensores com o por
: los detractores de este tipo de evaluación. Dicho trabajo requiere la intervención de un
observador participante en e! contexto en el que se desarrolla el program a. Dicho
observador, originalm ente llam ado agente de campo (W olcott, 1975), se convierte en
el agente prim ario de la evaluación con el cometido de describir la dinám ica del pro­
! gram a desde el punto de vista de un im plicado CBritan, 1981). L a integración del agen-
!~te d ecam po en el contexto estudiado puede resultar problem ática desde el punto de vis­
ta de las relaciones entre él y los diversos gestores de los program as en cada uno de los
contextos. Ello obliga a un a adecuada definición de sus funciones y com petencias para
evitar tensiones (Pelto y Pello, 1978) o com o señala H errlot (1977) para no caer en la
consideración d e “espfa". A dem ás, el objetivo de amplia descripción marca una nece­
sidad de un Japso tem poral m ucho m ayor que mediante la utilización de otra técnica de
recogida de inform ación. E sto supone un incumplim iento de la urgencia que, por regla
general, suele dictar el cliente que encarga la evaluación. A sí pues, el evaluador (obser­
vador o agente de cam po) realizará su trabajo sobre el grupo de usuarios donde debe
introducirse para llevar a cabo su observación. • 4.4.4. El socioanálisis: el uso de analizadores so cia les
En cualquier caso, la E tnografía sirve de ayuda para el descubrim iento e integra­
ción de consecuencias para el cam bio de los program as y puede sugerir posibilidades
de mejora para los m ism os7.
■••• Com o y a hem os dejado entrever, la obseivación participante es la principal técni­
ca etnográfica dé recogida de datos (G oetz y Lecom pte, 1988) llegando á ser califica­
da com o indispensable para la obtención de descripciones etnográficas (G utiérrez y
D elgado. 19Q4nV Rcfp. nrn r'aH!mi?nt?, y com o ¡r.ícrm a A ngucm (1950), óüpor<5 I«
observación sistem atizada de grupos reales en su contexto natural utilizando técnicas
3i7 eg istro cualitativas". L a utilización dé esa técnica reqüiére que el evalüa3orsé"¡ñlrb-
duzca en el contexto de aplicación del program a y vaya tom ando "notas de cam po" en
función de las interpretaciones que haga de sus percepciones. El objetivo últim o sería
\ la obtención de las definiciones del program a de los im plicados en el mismo y las des-
J crlpciones acerca de cóm o lo están experim entando. Para ello, el evaluador habrá de
"¡Uescodificar el código cultural del grupo en el cual se integre m ediante la experiencia
"dir¿cta“y"dúraderá eñ él tiem po "y éla n á lisis de la infraestructura sim bólica del mismo
(G utiérrez y D elgado, 1994a). E ste proceso de descodificación im plica que el evalua­
dor no sólo contem ple la actividad de los miem bros del grupo sino que interactáe con
ellos con el objetivo de ir socializándose poco a poco (G oetz y L e Com pte, 1988).
f" U na vez que h aya conseguido tales descripciones y definiciones (que no son más.
por otra parte, que la constatación de la interprétacfórTHF l a realidad y, por tanro, de
los cam bios que se hayan ]5~ó~dido'produciralmrtTf‘d éla"im plantación del programe).
él~eVá]üaíf6r "Habrá de proceder a un proceso de codificación y análisis parejo ál que
veíam os en el apartado correspondiente. Nuevam ente, cobran especial relevancia ¡os
\ inferencias a realizar a p artir de la inform ación recogida.
Ya hem os com entado la dificultad que representa el tiem po que sueie ser necesar.o
en contem plar una observación de estas características. A dem ás, existe una duda fun­
dam ental con respecto a la utilización de esta técnica. E sta lim itación, por otro lado, ?-
relaciona cpn una de sus principales ventajas. Si adm itim os el beneficio indudable r
supone la observación de grupos reajes en contextos naturales (sin la intromisión ■■
aparatos técnicos y sin necesidad de desplazar an ad ie de su hábitat natural), cab ria'
guntarse si la presencia de un agente extraño a! grupo no va a ser lo suficientem ente
distorsionador de las interacciones y com portam ientos d e sus m iem bros. D esde un
punto de vista teórico, cuanto mayor sea la integración del observador m enos sesgo
potencial habrá, pero ello redundará una vez m ás en problem as de tiem po. U na alter­
nativa que pudiera ser válida, sería la utilización d e m edios técnicos de registro (tanto
de audio com o de vídeo) que se insertaran en los contextos naturales sin el conoci­
miento de los im plicados. Pero ello, aparte de p resen tar num erosos p roblem as de índo­
le técnico, puede ocasionar dificultades d e carácter ético.
No obstante, todo lo dicho, el recurso a la observación participante sustenta en gran
medida, desde el punto de vista m etodológico, ¡a evaluación naturalista que tan en boga
se encuentra en este m om ento en E stados U nidos aunque, así hay que reconocerlo, su
uso no se halle tan extendido en las evaluaciones desarrolladas en nuestro país.
f Partiendo de una definición consensuada d e socioanálisis com o de la que parten
| Gutiérrez y D elgado (1994b) que considera que su o b jelivo es el conocim iento o aná-
•1 lisis sociológico d e grandes grupos sociales o incluso dé la sociedad en general, pudie-
' ra plantearse qué como alternativa al trabajo con el grupo de población objetivo o con
el de población general, bien podríam os b eneficiam os de las técnicas q u e sustenlnn
esta disciplina. Si analizam os con detalle tal posibilidad podrem os d am o s cu en ta que
| el tipo de inform ación a obtener sería del m ism o rango (aunque de diferente índole)
i que la conseguida a través de la utilización d e indicadores sociales.
A La herram ienta fundam ental de! socioanálisis es el a nalizador social que no es más
i que un fenóm eno cuya presencia y actuación sirve dé indicio p ara conocer e) funcio-
\ namienlo de larreráci5ñés]socialés existentes en un grupo o, incluso, cultura. Ejem plos
US analizadores sociales] taj y cómo inform a D áv ila (1994), se ría n " é fe s c la v o " com o
analizador de la sociedad griega o la “p eriferia" com o analizador del "cen tro ” en una
gran ciudad. Desde esta perspectiva la búsqueda radicaría en la obtención d e esos ana­
lizadores én cuanto elem entos claves y centrales sobre los que m ontar el análisis del
funcionamiento de los grupos y, por tanto, en relación con la evaluación de program as,
en cuanto a claves que ayuden a discrim inar sobre todo las necesidades reales d e los
grupos y lo? objetivos a cum plir por parte de u n a intervención program ada sobre tales
necesidades.
f La novedad fundam ental, desde esta perspecliva, es que el anáiisis es realizado por.
■. £ l-in alizador y no tanto gor el anaUsta (valga el ju eg o de palabra.s)!'La'labor del ana-
'-.ls,a (evaluador)'constitíría eñ'ün proceso de retroalim enloción continua al grupo d e la
¡.n °.r7n.a cí®n obtenida a través del analizador (Ibáñez, 1990). La generación d e este
“«cíe de información se m uestra especialm ente interesante a la hora d e d efin ir de for-
_ w interactiva cuáles son las necesidades “ reales” de un grupo de población.
C fV li e' socioanálisis ha sido muy poco utilizado en la investigación sociológica
asanle> 1994), su utilización en evaluación de program as ha sido nula. Lo m en-
amos aquí comó"úna más de ías posibilidades qué, desde la perspectiva m ultiplis-
tlue estamos defendiendo, puede ser Util p ara recabar inform ación sobre los p ro ce­
 sos que se están produciendo en los numerosos grupos de im plicados en u n a evalua­
ción de un program a de acción social en un determinado contexto.
4.4.5. La.técnica D elphi
¡T“ E sta.técnica de recogida de información es relativamente m oderna en evaluación
! program as al m enos en com paración con algunas de las que y a hem os visto. Origi­
nalm ente form ulada hace menos de 30 años por Dalkey (1967) y H slm er (i? 6 7 ) ha
sido empíSádaTnn'u'méVbs'ós estudios sobre todo para"detérmmar de forma consensua­
da la asignación d e j e s q s a los diferentes elementos que definen un problem a de cara
j a establecer prioridades (Clark y Friedman, 1982).
f ' ^ Is T c a fñ é n 'té , ésta técnica busca respuestas consensuadas de un grupo de expertos
j a preguntas específicas. El Delphi suele ser utilizado por un grupo de expertos para la
¡ determ inación del alcance y pertinencia del problema que da origen al program a que
se quiere evaluar. D icho de otra forma, esta técnica se m uestra especialm ente intere­
sante en la determ inación de las necesidades poblaoionales que pueden dar origen a
program as riñTnlervención así com o en la especificación de los objetjvos a perseguir
¡ por tales program as (W itkin, 1984) y en la seleccTgñ~ae~determína’ao s elem entos de
i intervención. Pero ello no descarta que pueda ser utilizado en la estim ación d é la en7
caciayTsolTre todo, en la de su efectividad.
- s e considera el D elphi como una técnica cualitativa por su búsqueda del consenso
; entre diversas "subjetividades".? través desconocimiento de las opiniones de los otros
\ “ cohiDOñéntes 'del grupo. Por ello es tari relevante, para poder utilizar este procedimieritó'
'^ e T e c o ^ d a d s l ñ f o n r i a c i ó n con el máximo rigor, una adecuada selección de los partici­
pantes en el trabajo. E n este sentido, la condición fundamental es la del conocimiento y
experiencia en el tem a del cual se esté tratando. Aunque, algún autor com o Fazlo (1985),
considera im prescindible que los miembros posean dos características esenciales; habili­
dades para la com unicación escrita y motivación para que lleven a cabo su tarea. A ellas,
Pérez-Cam panero (1991) añade la necesidad de asegurar la confidencialidad y el anoni­
mato de las respuestas obtenidas. Estas restricciones marcan que no sea usual la utiliza­
ción d e D elphi con el grupo do usuarios del programa restringiéndose f u n d a m e n ta lm e n ­
te a grupos de gestores, sobre todo técnicos, o incluso de responsables. El grupo
seleccionado, con independencia d e su composición, recibe el nom bre de gm po_dej¿'eíí^
tos. En cuanto al tam año del mismo h a de ser lo suficientemente am plio y h e te ro g é n e o
como p ara poder perm itir la discrepancia y la diversidad de opiniones. Tal como señ alan
Ruiz O labuénaga e Isplzua (1989), el número adecuado oscila entre 10 y 30 personas-
aunque en la literatura se pueden encontrar “Delphis” de hasta 50 expertos. . c¡ó !a ‘a l t a d e j ^ t i ^ L p o r parte delevaluádor, en cuanto a la form a de cum plim enta­
— L a m ecánica de utilización del método Delphi se pone en m archa con la deterrm-
nación del problem a a analizar que, como en la mayoría de las técnicas de recogida dí
inform ación, ha de ser form ulado de forma clara y específica p ara que no se produz­
can am bigüedades en la interpretación del mismo por parte de ¡os distintos miembro-'
del grupo. • . -
U na vez determ inados tanto el problem a como los,expertos se procede al Q'S'p
yf del p rim e r cu estionario. El objetivo de este primer cuestionario es conseguir el maxl
mo de inform ación posible de los expertos. Se compone d e preguntas abiertas en la que
se busca la am plitud-de perspectivas en el enfoque del problema, Este cuestionario se
remite al grupo de expertos para que, de forma individual y confidencial, lo cum pli­
menten. Tras recibir las respuestas es labor del evaluador la codificación y categoriza-
ción de las m ism as. Con los códigos y categorías obtenidas se confecciona el segundo
cuestionario en ei que se señalan en formato de preguntas abiertas todas y c a d a u n a íé
las cuestiones señaladas por los expertos en el prim er cuestionario y se presentan, cate-
gorizadas, las alternativas de respuesta surgidas. La tarea del experto en este segundo
cuestionario es la de iiidigar su grado de acuerdo o desacuerdo (norm alm ente a través
de una escala tipo Likert) con cada u n tPde estas alterñalTvas’c'átegorizadas en cuanto a
su posibilidad de influir en la resolucíSrTSél problemá^lanTeádo! L a inform ación remi-
tid ap o r parte de los expertos en relación al segundo cuestionario sirve para redactar el
tercer cuestionario. En él se contiene la información sobre el grado de consenso obte­
nido e n c a d a una de las alternativas de respuesta así como la situación del experto con
respecto a la m edia. Cuando existe mucha distancia entre la opinión del experto y la
del resto de expertos, se pide al prim ero que argumente las razones de tal discrepancia
¡y se oferta la posibilidad de alterar su respuesta pnr^ ajustarse, en alguna m edida, a la
pendencia del grupo. E sta remisión de cuestionarios Informativos finalizaría cuando se
obtuviera ún consenso alto para todas las cuestiones planteadas o cuando se llegara a
un efecto “techo" que indicara que por muchas más “vueltas" que diéram os no se iba
a alcanzar un m ayor nivel de acuerdo. Tampoco está especificado cuál es el porcenta­
je indicado p ara considerar que se h a producido tal alto grado de consenso8,
P Ahora bien, esta técnica, aun gozando de Indudables ventajas, presenta tam bién
! osunos aspectos que debilitan su utilidad. D e entre ellos cabe destacar el reseñado por
Witkin (1984) en relación a la información sobre la situación del experto con respecto
a la media en el tercer cuestionario. Según esta autora, la media no es apropiada, des­
de un punto de vista estadístico, com o índice del consenso en funciári d e í nivel de
medida de la variable “grado de acuerdo” con la alternativa de respuesta. E lla propone
, la utilización exclusiva de la-moda v porcentajes en el Delphi. Además de esto, desde
\ olr‘> Perspectiva, L instone y Turoff ( 1975) señalan un posible "efecto halo” contam i­
nador de las respuestas que se puede producir al conocerse los fésültT dos'iel grupo, La
I queda del consenso, por tanto, puede inhibir (y esto es im portante desdB el punto de
■ lsta cualitativo que dio lugar a esta técnica) la creatividad e innovación en las res-
l ° s expertos. Pero no es éste el ónico problem a que puede generar la b ús­
queda del consenso forzado. En líneas generales, la construcción de los cuestionarios
L vc ° ‘ectada por las respuestas consensuadas en cuanto a la inclusión o exclusión de
^ ~ en los cuestionarios (Fazio, 1985). Ahora bien, quizá el más im portante sea
se Drod cuestionarios que propicia qüe ni siquiera se tenga constancia acerca de si
var a l •COmi!n!cacil5n entre ios c°n;,Ponentes del B ^ P 0 de expertos que pudiera lie-
m i™ ,* .f ‘stenoia de c°nsensos previos y, por tanto, abortara la posibilidad de conocí­
- A l0d“ ^°S recovecos del problema.
/ des té c ^ ^ r dB t0C*° *° cilc^ cl’ el métot*° Delphi se m uestra com o una de las posibilida-
\ cuoni¡tatiCaS máS i íT1Portantes en la. conciliación y complem entajiedad de m étpdos
\ — ------ w o s y cualitativos en evaluación de programas al utilizar estrategias' de am bos
 146 Porte II: Metodología Capítulo 4: Procedimientos de recogida de información en evaluación de programas 147

métodos. N o obstante, presenta aún algunas lagunas técnicas que con el paso del tiem ­
po y la abundancia de trabajos a buen seguro quedarán resueltos.
4.5. C onclusión .
' La principal conclusión a la que podem os llegar tras haber pasado revista a las
principales técnjqp¿de recogida de inform ación utilizadas en evaluación de program as
tiene que ver con los conceptos de ‘'utilidad” y de no limitación .
"U tilidad” en cuatro deberían ponerse en juego aquellas técnicas que perm itan
extraer in f o r m a c i ó n 'útil .acerca de las posibles cambios generados tanto en la situa­
ción (resolución de las necesidades que dieron origen al programa) com o en los indi­
viduos (cambios que se hayan producido en las personas que hayanparticipado en el
P "No lim itación” en lo que tiene que ver con la utilización de todas aquellas técni-
, cas que sirvan a tal propósito con independencia del tipo y procedencia m etodológica
; de las mismas. . , ‘ 3 Citado en Silva (1992), p. 260 .
— N o obstante,' hay que considerar algunas restricciones que delimitarán las técnicas
y procedim ientos a utilizar. En prim er lugar, el criterio de aplicabilidad. Nuestro deseo
de ser exhaustivos en la utilización de los procedimientos no debe hacem os caer en la
i tentación de diseñar evaluaciones en las cuales se contemplen técnicas que, po r las
' ¿m acicm iiuos dci program a o de ios implicados, no pueoan ser puestas en practica
l"E iem plos obvios serían, plantear m edidas deautoinform e en personas que no tienen la.
suficientes capacidades verbales o de introspección (sujetos que presentan déficits sen­
soriales o cognitivos) o procedim ientos de observación en programas que se implantan
en muchos contextos dispersos (por ejem plo, en programas de ayudas a dom icilio con
población discapacitada) ya que ello puede ocasionar un elevado coste temporal para
los beneficios técnicos que se obtendrían. , .
En segundo lugar, el criterio de rigor, es necesario conocer las restricciones, cara
> terísticas y condiciones de aplicabilidad de las técnicas a utilizar para n o h a c e r un mal
' uso de las m ismas. U na técnica mal em pleada provocará la obtención de un a infom -
ción susceptible de sesgos y, por tanto, con insuficiente "calidad com o para poof
. extraer de ella conclusiones útiles cara a la posible continutdad, mejora o elimmacioi
¡isa que tenga la posibilidad de elegir enlre un am plio menú de técnicas de recogida de
información aquellas que le perm itan obtener el m áxim o de inform ación rigurosa y
contrastada (m ediante el uso de m últiples técnicas por parte d e m últiples evaluadores
sobre múltiples fuentes de inform ación) para llegar a conclusiones que le posibiliten la
em isión de informes con las suficientes garantías de utilización p ara los encargados de
tom ar las decisiones acerca del futuro del program a.
. NOTAS AL C A PÍTU LO 4
1 En este sentido, se considera a Platón como el primer cuantitativista y n Aristóteles como
al primer cualltatjvista (véase, Conde, 1994). .
3 Nos referimos a un concepto de intersubjelividad que busca la comunalidad en las opinio­
nes subjetivas de los individuos. Dicho en términos estadísticos estaríamos buscando corre­
laciones. No confundir con la hermeneútiea (claramente cualitativa) como forma de expli­
cación de la realidad social en base a significados compartidos intersubjetivamcnle por los
componentes de tal realidad y expresados mediante el lenguaje.
4 Según la diferenciación propuesta por Anguera ( 1990), que distinguía entre la observación
como método con entidad suficiente paraba obtención de conocimiento científico y la
observación como técnica o suministro de información a utilizar en un conloxto metodoló­
gico más « m n ]|n
5 A este respecto, Pcrez-Campanero ( 199 ) ) señala que un porcentaje de acuerdo superior al
75% sería alto (siendo muy alto por encima del 85 %), entre el 70 y el 75 % medio y por
• debajo del 70% sería bajo.
6 Véase a este respecto la excelente revisión de Navarro y Díaz ( 1994).
7 En puridad, la Etnografía no hace referencia a los procedimientos utilizados paro obtener
los datos sino al resultado de la investigación, os decir, al informe escrito.
Como ejemplo pueden mencionarse las evaluaciones de proyectos de irrigación do socie­
- dades agrarias que detectaron un empeoramiento de las condiciones de salud en lugar rie un
aumento en la producción de comida, (Roper, 1983).

^d d p ^ M i í n o , hp debem os perder d e vista que la competencia técnica del evaluador

es un criterio que “baña” a los dos anteriores. Si el evaluador (el equipo de evaluacto
no domina, desde un punto de vista técnico (y esto incluye el conocim iento de¡las p •
bilidades de análisis estadístico de los datos recogidos), una determ inada tto u c a
recogida de información, en principio, no debería utlizarja aunque ello viole e p
pío de m ultiplicidad al que tanto hem os hecho referencia. Dicho en otras palacra •
i se pucds cam biar exhaustivldad en-los procedimientos de . cogida de información l
irigor en el uso de los m ism os. ; i ínu«i¡c3-
De todo lo dicho se puede deducir que la tarea pric • - a de todo aquel tnv i t
dor que decida proceder a evaluar un programa, es la • n p liar su competenci
nica (o el núm ero de personas que form en parte del eq de evaluación) de 1