Está en la página 1de 228

T.D.

COOK
y
CH. S. REICHARDT

Métodos cualitativos y cuantitativos


en investigación evaluativa

Revisión e introducción a la edición española por


Juan Manuel ÁLVAREZ MéNDEZ
Facultad de Filosofía y Ciencias de la Educación
Universidad Complutense. MADRID

EDICIONES MORATA, S. L.
Fundada por Javier Morata, Editor, en 1920
C/ Mejía Lequerica, 12. 28004 - MADRID
morata@edmorata.es - www.edmorata.es
Título original de la obra:
QUALITATIVE ANO QUANTITATIVE METHODS
IN EVALUATION RESEARCH
© Sage Publications, lnc., 1982.

Primera edición: 1986


Segunda edición: 1995 (reimpresión)
Tercera edición: 1997 (reimpresión)
Cuarta edición: 2000 (reimpresión)
Quinta edición: 2005 (reimpresión)

Queda prohibida, salvo excepción prevista en la ley, cualquier forma de reproducción, dis­
tribución, comunicación pública y transformación de esta obra sin contar con autorización de
los titulares de propiedad intelectual. La infracción de los derechos mencionados puede ser
constitutiva de delito contra la propiedad intelectual (arts. 270 y siguientes. Código Penal).

© EDICIONES MORATA, S. L. (2005)


Mejía Lequerica, 12. 28004 - Madrid

Derechos reservados
ISBN-13: 978-847112-310-7
ISBN- 10: 84-7112-310-X
Depósito legal: M-44.344-2005
Compuesto por: Artedita
Printed in Spain - Impreso en Espafía
Imprime: CLOSAS-ORCOYEN, S. L. Paracuellos de Jarama (Madrid)
Métodos cualitativos y cuantitativos
en investigación evaluativa

Por
T.D.COOK
y
CH. S. REICHARDT

Quinta edición

Traducido por
Guillermo SOLANA
CONTENIDO

Págs.
INTRODUCCION A LA EDICION ESPAI\IOLA: Investigación
cuantitativa/1 nvestigación cualitativa: ¿ Una falsa disyuntiva?,
por Juan Manuel ALVAREZ MENDEZ . . . . . . . . . . . . . . . . 9
CAPITULO PRIMERO: Hacia una superación del enfrentamien­
to entre los nwtodos cualitativos y los cuantitativ01, por
T. 0. COOK y CH. S. REICHARDT . . . . . . . . . . . . . . . . . . 25
El lenguaje del debate actual, 27.- ¿Determinan lógicamente
los paradigmas la elección del método de investigación 7, 31.-
lEs preciso escoger entre los paradigmas?, 39.- lPor qué no
emplear tanto los métodos cualitativos como los cuantitati-
vos?, 41.- Conclusión, 50.- Perspectiva del volumen, 52.­
Bibliografía, 56.
CAPITULO 11: Una experiencia necesaria en la investi gación
evaluativa, por W. J. flLSTEAD . . . . . . . . . . . . . . . . . . . . 59
Los paradigmas cualitativo y cuantitativo, 60.- El cambiante
clima de la investigación evaluativa, 67.- Lo que pueden
ofrecer los métodos cualitativos a la investigación evaluativa
71.- Conclusión, 75.- Bibliografía, 76.
CAPITULO 111: "Grados ele libertad'' y el estudio de casos, por
D. T. CAMPBELL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
El estudio de casos, 86.- Comentarios finales, 102.- Biblio-
grafía, 102.
CAPITULO IV: Sobre la recoociliación de los an61isis cualitati-
vos y cuantitativos: Un estudio de casos, por M. G. TRENO . . 105
Intr oducción, 105.- El contexto, 106.- Diseño de la investi-
8 Contenido

gación, 107 .- El caso, 108.- Observaciones de campo y ex­


plicaciones, 109.- Redacción, 114.- Explicaciones opues­
tas, 115.- La síntesis, 118.- Conclusiones, 125.- Bibliogra­
fía, 130.
CAPITULO V: Hacia un acercamiento entre I• metodologías
cuantitativas y cualitativas, por F.A. J.IANNI yM.T. ORR 131
Métodos cualitativos en evaluación, 132.- La evaluación co-
mo una investigación de campo, 136.- Combinación de los
enfoques cuantitativo y cualitativo, 138.- Resumen y con­
clusiones, 143.- Bibliografía, 146.- Nota del editor, 147.
CAPITULO VI: lDicen la verdad las fotografías?, por H. S.
BECKER .. . . . . ... . .. . . ...... .. .. .. ..... .... 148
lOué es lo verdadero?, 150.- Amenazas a la validez, 157.­
Conclusión, 170.- Bibliografía, 170.
CAPITULO V11: Contribuciones etnográficas a la investigación
evaluativa,porM.S.KNAPP .. .................... 171
Investigación etnográfica de la evaluación en los estudios so-
bre las Escuelas Experimentales, 173.- Cuestiones suscitadas
por la experiencia de investigación evaluativa de las Escuelas
Experimentales, 176.- Aportaciones alternativas de la etno-
grafía a la investigación evaluativa, 187.- En conclusión,
196.- Bibliografía, 200.
CAPITULO VIII: Conexión entre el amilisis de proceso y el aná­
lisis de impacto: el cao del trabajo asistido, por R.G. HO-
LLISTER, P.KEMPER yJ.WOOLDAIDGE . . .... . . .... . 202
Empleo del análisis conjunto para evaluar impactos de com­
ponentes de programa, 203.- Trabajo asistido y su base de
datos, 206.- Conclusión como indicación de un éxito poste-
rior al programa, 210.- Experiencia durante el programa e
ingresos post-programa, 216.- Sesgo de selección, 220.­
Conclusión, 222.- Bibliografía, 225.
RESEI\IA BIOGRAFICA SOBRE LOS AUTORES. .... ... . . 226
INTRODUCCION A LA EDICION ESPAfilOLA

INVESTIGACION CUANTITATIVA/INVESTIGACION
CUALITATIVA: lUNA FALSA DISYUNTIVA?
Por Juan Manuel ALVAREZ MÉNDEZ
Profesor Titular de Did;Jctica
Universidad Complutense de Madrid

' La polémica sobre métodos.de investigación en Ciencias So­


ciales no es nueva. Son frecuentes las discusiones planteadas en
términos dicotómicos, a veces antagónicos, en torno a ternas
corno: investigación nomológica/investigación ideográfica; in­
vestigación psicométrica/investigación etnometodológica; inves­
tigación de laboratorio/investigación de campo; investigación
experimental/investigación naturalista... Las dicotomías po­
drían multiplicarse, tal vez con mayor profusión que provecho,
teniendo siempre puntos de referencia conceptuales y metodo­
lógicos distintos sobre los que se pretende desarrollar "la cien­
cia", como si ésta fuera una, y la forma de hacerla y de interpre­
tarla fuera lineal. A pesar de esta larga tradición, caracterizada
por un fuerte desequilibrio entre las dos tendencias, que inclina
la balanza del lado experimental debido al desarrollo e influen­
cia del positivismo, tal vez lo más novedoso eñ el momento
actual resida en el interés por buscar las compatibilidades y la
complernentariedad entre las dos tendencias que posibiliten el
trabajo·· conjunto y que, grosso modo, definen el panorama
actual de investigación, es decir, la cualitativa por un lado y la
cuantitativa por el otro(1 ). La obra que presentan CooK y Re1-
CHARDT es, sin lugar a dudas, un esfuerzo de considerable valor
para mostrar esta nueva situación, motivada, en gran medida,
por el resurgimiento y el empuje de la. investigación cualitativa
y las posibilidades epistemológicas, metodológicas y prácticas
10 Métodos cualitativos y cuantitativos en investigación evaluativa

que ofrece, a la vez que por una gran insatisfacción producida


por las fuertes críticas a algunos métodos cuantitativos que
tienden a distorsionar o a simplificar excesivamente realidades
sociales complejas. A todo esto se añaden razones que explica­
rían un cambio de actitud por parte de los estudiosos e inves­
tigadores que llevan a un reconocimiento y una mayor com­
prensión y apertura hacia nuevas concepciones, hacia nuevas
perspectivas, que traerán como consecuencia la búsqueda de
nuevos métodos y de nuevas técnicas derivadas de los nuevos
esquemas teóricos correspondientes(2). De todos modos, in­
tentar buscar coincidencias y colaboraciones mutuas no quiere
decir que las cuestiones fundamentales que han distanciado
ambas concepciones a lo largo del tiempo queden zanjadas en
una serie de trabajos, aunque sí planteadas con suficiente clari­
dad para descubrir ventajas e inconveniencias, poderes y debi­
lidades, alcances y limitaciones, de cada enfoque, dado que en­
trañan dificultades que no admiten soluciones de carácter
definitivo. Y tal vez tampoco convenga encontrarlas. Este
aspecto podrá comprobarse a lo largo de la lectura de este libro
y podrá igualmente comprobarse que "las espadas quedan en
alto", dependiendo no ya sólo de un simple ejercicio de elec­
ción, sino de actitudes y de intereses y, en definitiva,de marcos
conceptuales tan dispares que trasciendan los márgenes de in­
vestigación(3).
Conviene, no obstante, hacer alguna precisión aclaratoria
desde este momento, sin atentar contra el espíritu abierto y
conciliador que preside el libro: el hecho de resaltar la perspec­
tiva cualitativa no lleva como corolario implícito descartar, ni
tan siquiera infravalorar, la perspectiva cuantitativa. Tiende
más bien a defender la idea de que la investigación cuantitativa
no debe mantenerse como el único modelo a seguir.
Se trata de buscar y también de reconocer otras formas váli­
das y aceptables de hacer ciencia que no sigan los cánones pre­
fijados por uno de los enfoques y que recuperen para el queha­
cer científico y para el desarrollo del propio conocimiento
científico aspectos y dimensiones que insistente e intenciona­
damente han quedado marginados dentro del paradigma de
investigación dominante, consideradas como fuentes de prejui­
cios y de errores, o como amenazas, o cuando menos, elementos
distorsionantes del "espíritu científico auténtico" ---entiénda­
se, el proceder empírico-positivista-, relegándolas a simples
"variables contaminantes", o "variables no controlables", o
Introducción a la edición espai'lola 11

reuniéndolas cómodamente bajo la llamada "hipótesis nula",


particularmente cuando tales investigaciones se adentraban en
las ciencias sociales. Así, el descubrimiento y la comprensión
de significados personales presentes en el análisis de espacios
en los que el sujeto es protagonista; o la construcción intersub­
jetiva de la realidad; o el reconocimiento de la temporalidad de
la "verdad-científica" y de la misma "objetividad" (la tesis sus­
tentada por KuHN es esclarecedora a este respecto); o el estu­
dio de casos individuales, renunciando de partida a llegar a
generalizaciones que impliquen transferir resultados de una si­
tuación a otra, de unos sujetos a otros; o de los juicios de valor
o los propios valores del mundo sensible; o la creatividad, que
no sólo reacción, de los individuos en la realidad social... Recu­
perar y reconocer estas dimensiones, y otras muchas, en el que­
hacer científico, insisto, no debe llevar a descartar tampoco los
valores legítimos del proceder científico más experimentalista
y cuantificado aplicado a ciertas áreas de las ciencias sociales.
Se trata, como señala F1LSTEAD en el trabajo recogido en el pre­
sente volumen, de lograr el equilibrio perdido en el campo de
la investigación evaluativa, en este caso ampliando los márge­
nes de la comprensión científica, que no cerrándolos. Recono­
cer estos hechos, asumir las actitudes que ellos comportan, es
de suma importancia, sobre todo si se tiene en cuenta que den­
tro de las ciencias sociales hay áreas en las que la ciencia se
construye más adecuadamente partiendo de los presupuestos
en los que se sustenta la metodología cualitativa. Hacer cien­
cia, descubrir "verdades científicas" de las que se puedan deri­
var principios para la interpretación, comprensión e interven­
ción científicamente fundamentadas sobre los fenómenos estu­
diados, deja de ser exclusividad del paradigma estadístico-expe­
rimental.
Esto que acabo de señalar, y que encuentra apoyo y fuentes
documentales en el presente libro, adquiere más sentido, si cabe,
cuando se advierte que, en nuestro medio cultural, dentro de
las ciencias sociales hay áreas de conocimiento, las Ciencias de
la Educación por ejemplo, en las que la metodología·cualitati­
va simplemente "no ha llegado", puesto el empeño en seguir
una orientación restringida, no digo que equivocada, de la cien­
cia, quedando relegada la perspectiva cualitativa a campos se­
mánticos amalgamados a los que se les han asignado denomina­
ciones genéricas poco definitorias. Así: humanismo, espiritua­
lismo, idealismo, romanticismo, filosofismo, arte (concepción
12 Métodos cualitativos y cuantitativos en investigación evaluativa

que comienza a recuperar su propia identidad, precisamente


por el empuje del enfoque cualitativo) (4); o cualquier otra de­
nominación con ribetes descalificadores, acrítica pero intencio­
nadamente utilizados. Se pretende con estos rótulos señalar el
carácter pre-científico, a veces, a-científico, de estos enfoques.
Prb'-:�amente sucede de este modo en áreas en las que la lógica
de la metodología cualitativa adquiere todo su poder interpre­
tativo y explicativo. Esta situación, sucintamente recogida en
estas I íneas, se ha mantenido y aún perdura en el campo de la
educación, por más que fuera de nuestro ámbito cultural la
investigación cualitativa haya conocido un desarrollo muy nue­
vo pero nada desdeñable y haya ocupado espacios de estudio y
de investigación en los que se le reconoce un poder explicativo
propio(5).
Reivindicar la investigación cualitativa como otra forma le­
gítima de hacer ciencia para estas áreas pasa necesariamente
por revisar los grandes condicionantes y limitaciones que la co­
rriente lógico-positivista ha acarreado para tales ciencias, como
pueden ser, por ejemplo, y siempre refiriéndonos restrictiva­
mente a la educación, la inaplicabilidad y, en consecuencia, la
inutilidad de muchos de los esfuerzos derrochados en investi­
gar asuntos relacionados con temas escolares, el fracaso escolar
entre ellos(6).
Pero este sería un trabajo fácil, un atajo si se quiere, y para
el cual, por otra parte, es fácil de encontrar apoyo en otras
fuentes bibliográficas, además de algunos de los trabajos reco­
gidos en este libro(7). Creo más conveniente dedicar la atención
a desarrollar alguna consideración sobre la perspectiva cualita­
tiva y sus aportaciones para la investigación y la práctica cien­
tíficas en educación, sin que ello suponga infravaloración algu­
na de la perspectiva cuantitativa y siempre, por supuesto, dentro
del espíritu conciliador y ecléctico del presente libro. Y lo
hago partiendo del hecho reconocido de que los métodos cuan­
titativos de investigación tienen una larga trayectoria y gozan
de un prestigio que ha desequilibrado tanto la balanza a su
favor, que es necesario recuperar el equilibrio; para lo cual, tal
vez, sea preciso pasar una etapa en la que convenga resaltar
los atributos que caracterizan positivamente la investigación
cualitativa, reconociendo a la vez que el camino de consolida­
ción por recorrer es muy largo, que son muchas las resistencias,
y de muy diversa índole, que hay que vencer, muchos los pro­
blemas teóricos y prácticos que resolver y que, en cualquier
i n trod ucción a l a edición espallola 13

caso , la perspectiva cualitativa seguirá siendo uno opción, me­


j o r diría decisión, metodológica más, con mayor o menor po­
de r de explicación y de resolución, según áreas de estudio a las
q ue se aplique, y según la adecuación a los asuntos objeto de
investigación.
En mi ánimo está claro que la vía de ataque o de descalifica­
ción de cualquiera de los enfoques metodológicos y de las téc­
nicas que de el los se derivan para defender una postura alterna­
tiva no es la más idónea ni la más fecunda, máxime si se atiende
a la intención del libro que introduzco, una de cuyas conclu­
siones generales, y a la vez s íntesis de ideas dispares, puede ex­
presarse como sigue: ningún método tiene patente de exclusivi­
dad de hacer investigación cient ífica o de hacer ciencia. O
entender por tal lo que se hace al adoptar una perspectiva. Hay
d istintas formas de hacer ciencia que l levan a la explicación
comprensivo y a la comprensión explicativo de los fenómenos
que son objeto de estudio.
Ambas perspectivas son necesarias, ambas pueden funcionar
conjunta y complementariamente. E l asunto a evaluar y las cir­
cunstancias y campo de investigación y de evaluación, así
como el objeto u objetivos que se pretenden alcanzar son fac­
tores determinantes para decidirse por una u otra alternativa
o para primar un enfoque en relación al otro, definiendo las
funciones que cada uno va a desempeñar dentro de un progra­
ma de investigación. Si lo que importa en cualquier caso, en la
d inámica de la investigación, es lograr una amp lia base de da­
tos, aspecto en el que distintos autores coinciden, para explicar
y comp render los fenómenos estudiados, la flexibilidad y la
adaptabilidad de los métodos vienen a ser, como reconocen
CooK y RE ICHARDT, la solución más adecuada. A esta misma l í­
nea de coincidencia de perspectiva apuntan McC.ORM ICK y JA­
M ES (1 983; p. 1 57 ) al sustentar la legitimidad de procedimien­
to cuando se recurre a todo el espectro de fuentes de datos de
los tests estandarizados, escalas de observación sistemática, cues­
tionario de inventarios, entrevistas no estructuradas, observa­
ción participante y cualesquiera otras. En definitiva, todo méto­
do que sirva de estudio y de conocimiento de un asunto determi­
nado puede ser útil, pues siempre se quiere "información variada
recogida por diversas técnicas", como también señala CRoN eACH
( 1 980, p. 8). De aqu í el reconocimiento de que la s íntesis multi­
me todológico parece ser una aspiración que suscita un amplio
consenso entre investigadores en las ciencias sociales.
14 Métodos cual itativos y cuantitativos en investigac ión evaluativa

Hasta ahora ha quedado clara la necesidad de colaboración,


en paridad de posibilidades metodológicas, entre los dos en­
foques. Se trata de buscar acuerdos y colaboraciones en aque­
llos puntos compatibles; pero conviene no confundir las dos
perspectivas, pues se corre el riesgo de mezclar planos concep­
tuales y de intervención distintos, con la consecuencia subsi­
guiente de esperar de un método de investigación lo que en la
misma concepción del método no está comprendido. Pondré
dos ejemplos: cuando una investigación trata con grandes ma­
sas de datos y se esperan de ella resultados matemáticamente
interpretables y donde se pueden identificar los atributos
medibles y pueden diseñarse y desarrollarse instrumentos para
medirlos, el método experimental será el más adecuado ( GAA D­
N EA , 1 977; p. 59 1 ). Ahora bien, cuando se busca comprender
el comportamiento de los sujetos implicados en un proceso, in­
tentando captar el propio proceso en su totalidad, las interac­
ciones y significados entre los sujetos entre s í y de los sujetos
con el medio ambiental, sin dejar de lado variables imprevistas
que en algún momento del desarrollo de la investigación resul­
ten incómodas o parezcan revestir escaso valor, lo más apropia­
do será partir de un enfoque cualitativo.
El segundo ejemplo, hace referencia a un tema que suele ser
objeto de frecuentes análisis : si queremos estudiar las relacio­
nes personales que se establecen en el aula entre el profesor y
los alumnos, y el estudio se orienta según las directrices de los
diseños cuantitativos, se tendrán en cuenta las conductas ma­
nifiestas tanto de los alumnos como del profesor y de los alum­
nos entre s í, asignando valores numéricos a cada una de las par­
tes observadas (número de preguntas, número de respuestas;
tiempos de intervención de cada parte, pausas, silencios, distri­
bución .. r. Lo más indicado en este caso será una investigación
de carácter cuantitativo (por ejemplo, el análisis de interacción
verbal de FLAN D E A S ) ; si, por el contrario, lo que se pretend� in­
vestigar es el porqué de cada una de las situaciones analizadas
que se producen en el aula y la significación contextual y su
incidencia en las relaciones intersubjetivas que se establecen
(por ejemplo, lpor qué suele preguntar este alumno?; lqué
busca con sus preguntas: aprender realmente, perder el tiempo,
ampliar conocimientos, hacerse simpático ante los demás o por
incordiar al profesor y evitar que este avance en sus explicacio­
nes de contenidos?; lqué significado puede tener un gran silen­
cio en el aula: hast ío, interés, aburrimiento ... ?; lpor qué habla
I n tr oducción a l a edición espal'lola 15

ta nto y sin parar e l profesor?; l por qué hace preguntas?; lpor


q ué en lugar de exponer contenidos, hace preguntas?), lo más
apropiado es plantear la investigación desde un enfoque cuali­
t ativo. En ambos casos cada una de las metodologías dispone
de una amplia gama de técnicas de las cuales servirse para la re­
cogida de información válida, sobre la cual basar los conoci­
mientos que explican los fenómenos estudiados. A veces puede
resultar fácil lograr acuerdos para un trabajo conjunto, en otras
ocasiones quizá lo más conveniente sea reconocer las incompa­
tibilidades o las limitaciones de la utilización conjunta, partien­
do del punto de vista paradigmático del investigador. Estos as­
pectos deben quedar aclarados, como ya señalé, una vez quede
definido el problema que se quiere investigar, los objetivos que
se pretenden alcanzar y e l contexto y condiciones en los que
se da la investigación. Los estudios recogidos en el libro son
una invitación abierta a trabajar en esta línea de colaboración
conjunta. Y mi intención es reforzar esta tendencia. Ahora
bien, no se puede cerrar los ojos a las grandes diferencias que
separan cada enfoque. Cierto que, en "un esfuerzo concertado"
-difícil de lograr, es justo reconocerlo - se puede ir de cuestio­
narios estandarizados a entrevistas en profundidad en un pri­
mer paso, como también se puede utilizar categor ías y escalas
de observación de carácter cuantitativo, como son las de FLAN .
□ ERS, a las que acabo de aludir, para l legar a entrevistas o cues­
tionarios abiertos a través de los cuales se puede llegar a des­
cribir y comprender significados que hacen inteligibles aspec­
tos que no salen a la luz en la simple observación de los datos.
Mientras que sea posible, y en a lgunos casos es deseable, con­
viene utilizar conjuntamente las dos perspectivas. Pero esto no
debe ocultar -y creo que tampoco ser ía beneficioso para el
desarrol lo del pensamiento científico - las grandes diferencias
que separan los dos enfoques . En el libro se puede pa lpar
estas diferencias que van desde los orígenes de cada uno de los
enfoques (psicometría y ciencias exactas para uno; antropolo­
g ía, etnograf ía y sociolog ía para el otro) hasta los presupuestos
e n los que cada uno se sustenta. Tener claro esto evitará no
sólo "mezclar" indebidamente métodos y técnicas que no
si e mpre son bien avenidas, sino alguna que otra frustración en
el intento de buscar un electicismo deseable, pero no siempre
p osible, y que puede acabar en resultados híbridos difíciles de
e xp l-icar y de interpretar.
16 Métodos cual itativos y cuantitativos an investigación evaluativa

I NV ESTI GACION Y EVA LUAC ION EN CIENCIAS DE LA EDUCACION :


PRECISIONES CONCEPTUA LES

Intencionadamente he ido esquivando en las páginas prece­


dentes la utilización de la expresión investigación evaluativo a
la espera de establecer algunas precisiones, pues considero que
la transferencia de vocablos o de expresiones que tienen su ori­
gen en otros contextos culturales necesitan un m ínimo análisis
cuando los trasladamos a medios distintos, como es nuestro ca­
so, no vaya a ser que, aparte de la novedad, queden reducidos a
usos metafóricos vac íos de contenido real, dado que designan
lo que ya está designado en nuestra propia lengua, complicando
innecesariamente aún mlls una termino log ía que poco a poco
va dificultando la comprensión en el panorama educativo, tan­
to en sus formu laciones teóricas como en sus realizaciones
prácticas. As í, investigación educativa, investigación pedagógi­
ca, investigación de programas, investigación curricular, investi­
gación evaluativa, vienen a designar campos semánticos coinci­
dentes, si no idénticos. Cuestión de matices, digamos.
Conviene advertir, en primer lugar, que la utilización en la
obra de CooK y REICHARDT de la expresión investigación e va­
luativo obedece a la correcta traducción de los términos : Evo­
luation Research, expresión que en la literatura anglo-americana
goza de una larga tradición. L. RuTHMAN la define en 1 977
como "el proceso de aplicar procedimientos cient íficos para
acumu lar evidencia válida y fiable sobre la manera y grado en
que un conjunto de actividades espec íficas produce resultados
o efectos concretos" ( RuTHMAN·, 1 97 7 ; p. 1 6) . Y para ALV IRA
MARTÍN, de quien he tomado la cita anterior, la investigación
evaluativa o evaluación de programas, sin más, "es simplemen­
te la acumulación de información sobre una intervención-pro­
grama-, sobre su funcionamiento y sobre sus efectos y conse­
cuencias" ( ALv1RA MARTÍN, 1 985; p. 1 29 ) . En ambas concep­
ciones subyace la necesidad de recoger información con el fin
de ofrecer a otros -los patrocinadores- información y eviden­
cia sobre cómo se están desarrol lando los programas o a qué
resultados han l legado y cuál ha sido el rendimiento de sus
inversiones. Se espera siempre que, como resultado de la inves­
tigación evaluativa, se produzca algún tipo de cambio. Y esto
viene a caracterizar la investigación evaluativa como diferencia
que la distingue de otras formas de investigar en las que el
investigador se manten ía alejado de los fenómenos, escudado
Introducción a la edición espaffola 17

en una actitud de no ingerencia y de no intervención que ase­


gurasen la posibilidad de una objetividad pura. Como fruto de
la dimensión evaluadora se espera ahora que quien investiga in­
tervengo de algún modo.
Entrando en mayores precisiones BooGAN y 81N K LE N ( 1 982)
establecen una triple diferenciación que nos puede aclarar dón­
de situar conceptos que en algún proyecto pueden ser coinci­
dentes, sobre todo cuando no existen diferencias tan estableci­
das entre investigadores, evaluadores y profesores, los cuales se
funden y confunden en nuestro medio cultural educativo. En
efecto, y a fin de cuentas, el prqfesor es quien investigo y
quien evalúo y quien desarrollo los programas. Estos autores es­
tablecen, desde un enfoque cualitativo, tres tipos diferentes de
investigación: investigación evaluativa (Evoluotion Reseorch), in­
vestigación pedagógica (Pedagogicol Reseorch ) e investigación
en la acción (Action Reseorch ) .
E n la investigación evaluativo, e l investigador suele estar con
frecuencia contratado por un agente para describir y evaluar
un programa de cambio, con el fin de mejorarlo o de suprimir­
lo. El resultado de tal investigación normalmente consiste en
un informe escrito. Según BooGAN y 81N K LEN, la investigación
evaluativa es la forma mejor conocida de investigación aplicada.
En la investigación pedagógica el investigador es usualmente
una persona comprometida con la educación (profesor, admi­
nistrativo o especialista en educación) que quiere utilizar el en­
foque cualitativo para hacer lo que considera más conveniente,
bien sea para mejorar la enseñanza en términos generales o su
propia enseñanza; o bien para reflejar el grado de eficacia que
tiene en su tarea y cómo puede mejorarla. Los estudiantes o
autoridades académicas y administrativas inmediatas, serán los
destinatarios de los resultados obtenidos y del cambio preten­
d ido, resultados que serán llevados inmediatamente a cambios
prácticos, entrando a formar parte de su propio aprendizaje o
en el mejoramiento del proceso que se está desarrollando en un
mo mento determinado.
Por último, en la investigación en la acción las personas que
� irigen la investigación actúan como ciudadanos que pretenden
influir el proceso poi ítico a través de la recogida de informa ­
ción ( BooGAN y BIN K LEN, 1 982; pp. 1 93 - 1 ,94 ) ( 8 )·.
Sobre la base de las definiciones precedentes, podemos con­
cl u i r que la investigación evaluativa se entiende siempre que
h ay algu ien que contrata y que subvenciona y que persigue
18 Métodos cualitativos y cuantitativos en investigac ión evaluativa

u n os objetivos determ i nados para f i nes espec íficos. U n ejem­


plo vá lido y actua l es e l caso de l C I D E ( Centro de I nvesti gación
y Docume ntación Educativa) cuando saca a concurso un pro­
yecto de i nvestigación y eva luac ión de las reformas educativas
en cu rso y asigna un presupuesto a un gru po de investigadores
para que comp rueben la eficacia y rendimiento educativos de
unos p rogra mas determi nados y rectificar o ratificar segú n los
datos analizados, su funcionamiento, con e l f i n de legislar so­
bre nuevos progra mas que actua lme nte están en per íodo de
prueba . En este caso se puede ha bla r con propiedad de i nvestiga­
ción eva luativa o de eva luación de progra ma s o de evaluación cu­
rricu lar, o de i n vestigación educativa, que vienen a ser lo mi smo .
l Por qué, entonces, i n troducir una nueva term i nolog ía ?
Pienso que e l resurgir de la perspectiva cua litativa ha p rovoca­
do la necesi dad de reconocer que haya áreas de conoc i m i ento,
y la educación es una de e l las, que cuando se i nvestiga se eva­
lúa, rotos ya a lgun os mi tos sobre la objetividad pura pretend i ­
d a y e l tota l a islamiento del sujeto investi gador como ajeno a
su p ropia tarea de estud iar los asuntos hu ma n os. Recuérdese,
yá como a nécdota, a que l las recomendaci ones que aconsejaban
p resentar los tra bajos con rigor cient ífi co en u na despersonali­
zada tercera persona singu lar o p r i me ra de l p lura l. H oy en d ía,
y reflejo de l camb io de actitud hacia concepciones cua li tativas,
quien i nvestiga acostu mbra a def i n i rse como participante i m­
bricado de a lgún modo en aque llo que investiga y sue le expre­
sarse en pri mera persona. No es "algu ien anóni mo", "a lgu ien
cua lquiera " ; se sabe quién i nvesti ga , q l.!ié n piensa , qui é n va lora ,
quién decide, qu ién i n te rviene. Por eso son tan i mportantes los
i nformes finales y por eso mi smo se les exige tanta c la ri dad y
tanto rigor e n su presen tación. Este cam bio, aparentemente
grama tica l, refleja la nueva situación en la que la investigación
necesita hacerse evaluativa, donde es necesario sacar a la luz y
tener en cuenta la mu ltiplicidad de factores y de va lores que
entran en confli cto en cua lquier rea l idad socia l y a la que al
p ropi o investigador n o es ajeno.
H a b lo, c laro está, de una d i me nsión va lorativa aplicada a la
investigación educativa. Desde este punto de vista se puede
esta blecer un para le lismo de perspectivas ( cuantitativa-cualita­
tiva ) con la ya c lásica d ivisión de ScR IVEN entre evaluación su­
motiva y evaluación formativa. E n la tesis que sostengo, p reci­
sa me n te la eva luaci ón forma tiva es la que rea lmente i n teresa en
la educación . La llama da, por contraposición, eva luación su ma -
i n tr od u cc i ó n a la edición espai'lo l a 19

ti va , a m i modo d e ver y a desfasada pues responde a u n mo­


me n to h i stórico mu y concreto, q ueda reducida a funciones bu­
r oc rático-admi n istrativas de pol ítica educativa de mi cro y ma­
c r o-n iveles ( ca l ifi caciones, controles, premi os, paso de un cu rso
a otr o, agru pamiento de a l u m n os y otros aspectos que me nos
tie nen que ver con las cua l idades de l p roceso educativo. a u nque
1 0 pueden condici onar) . ( Cf r . ALVAREZ MEN DEZ , J. M ., 1 985 ,
1 9 86 . l Como anti nadamente señala CRoN BACH "los dos té r­
mi nos no son adecuados para !as d iscus ionfs de hoy e n d ía L . )
Las eva l uaci ones s e usan casi tota lme nte de u n mo do forma ­
ti vo cuando se usan . Esto e� cierto , concluye CRON BACH , i n­
c l uso e n los estudi os q ue se auto l i mi tan a medi r resu l tad os "
( CR ON BACH , 1 980; p. 55 ) . La razón del pa ra le l i smo en e l bi ­
n omi o i nvesti gación -eva l uación es , en mi opi n i ón , la sigui en­
te : cuando se i nvestigan los asu ntos educativos, sobre todo
c uando no son objetos bu rocrático-admi n istrativos, cua lquier
i n vestigación es simu ltáneamente eva luación. Y como tal, debe
i ncidir en la p ráctica. Qu iero deci r: no puede quedarse la i nves­
t i gación en n ive les discu rsivos y especu lativos. La doble d i me n­
sión ético y normativo derivada de un a concepción de la educa­
ción como u na actividad intencionalmente humano, y no s i m­
p le actividad natu ra l, p rop ia de l os cuerpos f ísicos, hace que
cua l qu ier estud i o sobre la m i sma con l leve y comparta el p roce­
so eva l uador entendido como práctico social legítimo . Es de su­
ma i mportancia no pe rder de vista este criterio rector de la
legiti mación de la práctica educativa que se a ntepone, por prin­
cipio, a criterios de otro s igno, ta l es e l caso de l a eficacia ( = p ro­
ductividad, que l leva a la competitividad) que se busca en las
c iencias f ísicas. De donde se conc luye que la objetividad exigi­
da a l os métodos en las cienc ias socia les remi te obl igada me n te
al mundo de los valores y, a l mi smo ti empo, a l análisis del pro­
yecto teórico q ue la sustenta . N os i nsta lamos con e l lo en e l do­
mi n io prop io de l quehacer h u ma no, que n o es d isti nto de l
queha cer cient ífico.
Lo que acabo de deci r no debe i n terpretarse como falta de
i n teré s o despreocu paci ón por el r igor más sól ido y exigente de
la i nvestigación cient íf ica. Se trata de acu d i r a otras técnicas,
co mo pueden ser , entre otras , la tri an gu laci ón pa ra va lidar mé­
to do s y la observación participante, técnicas sobre l as q ue e l
le ct or podrá encon tra r ejemp los va l iosos a i o largo de las pági ­
nas q ue s igue n .
20 Métodos cual itativos y cuantitat ivos en i nvestigación eval uativa

NOTAS

( 1 ) E n I íneas ge nerales, y muy breveme nte , podemos caracterizar la pers­


pectiva cuan titativa por su preocupación por e l control de l as varia­
bles y l a medida de resu l tados, expresados con preferencia numérica­
mente . E n la perspectiva cualitativa la primac ía de su i n te rés radica
en la descripción de los h echos observados para i nterpretarl os y com­
prenderlos en e l contexto g lobal en el que se producen con el f i n de
expl icar los fe nómenos. Si desde la perspecti va cuantitativa i n te resa
primord i a l m ente la explicación causal derivada de u nas h ipótesis da·
das, desde la cua l i tativa i n te resa la comprensión g lobal de l os fenó·
menos estudiados en su comp lejidad . La s ín tesis de ambos enfoques
recogida en e l pensamiento expuesto por l os autores del l i bro p od r ía
ser : p reocupación por l a explicación comprensiva y por l a compren­
sión explicativa de l os fenómenos. En esta i n terpretac ión de l a d ico­
tom ía p od r ía resu ltar e l eclecticismo a l que apuntan algunas ten­
dencias.

(2) Si rva como contraste de este cambio la postu ra de D . CAMPBE LL en


su obra e n col aboración con J . $TAN LE Y titu l ad a : Diseflos experi­
mentales y cuasi-experimentales en la investigación social ( 1 973;
1 966 e n original ) . Al l í dec ían : " E n esta obra nos dec l aramos partida­
rios del método e xperimental como ú n ico medio de zanjar l as d ispu­
tas re l ativas a l a práctica educacional , ú n ica forma de verificar ade­
la n tos en el campo pedagógico y ú n ico método para acumu l a r u n
saber a l c u a l puedan i ntroduc írsel e mejoras s i n correr e l pel igro d e
que s e descarten caprichosamente l os conocim ientos y a adq u i ridos
a cambio de novedades de i nfe rior cal idad" (p. 1 1 ) . La lectu ra del
trabajo ahora recogido en este vol umen es m u y sign ificativa . Valga e l
siguiente texto que entresaco para u n contraste rápido: " La ciencia,
d ice CA M PB E L L, depende más bien del conocim iento cual itativo y de
sen tido com ú n , aunque en e l mejor de los casos i ncl u so l o supere" .

( 3 ) E l pensam iento d e M . APPLE puede ser reflejo fiel de esta actitu d :


" ' Cual itativa' y 'cuantitativa' no son simplemente meros mod os d e
describir l o s hechos, pueden ser, tal vez . Pero estos d i fe rentes juegos
l i ngü ísticos son modos diferentes de existenc i a . Sus significados es­
tán v i nc u l ados a m odos de atender a los fenómenos e interactuar con
e l l os . As í," concluye APP LE, "esta r ocupado con la cual itativa es
abarca r , una forma de vida , q ue p rete nd e rescatar sign i ficados huma­
nos e i n tencional idades desde su status como simples ep ifenóme nos
en l a investigación cuantitativa " . APP LE , M ich ae l W. " ldeol ogy and
Form i n Cu rrícu l u m Eva l u a tio n " . E n : W i l l is, George , ed., Qualitative
Evaluation. Be rkeley (Cal . ) , 1 978, p . 498.
1 n troducci6 n a la ed ició n espai'lola 21

(4 ) Cfr. STENH0USE, L. Investigaci ó n y desarrollo del currículum Ma­


drid, Morata, 1 984. Del m ismo autor se puede ver el art ículo apare­
cido e n la Revista de Educación ( Mayo-Agosto 1 985; nP 277) , titula­
do " El profeso r como tema de i nvestigación y desarrollo".

( 5) Puede verse una amplia bibl iograf ía de orientación cualitativa e n :


FI L STEAD, Will iam J . , "Using Oualitative Methods in Evaluation Ae­
search : An lllustrative Bibliography".Evaluati on Review; vol . 5; n!> 2
Ab. 1 98 1 ; pp. 259-268.

(6) PAR LETT y HA MI LT0N (1976) hablan de "estudios artificiales y de


corto alcance". Y B. McDoNALD ( 1 976) d ice : "Gran parte del cono­
cimiento nuevo está p roducido por investigadores y evaluadores que
utilizan técnicas y p rocedimientos dif íciles de e ntender". Según D .
KA L L0S "en u na época en que los signos d e crisis dentro d e la socie­
dad son constantemente visibles también como crisis dentro de las
escuelas, los i nvestigadores pedagógicos h an ten ido poco éxito e n la
tarea de proporcionar las soluciones que se les ped ían". Y según Gu­
BA y LINC0LN (1982) "la investigación e xperimental no genera
conocimiento que me rezca la pena". Pienso que aqu í reside l a inutil i­
dad de tantas investigaciones educativas cuyas conclusiones nunca
llegan a i ncidi r en la mejora de la p ráctica y muy raramente en el co­
nocimiento de la misma.

( 7 ) Muy i nteresante por la p rofundidad y fue rza de su análisis y las deri·


vaciones que h ace para l a construcción de una teor ía y práctica de la
educación cient íficamente fundamentadas desde la perspectiva de la
investigación en la acción, es el libro de CARR , W. y KEMMIS S . Be­
com ing Cr itica/: Knowing Through Action Resaarch. Victoria, Dea­
kin University Press, 1983.
( 8) Una inte rp retación más amplia y a la vez más enriquecedora de la
investigación en la acción referida a la educación puede verse en las
obras ya citadas de STEN H0USE y de CAR A y KEMM IS, así como los
trabajos recogidos en el dossier titulado M,todos y técnicas de inves­
tigación-acción en las escuelas, uno de cuyos autores es J. ELLI0T.
Particularmente pienso que la investigación en la acción representa
en la investigación educativa u n a s íntesis valedora de los presupues·
tos en los que se sustenta la investigación cualitativa, conocida en
este sentido tamb ién como i nvestigación naturalista, q ue enfatiza la
necesidad de que los conocim ientos adquiridos a través de la investí·
gación sean aplicables a la vez que contribuyan a la construcción de
teorías explicati vas de l a p ráctica m isma. Como investigación aplica­
da, la investigación en la acción se opone a u na concepción de la
investigación básica entendida como aquella que persigue fundamen­
talmente aumentar e l caudal de conocimiento general , a menudo re-
22 Métodos cual itativos y cuantita t ivos e n i nvestigación eval uativa

ferido a áreas más generales. Desde un punto de v i sta tradicional se


entiende que la i nvestigación básica goza de u n a aureola de p restigio
del q ue deriva una autoridad fundamentada -"se h abla con rigor
cient ífico"- que l e concede u n status superior dado el carácter "pu­
ro " de su q uehace r . menos contam i nado por l as complicaci ones deri ­
vadas de l a participación en l os h echos cotidianos a l os que se ded ica
l a i nvestigación apl icada. La aureola de prestigio se ve reforzada por
la u t i l ización de un l enguaje más abstracto e i n accesible para el p ro­
fano. En cam bio, la in vestigación ap l icada, la investigación en l a
acción , no só lo rehuye del esote rismo conceptua l , s i n o q u e p rocura
hacer i ntel igibles l os resu ltados de sus pesqu isas de tal modo que
puedan i ncidir d i rectamente e n e l mejoram iento y e n l a compre nsión
de la práctica de forma s i m u ltánea .
I n tr oducción a la edición espai'lole 23

BIBLIOGRAFIA

A LVAR EZ M É N DEZ, Juan M . " La eval uación cual itativa. Del imitación conceptual
y caracterización global". En: Bol. de Acción Educ. Mavo. 1 985. n!> 3 1 ; oo. 9- 1 6.
___ Mihodos y t1!cn icas de eval uació n desde la perspectiva cualitati va e n : Teor(IJ y
prllctica de la e valuación en en,elfanz• medias, G ranada. I CE U n i ve rs idad de
G ranada, 1 986 . P p . 85 - 1 32 .
A LV I RA MARTÍN, F rancisco. " La i nvestigación evaluativa: u na perspectiva experi­
mental ista". E n : Rev. E/I/J8ñola de Investigaciones SociolÓIJÍcas. E nero-Marzo,
1 985, n!> 29; pp. 1 29- 1 4 1 .

8 O DGAN, Robert C. y B I N K LEN, Sara K. Qualitative Re,eerch far Education: an


lntroduction to Theory and Methods. Boston. A l l y n am:I Bacon, 1 982.

CRON BACH. L. Toward Reform of Program Evaluation. San F rancisco, Jossey


Bass, 1 980.

E L L I OT. John y otros. Métodos y técnicas de i nvestigación-acción en las escuelas.


Sem inario de Formación celebrado en Málaga del 1 al 4 de Octubre, 1 984.

G A R D N E R , Don E. " F ive Evaluation Framework : l mpl ications for Decision Ma·
k i ng in H igher Educat ion". Journal of Higher Education, X LV I I I 1 1 977), 5; pp.
57 1 -593.
G U BA, Egon y L I N CO LN, Yvonna S. Effective Evaluation. San Francisco, Jossey
Bass, 1 982.

K A L LOS, D.: " En torno a los fenómenos educativos y la i nvestigación en educa­


ción". En: OOCK R E L L, W. B. y H AM I L TON, D . : Nuevas reflexiones sobre le
investigación educativa. Madrid, Narcea, 1 983; pp. 1 67- 1 82.

M C CO R M I CK, Robert y J AM ES, Mary. Currículum Evaluation in Schools. Lon­


d res, Croom Hel m, 1 983.
M c DO N A L D, Barry . " La evaluación y el control de la educación". En: G I M E NO
SACR I STÁ N , J. y PÉREZ GÓM EZ, Angel: La ensellanza: su tflOría y ,u prácti·
ca. Madrid, Akal, 1 983; pp. 467-475.

PAR L ETT, M . y HAM I LTON, D.: " La evaluación como i l u m i nación". E n : G I M E ­


NO SACR I STÁN, J o sé y PÉ A EZ GÓM EZ, Angel: La 11ns.llanza: s u ttJOría y su
práctica. Madrid, Akal, 1 983; pp. 450-466.

R UTHMAN, L. Evaluation ReSHrch M11thod1: a Baric Guid11. Londres, Sage, 1 977.


CAP ITU LO P R I M E RO

HACIA UNA SUPERACION DE L ENF RENTAMIENTO


ENTRE LOS METODOS CUA LITATIVOS
Y LOS CUANTITATIVOS *

Por Charles S. R E ICHARDT


Universidad de Denver
y Thomas O. COO K
Northwestern University

Es considerable el desacuerdo existente respecto a la adecua­


ción de métodos diversos y posiciones metodológicas para rea­
lizar la investigación evaluativa. Uno de los debates actuales,
de intensidad creciente, se centra en la diferencia entre méto­
dos cuantitativos y cualitativos. Por métodos cuantitativos los
i nvestigadores se refieren a las técnicas experimentales aleato­
rias, cuasi-e xperimentales, tests "objetivos " de lápi z y papel,
a nálisis estad ísticos multivariados, estudios de muestras, etc.
En contraste, y entre los métodos cualitativos, figu ran la etno­
graf ía, los estudios de caso, las entrevistas en profundidad y la
observación participativa. Cada uno de estos tipos metodoló­
gicos, es decir el cuantitativo y el cualitativo, tiene un grupo de
partidarios quienes afirman que sus métodos preferidos son los
mejor adecuados pa ra la evaluación. Seguidamente se incluye
u n a muestra de las opiniones que sustentan cada una de las
pa rtes del debate.
CAMPBE LL y STANLEY (1 966) y R 1 ECKEN y otros (1 974) son
c itados a menudo como firmes defensores de los métodos

* N ota de los a u tores : El trabajo del que damos cuenta en este capítulo contó en
ar
gecate con la ayuda de una beca de investlgac/6n de la Universidad de Denver, una
de lnvestlgac/6n de la W. T. Grant Foundation y una beca (DA R 78.()9368} de
la Nationa/ Sclence Foundatlon. Los autores agradecen a Barbara Minton y a Dale
Sch ellenger sus valiosos comentarios a un an terior borrador de este texto.
26 Métodos cualitativos y cuantitativos en investigación evaluativa

cuantitativos. Aunque CAMPBE LL y STAN LEY (1 966 :2) no se in­


teresaron fundamentalmente por la investigación evaluativa,
describen lo experimental como "el único medio de establecer
una tradición acumulativa en el que cabe introducir perfeccio­
namientos sin el riesgo de prescindir caprichosamente de los
antiguos conocimientos en favor de novedades inferiores".
R 1 E c K EN y otros ( 1 974 :6, 1 2) se muestran tan sólo ligeramente
más moderados y no menos entusiastas en sus reivindicaciones
acerca de los experimentos: " Los experimentos no sólo condu­
cen a conclusiones causales más claras sino que el mismo pro­
ceso del diseño experimental contribuye a aclarar la naturaleza
del problema social que está siendo estudiado". "Cuando las
condiciones no son problemáticas o cuando la creatividad y el
ingenio de quien diseña la investigación pueden resolver pro­
blemas dif íciles, entonces la experimentación es el método pre­
ferible para obtener una información válida y fiable sobre la
cual proyectar programas sociales." (cursiva en el original).
WEISS y R E IN ( 1 972), PAR LETT y HAM ILTON ( 1 976) y GUBA
( 1 978) figuran entre quienes se agrupan en favor de los méto­
dos cualitativos. We1ss y R e1N en particular ( 1 972 :243) indi­
can diversas estrategias alternativas de investigación y deriva­
das de la tradición cualitativa a las que consideran "en general
superiores al diseño experimental como metodolog ía para la
evaluación de programas de objetivos amplios". Al hablar es­
pec íficamente de la evaluación educativa, PAR LETT y HAM IL­
TON (1 976: 1 41 ) añaden tajantemente:

De modo caracter ístico, l os enfoques convenciona les han seguido las


tradiciones experimenta les y psicométricas que predominan en la inves­
tigación educativa . Su propósito (irrealizado) de lograr plenamente unos
"métodos objetivos" ha conducido a estudios que resultan artificia les
y de a lcance limitado. Afirmamos que semejantes evaluaciones son
inadecuadas para i lustrar las áreas de problemas complejos con las que se
enfrentan y, como resultado, suponen una escasa aportación efectiva al
proceso de elaboración de decisiones.. . La evaluación i luminativa se
presenta como perteneciente por contraste a un "paradigma de la inves­
tigación antropol ógica" .

De manera similar, GueA ( 1 978 : 8 1 ) señala que la investiga­


ción ñaturalista (a la que se compara con el trabajo etnográfico
de campo y con el periodismo de investigación y se presenta
como diametralmente opuesta a la investigación experimental
Hacia una superación del enfrentam iento . . . 27

y convencional ) bri nda "un modo de eva luación más a pro­


p ia do y más sensi ble que cua lqu ier otro practicado en la actua­
l ida d ".
La corriente actua l de op inión reve la en rea l i da d más des­
ac erdos que l os ofreci dos por estos dos gru pos de citas. Desde
u
lu e go, no hay u na n i m i dad sobre si existe o no desacuerdo. Por
eje mp lo , R oss1 y WA 1GHT ( 1 977 : 1 3) afi rma n q u e "entre los i n­
vestigadores eva l uativos existe una coi ncidencia casi tota l e n
señ a la r que e l ex peri mento a leatorio contro lado e s e l mode lo
i dea l para eva l u a r la efi cacia de la pol ítica pú b l i ca " . G u eA
( 1 978) c ita esta dec laración con obvio desdén .
E l propósito de l presente cap ítu lo consiste e n señalar que
pa rte de l debate actu a l sobre los métodos cua l i tativos y cuan­
titativos no se centra en cuesti ones productivas y , en conse­
cuencia, no se desarro l la de manera ta n lóg ica como ser ía
deseable. Esto no sign ifica afi rma r que sea posi ble resolver por
comp leto esta d isputa metodológica . Como más ta rde veremos,
del debate su rgen cuestiones i mporta ntes que permiten u nas
j u stas d i ferencias de opi n i ón y de criterio. Convendr ía perfi­
la rlas a ntes de que se ma ni festa ran sent i m i entos como los
expresados al menos en a lgunas de las cita s a nteriores. Pero e l
d ebate, ta l como s e está l leva ndo a ca b o , oscu rece d e forma
progresiva las cuestiones y crea sin necesidad cismas entre los
dos ti pos de métodos, cuando deber ía tender puentes y poner
en c la ro cuá les son los auténticos desacuerdos a l os que merece
la pena prestar atención .

E L LEN GUAJ E DE L DE BATE ACTUA L

Para entender a lgu nas d e las fa lacias d e las opi n iones actua­
les que están cobrando popu laridad, es preciso apreciar más
p lena me nte la forma en que se desarrol la el debate entre los
dos ti pos de métodos. R ecientes comenta ristas, cr íticos y
defensores ( cf. G u eA , 1 978; PAA LETT y H A M I LTON , 1 97 6 ; PA­
TTON, 1 97 5 , 1 978; R 1 sr , 1 977 y W1 LSON , 1 97 7 ) considera n e l
debate n o sólo como u n desacuerdo respecto a las ventajas y
de sv entajas re lativas de los métodos cua l i tativos y cuantitati ­
vo s, si n o ta mb ién como u n choque básico entre paradigmas
me todol ógi cos. Segú n esta concepción , cada ti po de método
se ha l la l i gado a u na perspectiva paradigmática d isti nta y ú n i ca
Y son estas dos perspectivas las que se e ncuentran en conf l icto.
28 Métodos cualitativos y cuantitativos en investigación eval uativa

Tal como lo expone R1sr ( 1 977 : 43) : " En definitiva, la cues­


tión no estriba per se en unas estrategias de investigación. Lo
que sucede más bien es que la adhesión a un paradigma y su
oposición a otro predispone a cada uno a concebir el mundo,
y los acontecimientos que en él se desarrollan, de modos pro­
fundamente diferentes".
El concepto de paradigma procede de KUHN (1 962, 1 970).
Basándose en sus trabajos, PAT TON (1 978 : 203) define un para­
digma como

una visión del mundo, una perspectiva general , un modo de desmenu·


zar la comp lej idad del mundo rea l . Como tales, los paradigmas se hal lan
p rofundamente fijados en la socialización de adictos y profesionales;
los paradigmas les dicen lo que es importante , leg ítimo y razonable . Los
paradigmas son también normativos; seí'ialan al profesional lo que ha de
hacer sin necesidad de p rolongadas consideraciones e x istenciales o epis·
temológicas.

Los que ven el debate en términos de un contraste entre pa­


radigmas proporcionan, por lo general, toda una lista de atri­
butos de los que se afirman que permiten distinguir las concep­
ciones globales cualitativa y cuantitativa. Por ejemplo, RIST
( 1 977) brinda tres atributos, PATTON (1 978) proporciona siete
y G u BA ( 1 978) aporta catorce. Sin propósito de ser exhausti­
vos, ofrecemos en la Tabla 1 muchos de los atributos más pro­
minentes de cada paradigma. En resumen, del paradigma cuan­
titativo se dice que posee una concepción global positivista,
hipotético-deductiva, particularista, objetiva, orientada a los
resultados y propia de las ciencias naturales. En contraste,
del paradigma cualitativo se afirma que postula una concep­
ción global fenomenológica, inductiva, estructuralista, sub­
jetiva, orientada al proceso y propia de la antropolog ía social.
El estudio que f1LSTEAD realiza en este volumen sobre los
paradigmas proporciona una descripción más profunda y de­
tallada.
Tales caracterizaciones paradigmáticas se basan en dos supo­
siciones que tienen una consecuencia directa en el debate acer­
ca de los métodos. En primer lugar se supone que un tipo de
método se halla irrevocablemente ligado a un paradigma de ma-
Hac ia una superación del enfrentamiento • . • 29

Tabla 1 : Atributos de los paradigmas cualitativo y cuantitativo

paradigma cualitativo P.-adigma cuantitativo

Aboga por e l empleo de los Aboga por el empleo de los méto·


métodos cual i tativos. dos cuantitativos.

Fenomenologismo y lfflrstehen Positivismo lógico; "busca los


(comprensión ) "interesado en hechos o causas de los fenómenos
comprender la conducta humana sociales, prestando escasa atención
desde el propio marco de refe­ a los estados subjetivos de los
rencia de quien actúa" . • individuos" . •

Observación natural ista y sin Medición penetrante y controlada


control .

Subjetivo. Objetivo.

Próximo a l os datos; perspectiva Al margen de los datos; perspectiva


"desde dentro". "desde fuera".

F undamentado en la realidad, No fu ndamentado en la realidad,


orientado a los descubrimien tos, orientado a la comprobación,
exploratorio, expansi onista, conf i rmatorio, reduccionista,
descriptivo e inductivo. inferencia! e h ipotético
deductivo.

Orientado al proceso. Orientado a l resu ltado.

Válido: datos "reales", "ricos" Fiable : datos "sólidos" y


Y "profundos" . repetibles.

No gen eralizable : estudios de Generalizable : estudios de casos


casos aislados. múltiples.

Ho l i sta. Particularista .

Asum e una realidad dinám ica. Asume u na realidad estable


* Citas de BOGDAN y TA YLOR 1 1 975: 2) . No suscribimos necesariamente estas
desc ripci ones de "fenomenologismo" y " 'positivismo l ogico" (cf. COO K y CAMP·
B E L L , 1 979) aunque semejantes caracterizaciones se hal len muy d ifu ndidas.
30 Métodos cual i tativos v cuant itativos an investigación evaluativa

nera tal que la adhesión a un paradigma proporciona los me­


dios apropiados y exclusivos de escoger entre los tipos de
métodos. Es decir, como conciben e l mundo de diferentes ma­
neras, los investigadores han de emplear métodos distintos de
investigación·. Si la teoría de la evaluación de uno de éstos se
encuentra relacionada más estrechamente con los atributos del
paradigma A que con los atributos del paradigma B, debe auto­
máticamente inclinarse por los métodos de investigación que se
hal lan ligados al paradigma A. En segundo lugar, se supone que
los paradigmas cualitativo y cuantitativo son r ígidos y fijos y
que la elección entre éstos es la única posible. O sea que se
considera inmutab les a los paradigmas y que no existe la posi ­
bilidad de modificaciones ni de otras opciones.
Intencionadamente o no (y en algunas discusiones no resu lta
clarame nte evidente la intención), estas dos suposiciones con­
ducen a la conclusión de que nunca cabe emplear juntos los
propios sistemas cual itativos y cuantitativos. Como los méto­
dos se hallan ligados a diferentes paradigmas y como hay que
escoger entre estas concepciones g lobales excluyentes y anta­
gónicas, uno tiene también que e legir entre los diversos tipos
de métodos.
Tratar como incompatibles a los tipos de métodos estimula
obviamente a los investigadores a emplear sólo uno u otro cuan­
do la combinación de los dos sería más adecuada para las nece­
sidades de la investigac ión. Paral i za asimismo cualqu ier tenta­
tiva de superar las diferencias entre las partes enfrentadas en
el debate acerca de los ti pos de métodos. Por estas razones la
conceptual i zación de los tipos de métodos como antagónicos
puede muy bien estar l levando por mal cam ino tanto el debate
como la práctica metodológicos actuales. En nuestra opinión
constituye un error la perspectiva paradigmática que promueve
esta incompatibilidad entre los tipos de métodos. Específica­
mente ambas suposiciones antes citadas son falsas, así que no
se sostiene la conclusión según la cual los investigadores han de
elegir entre los tipos de métodos. En el análisis que sigue ex­
ponemos la falacia de ambas suposiciones (es decir, el nexo en­
tre paradigma y método y la elección forzada entre paradigmas
cual itativo y cuantitativo). Tras haber reconsiderado as í el con­
flicto entre los puntos de vista paradigmáticos redefinimos en­
tonces las cuestiones suscitadas por el debate acerca de los tipos
de métodos y resaltamos algunos de los beneficios potenciales
del empleo conjunto de los métodos cual itativos y cuantita­
tivos.
H acia u na superación del enfrentamiento ... 31

¿ DE TER M I NAN LOGICAMENTE LOS PARADI GMAS LA E LECCION


DE L METO DO DE I N V ESTI GACION 7

Segú n el uso actua l, u n paradigma consta no só lo de u na


co n cepción fi losófica g loba l , sino ta mbién de u n nexo con u n
determi nado t i p o d e método de investigación . E n este sentido
de la defini ción e l paradigma determina entonces el método.
La cuestión que aqu í se plantea es la de precisa r si este nexo en­
tre pa radigma y método resu lta necesario e i n herente o si sen­
c i l lame nte procede de la defin ición y de la práctica. En otras pa­
la bras: lexiste u na consistencia i n herente e ntre la adhesión a la
fi losof ía de un pa radigma y el emp leo de los métodos de otro ?
La pregu nta se responde con faci lidad cons iderando sucesiva­
mente cada u no de los atributos pa radigmáticos para ver si se
hal la lógi ca me nte l igado tan só lo a u n o de los métodos o si
puede a p l i ca rse igua l mente bien a a mb os. Cada uno de los atri ­
b utos de la Tab la 1 es exa mi nado separadamente a continua­
ció n .

Reconsideraci6n d e la relaci6n entre paradigma y método

• l Es necesariamente u n positivista lógico e l investigador


que emp lea procedi mientos cuantitativos? Y de l mismo modo
les necesaria mente un fenomenologista e l i nvestigador que
emp lea procedi mientos cua litativos? Cierta me nte no porque,
por un lado, muchos i nvestigadores socia les que uti l izan mé­
todos cuantitativos su scriben una posi ción fenomenológica.
Por ejemp lo, las teor ías psicológicas socia les de la atr ibución
son fenomenológicas en cuanto que se proponen comp render
conductas y creencias desde la perspectiva de los m ismos acto­
res. S in embargo la mayor parte, si no toda, de la i nvestiga­
ción de la atribuc ión se rea l i za en el la boratorio con métodos
cuantitativos . Pero consideremos la i nvestigación sobre la i n ­
tro spección , u n tema que asi m ismo corresponde cla ramente
al terreno de l fenomenologismo . En la revisión sobre la inves­
ti gación de la i ntrospección, rea l izada por N iseE TT y W ILSON
( 1 977 ) , la vasta mayor ía de los estudios e mp learon procedi ­
mi e ntos cuantitativos como tos experi mentos a leatorios y las
mediciones "objetivas" de la conducta .
Por otro lado ser ía posi b le, aunque qu izá resu lta ra impro­
bab le, que un etnógrafo rea l izara i nvestigaciones desde u na po-
32 Métodos cual itativos y cuantitativos en investigación evaluativa

sición de positivismo lógico. Por ejem p lo , i m ag i nemos a u n i n ­


vestigador que crea que l a categor ía socioeconóm ica s e defi ne
exclusivamente en térm i n os de bienes materiales como te levi­
sores, coches, casas y ropas. Como ta les a rt ícu los pueden ser
observados y contados sin referen cia a los si gni ficados que ten ­
gan para su s prop ietarios, semejante medida d e l a categor ía
socioeconóm i ca corresponde clara mente a la tradición de l
positivismo lógico. As í, u n i nvestigador que emplee esta me­
dida y que compruebe las pertenencias de un i ndividuo median­
te u n trabajo etnográfico de campo esta r ía suscribién dose a l
positivismo lógico a l tiempo que emplea ba métodos cua lita ­
tivos.
• lSon necesariamente natura l i stas las medidas cua litativas
y necesaria mente penetrantes los procedi m ientos cuantitati ­
vos ? Los proced i m ientos cua l itativos, como la observación par­
tici pativa , pueden resu lta r penetrantes en a l gu nas situaciones
i nvestigadoras. Por ejemplo , la categor ía de Ma rgaret M EAD
como persona ajena fue probable y fác i lmente advertida por
las personas que decidió estudiar y, desde l uego , esta circu ns­
tancia i nf l u yó en su re lación de trabajo con e l las. De la m isma
manera a lgu n os proced i m ientos cuantitativos, ta les como l�s
experiencias a l eatorias, pueden , en ocasi ones, ser empleados
de u n modo com pletamente d i screto (cf. LoF LAN o y LEJEU­
NE, 1 960) . De hecho, la cuestión del engaño se ha suscitado en
m uchos experi mentos de campo y de laboratorio precisamente
porque se consideraba que tanto e l i nvestigador como la man i ­
pu lación se h a l laban perfectamente encubiertos ( cf . DAvlS,
1 96 1 ; LO F L.AN D. 1 96 1 ; R OTH . 1 962 V K E LM A N . 1 972) .
• lSon necesariame nte su bjetivos l os proced imientos cua l i ta­
tivos y necesariame nte objetivos l os proced imientos cuantitati­
vos? Segú n ScR IV EN ( 1 97 2 ) , h a br ía que reconocer que e l
térm ino subjetivo ( o alternativamente e l térm i no objetivo ) ha
l legado a tener d os significados d iferentes. Con frecuencia sub­
jetivo da a entender "influ ido por e l j u icio h u mano ". Confor­
me a este u so todos los métodos y medidas, ta nto cua l itativos
como cuantitativos, son subj etivos. Desde l u ego, l os modernos
fi lósofos de la ciencia coi nciden en gran parte en seña lar que
todos los hechos se hal lan i nsp i rados por la teor ía v a s í resu l ­
tan , a l me nos parcia l me n te, su bjetivos. P o r supuesto que la asig­
nación de n ú me ros de una ma nera mecá n ica, como es comú n en
los procedi m ientos cuantitativos, no garantiza la objetividad .
Por ejemplo, B OGDAN y TAY LO R ( 1 97 5 ) describen u na eva lua-
Ha c i a u na su peración del e nfrentam iento . . . 33

ci ón de u n programa de adiestramiento q ue demuestra c lara­


m en te la subjetividad de u n i ndicador nomina lmente objetivo .
E n esta eva luación pod ía seña la rse u na ta sa d e éx ito del 1 2 %
o de l 66 %. La discrepa ncia procede de las diferencias en el
m od o en que uno (subjetivamente ) decide emp lear los i nd i ­
ca dores objetivos para defi n i r e l éxito . Buena parte d e este
gén ero de su bjetividad aparece a l i í en donde· se emp lean un
diseño y u n a ná l isis cuantitativo ( cf . BoRucH , 1 97 5 ) .
E l sign ificado a lternativo d e subjetivo corresponde a l a me­
di ción de senti mientos y creencias. Es decir, u na medida o un
procedi m i ento son su bjetivos si toma n en consideración senti ­
m ientos huma nos, n o si endo 'presu m i b lemente éstos observa­
bles de u na ma nera di recta . Una vez más hay q ue seña lar que
no hay razones para su poner que los procedimientos cua l ita­
ti vos tengan un monopolio de la subjetividad. Los sondeos de
opinión de carácter naciona l ( por ejemplo, u na encuesta sobre
la popu lari dad de l actua l pres idente ) son excelentes ejemplos
de medidas cuantitativas que resu ltan su bjetivas. Ta l es e l caso
de l as i l ustraciones en el anál isis previo del fenomenologismo.
• lAislan necesaria mente los métodos cuantitativos a l in­
vesti gador respecto de los datos ? F IENBERG ( 1 977 : 5 1 ) piensa
que "es sorprendente que pueda considerarse e l acerca miento
a los datos como atributo exc lusivo de l enfoque (cua l itativo ) " .
Como por ejemp lo, F 1eN BERG ( 1 977 ) cita e l hecho d e enviar
a sus a lu mnos titu lados a pasar un pa r de noches en u n coche­
patru l la de la poli c ía pa ra ser más ca paces de concebi r u na eva­
luación cua ntitativa de las actividades po licia les. De forma se­
meja nte, mu chos investigadores cuantitativos se aventu ran en e l
campo "para ensuciarse las manos" y los psicó logos d e labora­
t orio rea l i za rán sus propias ma n i pu laciones y acosarán a pre­
gu ntas a su s sujetos para averigua r lo que significan las reac­
cio nes apreciadas en sus conductas. Ta l vez un adicto defensor
de lo cua l itativo afi rmará que todos estos son ejemplos de pro­
ced i mientos cuantitativos ligados con métodos cuantitativos.
D e cua lq u ier manera resulta cla ro que e l i nvestigador cuantita­
t i vo no debe a islarse de los datos.
• l Están necesa ri amente fundamentados en la rea l i dad, son
exp loratori os e i nductivos los proced i m ientos cua litativos
m ie ntras que los cuantitativos carecen de esa fundamentación
Y son necesariamente confi rmatorios y deductivos? A G LASEA y
ST RAU SS ( 1 967 : 1 7 -1 8 ) se les reconoce genera l mente como
a ut ores de una verdadera B i bl ia sobre la teor ía fu ndamentada
34 Métodos cualitativos y cuantitativos en investigación eval uativa

en la realidad. Afirman : "no existe choque fundamental entre


los fines y las capacidades de los métodos o datos cualitativos
y cuantitativos . . . Creemos que cada forma de datos resulta útil
tanto para la comprobación como para la generación de la teo­
ría, sea cual fuere la primac ía del énfasis " (en cursiva en el ori­
ginal). Estamos de acuerdo : los métodos cualitativos no sólo
pueden ser empleados para descubrir las preguntas que resul­
ta interesante formular y los procedimientos cuantitativos no
sólo pueden ser empleados para responderlas. Por el contra­
rio, cada procedimiento puede servir a cada función. Por ejem­
plo, G LASEA y STRAuss (1 965, 1 967) detallan cómo cabe em­
plear beneficiosamente los grupos de comparación (al azar .o
de otro modo) en la generación de una teor ía. De la misma ma­
nera los métodos cualitativos poseen reglas de evidencia y de
comprobación bien definidas para confirmar teor ías (cf. BAR­
TON y LAZARSFE LD, 1 969; 8 ECKER, 1 958 y MCCALL, 1 969).
CAMPBELL (en este volumen) no sólo demuestra cómo el estudio
etnográfico de casos puede verificar proposiciones teóricas, sino
que brinda sugerencias para hacer más eficaz el procedimiento
en la tarea. Lo interesante es que la lógica de la descripción y
de la inferencia se extiende a través de los métodos (cf. F IEN­
BER G, 1 977). El trabajo de BecKER en este libro viene a señalar
lo mismo cuando aplica a un tipo de datos cualitativos -foto­
graf fas- criterios de validez concebidos en un principio para
métodos cuantitativos.
• l Han de emplearse exclusivamente los procedimientos
cualitativos para medir el proceso y han de emplearse exclusi­
vamente las técnicas cuantitativas para determinar el resulta­
do? Como en el caso de la distinción anterior entre verificación
y descubrimiento, no existe tampoco aqu f necesidad de que
haya una división estricta del trabajo entre los métodos cualita­
tivos y cuantitativos. Una vez más la lógica de la tarea (descu­
brimiento del proceso frente a valoración del resultado) abar­
ca los métodos. As í, por un lado, H oLLISTER y otros (en este
volumen) describen un proceso empleando técnicas cuantita­
tivas y CAM PBE LL ( 1 970) llega a sugerir que el diseño experi­
mental resultar ía útil en el estudio del proceso porque podr ía
ayudar a descartar las hipótesis alternativas. Por otro lado, el
procedimiento del estudio de casos ha sido a menudo emplea­
do con éxito oara valorar el resultado. Por eiemolo, un estudio
de casos es suficiente para determinar muchos de los efectos de
una inundación o de un huracán y la visita al lugar es gene-
Hacia una superación del enfrentamiento .. . 35

ra l mente respaldada por la profesión de la ciencia social como


u n modo apropiado de evaluar la eficacia de los programas de
a diestramiento.
• lSo n necesariamente los métodos -cualitativos vál idos
pero no fiables y son necesariamente los métodos cuantitativos
fi ab les pero no válidqs7 Como contra-ejemplo consideremos
la "observación participante " de una i l usión ópti ca. Por la
nat uraleza misma de una i lusión, la observación está llamada
a ori ginar conclusiones no válidas que sólo pueden ser corre­
gidas mediante e l empleo de procedimientos más cuantitati­
vos (véase en este volumen el estudio .de CAMPBE LL sobre la
i lusión de Mu LLER- LYER ). N i la fiabi lidad ni la val idez son
atributos inherentes a un instrumento de medición (tanto si
éste es una regla como si se trata del ojo humano ). La pre­
cisión depende más bien de la finalidad a la que se hace ser­
vir el instrumento de medición y de las circunstancias bajo
las que se realiza dicha medición. A veces los ojos y los o ídos
de una persona constituyen el instrumento más preciso y sig­
nificativo (cf. BR ICKELL, 1 976; SHAPIRO, 1 973) mientras que en
otros casos un instrumento más cuantitativo resultar ía más
vá l ido así como más fiable.
• l Se hal lan siempre limitados los métodos cualitativos al
caso aislado y son por eso no generalizables? Las afirmaciones
en este sentido yerran en dos puntos. En primer lugar, los es­
tudios cualitativos no tienen por qué limitarse a casos aislados.
R 1sT (1 979), por ejemplo, da cuenta de un estudio etnográfi ­
co en el que se examinan sesenta lugares distintos para estar
en mejores condiciones de generalizar. En segundo lugar, la
posibi lidad de generalizar depende, por lo común, de algo más
que del tamaño de la muestra. Só lo en muy pocos casos, como
cuando se recurre a un sondeo-aleatorio, la general ización se
basa en un razonamiento estad ístico, y se toma de unos datos
de muestreo a toda una población. Habitualmente la general i ­
za ción es mucho menos forma l y por eso resulta más inducti­
va y más falible en potencia. Esto significa que los investigado­
res normalmente desean genera lizar a poblaciones que no han
si do muestreadas (por ejemplo, a niños de diferentes distritos
esco lares, a cabezas de fami lia en paro de otras ciudades y a
d istintas épocas y diferentes tipos de tratamientos). Semejan­
tes generalizaciones "nunca se hal lan lógicamente justificadas
P or completo" tanto si están basadas en datos cualitativos co­
mo si lo están en datos cuantitativos (CAMPBELL y STAN LEY,
36 Métodos cualitativos y cuantitativos en i nvestigación eval uativa

1 966 : 1 7 1 ; véase tamb ién CRON BACH , 1 978). Au nque en tales


genera l i zaciones i n forma l es puede servi r de ayuda u na muestra
a m p l i a y diversa de casos, tam bién puede contri bu i r el conoci­
m iento profu ndo de u n so lo caso . As í, y en genera l , no hay
razón a lguna para que l os resu l tados cuantitativos sean i nhe­
rentemente más genera l i zables que los resu ltados cua l ita­
tivos.
• l Son necesariamente hol istas l os p rocedi mi en tos c ua l i­
tativos y son necesariamente particu laristas l os procedi m i e n­
tos cuantitativos ? Es claro que la respuesta tiene que ser ne­
gativa . U n i nvest i gador puede estudiar i ntensamente tan sólo
u n aspecto ci rcu nscrito de la conducta empleando, por ejem­
p l o, e l método de la observación partic1pante simp lemente
porque la conducta se observa con menos precisión o con u na
fac i l i dad me nor de cua lqu ier otro modo. Por ejemp lo, u na con­
ducta suti l puede ser só lo detectab le para un observador agu ­
do que posee u n a m p l i o con ocim iento de l a cu ltura loca l . En
este caso, e l i nvestigador puede emplea r l a visión de u n obser­
vador participante como i nstru mento de med ición si n aten­
der a contexto a lguno más amplio que la propia y espec ífica
condu cta . De l m ismo m odo, los métodos cuantitativos ta les
como sondeos o expe riencias a l eatorios pueden toma r en con­
sideración "toda la i magen " aunque e n manera a lguna mid ien­
do "todo " .
• l Ha n d e su poner l o s procedi m ientos cuantitativos que l a
rea l i dad e s estable y q u e n o cam bia ? Reconociendo q u e a lgu­
nos diseños so·n más "r ígidos" que otros, los proced i m ientos
cuantitativos en conj u nto no obl igan a l i nvestigador a conce­
bi r u na rea l i dad i n mutable. Desde l uego, u na de las grandes
ventajas de l os cuasi-experimentos tempora l me nte seriados es
que pueden determ i nar el cambio tem pora l en el efecto de
un progra ma contra un pasad o de cambios "natu ra les". E n u n
caso extremo, n i nguna estrategia de va loración su pone u n a rea­
l i dad perfecta mente fijada puesto que e l propósito m ismo de
la i nvestigación consiste en advert i r el cambio. E sto no q u iere
deci r que u nos acontec i m ientos no planeados e i ncontro lables
no puedan representa r u n pe l ig ro para u na eva luación eficaz,
si no que só lo los cambios en el entorno de la i nvestigación
pueden pertu rba r tanto las eva l uaciones cua litativas como las
cu antitativas. Por ejemplo, se señala a menudo que las expe­
riencias a l eatorias quedan i nva l idadas cuando se a ltera en e l
cu rso d e l a i nvestigación e l procedi m iento de l trata miento . A l
H acia u na superación del enfrentam iento . . . 37

m ismo tiempo, otros tipos de cambio imprevisto, como el in­


creme nto de las tensiones entre el observador y el personal del
programa (véase KNAPP, en este volumen) pueden poner tam­
bi én en peligro una evaluación etnográfica. En ambos casos es
considerable lo que se puede realizar para hacer las evaluacio­
nes más flexibles ante los cambios indeseados.

La i mportancia de la situaci6n

Partiendo de las observaciones anteriores, llegamos a la con­


clusión de que los atributos de un paradigma no se hallan inhe­
rentemente ligados ni a los métodos cualitativos ni a los cuanti­
tativos. Cabe asociar los dos tipos de métodos tanto con los
atributos del paradigma cualitativo como con los del cuantita­
tivo. Esto significa que; a la hora de elegir un método, carez­
ca de importancia la posición paradi gmática; ni tampoco equ iva­
le a negar que ciertos métodos se hallan por lo común unidos a
paradigmas espec íficos. Lo principal es que los paradigmas no
constituyen el determinante único de la elección de los mé­
todos.
La elección del método de investigación debe depender tam­
bién, al menos en parte, de las exigencias de la situación de in­
vestigación de que se trate. Por ejemplo, consideremos las
evaluaciones del impacto de dos programas educativos. En un
caso, el tratamiento consiste en un proyecto nuevo e intensivo
destinado a compensar los efectos de una inferioridad econó­
mica. La importancia y la intransigencia relativa del problema
justifican una inversión sustancial de tiempo y dinero, sobre
todo porque un programa que se "demuestre" que es eficaz
se puede adoptar como pol ítica nacional. En este caso un ex­
perimento aleatorio puede constitu ir el mejor medio de in­
formar a quienes toman las decisiones.
El otro programa educativo consiste en la concesión de
u nas becas para graduados que se adiestrarán en un departa­
me nto universitario. En este caso no se exige una gran inver­
sió n de tiempo y de dinero, tanto porque el programa en s í
mismo resulta relativamente pequeño, como porque del resul­
ta do de la evaluación no dependerán decisiones de alcance
n acional. Entonces el procedimiento habitual es una técnica
de estudio de casos, como la visita al lugar. As í defender que
los e xperi mentos aleatorios (o las visitas al lugar) han de ser
38 Métodos cual i tativos y cuantitat ivos en i nvestigación eval uat iva

siempre e m p l eados en las va loraciones de las que se derivan re­


percusi ones resu lta tan estúpido como defender que jamá s de­
ben ser uti l izados. En a lgunas s i tuaciones, el procedi miento
más eficaz de i nvestigación será cuantitativo m ie ntras que en
otras se atenderá mejor al m i smo fin i nvestigador me d ia nte u n
método cua l i tativo.

Conocimiento impl ícito en el nexo real pero imperfecto entre


paradigma y método

Por su puesto que, el nexo revel a a lgún conocimiento, en l a


práctica existente, entre paradigmas y métodos. Los i nvesti­
ga dores que uti l izan l os métodos cual itativos se adh ieren más
a menudo a l parad igma cua l itativo que a l cuantitativo . De ma­
nera si m i lar, existe u n a correlación e ntre e l u so de métodos
cuantitativos y la ad hesión al paradigma cuantitativo (aunque
estos nexos entre parad igma y método n o sean perfectos, co­
mo m u chos parecen cree r ) . Semejantes nexos pueden ser m u y
b i e n e l resu ltado de u na eva l u ación adaptativa que refleje e l
hecho de q u e , siendo i gua les en todo l o demás, l o s métodos
cua l itativos y cuantitativos a menudo resu lta n l os más i n d i ­
cados para l o s d i st i ntos pu ntos de vista paradi gmáticos con los
que han l legado a ser asociados.
Sospechamos que la d isti nción más nota b le y fu ndamenta l
entre los paradigmas corresponde a la d i mensión de verificación
frente a descu brim iento . Parece que los métodos cuantitativos
han sido desarrol l ados más d i rectamente para la tarea de ve­
rifica r o de confi rma r teor ías y que, en gra n med ida, l os
métodos cua l i tativos fueron del i berada mente desa rrol lados
para la tarea de descu bri r o de generar teor ías. N o es sorpren­
dente entonces que cada t i po de método haya l legado a ser
asociado con estas disti ntas posi ciones parad igmáticas y q u e
l os métodos tenga n ta mbién s u mejor rendi m iento cuando son
emp leados para esos fines espec íficos.
Estos nexos evo lutivos podr ían exp l i ca r las te ndencias a n ­
tiguas y recientes en e l emp leo d e l o s d iferentes métodos en l a
eva l uació n . E n u na pri mera época s e su po n ía que cab ía desig­
nar fác i l me nte u nos p rogra mas para producir l os resu ltados de­
seados y que el propósito de la eval uación consist ía si m ple­
mente en comprobar de modo a ntici pado estos efectos. De
forma as í comp leta me nte natu ra l , la eva luación se orientaba
Hacia una superación d el enfrentamiento . . . 39

hacia los métodos cuantitativos con su tradicional insistencia


en la verificación. Más tarde se descubrió que el mejoramiento
no era tan simple y que los programas pod ían tener una
amplia variedad de efectos marginales insospechados. El énfasis
de la evaluación comenzó de ese modo a desplazarse desde la
verificación de los presuntos efectos al descubrimiento de la
manera en que cabr ía concebir un programa para que tuviese el
efecto deseado y de los efectos tanto sospechados como in­
sospechados que tales programas pudieran tener realmente.
En consecuencia, algunos campos de la evaluación (y muy
especialmente el de la educación) han revelado un interés
creciente por los métodos cualitativos con su énfasis en el
descubrimiento.
Pero aunque el nexo existente entre paradigma y método
puede orientar útilmente la elección de un método de investi­
gación, ese nexo no debe determinar en exclusiva semejante
elección. Hemos señalado que la situación de la investigación
constituye también un factor importante. Y esto resulta espe­
cialmente significativo porque la investigación evaluativa se
realiza bajo numerosas circunstancias singulares y exigentes
que pueden requerir modificaciones en las prácticas tradiciona­
les. El hecho de que paradigma y método hayan estado ligados
en el pasado no significa que en el futuro resulte necesario, o
conveniente, que as í sea.

l ES PR ECISO ESCOGER ENTRE LOS PARADI GMAS?

Como indicamos antes, el debate actual acerca de los méto­


dos crea la impresión de que el investigador no sólo debe esco­
ger un método en razón de su adhesión a un paradigma, sino
que también debe elegir entre los paradigmas cualitativo y
cuantitativo porque son las únicas opciones disponibles. Ya
hemos examinado la primera cuestión; ahora abordaremos la
segunda.
Los dos paradigmas a los que nos referimos proceden de dos
tradiciones singulares y completamente diferentes. El conglo­
merado de atributos que integran el paradigma cuantitativo
P rocede de las ciencias naturales y agronómicas, mientras que
e l paradigma cualitativo tuvo su origen en los trabajos de an­
tropolog ía social y de sociolog ía, sobre todo de la Escuela
de Chicago. No resulta claro por qué se juzgó que una u otra
40 Métodos cual i tativos y cuantitativos en investigación eval uativa

de estas tradiciones tenían que proporcionar un paradigma


adecuado a la investigación evaluativa. Por fortuna los evalua­
dores no se han limitado a estas dos nociones.
El hecho de que alguien realice una investigación de un mo­
do holista y naturalista, por ejemplo, no significa que tenga
que adherirse a los demás atributos del paradigma cualitativo
como el de ser exploratorio y hallarse orientado hacia el pro­
ceso. Cabría combinar más bien los atributos naturalista y
holista del· paradigma cualitativo con otros atributos como el
de ser confirmatorio y el de hallarse orientado hacia el resul­
tado, propios del paradigma cuantitativo; o considerar un
ejemplo de la práctica general. El positivismo lógico ya no es
una postura filosófica comúnmente aceptada para la investiga­
ción social. La mayoría de los investigadores han adoptado una
posición fenomenológica tanto si la investigación se concentra
en el procesó o en el resultado, en el naturalismo o en el control.
De hecho, todos los atributos que se asignan a los paradig­
mas son lógicamente independientes. Del mismo modo que
los métodos no se hallan ligados lógicamente a ninguno de los
atributos de los paradigmas, los propios atributos no se en­
cuentran lógicamente ligados entre sí. Podríamos examinar
uno por uno los atributos de la lista, como en la sección ante­
rior, proporcionando ejemplos que demostraran su indepen­
dencia; pero semejante tarea resultaría tediosa. Baste con de­
cir que no existe nada, excepto quizá la tradición, que impida
al investigador mezclar y acomodar los atributos de los dos pa­
radigmas para lograr la combinación que resulte más adecuada
al problema de la investigación y al medio con que se cuenta.
Suponiendo que se disponga de considerables recursos de
evaluación y que se desee una evaluación global, a menudo
se tratará de lograr una muestra de atributos de cada para­
digma en la misma dimensión. Por ejemplo, las evaluaciones
globales deben hallarse orientadas tanto al proceso como al
resultado, ser exploratorias tanto como confirmativas, y váli­
das tanto como fiables. No existe razón para que los investi­
gadores se limiten a uno de los paradigmas tradicionales, si
bien ampliamente arbitrarios, , cuando pueden obtener lo me­
jor de ambos.
Por añadidura, los evaluadores han de sentirse libres de
cambiar su postura paradigmática cuando sea preciso. No hay
razón para ceñirse en todo momento a una mezcla de atri­
butos. Por el contrario, al pasar de un programa al siguiente o
Hacia una superación del enfrentam iento .• . 41

de un estudio a otro (suponiendo que para un solo programa se


proyecte una serie de evaluac iones en lugar de un estudio de
u n a sola vez), lo probable es que cambie la posición paradig­
m á tica que resulte más aprop iada en la investigación. En con­
se cuencia, la perspectiva paradigmática del investigador ha de
ser flexible y capaz de adaptaciones.

¿ p O A QUE NO EMP LEAR TAN TO LOS M ETODOS CUA LITATIVOS


COM O LOS CUANT I TATI VOS?

Redefinici6n del debate

Ya hemos visto que la elección de métodos no debe hallarse


determinada por la adhesión a un paradigma arbitrario. Y ello
es as í tanto porque un paradigma no se halla inherentemente li­
gado a una serie de métodos, como porque las características del
entorno específico de la investigación cobran la misma importan­
cia que los atributos de un paradigma a la hora de escoger un
método. Hemos visto también que un investigador no tiene
por qué adherirse ciegamente a uno de los paradigmas pola­
ri zados que han recibido las denominaciones c!e "cualitativo " y
"cuantitativo", sino que puede elegir libremente una mezcla
de atributos de ambos paradigmas para atender mejor a las
exigencias del problema de la investigación con q ue se enfrenta.
Parece entonces que no existe tampoco razón para elegir entre
métodos cualitativos y cuantitativos. Los evalua�o res obrarán
sabiamente si emplean cualesquiera métodos que resulten más
ad ecuados a las necesi.dades de su investigación, sin atender a
las afi liaciones tradicionales de los métodos. En el caso de que
e l lo exija una combinación de métodos cualitativos y cuantita­
tivos, hágase as í pues.
Por supuesto que aún es posible un debate sincero respecto
de cuáles son los métodos mejores, habida cuenta de una pers­
pectiva paradigmática y de una situación de investigación de­
t erm inadas. Por ejemplo , cierta parte de los textos sobre for­
mac i ón de mano de obra revela una discrepanc ia acerca de la
P robabilidad de que cambie la afluencia de participantes en
estos programas en ausencia de un efecto del tratamiento . Si
no se produce semejante consecuencia (tanto de incremento
co mo de déficit), no hay necesidad de un grupo de control
42 Métodos cualitativos y cuantitativos en investigación evaluativa

para una valoración del impacto; bastaría en tales circunstan­


cias concebir un estudio de casos. Por otra parte, si tiene lugar
la consecuencia en ausencia del tratamiento resultaría desea­
ble un grupo de control (quizá incluso seleccionado al azar).
Cabe también que tenga lugar un sincero debate sobre la
adecuación de una determinada posición paradigmática a una
evaluación específica. Como ejemplo al respecto podría citarse
el de un desacuerdo acerca de la importancia relativa de la vali­
dez interna frente a la generabilidad. Indudablemente ambos
atributos son importantes pero algunos evaluadores juzgan
que, a largo plazo, el medio mejor de lograr la generabilidad
consiste en asegurarse de que cada estudio sea internamente
válido (cf. CAMPBELL, 1 969) mientras que otros prefieren solu­
ciones a corto plazo en donde el objetivo inmediato de la gene­
rabilidad se antepone a la validez interna (cf. CRON BACH , 1 978).
El problema estriba en que en los textos se confunden
ambos legítimos debates. Se formulan críticas contra los mé­
todos cuando en realidad lo que pretende atacarse es una con­
cepción global paradigmática y viceversa. Como métodos y
paradigmas son lógicamente separables, ésta es una forma
equívoca v turbia de debate. El hecho de que haya sido de­
ficientemente empleado un método o utilizado con una finali­
dad inapropiada no significa que sea, en s í mismo, defectuoso
o inadecuado. Los argumentos confusos sobre paradigmas con
argumentos sobre métodos sólo han servido para llegar hasta
la situación presente en la que los investigadores se alinean tras
los tipos de métodos. Si se redefine este debate bajo la forma
de dos discusiones diferentes y legítimas resulta patente la
falacia del proceder actual : en vez de ser rivales incompati­
bles, los métodos pueden emplearse conjuntamente según lo
e'xija la investigación.
Cierto número de investigadores habían defendido ante­
riormente esta posición según la cual cabe emplear conjunta
y eficazmente los métodos cualitativos y cuantitativos. tanto
en el contexto de la investigación de evaluación (cf. B R ITAN ,
1 978; CAMPBELL, 1 974; COOK y COOK , 1 977 y STAKE, 1 978)
como en disciplinas de naturaleza más tradicional (cf. DEN­
ZIN , 1 970; E1SN ER, 1 977; ER ICKSON , 1 97 7 ; R 1sr, 1 977 y S1esER,
1 973). Tal vez fue TRow ( 1 957 : 338 ) quien lo expresó mejor
en un debate sobre las ventajas relativas de la observación par­
ticipativa en comparación con la entrevista :
H ac ia una superación del enfrentamiento . . . 43

Cada zapatero piensa que el cuero es lo único que importa . La mayo­


r ía de l os cient íficos socia les, incluyendo qu ien esto escribe, tienen sus
métodos favoritos de investigac ión con los que están familiarizados y en
cu ya uti lización poseen u na cierta destreza . Y sospecho que fundamen­
talmente decidimos investigar aquel los problemas que parecen vulnera­
b le s a través de tales métodos. Pero deber íamos, por l o menos, tratar de
ser menos localístas que los zapateros. Prescindamos ya de las argumen­
tac iones de la "observación participante" frente· a la entrevista -como
y a hemos renunciado en buena medida a las discusiones de la psicol o­
g ía frente a la sociolog ía- y prosigamos con �a tarea de abordar nuestros
problemas con el más amplio despliegue de instrumentos conceptuales y
metodológicos que poseamos y que ta les p roblema s exigen . Esto no ex­
cluye la discusión y el debate respecto de la uti l i dad relativa de los dife­
rentes métodos para el estudio de problemas o tipos espec íficos de pro­
blemas. Pero resulta algo muy distinto de la afirmación de una superioridad
genera l e inherente de un método sobre otro, basándose en algu nas cua­
l i dades intr ínsecas que supuestamente posee ( la cursiva es del original ) .

Ventajas potenciales de l empleo conjunto de los métodos


cuali tativos y cuan titativos

E x isten a l menos tres razones que respaldan la idea seg ú n la


cua l , cuando se abordan los proble mas de eval u ac ión con los
instru me ntos más apropiados que resu l ten accesibles, se e m­
p leará u na comb i nación d e los métodos cua l itativos y cuantita­
tivos. E n primer lugar, la investigación eva l u ativa tiene por lo
comú n p ropósitos mú lt i p les que han de ser atendidos bajo las
condicio nes más ex igentes. Ta l variedad de cond ic iones a me­
n udo ex ige u na variedad de métodos. En segundo l ugar, em­
pleados en conj u nto y con el mi smo p ropósito, los dos tipos
de métodos pueden vigorizarse mutuamente para brindarnos
perce pc iones que ni ng uno de los dos pod r ía consegu ir por
sep arado. Y en tercer lugar, como n i ng ún método está l i b re
de p rej u icios, só lo cabe l legar a la verdad subyacente median­
te e l emp leo de m ú ltip les técnicas con las q ue e l investigador
efect u ará las correspondientes triangu laciones. Ya q ue los
mé todos cuantitati vos y cua l itativos tienen con frecuencia
sesgos d i ferentes, será posi b le emp lea r a cada uno para some­
ter al otro a comp robac ión y aprender de é l . Aunque no afi r­
ma mos que estos tres puntos se h a l len por comp leto desl igados,
c ad a uno será considerado sepa radame nte a cont i n uació n .
1) Objetivos múltiples. Como y a s e ha advertido antes, una
44 Métodos cual itativos y cuantitativos an investigación evaluativa

evaluación global ha de interesarse tanto por el proceso como


por el resultado. Mediante el análisis del proceso, los investi­
gadores han llegado a distinguir dos objetivos distintos a los
que aplicaremos denominaciones diferentes. La finalidad pri­
mera del proceso estriba en comprobar: describir el contexto y
la población del estudio, descubrir el grado en el que se ha lle­
vado a cabo el tratamiento o programa, proporcionar una re­
troinformación de carácter inmediato y de un tipo formativo,
etc. La segunda finalidad del proceso estriba en la explicación
causal: descubrir o confirmar el proceso mediante el cual el
tratamiento alcanzó el efecto logrado. Naturalmente, la medi­
ción del efecto del programa es el resultado total o valoración
del impacto.
Para una comprensión completa del programa una evalua­
ción tendría que realizar al menos estas tres tareas: compro­
bación, valoración del impacto y explicación causal. Se trata
de una gama mu y amplia de tareas que, para ser eficazmente
atendidas, requerirán quizá el empleo de métodos tanto cuali­
tativps como cuantitativos. Aunque no de un modo inevitable,
puede suceder a menudo que la comprobación sea realizada
con mayor eficacia conforme a un modo cualitativo, que la
valoración del impacto se realice con mayor precisión median­
te métodos cuantitativos y que la explicación causal se obtenga
de mejor manera a través del empleo conjunto de métodos
cualitativos y cuantitativos. Aunque desde luego pretendemos
evitar la impresión de que se requiere- una división rígida o in­
herente del trabajo, creemos que en un número mayoritario de
casos y para conseguir todos los propósitos de una evaluación
hará falta una combinación flexible y adaptativa de los tipos
de métodos.
En el empleo conjunto de los métodos para atender a las
múltiples necesidades de la investigación, la evaluación debe
mostrarse receptiva a las formas nuevas y singulares y a la con­
catenación de los métodos. A menudo se dice que las ciencias
sociales cuantitativas han adoptado totalmente sus métodos
de las ciencias naturales y agronómicas . Resultar ía lastimoso
de ser cierto, puesto que difícilmente cabría esperar que los
instrumentos de una disciplina fuesen los más indicados para
los fines y circunstancias de otra. En realidad, el proceso de
adopción de tales métodos ha ido acompañado de diversos
perfeccionamientos ( cf. B O R IN G , 1 954, 1 969) y debería esti­
mularse la realización de nuevas -adaptaciones.
H a cia una superación del enfrentamiento . . . 45

A lgunas adaptaciones úti les pueden suponer u n maridaje


creat ivo de los métodos cua l itativos y de los cuantitativos, co­
mo , por ejemp lo, e l emp leo de experime ntos a leatorios con
ob servado res participantes corno i nstrumentos de la med ición .
Esto podr ía contribu i r a evitar las cr íticas a menudo suscita­
das contra la eva l u ac ió n cuantitat iva y según las cua les las
med idas psi cométricas más corrientemente emp leadas carecen
de sensi bi lidad respecto de la d i me nsión del i nterés. También
pod r ía acaba r con las c r íticas formu ladas contra muchas eva­
luaciones cua l itati vas y seg ú n las cua les carecen de control los
pel igros que ame nazan a su val i dez i nterna. Exami nando otro
eje mp lo, consi deremos ahora el emp leo de l os etnógrafos en
comb i nación con el d i seño de regresión-discontinu idad . La
e sencia de l d i seño de regresió n -d i scont i n u idad estriba en que
el tratam iento es asignado de u n modo estricto conforme a u na
d i me nsión cuantitativa (cf. CooK y CAMPBE LL, 1 979) . Esta
pod r ía ser desde u na med ida de d i stancia geográfica a u n l ím i ­
te como e l d e una ca l le o cua lq u ie r otra frontera natu ra l q u e
sirva como l ínea d i visoria entre q u ienes reciben e l tratamiento
y q u ienes no lo recibe n . Para medi r en semejante caso e l efec­
to del trata m iento , los etnógrafos p ueden i r y cruza r l ibre y re­
petidamente la fronte ra con objeto de determ i na r si ex iste
una disconti n u idad en ese pu nto en las conductas o actitudes
de i nterés. También son posib les otras combi naciones i nfre­
cuentes de métodos cual itativos y cuantitativos.
2) Vigorización mutua de los tipos de métodos. E n un
sentido fundamenta l , los métod os cual itativos pueden ser de­
fin idos como técn i cas de comp rensión persona l , de sentido
comú n y de i ntrospección mientras que los métodos cuant i ­
tativos podr ían ser defi n idos como técnicas de contar, d e me­
d i r y de razonamiento a bstracto . Evidentemente , esto supone
un cambio de los significados de los métodos cual itat ivos y
c uantitativos respecto de los emp leados en e l resto de l cap ítu ­
l o , a u nque se h a l la j u stificado porque a lgu nos autores suscri ­
be n estas defi n i c iones. Semejante a lteración en e l sig n i fi cado
res u lta úti l porq u e la n uev'a perspect iva reve la c la ramente có­
mo se comp lementa con e l otro cada u no de los ti pos de mé­
to d os. De modo espec ífico el conocimiento cuant itativo debe
basar se en el conocimiento cual itativo pero al proceder as í
P uede superarlo.
Lógicame nte , los métodos cu ant itativos no pueden susti­
tu ir a los cual itati vos porque la comp rensión cuanti"í.ativa pre-
46 Métodos cual itativos y cuantitativos en investigación evaluativa

supone un conocim iento cualitativo Por ejemplo CAMP BELL


(en este volumen) demuestra cómo se emplea la medición
cuantitativa de una ilusión óptica para corregir la observación
cualitativa, pero procede así apoyándose constatemente en
éste y en muchos otros aspectos. La base del argumento es que
toda medición se halla fundada en innumerables suposicio­
nes cualitativas acerca de la naturaleza del instrumento de
medida y de la realidad evaluada. Por ejemplo al registrar el
movim iento de los frentes de perturbaciones atmosféricas, se
da por supuesto que la fuerza gravitatoria de la Tierra perma­
nece constante dado que unos cambios en ésta determ inar í.an
alteraciones artificiales en la presión barométrica. Al to"1ar
nota del desarrollo de un niño, se supone qufi quien cambia
a lo largo del tiempo es el niño y no el instn�mento que se
utiliza para medir su crecim iento. La elección de un modelo
estadístico que er:tcaje con los datos, la interpretación de los
resultados a que dé lugar y la generalización de los descubri­
m ientos a otros entornos se hallan todas basadas en un co­
nocimi ento cualitativo. Muy simplemente, los investigadores no
pueden beneficarse del empleo de los números si no conocen,
en térm inos de sentido común, lo que éstos significan.
Del mismo modo el conocimiento cualitativo puede bene­
ficiarse del conocimiento cuantitativo. Incluso los investigado­
res más introspectivos y de orientación más subjetiva no pue­
den prescindir del hecho de contar elementos o de emplear
conceptos cuantitativos como "más grande que" y "menos
que". La medición cuantitativa de las ilusiones ópticas puede
corregir la observación cualitativa al tiempo que se basa en
ésta. Y un hallazgo cuantitativo puede estimular una ulterior
indagación cualitativa ( L IGHT, 1 979; S1EBER , 1 973), como cuan­
do un sorprendente resultado experimental impulsa al investi ­
gador a interrogar a los sujetos en busca d e indicios intros­
pectivos.
La ciencia habitual emplea conjuntamente el conocim iento
cualitativo y el cuantitativo para alcanzar una profundidad de
percepción, o visión binocular, que ninguno de los dos podría
proporcionar por sí solo (EISN ER, 1 977). Lejos de ser antagóni­
cos, los dos tipos de conocimientos resultan complementarios.
Eso no significa decir que siempre sea fácil combinarlos. Surgi­
rán a menudo problemas de difícil solución (cf. TREN O , en este
volumen) pero por lo común siempre habrá discrepancias, y de
ahí las dificultades cuando se empleen conjuntamente dos mé-
Hacia u na superación del e nfrentamiento ... 47

todos cua lesqu iera . Reso lver las d i fe rencias entre el conoc i ­
m i e nto cual itativo y e l cuantitativo no debe ser e n princ i p io
más di f íc i l que la resolución de otros en igmas de la i nvestiga­
ci ón , a u nque sospecha mos que qu izá pueda resu lta r a men u ­
do más i lustrativo .
3) Triangulación a través de operaciones convergentes. E l
e m p leo comp leme nta rio de métodos cualitati vos y cuantita­
ti vos, o el uso conj u nto de cua lesq u iera métodos, contribuye
a corregi r los i nevitab les sesgos presentes en cualqu ier método.
Con só lo un método es i mp osi b le a islar e l sesgo del método de
la cantidad o de la cualidad subyacentes que se i ntenta med i r.
Pero cabe emp lea r conj u nta me nte varios métodos para tria n ­
g u l a r l a "verdad " subyacente , separando, por a s í decirlo, e l
grano de la paja ( c f . D ENZIN , 1 970; G A R N E R y otros, 1 956 y
Weee y otros, 1 966) . Aunque cabe uti l i zar para este fin dos
o más, los d i ferentes métodos que converjan en las m ismas
operaciones resu ltan mejores que los semejantes porque pro­
bablemente comparti rá n me nos sesgos q ue estos ú lti mos. Con
frecuencia los métodos cual itativos y cuantitativos opera n bien
j u ntos porque son re lativa me nte d isti ntos.
Po r añad i d u ra , cada t i po de método puede en potencia ense­
ñar a l otro n uevos modos de detectar y de dism i n u i r el sesgo .
Como estos dos ti pos de métodos han ex istido en tradiciones
disti ntas y en buena med ida a isladas, gra n parte de su técnica
propia ha permanec ido tamb ién ais lada . A l poner j u ntos los
métodos pueden forta lecerse estos dos dife rentes depósitos
de conocimientos y de experiencia . Es posib le i ncluso que a
través de su emp leo conj u nto se descubran n uevas fuentes de
sesgos y nuevos med ios pa ra d i smi n u i rlos, que hab ían perma­
necido ignorados de cada u na de las dos trad ic iones a isladas.
Tradi c iona lmente la i nvestigac ión eva l uativa se ha concen ­
trado en los métodos cuantitati vos, destacando ta nto su em­
pleo corno sus sesgos potencia les. Desde luego, el hecho de que
muchos · de los sesgos p robab les en los métodos cuantitativos
haya n sido tan abiertamente reconocidos ha sido en parte res­
p onsab le de la creciente insatisfacc ión respecto de estos méto­
dos y de la progresi va defensa de los métodos cualitativos en
a lgu nos sectores. Es i nd udable que la tradición cuantitativa
en eva luación pod r ía aprender mu cho de la experiencia acu ­
m u l ada e n l a e l i m i nación d e sesgos q u e s e ha desarro l lado den ­
tro de la tradi c ión cualitativa. Por ejemp lo , e l i nterés cual ita ­
t iv o p o r l a va l idez descriptiva y l o s sesgos de muestreos no
48 Métodos cual itativos y cuantitativos en investigación eval uativa

aleatorios (p. ej. el sesgo e l itista, V 10 1CH y SHAPIR O, 1 955 ) po­


dr ían ilustrar muy bien los procedimientos cuantitativos de
muestreo.
Del mismo modo, a pesar de la larga tradición de prevención
de los sesgos en la literatura sociológica y antropológica, em­
piezan tan só lo a aflorar muchas de las dificu ltades del empleo
de métodos cualitativos en el contexto de la investigación eva­
luativa (cf. K N APP , en este volumen; I AN N I y O R A , en este vo l u ­
men) y este proceso d e aprendizaje se podr ía acelerar gracias
a los logros de la tradición cuantitativa. Por ejemplo, la investi­
gación cuantitativa sobre los procesos psicológicos de intros­
pección y j uicio se podría muy bien emplear para informar a l
observador etnográfico. N 1s sen y W1LSON ( 1 97 7 ) han pasado
revista a los datos que sugieren que a veces observadores y par­
ticipantes no pueden describir con precisión su propia conduc­
ta a través de la introspección. La investigación de C HAPMAN y
CHAPMAN ( 1 967 ) y C HAPM AN ( 1 967 ) acerca de las correlacio­
nes ilusorias y el trabajo de TvERSKY y K A H N E M A N ( 1 974) so­
bre juicios bajo incertidumbre pueden ayudarnos a apreciar
sesgos en la forma en que observadores participantes detectan
y registran covariaciones en la conducta que es objeto de estu­
dio. De modo similar ScH EIRER ( 1 978) se basa en investigacio­
nes psicológicas de laboratorio para indicar que a menudo tanto
participantes como administradores y observadores se exce­
den al dar cuenta de los aspectos positivos de un programa.
Además, rru chas de las ideas clásicas de la validez asociadas es­
pecialmente a la concepción cuantitativa pueden servir también
para el empleo de métodos cualitativos. Ejemplo al respecto
son tanto B ECK ER (en este volumen) con su interés por e limi­
nar amenazas a la validez en la interpretación del método cua­
litativo de fotograf ía, como CAM PBE L L (en este vol umen ) con
sus sugerencias relativas a grupos adicionales de comparación
y observadores mú ltiples en los estudios de casos.

Obstécu los en el empleo conjunto de métodos cu alitativos y


cuantitativos

Aunque lógicamente deseable, es posib le que surjan cierto


número de obstáculos prácticos a la hora de comb inar en
un estudio de evaluación métodos cualitati vos y cu antit ativos.
Hacia una suparaci6n del enfrentam iento . . . 49

E l sigu iente aná l isis toma en considerac ión cuatro de tales obs­
tá cu los.
En prime r lugar la comb i nación de métodos cualitativos y
cuantitativos puede resu l tar proh ibitiva mente cara . Conside­
remos que en comp arac ión con un estudio de casos, un expe­
rime nto a leatorio ofrece el gasto adic iona l de tener q ue recoger
datos de u n grupo de contro l que no ha sido objeto de trata­
miento , m ientras q ue los costes de recogida de datos por cada
uno de los que responden y rea l izado por el agente etnográfi­
co de campo son usu a l me nte mucho más e levados que el de l
cuestionario tradiciona l de los proced i m ientos cuantitativos.
La comb i nación de los dos métodos puede significar en defi ­
n itiva la concatenación de los e leme ntos re lativamente más
costosos de cada uno.
En segu ndo l ugar, el emp leo conj u nto de métodos cua l i ­
tativos y cuantitativos puede suponer demasiado tiempo. A
los partida rios de u no y otro g ru po en e l debate sobre los ti pos
de métodos les p reocupa que sus siste mas preferidos puedan
resu lta r demasiado lentos para cump l i r los p lazos pol íticame n ­
te fijados. Los experime ntos a leatorios, por ejemplo, requ ieren
un tiempo suficiente entre la atribució n de sujetos a las condi­
ciones y la recogida de datos tras la p rueba para q ue e l trata­
miento pueda segu ir su cu rso . De forma si m i lar, los etnógrafos
req u ieren tiempo basta nte para desarro l la r su com u n icación ,
exp lorar l i bremente aquel los aspectos de l programa que les
parezcan relevantes y segu ir las pistas q ue de a l l í parta n ; lue­
go necesitarán u n tiempo pa recido para si ntetizar sus anotac io­
nes de campo en un i nforme fina l . En cualq u ier caso esto pue­
de ex igi r a ños. A no ser que las activ idades de los dos métodos
p uedan tener l uga r si mu ltáneame nte , en rea lidad es posi b le que
no haya tiempo suficiente para ambos.
En tercer luga r, cabe que los i nvestigadores carezcan de
ad iestramiento sufi ciente en ambos tipos de métodos para
uti l izar los dos. La mayo r ía de los estud ios que combi nan los
dos t i pos de métodos se basa n , por lo comú n , en eq u ipos inter­
d isc i p l inares. Cuando l os miembros del equ i po p roceden de
las tradiciones d iferentes de los métodos cualitativos y cuanti ­
tativos la i nte racc ión entre los dos gru pos no es siemp re flu ida
(véase I AN N I y Ü A A , en este vo lumen ; y T R E N O , en este vo­
l u me n ) .
F i n a l me nte queda l a cuestión d e l a moda y de l a adhesión
a l a forma dialéctica del debate . La evaluación, como en gene-
50 Métodos cual itativos y cuantitativos en i nvestigación evaluat iva

ral la ciencia, es v íctima de modas. Con buen motivo, los inves­


tigadores a menudo se muestran escasamente dispuestos a no
acomodarse a lo que está en boga sobre todo cuando los or­
ganismos financiadores participan de la tendencia general.
Corrientes de ese género favorecen con frecuencia a uno u
otro de los tipos de métodos, pero rara vez valoran a ambos
por igual. Será difícil convencer a los investigadores para que
combinen los tipos de métodos hasta que se ponga en claro
el carácter ilógico del debate presente con su inclinación se­
paratista.
Por estas razones no nos sentimos optimistas ni creemos que
llegará a difundirse ampliamente el empleo conjunto de los
métodos cualitativos y cuan.titativos. Esto no significa que los
evaluadores hayan de volver a escoger entre uno u otro basados
en el dogma paradigmático. Los evaluadores h an de proseguir
acomodando los métodos a las exigencias del problema de la
investigación de la mejor manera posible, sin prestar atención
a las afiliaciones paradigmáticas tradicionales. Pero ello no
quiere decir que tales evaluadores hayan de establecer una
prioridad de propósitos y cuestiones ya que, por lo común, se
rán incapaces de atender a todos los objetivos deseados. A me­
nudo sospech amos que la cuestión del impacto tendrá la prio­
ridad más alta y que se otorgará prioridad a los procedimientos
cuantitativos. Pero en cualquier caso, el empleo exclusivo de
uno u otro de los tipos de métodos h abitualmente significará
aceptar una evaluación no global.

CONC LUSI ON

El reciente debate sobre el empleo de los métodos cualitati­


vos y cuantitativos en la investigación evaluativa · ha apor­
tado grandes beneficios. Muchos evaluadores que se formaron
en la tradición cuantitativa (incluyendo a los presentes auto­
res) se h an mostrado manifiestamente apasionados por el em­
pleo de los métodos cuantitativos, en buena parte como el
zapatero de TRow que sólo tiene en cuenta el cuero o como
el niño que cuando coge un martillo por primera vez cree que
es preciso aporrearlo todo. Como respuesta, el debate ha eviden­
ciado que los métodos cuantitativos no son siempre los más
indicados para algunos de los objetivos y de los entornos de
la i nvesti gación en los que se han empleado. E l debate ha con-
Ha cia una superación del enfrentamiento . . . 51

tr ibuido adecuadamente a legitimar el incremento del empleo


de los métodos cualitativos en la evaluación.
Muchos evaluadores asumieron con excesiva rapidez la se­
rie de atributos que integran el paradigma cuantitativo. Como
reacción, el debate ha centrado su atención en el proceso, el
d escubrimiento, la conexión con los datos, el holismo, el natu­
ralismo y los demás atributos del paradigma cualitativo . En el
pasado, el péndulo osciló excesivamente hacia el lado cuantita­
tivo tanto en el paradigma como en el método y el debate per­
m itió que los evaluadores tomaran conciencia de ese desequi­
lib rio.
Pero, aunque el debate haya servido a un propósito muy útil,
también ha sido en parte contraproducente. En buena medida
la discusión que se desarrolla en la actualidad sirve para polari­
zar las posiciones cualitativa y cuantitativa y para alentar la
creencia de que la única opción posible estriba en elegir entre
estos dos extremos. Es como si el péndulo tuviera que oscilar
hacia uno u otro lado. El excesivo interés que se percibe ahora
por los métodos cuantitativos sólo puede entonces ser corregi­
do mediante un interés igual, pero opuesto, por los métodos
cualitativos. Naturalmente, una vez que se pongan a prueba los
metodos cualitativos del modo tan concienzudo a que se some­
tió en el pasado a los métodos cuantitativos, los cualitativos se
revelarán simplemente tan falibles y débiles como los otros
(véase OVERH0LT y STA LLINGS, 1 979). Si se mantiene la dicoto­
mía entre los métodos, en una reacción inevitable, el péndulo
volverá a desplazarse hacia los procedimientos cuantitativos.
Indudablemente también este paso se revelará insatisfactorio
y el péndulo seguirá oscilando. De este modo, el debate actual
mantiene el desplazamiento del péndulo entre extremos de mé­
todos y extremos de insatisfacción.
La solución, desde luego, estriba en comprender que la dis­
cusión se halla planteada inapropiadamente. No hay necesidad
de escoger un método de investigación sobre la base de una
posición paradigmática tradicional. Ni tampoco hay razón al­
guna para elegir entre dos paradigmas de polo opuesto. En con­
sec uencia, es innecesaria una dicotom ía entre los tipos de mé­
todos y existen todas las razones (al menos en la lógica) para
emplearlos conjuntamente con objeto de satisfacer las exigen­
cias de la investigación de la evaluación del modo más eficaz
Posible.
Cabe desear que la próxima generación de evaluadores sea
52 Métodos cual itativos y cuantitativos en investigación evaluativa

adiestrada tanto en la tradición cuantitativa como en la cuali­


tativa. Estos investigadores podrán emplear la más amplia gama
posible de métodos y sin cicater ías acomodarán las técnicas
a los problemas de la· investigación. Aprenderán nuevos modos
de combinar los métodos y de reconciliar descubrimientos
discrepantes sin rechazar arbitrariamente un grupo en favor
de otro. Tales investigadores se mostrarán además modestos
en sus afirmaciones acerca de los métodos. Comprenderán que
todos son falibles y que el descubrimiento de un sesgo no es
necesariamente una razón para rechazar un método sino un reto
para me jorarlo, de la misma manera en que pugnamos por me­
jorar una teor ía frente a los datos en contra. No será fácil tarea
la adquisición de tales destrezas pero merecerá la pena el es­
fuerzo.
Existe sin duda una cierta ventaja pedagógica en la forma
dialéctica de argumentar que polariza los métodos cualitativos
y cuantitativos. Por ejemplo, a menudo resulta más fácil for­
mular un caso estableciendo una dicotomía en e l cont inuo
entre los polos opuestos para que se revele con mayor claridad
la dimensión del interés. Pero ya se ha aprendido la lección de
que los métodos cuantitativos se pueden emplear en exceso y
ha llegado el momento de impedir que el péndulo oscile de un
extremo al otro. Es tiempo de dejar de alzar muros entre los
métodos y de empezar a tender puentes. Tal vez estemos toda­
vía a tiempo de superar el lenguaje dialéctico de los métodos
cualitativos y cuantitativos. El auténtico reto estriba en aco­
modar sin mezquindades los métodos de la investigación al
problema de evaluación. Puede muy bien exigir una combina­
ción de métodos cualitativos y cuantitativos. Distinguir entre
los dos mediante el empleo de etiquetas diferentes puede ser­
vir sólo para polarizarlos innecesariamente. Si prescindimos de
las etiquetas no nos quedará más remedio que superar el deba­
te entre métodos cualitativos y cuantitativos.

PER SPECTIVA DEL VOLUMEN

Al reunir los trabajos del presente volumen se pretendió de­


liberadamente obtener una diversidad de opiniones sobre el
empleo de los métodos cuantitativos y cualitativos. En parte,
la diversidad se logró seleccionando a autores de los que se sa­
b ía que representaban concepciones divergentes. Por ejemplo.
Ha cia una superación del enfrentam iento . . . 53

BECK ER ( BECKER y GEER , 1 957 ) y F ILSTEAD ( 1 970) son bien


co noc idos defenso res de los métodos cualitativos mientras q ue
CAM PBELL ( CAM PBELL y STANLEY , 1 966) ha sido desde hace
tiempo considerado como defensor de los métodos cuantitati­
vos. A la diversidad se l legó tamb ién e l ig iendo autores de u na
amp l ia variedad de d isc ip l i nas caracter izadas. Los campos de la
antropolog ía, la econo m ía , la ed ucación , la psico log ía y la so­
cio log ía se ha l la n , a l menos, representados cada u no por dos
autores ( o coautores) .
E l resu ltado es que d i ferentes cap ítu los reve lan fuertes pre­
ferencias por d i sti ntos métodos . La d isensió n p resente resu lta ,
si n embargo, menos extremada de lo q ue cab ía esperar. I ncluso
en aq uel los cap ítu los con las p referenc ias más acentuadas por
uno u otro de los t i pos de métodos, aún subsiste la i m p resión
de que para l legar a u na evaluación g loba l se requ ieren tanto
los métodos cua l itativos como los cuantitativos. E n otras pala­
bras, ex iste coincidencia en ad mitir que n i ngú n tipo de méto­
do es por s í so lo genera l me nte suficiente para todas las diver­
sas exigencias de la i nvestigación evaluativa. Es posib le que e l
debate entre l os métodos esté e mpezando a experime ntar u na
redefi n i ción .
Los cap ítu los han sido d i spuestos en este vol u men confo rme
a un orden en el que se parte de los más tenaces y se concl uye
co n los més precav idos en su apoyo a los métodos cual itat i ­
vos. A este respecto , e l cap ítu lo d e F ILSTEAD ocupa me recida­
mente el p ri mer lugar. F 1LSTEAD d isti ngue las d i ferencias trad i­
ciona l me nte sosten idas entre los paradigmas cualitativo y cuan ­
t itativo y afi rma con veheme ncia q ue e l paradigma cual itativo
(con su fe en la rea l idad soc ia l como constru ida por los par­
ti cipantes y acentuando la comp rensión de los acontec i m ien­
tos desde la perspectiva de los p ropios actores ) , es e l que re­
su lta més adecuado pa ra la i nvestigac ión eva l u ativa. F ILSTEAD
p resenta tamb ién razones de l hecho de que esté cambiando la
tendencia entre los evaluadores ed ucativos desde u n excesivo
énfasis en los métodos cuantitativos a u na apreciación de las
técnicas cua l i tativas. Pa ra acelerar este cambio, F 1LSTEAD su­
g i ere la fo rma en que cabe uti l i zar mejor los métodos cual ita-
tivos para mode lar la invest igación eva luativa.
Ta l vez sorprendentemente para a lgu nos eva luadores pero
desde l uego no pa ra todos, la aportac ió n de CAM PBELL propor­
ci o na u na expl icación teó rica en pro de l emp leo de los méto­
dos cual itativos en el diseño de estudio de casos. Revelando
54 Métodos cual i tativos y cuantitat ivos en i nvest igación eva luativa

un cambio de sentimiento (y de supuestos de fondo) en rela­


ción con trabajos anteriores, CAM PBELL afirma que el estudio
de casos puede poseer rigor suficiente (en razón de "grados
de libertad procedente de múltiples implicaciones de cualquier
teoría") tanto para confirmar como para invalidar hipótesis
causales. CAM PBE LL demuestra también la complementariedad
inherente de los métodos cualitativos y cuantitativos al des­
cribir cómo el conocimiento cuantitativo só lo supera al cuali­
tativo cuando se apoya en éste. Sin embargo, CAMPBE LL sigue
convencido de que el estudio de casos es muy proclive a los
sesgos cuando se emplea para valorar el impacto de un pro­
grama. Señala también varias medidas que cabe tomar para
reducir pero no eliminar este equ ívoco.
Del artículo de TR EN O podría decirse que es un relato po­
liciaco. El autor da cuenta de sus experiencias en una eva­
luación sobre una gran operación de subvenciones para la vi­
vienda en donde se emplearon tanto observadores participan­
tes como cuestionarios. En un lugar concreto estas dos fuentes
de datos produjeron hallazgos muy discrepantes que deter­
minaron una considerable controversia entre los analistas.
Trabajando con ambas fuentes, TR EN O resuelve el enigma
y documenta la forma en que la síntesis resultante supera
los informes originales, brindando un entendimiento de los
datos. TREN O afirma que en un principio deber ían estimular­
se los hallazgos discrepantes para no cerrar prematuramente
pistas significativas de la investigación.
La afirmación más sobresaliente de IANN I y ÜRR es aquella
según la cual los evaluadores pueden emplear con provecho
las técnicas etnográficas, sólo si estos métodos se hallan cui­
dadosamente adaptados para atender a las demandas espe­
cíficas de la investigación evaluativa. IANN I y ÜRR advierten
la existencia de cierto número de presiones que inducen a
incrementar el uso de los métodos cualitativos en la evalua­
ción educativa pero indican que, por el momento, tales méto­
dos se emplean a menudo de una manera inapropiada. Afir­
mr;in que el empleo de estos métodos debe ser orientado por
la teoría y que la teoría de las disciplinas tradicionales de la
ciencia social no resulta adecuada para los fines de la evalua­
ción. Brindan sugerencias para el desarrollo de un marco con­
ceptual apropiado de la evaluación.
Es evidente que la inclusión del artículo de BEcKER puede
parecer un tanto anómala. En este caso, empero, las apariencias
H ac i a una superación del enfrentam iento . . . 55

son enga ñosas. Aunque el a rt ícu lo se refiere oste n si b leme nte a


la fotograf ía, las idea s de B ECKER poseen también gran rele­
va nc ia para el empleo de métodos etnográficos en eva l u ación .
E l hecho es q ue las fotograf ías son semejantes a cualq u ie r gru ­
po de datos y que, en especial, tienen mucho en comú n con
lo s datos recogidos por p roced i m ientos cual itativos. De la m i s­
ma manera en que a B ECK ER' le i nteresa la · 'verdad " de una foto­
graf ía, a s í también deber ía inte resar a los evaluadores cualitat i ­
vos la val i dez d e su s datos. Rev i ste l a mayor importancia e l
hecho d e q u e B ECKER emp lee l a lógica d e CAMPBE LL y STAN LEY
( 1 966 ) , origi nariamente desarrol lada con referencia a los méto­
dos cuantitativos, para evaluar la va l idez de i n fe rencias respec­
to de las fotograf ías. As í B ECKER demuestra q u e la e l i m i nación
de las h i pótesi s ri vales sigue la m i sma lógica tanto e n el proce­
d i mi en to cual itativo como e n el cuantitativo. B ECKER tiene
tamb ién mu cho que dec i r acerca de la posib i lidad de genera­
l i za r, del sesgo del observador, de la censura y de l a edición.
KNAPP proporc iona u n exa me n bien razonado y penetran te
de l empleo de la etnograf ía en la evaluación del Progra ma de
Escuelas Experi mentales. Al docu me nta r las n u me rosas d i f i ­
cultades su rgidas, KNAPP i nd uce al lector a apreciar l a s presio­
nes tanto suti les como n o suti les que u nas eva l u ac iones e n gra n
escala ejercen sobre el tra baj o etnográfi co de campo. Qu ienes
p iensan qu e en las eval uaciones en gra n escala se aplica fác i l ­
mente y c o n éx ito la etnogra f ía sufri rán una d u ra sorpresa y
q u ienes emplea n la etnograf ía harán bien en comp render los
d i lemas de q ue da cuenta KNAPP . De modo semejante, el lec­
tor se siente est i m u lado a con siderar las recome ndaciones de
KNAPP respecto de los u sos a lte rnativos de la etnograf ía en
la i nvestigación evaluativa.
F inalmente H oLUSTER y otros ofrecen alg u n os nuevos atis­
bos respecto del u so de los métodos cuantitativos. E l pensa­
m i e n to actua l en la i nvestigac ión eva l u ativa i n d i ca q ue e l aná­
l i sis de proceso requ ie re· proced i m ientos cua l i ta tivos, mi entras
que la valorac ión del resultado ex ige técn icas cuantitativas.
H o L u STE R y otros de rr i ba n este mito de most rando no sólo
que ta nto el análisis de p roceso como el de resultados puede n
rea l i zarse con métodos cuan titat ivos habituales si n o, lo q ue es
más i mporta nte , cómo es posible ligar los d os a nálisis. Aunque
tal e s anál i si s ligados ex igen datos de gran enve rgadura y cal i ­
d ad , H o L L ISTER y otros revela n los beneficios potencia les que
Pueden ofrecer estos anál isi s.
56 Métodos cualitativos y cuantitat ivos en i nvestigación evaluativa

B I B L I OG RA F I A

8 A A T O N , A. H . y P. F . L AZAAS F E LD ( 1 969 ) "Soma functions o f q ua litat i ve


ana lys is i n soci a l research , " e n G . J . M cCall y J . L . S i m mons (eds .l /ss�s i n Par­
ticipant Olnervation : A Text and Aeader . A eacl i ng , M A : Addison .Wes le y .
B E CK E A , H. S. ( 1 958 ) "P roblems of i nference and proof in part i ci pant obsarva­
tion . " American Sociolofical Review, 1 69 : 652 -660 .
--- v B. G E E A ( 1 95 7 ) "Parti cipan t observation and i nte rvi awing: a comparison."
Human Org11nization 1 6:28-32 .
8OGDAN , R . y S . T A Y L O A ( 1 975) lntroduction to Oualitatitlfl Research Methods.
N ue va Yor k : John W i ley :
B O A I NG , E . G. ( 1 969 1 "Perspect i va : a rti fact and con t rol," en A . Aosenthal y A . L .
Aosnow (eds .l Artifact in Behavioral Re.earch. N ueva York: Academi c Press .
--- ( 1 954 ) "The nat u re and h istory of e xperi mental cont roi ." American Joumal
of Psychology, 67 : 573-589 .
. B O A U C H . R . F. ( 1 97 5 ) "On common contentions a bout randomized experi ments
for evaluating social programs ," en A . F . Boruch y H . W . A iecken (eds .l Experi­
mental T•ting of Public Policy. Bou lder : Westview .
B A I CK E L L , H. M. ( 1 976) "Needed : instrumenta as good as our eyes ." Joumal of
Currículum Evaluation, 2 : 56-66 .
B A I TAN , G. M. ( 1 978) "E xperi mental and contextual models of program evalua­
tion ." EvalUlltion and Program Planning, 1 : 229-2 34 .

CAM P B E L L , D . T. ( 1 97 4 ) "Oualitat i ve knowing in action research ." K u rt Lewin


Award Address , Society for t he Psychologica l Study of Social lssues , re un ión
de la American Psycholog ical Association, N ueva Orleans. Septiembre 1 , Jour­
nal of Social lssues .
--- ( 1 970 ) "Considering t he case agai nst experimental evaluat ions of socia l i nno­
vations ." Admini&rratillfl Science Ouarfflrly, 1 5 : 1 1 0 - 1 1 3 .
--- ( 1 969 ) "A rt ifact and con t rol ," en A . Aosenthal y A . L . Aosnow ( eds .l Arti­
fact in Behavioral Reffllrch. N ueva Yor k : Acaclem ic P ress .
--- V J.C. STAN E LY ( 1 966 ) Experimental and Ou.i-Experimental Desigm far
Research. Ch i cago : A an d McN a lly .
CHAPMAN , L. J . ( 1 967 ) "l llusory corre lat ion in observational report ." Joumal of
Verbal Leaming and Verbal Behavior, 6 : 1 5 1 -1 55 .
--- v J . P . C H APMAN ( 1 967 ) "Genesis o f popu lar b ut erroneous psychodi agnos ­
t i c observat ions . " Joumal of Abnormal Psychology, 7 2 : 1 93-204 .
COO K , T. D . y D . T. CAMPB E L L ( 1 979) Ouasi-Experimentation : Design and Ana ­
lysis l•ues for Field S.ttings. C h i cago : A and McN a l ly .
COOK , T. D. y F. L. COOK ( 1 97 7 ) "Compre hens i va evaluation research and i ts
dependence on bot h human istic and empi ri cist perspectivas , " en R . S . F rench
(ed .l Humanist:11 and Policy Studies: Re/avance Revisited: Currículum Dellfllop­
ment in the Humanities, N !' 3 . Was h ington , D C : George Was h ington Univers ity,
D ivis ion of E xpe ri mental P rograms .
C A O N B A CH , L. J . 1 1 978 ) "Des igning educational evaluat ions . " Stanford: Stanford
Univers i ty .

D AV I S , F. ( 1 96 1 ) "Comment on 'ln it i a l inte raction of newcomers in A l co ho l i cs


Anonymous ." Social Problems, 8 : 364-365 .
D E N Z I N , N . ( 1970) The Research Act. Chicago : A ldine .
Hac ia una superación del enfrentamiento . . . 67

E 1 S N E R, E . W. ( 1 97 71 "Critiq ue." Anthropo/ogy and Education Ouarterly, 8: 7 1-72.


E R I C K SO N , F . ( 1 977 1 "Soma approaches to inq uiry in school-community ethno­
graphy ." Anthropology and Educstion Ouartar/y, 8 : 58$ .

F I E N BE A G , S . E . ( 1 97 7 I "The collecti on and analy sis o f ethnographic data i n ed u ­


cational research ." Anthropology and Education Ouarterly, 8 : 50-67 .
F I LSTE A D , W. J . [ed .] ( 1 9701 Oualitative Methodology. Chicago : Markham .

G A R N E A , W. R., H. W. H A K E , y C. W. E A I CK S E N ( 1 9561 "Operationism and


the concept of perception ." P1ychological Review, 63: 1 49 -1 59 .
G LASE A , B . y A. l. STA AUSS ( 1 967 ) The Discollflry of GroundBd Theory. Chi·
cago : Aldine .
- - - ( 1 9651 "Discovery o f s ubstantive t heory : a basic s tra'legy underlying q ualita­
t i ve research ." American Behavioral Scientist, 8: 5-1 2 .
G U BA , E . G . ( 1 97 8 ) Toward a Mathodology of Naturali1tic lnquiry in Educstional
EVBluation . Los Angeles: U nivers idad de California , Los Angeles, Center for the
St udy of E valuation .

K E LMAN , H . C. ( 1 972 1 "The rights of t he s ubject in s ocial research : an analysis in


terms of. relative power and legitimacy ." American Psychologi1t, 2 7 : 989-1 0 1 6 .
Ku H N . T . S . ( 1 970 1 The Structure of Scientific Rew,/utions. Chi cago : Universi ty of
Chicago Press .
- -- ( 1 962 ) Tha Structure of Scientific Revolutions. Chicago : U niversity of Chica­
go Press .

L I G H T , R. ( 1 979 1 "l ntegrati ng multiple empírica! studies ." Presentado en el con ­


g reso anual de l a A merican Educational R esearch Association , San F rancisco .
LO F LA N D , J . ( 1 96 1 ) "Aeply to Davi s ' comment on 'l nit ial interaction .' " Social
Problems, 8: 365-367 .
-- - v R . A. LEJ E U N E ( 1 960) "l nitia l interaction of newcomers in Alcoholics
Anonymous : a field experiment in class symbols and sociali zation ." Social
Problems, 8 : 1 02 -1 1 .

McCA L L , G . J . ( 1 969 ) "T he prob iem of indícato rs in participant observation re­


search ," en G . J . McCall y J . L. Simmons (eds.l lssue, in Participant Observe­
tion : A Text and Raader. A eading , M A : Addison.Wesley .

N I S BE TT , R . E. y T. D. W I LSON ( 1 97 7 ) "Telling more t han we can know : verbal


reports on mental processes . " Psychological Review, 84: 2 3 1 -269 .

Ü V E A H O L T , G. E . y W. M. 5,:-A L L I N G S ( 1 979 ) "Et hnograph y in evaluat i on :


dangers of methodologicat transplant . " Presentado al congreso an ual de la Ame­
ri can E ducational R esearch Association, San F rancisco .

PAR L ETT, M y D. H AM I L TON ( 1 97 6 ) "Evaluation as illum ination: a new approach


to t he s tudy of innovatory programs , " en G . V G lass (ed . l Evaluation Studies:
Reviaw Annual, Vol . 1 . Beverly H i lls : Sage .
PAT TON , M. 0. ( 1 978 ) Utilization -FocusBd Evaluation . Beverly H ills: Sage.
- - - ( 19751 Alternative Evaluation Re11Hrch Paradigm. G rand Forks: Unive rs i ty of
Nort h Da kota P ress .
58 Métodos cual i tat ivos y cuantitativos en invest igación evaluat iva

A I E CK E N , W. R ., R. F. 8OR U C H , D. T. CAMP B E L L , N. CAPLAN , T. K. G LE ­


N A N , J r . • J . W . P R ATT, A. R E E S , y W . W I L L I AMS l 1 9141 Socia/Ex,,.rimt1nta­
tion : A Method for Planning and El/flluating Social lnterllflntion. N ueva Yor k :
Academic P re ss .
R I ST . R. C. ( 1 979 ) "On t he uti lity of ethnographic case studies for fede ral po l i cy . "
P re se ntado e n el congre so an ual d e la Am11rican Educational ReSllllrch Auocia­
tion, San F rancisco .
- - - 1 1 97 7 ) "O n t he relations among ed u cational research paradigms : from di&dai n
to detente ." Anthropology and Education Ouarterly, 8 : 42 -49 .
ROSS I , P . H . y S . R . W R I G H T l 1 9 7 7 i "E valuat i on research : an assessment of the o ­
ry , practice , and po liti cs . " Evaluation Ouarterly, 1 : 5 -52 .
ROTH . J . A. 1 1 962 1 "Comments on 'Secret observati on ' ". Social Problems, 9 : 283-
284 .

SCH E I R E A , M. A 1 1 9 78 ) "Program participants ' pos itiva perceptions : psychologi ­


cal conflict of inte rest in social program evaluat i on . " Evalution Ouartllrly,
2 : 53-7 0 .
SCR I VE N , M . ( 1 9721 "Objectivity and subje ctivity i n educational research ," e n
L . G . Thomas led .l Philosophical Rectir11ction o f Educational Research: The
Seventy-fint Yearbook of the National Society for thll Study of Education.
Chicago : U niversity of C hi cago P ress .
S H AP I RO . E . 1 1 9731 "Educational evaluation : rethi n king the crite rion of compe­
tence ." School Review, 8 1 : 523-549 .
S I E B E R . S . I 1 9 7 3 ) "T he i ntegrati on of fie ld work and su rve y met hods . " American
Joumal of Sociology, 28 : 1 335 -1 359 .
STA K E , R . E . 1 1 978 1 ' 'Should educational evaluati on be more objecti ve or more
subjective? More subjectivel " Debate del congreso an ual de la American E duca­
tional Research Association .

TROW , M. ( 1 957 ) "Comment on 'Parti cipant obse rvation and i nte rviewing: a com­
parison . " Human Organization, 1 6: 33-35 .
TVERS K Y , A. y 0 . K A H N EMAN I 1 9741 "J udgments unde r uncertai nty : he uris­
tics and biases ." Science, 1 85 : 1 1 24-1 1 3 1 .

V I D I C H , A J . y G. S H A P I R O 1 1 9551 "A comparison of partici pant obse rvation


and survey data . " American Sociological Review, 20: 28-33 .

W EBB , E . J . , D. T . CAMPBELL , R . 0. SOiAWARlZ , y L. S EOiRESr ( 1 966) Un ­


obtrusive Me111un11: Nonr11active Research in tha Social Sciences. Chicago :
Rand McNal l y .
WE I SS, R . S . y M . R E I N 1 1 9 72 ) "The evaluation o f broad-aim programs : di fficulties
i n e xperi mental design and an alte rnati va , " e n C. H . Weiss (ed .l Evaluating
Action Programs: RNdings in Social Action and Education. Boston : Allyn and
Bacon .
WI LS O N . S . ( 1 9 7 7 ) ;,The use of ethn ograph ic techniq ues i n educational research ,"
Review of Educational R11S1111rch, 41 : 245-265 .
CAP I TU LO 1 1

ME TODOS CUA L I TAT I VOS

Una experi encia necesaria en la i nvestigaci ón evaluativa

Por W i l l iam J . F I LSTEAD


Northwestem University

E l pape l de los métodos cua l i tati vos , bien solos o un i dos con
métodos cuantitati vos , ha l l amado la atención de púb l i cos di ­
versos re l aci onados con la admi nistraci ón y eva l uaci ón de pro ­
gramas de i nte rvención social . La l i terat ura en este sector tuvo
sus comienzos a fi nales de l os años sesenta cuando apa recieron
por vez p ri me ra ejemplos del emp leo de métodos cua l i tati vos
en la i nvesti gación eva l uati va ( cf . MEcH , 1 969; GLASEA , 1 969) .
Reciente mente han s u rgido otras p ub l i caci ones q ue proporci o ­
nan ma rcos conceptua les ( CAM PBELL, 1 974; BR ENN ER y otros ,
1 978; 8R ITAN , 1 978; PATTON , 1 978 y HAM ILTON y ot ros , 1 97 7 )
y s uge rencias d e procedi m i ento (T1KUNOFF y WAR D , 1 977 y So­
BEL, 1 976) para el e m p leo de estos métodos en la i nvestigaci ón
eva luativa. En contraste, el papel de los mét9(fos cua l i tativos no
ha sido exami nado con un cierto deta l le por l os l i bros de te xto
Y l as antologías habitua les (véanse CARo , 1 97 1 ; Fbss1 y WILLIAMS,
1 972; ATTK ISSON y otros , 1 978; CouRSEY y ot ros , 1 97 7 ; STA UE­
N IN G y GUTTENTAG , 1 97 5 y RIECK EN y 8oR UCH , 1 974) .
E l propósito de este cap ít u l o es tri ple : 1 ) compa rar y con ­
trastar los esti l os cua l itat i vo y cuantitati vo de i nvesti gació n ; 2 )
e xami n a r q ué factores han cond ucid o a u n i ncremento de l
i nte rés por l os métodos cua l i tati vos pa ra eva l ua r e l i mpacto de
l os programas de i nte rvenci ón social y 3 ) i ndi ca r cómo pueden
u ti l i za rse en la i nvesti gaci ón eva l uati va los métodos cua l i tati ­
vos . Aun q ue se toman e n consideración tanto e l paradigma
60 Métodos cual itativos y cuantitat ivos en i nvestigación eval uativa

cualitati vo como el cuantitativo, la presentación destaca el pri ­


mero. Y se procede as í, en parte, porque quienes lean este ca­
p ítulo tendrán ya en muy buena medida un amplio adiestra­
miento en el paradigma cuantitativo. Sabrán lo que deben leer
si desean ampliar las observaciones que se hacen respecto de
ese marco . De igual modo , la mayor ía de los cient íficos de la
conducta no han recibido un adiestram iento comparable en los
métodos cualitativos . Si algo han aprendido de este paradigma
ha sido normalmente resultado de una o de dos conferencias
en el curso de investigación del nivel de titulados aunque quizá
algunos lectores poseerán un amplio adiestramiento en este
sentido . Por añadidura, mani fiestamente yo promueve> las ven­
tajas del paradigma cualitativo con objeto de alterar el desequi ­
librio ahora existente en el campo de la evaluación. Cabe espe­
rar que si se consideran como opuestos estos paradigmas , puedan
realizarse esfuerzos productivos para concebir procedimientos
que incorporen sus respectivas posibiiidades a las tareas de la
futura evaluación .

LOS P A R A D I G M AS CU A L I TATI VO Y C U A N T I TATIVO

Los términos métodos cualitativos y métodos cuantitativos


significan mucho más que unas técnicas espec íficas para la re­
cogida de datos . Resultan más adecuadamente conceptualiza­
dos como paradigmas . U n paradigma , tal como lo definió KUH N
( 1 962 ) es un conjunto de suposiciones interrelacionadas res­
pecto al m undo social que proporciona un marco filosófico pa­
ra el estudio organizado de este mundo.
Según KuH N el trabajo cotidiano de la ciencia (en nuestro
caso la investi.gación evaluativa) se halla organizado en torno
de un paradigma. 1 En su sentido más amplio, un paradigma re­
presenta una "matriz disciplinaria " que abarca generalizacio­
nes, supuestos , valores , creencias y ejemplos corrientemente

1 M AST E R M AN ( 1 970) bri nda un estud i o de 2 1 m od os d i sti ntos pero n o m u ­


tuamente exc l uyentes e n los que K U H N emp lea e l térm ino paradigma. E sta au tora
señala q ue se hallan i m p l i cadas tres n ociones generales cuando K U H N emplea el té r­
m i no : "pa rad igmas metaf ísicos " , q ue proporcionan pri nc i pios de organ i zación ; "pa­
rad igmas socio lógicos " , q ue descri ben logros u n i versa l me nte reconocidos y "para ­
d i g m as de constructos" que d escri ben he rramientas e i n stru mentos metodológicos .
E n la mayor pa rte de l os casos pa rece que K U H N se refi ere a "parad igmas metodo­
lógi cos " c uando e m p lea la pa labra .
Métodos cual itativos 61

co m partidos de lo que constituye el interés de la disciplina


( KUHN , 1 970: 1 8 1 - 1 87). Un paradigma 1 ) sirve como guía para
los profesionales en una disciplina porque indica cuáles son los
problemas y las cuestiones importantes con los que ésta se en­
frenta; 2 ) se orienta hacia el desarrollo de un esquema aclarato­
ri o (es decir, modelos y teor ías) que puede situar a estas cues­
tiones y a estos problemas en un marco que permitirá a los
profesionales tratar de resolverlos ; 3) establece los criteri os pa­
ra el uso de "herramientas" apropiadas (es decir, metodolog ías ,
instrumentos y tipos y formas de recogida de datos) en la reso­
lución de estos enigmas discip:inarios y 4) proporciona una
epistemolog ía en la que las tareas precedentes pueden ser con­
sideradas como principios organizadores para la realización del
"trabajo normal" de la disciplina. Los paradigmas no sólo per­
miten a u na disciplina aclarar diferentes tipos de fenómenos, si­
no que proporcionan un marco en el que tales fenómenos pue­
den ser primeramente identificados como existentes. En un
sentido muy real , para entender un paradigma hay que com ­
prender los procesos por los que fue "descubierto", es decir
cómo el paradigma llegó a ser el modo de considerar un deter­
minado fenómeno .
En el punto central de la distinción entre los paradigmas
cuantitativo y cualitativo radica el argumento clásico en filoso­
f ía entre las escuelas del realismo y del idealismo y sus subsi ­
guientes reformulaciones (véanse AIKEN , 1 957 ; CosER , 1 97 1 ;
BECKER y 8AR NES, 1 952; PoLAN Y I, 1 958; PoPPER , 1 972; Qu 1NE,
1 969 y fEYERABEND , 1 975). Las obras de HOBBES, LOCKE, BA­
CON , KANT, BERKELEY , HUME y otros , se i11teresaron , entre di­
vers as cuestiones, por la relación entre el mundo exterior y el
proceso del conocimiento . El interrogante esencial que les
preocupaba era éste: l C6mo conocemos lo que conocemos? El
prolongado debate q ue ha envuelto a esta cuestión resalta la se­
rie de supuestos subyacentes a nuestra concepción del mundo
Y que en grado cQnsiderable conforma el mundo que vemos .
El nacimiento -de la ciencia en los siglos x v y xv1 fue posible
p o r obra de una concepción esencialmente estática del mundo
que dominaba el pensamiento de los hombres de ideas . Exist ía
una fe en la razón como medio de comprender el mundo y
eventualmente llegó a cimentarse en una fe en la ciencia . Se
ere ía que era posible l legar a comprender el mundo a través de
los sentidos humanos. Como resultado se proclamó a la ciencia
como e l medio para comprender el mundo . La real idad baca-
62 Métodos cual i tat ivos y cuant itativos en i nvestigación evaluat iva

n i ana de · 'veo porq ue lo e xperi mento " resume la fue rza de l


pensa m ie nto a l q ue l legó a con ocerse como rea l i smo y positi ­
vi smo lógi co .
Los desórdenes y e l rápi do cambio soci al en tas i nstituciones
de la sociedad d u rante los siglos xvm y x1x i nd ujeron a l os pe n ­
sadores a pone r en tela de juicio la lógica y e l método de la
ciencia tal como son apl i cados para compre nder a l os seres h u ­
man os . Este fué especi a l mente el caso d e los ideal istas a le manes
q ue recon oc ían la existencia de un a real idad f ísica pero soste ­
n ían q ue l a me nte e ra la fuente y la creadora de l conoci m ie n ­
to . Cre ían q ue e l m undo socia l n o e s dado s i n o creado por l os
i ndi vi d uos q ue en é l vi ven .
E l - choq ue entre estas dos pos ici ones fi l osófi cas básicas res­
pecto de l a naturaleza de l orden soci a l es l o q ue disti ngue a los
parad igmas cuanti tati vo y cualitati vo . E l enfoque q ue de l a vi ­
da soci a l hace e l paradigma cuanti tati vo emplea los supuestos
mecan icistas y estáticos de l mode lo positi vista de las ciencias
natura les . Espec íficamente , el pa rad igma cuan titat i vo se hal la
basado en los sig ulentes s upuestos :
En primer lugar, los positivistas suponen que los c ient íficos, v de un
modo casi automático , pueden a lcanzar un conocimiento objetivo gracias
al estudio tanto del mund o social como del natural . En segundo lugar,
afi rman que l as ciencias naturales y sociales comparten una metodología
básica, que son semejantes, no por v irtud de l a materia de que se ocupan
sino porque emplean la misma lóg ica de i nd agación y p rocedimientos si­
mi lares de investigación.. . En tercer lugar, los pos itivistas , a di ferenci a de
los autores de la tradición neoidealista, conciben por lo común un orden
natural y social mecanicista ( SI O B E R G v NETT, 1 966: 7).

Por otra parte , e l paradigma cua l i tati vo posee un fundame n­


to decid idamente h u man ista para entender l a rea l idad socia l d e
la posición i dea l i sta q ue resa lta un a concepción evo l utiva y ne ­
gociada del orden soci a l . E l paradigma cua l i tati vo perci be la
vida socia l como la creativi dad compartida de los i nd i vi d uos .
E l .hecho de q ue sea compartida determ i n a una rea l idad perci ­
bi da como objetiva , vi va y cognoscible pa ra todos l os parti ci ­
pantes e n l a i nteracción socia l . Además , el m un do socidl n o es
fi jo ni estáti co sino cambiante , mudable , d i námico . El paradig­
ma cua l i tati vo n o conci be e l mun do como una fuerza exteri or,
objeti vamente i denti ficable e i ndependiente de l hombre . Exis­
ten por e l contrari o mú lti ples rea l i dades . En este paradigma los
individ uos son conceptuados como a�ntes activos en la
Mét odos cual itativos 63

construcción y dete rm i nación de las realidades q ue encuentran ,


e n vez de responder a l a manera de un robot según l as e xpecta ­
tivas de sus papeles q ue hayan establecido las estructuras socia ­
les . N o existen series de reacciones tajantes a ias situaci ones
si n o q ue , por el contrari o, y a t ravés de un proceso negociado e
i n terpretativo, emerge una trama aceptada de interacción . E l
paradi gma cua l i tati vo i ncl uye también un supuesto acerca d e l a
i mportan ci a d e comprende r situaciones desde l a pe rspecti va de
los parti cipantes en cada situación .
E l punto básico de partida del pa radigma cua li tati vo a la
hora de conceb i r e l mundo soci a l es e l desarro l lo de con ­
ceptos y de teor ías q ue se hal lan basados en los datos (es deci r,
conceptos y teor ías de1i vados de los datos e i lustrados por
ejem plos caracter ísticos de l os datos ; GLASEA y SrRAuss, 1 967 ) .
Estos "conceptos de pri me r orden ", como los l lamó S::HuTz
( 1 967) , resu ltan esenciales para e l desarro l l o de conceptos de
segundo orde n , q ue e mergen cuando se t;ata de explica r un fe ­
nómeno.

Cualquier entendimiento cient ífico de la acción humana, en cualquier


nivel de ordenación o de general idad , debe empezar y basarse en un en­
tend imiento de la vida cotid iana de los miembros que realizan estas accio­
nes . No l legar a adverti r esto y no actuar al respecto de un modo conse­
cuente, es cometer lo que podríamos denominar l a falacia del abstraccio·
nismo , es decir la falacia de creer q ue uno puede conocer en una forma
más abstracta lo q ue no comprende de una forma particular (DOUG LAS,
1 970 : 1 1) .

Precisamente , este i nte rés por los significados sociales y la


i nsistencia en q ue tales sign ifi cados sólo pueden ser exami na­
dos e n e l contexto de l a i nte racción de los i nd i vid uos es lo q ue
disti ngue a este paradigma del modelo de investigación de l as
ciencias natura les. Como ha señalado E R ICKSON ( 1 977: 50) :

Los i n11estigadores de la trad ición de MALINOWSK I en antropolog ía (y


"sociólogos de trabajo de campo", "i nteraccionistas simból icos " y más
reci entemente "etnometodologistas ", en sociolog ía ) se han mostrado i n ­
ter esadoli por el hecho social como acción s ocial; por los significados so ­
ciales i nternos y constituidos por e l hacer de las personas en la vida co­
ti d iana . Estos sign ificados se descubren con mayor frecuencia a través del
tra bajo de campo, deteniéndose y observando cuidadosamente a las per­
so n as y preguntándoles por qué hacen lo que hacen , i nterrogándol as a ve­
ces cuando se hallan en la plenitud de su tarea. En razón de esta orienta-
64 Métodos cualitativos y cuantitativos en investigación evaluativa

ción hacia lo social como inserta en el hacer concreto y particular de las


personas -tareas que incluyen las intenciones y los puntos de vista de los
individuos - los investigadores cual itativos se muestran remisos a c1preciar
atributos de quehaceres abstra ídos del escenario de la acción social y to­
mados fuera de su contexto .

ER 1cK SON (1 977 : 61 ) llega a describir as í la estrategia anal íti ­


ca básica que existe tras los métodos cualitativos : " Lo que la
investigación cualitativa hace mejor y más esenci almente es
describir incidentes clave en térm inos descriptivos funcional­
mente relevantes y situarlos en una cierta relación con el más
amplio contexto social, empleando el incidente clave como un
ejemplo concreto del funcionamiento de principios abstractos
de organización social".
Debido a los supuestos que el paradigma cuantitativo elabo­
ra acerca de la vida social y al enfoque que adopta a través de
la comprehensión de la vida social, ha sido incapaz de propor­
cionar el contexto dentro del cual "dar sentido ", "compren­
der" y por tanto , incapaz de llegar al significado de las interac­
ciones y de los procesos que ha estado exam inando . No cabe
inferir el significado de un acontecimiento de datos que no po­
seen esta dimensión de información . Una caracterización de la
vida social desprovista del significado subjetivo de estos acon­
tecimientos para los pai1icipantes violenta la imagen del hom­
bre al que representa no sólo como modificador sino como
creador de su mundo.
Cada paradigma pretende transmitir la información que
obtiene a través de un sistema de anotaciones escritas. Los
investigadores cuantitativos tienden a traducir en números sus
observaciones. Se asignan valores numéricos a las observa­
ciones, contando y "midiendo ". Los investigadores de inclina­
ción cualitativa rara vez asignan valores numéricos a sus obser­
vaciones sino que prefi eren registrar sus datos en el lenguaje de
sus s ujetos. Consideran que las auténticas palabras de los suje­
tos resultan vitales en el proceso de transmisión de los sis-remas
significativos de los partici pantes, que eventualmente se con­
vi erten en los resultados o descubrimientos de la investigación.
Con mucha frecuencia, el investigador que sigue el paradig­
ma cuanti tati vo se i nteresa por descubrir, verificar o identificar
relaciones causales entre conceptos que proceden de un esque­
ma teórico previo. Le atañe la asignación de los sujetos y , por
lo general, se esfuerza por emplear la asignación aleatori a u
Métodos cualitativos 65

otras técnicas de muestreo con objeto de minimizar el efecto


de l as variables presentes que podr ían influir en los resultados
de la investigación. Con frecuencia se emplea un "grupo de
control " con el fin de evaluar el "impacto " de la no interven­
ción. Los datos son recogidos a través de procedimientos acep­
ta dos tales como cuestionarios y entrevistas estructuradas y
concebidas para captar las respuestas de los sujetos a preguntas
prefijadas con opciones establecidas de respuesta. Para analizar
la información se emplean procedimientos estad ísticos de di­
versa complejidad. 8LUM E R ( 1 969 : 24 ) caracterizó estos enfo­
ques metodológicos habituales haciendo la siguiente observa ­
ción (que es también aplicable a 1a tendencia general de la in­
vestigación evaluativa contemporánea):

Con una frecuencia desalentadora,la metodología e n l as ciencias socia­


les se considera actualmente como sinónimo del estud io de procedimien­
tos cuantitativos avanzados y el "metodologista " como alguien muy
experto en el conocimiento y empleo de tales procedimientos. Se le ve
como quien efectúa un estudio en términos de variables cuantificables, el
que pretende establecer relaciones entre tales variables mediante el em­
pleo de técnicas estad ísticas y matemáticas complejas y el que orienta se­
mejante estudio a través de elegantes modelos lógicos que se adaptan a
"cánones especiales " de "diseño de la investigación ". Tales concepciones
constituyen una parodia de la metodología como estudio lógico de los
principios subyacentes a la conducta de la indagación cient ífica .

A modo de contraste, y siendo consciente de los marcos teó­


ricos existentes o de los esquemas de explicación de los fenó­
menos sometidos a estudio, un investigador cualitativo prefiere
que la "teor ía" emerja de los propios datos . Esta cimentación
de la teoría en los datos , como se examinó antes, incrementa la
capacidad del investigador para comprender y quizá para con­
cebir en definitiva una explicación de l fenómeno que sea con­
secuente con su aparición en el mundo social . Al tratar de pro­
porcionar una base a la teor ía, el investigador intenta averiguar
qué esquemas de explicación son empleados por las materias
sometidas a estudio para proporcionar un sentido a las realida­
des sociales con las que se encuentran; qué teor ías, conceptos
Y categor ías sugieren los propios datos . La insistencia en la
P roximidad a los mundos cotidianos de los participantes y en
captar in situ sus acciones proporciona un refuerzo sólido a las
e xplicaciones que finalmente desarrol le la investigación. En
66 Métodos cualitativos y cuantitativos en investigación evaluativa

realidad tales aclaraciones se explican o tienen sentido en razón


del hecho mismo de que fueron generadas a través de un pro­
ceso que tomó en cuenta las perspectivas de los participantes.
Al desarrollar las "explicaciones" del fenómeno, el investi­
gador cualitativo tiende a emplear "conceptos sensibles " (es
decir, conceptos que captan el significado de los acontecimien­
tos y emplean descripciones de los mismos para aclarar las fa­
cetas múltiples del concepto , 8LUM ER , 1 969) más que defini­
ciones operacionales. Aquel que se selecciona para ser estudia­
do , guiado por la pregunta inicial de la investigación, sufre
cambios basados en aquellos datos que se van recogiendo y la
dirección que tal información sugiere con respecto a quien
pueda proporcionar información adicional para responder a los
nuevos interrogantes generados por este proceso de investiga­
ción. Este estilo de selección de la materia ha sido denominado
"muestreo teórico" ( G LASE A y SrR AUSS, 1 967). Las técnicas de
obtención de datos t ípicamente empleadas para estos fines son
la observación participante , la entrevista en profundidad y la
entrevista no estructurada o semiestructurada. Existe un cuer­
po sustancial de textos , sobre todo en antropolog ía y sociolo­
g ía, que proporcionan descripciones de los supuestos subya­
centes, las técnicas espec íficas , las estrategias para el empleo de
tales métodos y otros perfeccionamientos y matices en el enfo­
que y utilización de los métodos cualitativos (v. g., 8R UYN , 1 966;
lo F L AN D , 1 973 , 1 976; Mc CA LL y SIMMONS, 1 969; 8ECKER, 1 970;
F1 LSTE A D , 1 970, 1 973, 1 975 , 1 976, 1 978; 8oGDAN y TAY LOR ,
1 975; 80G DAN , 1 972; JU N K E R , 1 960 y ScHW ARTZ y JACOBS,
1 979).
En suma, el paradigma cuantitativo emplea un modelo cerra­
do, de razonamiento lógicodeductivo desde la teor ía a las pro­
posiciones, la formación de concepto, la definición operacional,
la medición de las definiciones operacionales, la recogida de
datos , la comprobación de hipótesis y el análisis. El paradigma
cualitativo constituye un intercambio dinámico entre la teor ía ,
los conceptos y los datos con retroinformación y modificacio­
nes constantes de la teor ía y de los conceptos, basándose en
los datos obtenidos. Este n uevo y perfeccionado "marco de ex­
plicación" proporciona una orientación respecto del lugar en
donde han de ser obtenidos los datos adicionales. Se halla ca­
racterizado por una preocupación por el descubrimiento de la
teor ía más que por el de su comprobación.
Métodos cual ita tivos 67

E L CAM B I ANTE CL I MA DE LA INVESTI GACI ON EVALUAT I VA

La aceptación absoluta del paradigma cuantitativo como el


modelo para la investi�ción eval uativa está siendo seriamente
puesta en tela de j uicio por la comunidad de los investigadores
eval uati vos . Estas dudas han suscitado un clima cambiante; el
vol umen presente es una indicación de esta alteración de senti ­
mientos . Tres factores han contribuido al menos a esta reconsi­
deración de la naturaleza de la investigación eval uativa.
E l pri mer factor, aunque no emane directamente de la inves­
tigación evaluativa per se , creó el clima que ha permitido vol ­
ver a preguntarse: " l Por q ué se hacen las-cosas de esa manera? "
Sólo en la última década ha sido posible estudiar l as ciencias
como son estudiados otros aspectos de nuestra sociedad . La
ciencia ha perdido su aura de elitismo y de sacralidad que antes
impidió a los investigc1dores poner en tela de j uicio sus supues­
tos .. N ingún conocimiento, sea cient ífico o correspondiente al
sentido común está o puede estar completamente a l margen
del interés humano, es decir, desprovisto de relevancia. Creyén­
dolo as í uno se ve impulsado a tratar de comprender qué inte­
reses y acontecimientos humanos interactúan para dar forma al
conocimiento ( HABERMAS, 1 97 1 ) . Representa un cambio desde
una concepción de la ciencia y del conocimiento que ésta pro­
porciona como algo que nos es revelado a la perspectiva que ve la
ciencia y su conocimiento como algo socialmente creado por in­
dividuos y los acontecimientos que han conforma do los tipos de
interrogantes que la ciencia formu l a y los procedimientos para
l legar a la información que responderá a tales preguntas (véan­
se BARNES y SHAPIN , 1 979, y M ITRO F F , 1 974) .
E l segundo factor es que el beneficio de las eval uaciones
cuantitativas de programas obtenido por administradores de
programas y por burócratas ha sido muy inferior al esperado .
Los administradores confiaban en que estos tipos de eval uacio­
nes identificaran "qué funciona", "quién lo hace mejor", "qué
sectores hay que cambiar", etc . Por lo general tales esperanzas
no se han visto colmadas .
Es posible que las expectativas de los administradores res ­
pecto de unas respuestas definitivas al impacto de las interven­
ciones sociales no hubieran sido realistas, pero se hal laban alen­
tadas y apoyadas por quienes postulaban el modelo cuantitativo
de eval uación y los supuestos asumidos como ciertos acerca de
l a adecuaci ón del marco de las ciencias naturales a las activida-
68 Métodos cualitativos v cuantitativos en investigación evaluativa

des de evaluación de programas . Por ejemplo, CAMPBELL y SrAN­


LEY ( 1 966: 2) , en su análi sis del papel vital desempeñado por
la experimentación en la comprobación y la acumulación de
conocimiento, declaran que la experimentación representa "el
ún ico medio de zanjar las disputas acerca de la prácti ca educa­
tiva, la única manera de comprobar las mejoras educati vas y el
único modo de establecer una tradición acumulati va en la que
quepa introducir perfeccionamientos sin el peligro de ceder a
la moda de desechar antiguos conocimientos en favor de nove ­
dades inferiores ".
Tras la introducción de los "G randes Programas Sociales" en
la década de los sesenta y el comienzo de los setenta y sus deri ­
vaciones , surgió la necesidad de valorar el impacto de estos pro­
gramas . La gestión evaluadora llegó a ser una tarea respetada
(aunque por lo general no en los ambientes académicos ) y se con­
virtió en un empeño idealmente adecuado para cient íficos socia­
les y del comportamiento. Se aplicaron rigurosamente las
herramientas del método cient ífi co porque se hab ía creado el cli­
ma pol ítico en el que se daba por supuesto el i mpacto pos itivo de
estos programas pero ten ra que quedar emp íricamente demos­
trado. No resultaba accesi ble la opción de consagrarse a determi­
nar el impacto relati vo de diferentes intervenciones (CAMPBELL,
1 969 , 1 97 1 ) . Las herram ientas del método cient ífico más sus
principios de rigor, objeti vidad, su carácter definitivo, etc.,
representaban algo necesario para los administradores de pro­
gramas y para los burócratas . El modelo cuantitativo era consi­
derado como el único medio de conocer definitivamente el
impacto positi vo (ya dado por supuesto) de tales programas .
Habida cuenta de este clima, no es extraño que se prestara
tanta adhesión a este enfoque de la evaluación de programas .
En consecuencia, all í en donde los resultados de estas evalua­
ciones fueron ambiguos o, peor aún , negati vos y dif ícil el
modo y estilo de la retroinformación y a veces i mposible de
comprender , comenzó a desarrollarse una sensación de desen­
canto respecto de estos enfoaues . Como ya indiqué en otro
lugar ( F1LSTEAD , 1 978), las evaluaciones determinan sólo tres
tipos de repercusiones : una positiva , una confusa o ambigua y
una negativa. Cuando muchas de las interwnciones sm:iales co­
menzaron a señalar repercusiones confusas o negati vas , los
burócratas empezaron a desconfiar de estos enfoques de la eva­
luación porque no presentaban un beneficio potencial para sus
organ i zaciones . Además , a estas preocupaciones subyac ía la
Métodos cual itativos 69

cada ve z más fuerte opi n i ón de q ue estos ti pos de eva l uaci ones


cuantitati vas n o captaban la "experienci a " o la "esenci a " de l
progra ma de i n te rvención sometido a estudio; es decir, l os a d­
m i n istradores de programas conside raban con frecuencia q ue e l
e sf uerzo d e eval uación só lo l ograba un a comprensión i ncom ­
p leta de l a i nte rvención soci a l .
La te rcera razón para este cambi o de cl i ma en la i nvesti ga­
ción eva l uati va es q ue muchos eva l uadores están pon iendo en
te la de juicio el mode lo conceptual de eva l uaci ones cuanti tati ­
vas estan dari zadas de programas y buscan un mode lo o unos
model os alte rn ati vos q ue i n corpo re n m ú lti ples métodos .
E n el centro de l con flicto acerca de mode l os conceptua les
apropi ados para la i n vesti gación eva l uati va e xi ste un desacuerdo
fundamenta l respecto de la posición de "resol ución de l proble ­
m a ca usa l " de l método cient ífi co . Los eva l uadores q ue emp lean
este mode lo de resol ución del problema causa l al estudi ar un
progra ma de i n te rvención social se adhieren a la sigui ente I ínea
de pensamiento q ue descri bió PATTON ( 1 975 : 29) en un con ­
texto de i n vesti gación educati va :

E n i nvesti gac ión ed ucativa los tratami e ntos consisten norma lmente , en
algún n uevo ti po d e mate ri a l o en una i n novación del plan de estud i os es­
pec ífi co , una variación e n e l tamaño de l a c l ase o e n a lgún t i po espec ífi co
de esti l o de enseñanza . Uno d e los p roblemas princi pa les en l a i nvestiga­
ción ed ucat i va experi mental estri ba en una especi ficación clara de aquel l o
en q ue consiste rea l m ente e l tratamie nto , que s e ded uce del control de
todas las demás variables causales posib les y d e l problema correspondien ­
te de l a i nterfe rencia de t ratam iento m ú ltiple y de l os efectos i nteracti ­
vos . Las l i m itaciones i m puestas por el control del t ratam i ento espec ífico
sometido a estud io son las q ue req u i e ren una s i mpl i fi caci ón y un d esme­
n uzam i e nto de la totalidad de la rea lidad en sus ínfi mas pa rtes com po­
ne ntes . E n to rn o de este proceso de si mpi i fi cación de la rea l idad gira u n
considerable e m peño científi co.

Pero precisame nte esta fragme ntación o est i l o desme n u za ­


d o r d e la e va l uación e s lo q ue según los eva l uadores cua l i tati va ­
mente orientados con d uce a te rgi versaci ones de la realidad y ,
en consecuencia , precisa de u n mode lo estructurado o conte x ­
tual d e e va l uación ( véanse BR ITAN , 1 978; We lSS y Re 1N , 1 972 ) .

Al concentra rse en un estrecho haz de vari ables se estab lece necesari a ­


mente u n a pantal la d e fil tración ent re el i n vest igado r y los fenóme nos
q ue trata de entender . Tales barre ras , d11sde e l punto de vi sta de q u i enes
70 Métodos cual itat ivos y cuantitativos en investigación eval uativa

emplean un análisis estructurado, i nhiben al observador y le impiden


comprender lo que es singular as í como lo que resulta general izable a par­
tir de los datos y percibir los procesos implicados en contraste para sim­
plificar los resultados ( RIST, 1 977 : 47 ) .
Se han brindado diversas alternativas al paradigma cuantitati­
vo . Algunos han sugerido que el más apropiado es un modelo
de sist�mas sociales concentrado en el contexto estructural
dentro del cual se enfocan los problemas sociales ( ETzioN 1, 1 960;
ScH U LBEAG y 8AK ER, 1 968; &JCHMAN , 1 970 y RYAN , 1 97 1 ) . El
campo educativo proporciona abundantes recursos a los nue ­
vos modelos conceptuales que subrayan e l clima social dentro
del cual son influidos el aprendizaje y otros hechos y que a su
vez influyen en otras dimensiones de organización y de i nterac­
ción del proceso educativo (5'.n rrH y BAOCK , 1 970 ; Center for
New Schools, 1 974 y W1LSON , 1 97 7 ) . Como resultado de estos
marcos conceptuales alternativos , otros escritores han destaca­
do aspectos espec íficos de la tarea de evaluación que atañen
considerablemente al proceso de realizar semejantes valoracio­
nes . Por ejemplo, KRAUSE y HowARD ( 1 976) subrayan el clima
pol ítico dentro del cual diferentes públicos han de señalar có­
mo debe ser formulada la cuestión de la evaluación, cómo se
proyecta el diseño de la investigación , cómo se realiza y cómo
cabe mejorar la retroi nformación y la utilización de estos resul­
tados . Tanto GuTTENTAG ( 1 973) como ScA IVEN ( 1 972 ) han
examinado el papel y el significado de la subjetividad en el pro­
ceso de evaluación mientras otros, como BECKER- ( 1 967 ) y Kou.
A ILSKY ( 1 973) han destacado un modelo cont rario .
I ncluso entre quienes se han identificado de modo promi­
nente con el modelo cient ífico cuantitativo de evaluación,
existen claros indicios de que semejante marco tiene menos re­
levancia para unos esfue rzos efectivos de evaluación que el
marco cualitativo. Por ejemplo, CAMPBELL ( 1 974 : 200 ) ha
declarado : "Si h ubiera que organizar en los mismos programas
evaluaciones cualitativas y cuantitativas, yo esperar ía que coin­
cidieran. En caso de que no fuera as í me parecer ía posible que
la equi vocada fuese la cuantitativa ". De un modo semejante ,
CRoN BACH ( 1 975 : 1 27 ) ofrece un sorprendente comentario so­
bre la manera en que los medios del método cient ífico se han
tomado equivocadamente en fines en s í mismos .
Ha l legado el momento de exorcizar la hipótesis nula. No podemos
perm itirnos tirar por la borda datos costosos cada vez que los efectos pre-
Métodos cual itativos 71

se nt es e n u n a m uestra "ca rezcan d e s ignifi cado " . . . q ue e l autor guarde


u n a i nformación descriptiva , a l menos para u n archi vo , e n vez de dar sólo
c ue nta d e aq uel l as d i fe rencias y corre l acion es seleccionadas que nom i n a l ­
me nte son "superiores a l aza r " . Las dei;cripciones nos an iman a pensar de
un modo const ructi vo respecto a resultados de cuasi -ré p l icas m ie ntras
q ue la d icotonom ía significati vo/no sign i fi cati vo i m p l ica sólo una i rreme ­
diab l e i nconsistencia . La regla de l a pars imo n i a , m a l i nterpretad a , ha con­
d ucido a la costumbre de aceptar en cada ocasión los errores del Tipo 1 1
con objeto de mantener contro l ad os los erro res de l T i po 1 . Hay más cosas
en e l c i e l o y en l a ti erra de l as q ue soñamos e n n uestras hi pótesis , y n ues­
tras observaci ones deben q ueda r abiertas a todas e l l as .

L O QUE P UEDEN O FRECER LOS METODOS CUAL I TAT I VOS


A LA INVEST I G AC I ON EVALUAT I VA

Antes de seguir ade lante con algunas indicaciones respecto


del papel de los métodos cua litativos en la investigación evalua­
tiva, son necesarias algunas palabras de prevención para evitar
una reacción excesiva respecto de los métodos cua litativos que
representan un leg ítimo estil o de investigación . Estos métodos ,
por s í mismos , pueden evaluar adecuadamente un programa de
intervención. Pueden incluso abordar la cuestión de la causali­
dad. Por añadidura, cabe obtener grandes ventajas de la combi ­
nación creati va de métodos cua litativos y cuantitativos en la
investigación evaluativa. Lo que resulta inapropiado es situar a
cualquiera de los métodos en una posición inferior. Ninguno
tiene e l monopolio de l as "respuestas correctas" aunque e l mé ­
todo cuantitativo haya ganado, gracias a sus promotores y de­
fensores, una fama y un crédito que a menudo linda con e l
fanatismo .
Cada método refleja una postura en relación con el mundo
social que encarna una perspectiva singular. Según KuHN , cada
paradigma explica un vol umen limitado de la realidad . As í, y
hasta cie rto punto, las áreas que interesan a una disciplina se
hal lan, en mayor o menor grado, adecuadamente cubiertas por
un determinado paradigma . En palabras de KuHN (1 962 : 1 8, 23) ,
Para ser aceptad a como pa rad i gma, una teor ía debe pa recer mejor que
su s rivales, pero no es necesario q u e expl ique, y e n rea l id ad nu nca l o h a­
ce , todos los hechos con los q ue puede e nfrentarse . . . los pa rad i gmas
obtienen su rango porque tienen más éxito que sus competidores en re ­
solver u n os cuantos problemas que el grupo de l os profesionales ha l l ega­
do a considerar como arduos.
72 Métodos cualitativos y cuantitativos en investigación evaluativa

Los cam bios de paradigmas tienen lugar en razón del incre­


mento de anomal ías, es decir, de hallazgos que no se esperaban
bajo ese determinado paradigma. Si una disciplina trata de
expli car esas anomal (as dentro del paradigma existente y fraca­
sa en el empeño, la tarea de la ciencia normal se modifi ca, pa­
sando de la "resolución de problemas" a la autorreflexión y el
autoexamen . KuHN (1 962 : 90) señala : "La proliferación de
pronunciamientos discordantes, la voluntad de ensayarlo todo,
la expresión de un ma nifiesto descontento, el recurso a la
filosof ía y el debate sobre los fundamentos son todos s (ntomas
de una transición de la investigación normal a la extraordi ­
naria ".
El resultiido neto de este autoanálisis es. una revolución en
las formas básicas en las que la disciplina concibe sus fenóme­
nos, en los supuestos que admite como evidentes, en la lógica
de su desarrollo teórico y en los pri ncipios metodológicos sub­
yacentes a su manera de abordar la materi a correspondiente.
Una vez más, KUHN ( 1 970 : 84-85) lo expresa del mejor modo :
La transición de un paradigma en crisis a otro nuevo del que puede
emerger una nueva tradición de ciencia norma l dista de ser un proceso
acumulativo, logrado mediante una articu lación o prolongación del anti ­
guo paradigma . Más bien se trata de una reconstrucción que cambia algu­
nas generalizaciones teóricas más elementa les dei campo as ( como mu­
chos de los métodos y aplicaciones del paradigma . Durante el per íodo de
transición se producirá una superposición amplia , pero nunca completa ,
entre los problemas que pueden ser resueltos por el antiguo paradigma y
los que cabe resolver con el nuevo. Pero también existi rá una diferencia
decisiva entre los modos de sol ución . Cuando la transición se haya com­
pletado, la profesión cambia rá su visión del campo , sus métodos y sus ob­
jetivos .

Este es el clima actual de la investigación evaluativa. Aunque


el péndulo está comenzando a apartarse del modelo de evalua­
ción cuantitativa, no debe permitirse que se desplace demasia­
do lejos hacia la evaluación de concepción cualitativa . El térmi­
no rre dio de comb i nar las ventajas de ambos enfoques a través
de una evaluación resulta óptimo ( SIEDM AN , 1 977; TREN O , en
este volumen) y será expuesto en el siguiente análisis .
Supongamos que un programa de salud mental necesita una
"medición emp írica " de su eficacia . El primer paso consistirá
en hablar con los directores del programa y con una selección
del person al y de los pacientes (algunos que estén iniciando la
Métodos cualitativos 73

terapéutica, otros que � ha l len en tratamiento, algunos que es­


tén concluyendo; posib lemente también algunos al umnos) res­
pecto a cuáles podr ían ser medidas de eficacia, cómo medir
ésta realmente, etc . Semejante proceso permitir ía obtener los
datos de estos públicos que podr ían incorporarse al diseño de
la evaluación. Por eso, la primera regla señala que se ·emp lee en
las valoraciones la base más amplia posible de información , in­
cluyendo los significados y las implicaciones de la evaluación .
Tras esta amplia base de datos , es necesario proponer unos
procedimientos para mantenerse en contacto con tales públi­
cos durante el curso de la evaluación . Esta continuidad en el
contacto re$ulta vital en el proceso de mantener la evaluación
próxima a los mundos contextuales de los afectados por ésta .
Al mismo .tiempo, y a través de la aplicación de procedimientos
cuantitativos , cabe tratar de ampliar la posibilidad de generali ­
zación de los hai lazgos . Por ejemplo, si se consideraba la reduc­
ción de s íntomas como una medida apropiada del impacto del
programa, puede elegirse un cuestionario ya empleado en otros
contextos de evaluación como medio no sólo de medir el con­
cepto sino de considerar las posibilidades de aplicación de
estos datos a otras poblaciones.
A lo largo del proceso de evaluación debe existir un interés
por recoger m ú ltiples perspectivas y por emplear métodos múl ­
tiples para captar la visión más global de la intervención social .
Por eso l a "triangulación de datos " se convierte en una estrate­
gia operacional ( DENZIN , 1 970). La capacidad de l legar a con­
clusiones semejantes acerca del programa a través de diferentes
fuentes de datos refuerza la validez de las observaciones reali ­
zadas en torno a un determinado aspecto de este programa .
La dirección y el curso de la evaluación, aunque orientados
por l os supuestos iniciales y las sugerencias recogidas en el pro ­
ceso de definir los interrogantes para la evaluación , son corre­
gidos y modificados basándose en el impacto del desarrol lo de
la evaluación y de la obtención de datos . Por eso puede cam­
biar el foco de la tarea cuando sean identificadas las implica­
ciones de IGs datos que se recogen.
E l registro de la historia de la eva luación se convierte también
en una importante tarea relacionada con la propia evaluación .
Acontecimientos clave , cambios de personal , desplazamientode
l os objetivos del programa , impactos de las coacciones organiza­
tivas y el signifi cado de hechos exteriores para el funcionamiento
74 Métodos cualitativos y cuantitativos en investigación eval uativa

de l programa , se con vi e rten en puntos de refe renci a de la exis­


tencia de éste y necesitan se r revi sados para dete ctar s u i m pac­
to sobre la eva l uación . Este regi stro en ma rcha de la e vo l ución
de l prog rama se torn a en fue nte de est ím u lo para entrevi stas
y observaci ones. De modo t ípico, los i nforman tes clave man ­
tienen pe rs pecti vas di fe rentes o pueden resultar muy úti les des­
de los di versos n i ve les o posi ci ones e n el seno de la organ i zación
para consegui r una comp rensión de estos aconteci m ie ntos . Por
eje m p l o , s i se defi n iera como objeti vo de un programa l a re ­
d u cción de s íntomas , ser ía i mportante i denti fi ca r cua l i tati va ­
mente los s íntomas q ue l os pacientes y e l person a l pe rci be n
q u e s e h a n red ucido , e l sign i fi cado d e tales hechos y la form a
en q ue se mejante condición afecta y es afectada por otros
aconteci m ientos . Si se p lanean medici ones de s íntomas a través
de cuesti onari os , resulta r ía úti l pregu ntar a los pacientes q ué
"cosas les mo lestan más " y ver s i ta les hechos son i denti ficados
por e l cuesti oilari o de s íntomas . Es necesari o dete rm i n a r la
va l idez nom i na l de l as medidas en benefi ci o de la cred ibi l i dad
de los descubri m ientos y de l as conc l usiones q ue puedan resu l ­
ta r de l a eva l u ación. Por eso, cuanto más hayamos comprendi­
do cua l itati vamente las medi das de i m pacto m ú lti p le , l igándo­
las a las medidas cuan titati vas de los púb l i cos clave pa ra un
estudi o de eva l uación , mayor se rá la p robabi l idad de ente nde r
e l i m pacto y el resultado de l programa de i nte rvención .
Es muy corriente obte ner resultados q ue n o se acomodan
con lo q ue se espe raba . Acomete r entonces especu l aciones so­
bre explicaci ones contrari as se convierte e n una tarea frustran ­
te por la fa lta de comprensión contextual q ue a men udo
envuelve a la valoración. lOué pod r ía haber "causado" resu l ta­
d os tan so rpre ndentes ? l Se ha l laba bien el i nstrumento? l Si r­
vi e ron las preguntas pa ra i nform arse ace rca de l á rea sometida a
estudio? l Pe rci bieron l os s ujetos estas preg untas de un modo
dife re nte al q ue se hab ía s u puesto? l Suced ieron aconte­
m ientos i nte ri ores o exte ri ores al programa de i nte rvención
socia l q ue pudie ron haber afectado a l a eva l uaci ón ? La l i sta de
i nte_rrogantes es i nte rm i nable . Pero la i ntenci ó n de ta les pre ­
guntas e s la misma : lexi sten algunos datos cualitati vos q ue
puedan proporcionar e l ma rco para e nte nder esta eva l uación
dentro del contexto más a mp l i o e n cuyo seno tiene l ugar? Ta l
ve z la base de la i ntegraci ón de l os métodos c ua l i tati vos con los
métodos cuan titati vos en unas act i vi dades de eva l uación de un
programa resida en e l hecho de q ue los métodos cual itati vos
M é todos cualitativos 75

proporcionen el contexto de los significados en que pueden ser


entendidos los hallazgos cuantitativos.
BLUM EA ( 1 969 : 22) proporciona una penetrante observación
respecto de la compatibilidad esencial de estos dos paradigmas :
La posición tradicional del i dealismo señala que el "mundo de la real i ­
dad " existe sól o e n l a experiencia humana y solamente aparece e n la for­
ma en la que los seres humanos "ven" el mundo. Creo que esta pos ición
es impuanable . Es imposible cita r un solo ejempl o de una caracteri zación
del "mundo de la realidad" que no se presente bajo la forma de imágenes
human as . Nada resulta conocido a los seres humanos e xcepto en la forma
de algo a lo que puedan refe ri rse o con lo que les sea posibht relacionarse .
Parél indicar algo, los sere� humanos deben ve rlo desde su perspecti va ; de ­
ben describirlo tal como se les ap,uece . . . Pero esto no desplaza a la "real i ­
dad ", como muchos deducen, del mundo emp írico al mundo de l as
apariencias y de los conceptos. . . Semejante posición sol ipsista e s isosteni­
ble en razón del hecho de q ue el mundo emp írico puede "responder" a
nuestra imagen de él o a afi rmaciones acerca de él, responder en el senti -
do de desaf ío y de resistencia o de no acomodarse a nuestras imágenes y
conceptos de él . Esta resistencia proporciona al mundo emp írico un
ca rácter obstinado que constituye el signo de la real idad .

En resumen, los métodos cualitativos proporcionan una base


para entender el significado sustantivo de las re laciones estad ís­
ticas que se descubren. Esta base fenomenológica para el cono­
cimiento resulta esencial al proceso de evaluación del impacto
de los programas de intervención social .

CON C LUS I O N

En suma , el creciente interés por los métodos cualitativos en


la investigc1ción evaluativa procede de una insatisfacción con el
estilo de las evaluaciones cuantitativas y de una nueva con­
cepción de la adecuación del modelo cient ífico cuantitativo
a la evaluación de los programas de intervención . Los métodos
cualitativos y cuantitativos constituyen algo más que simples
diferencias entre estrategias de investigación y procedimientos
de obtención de datos. Estos enfoques representan fundamen­
talmente diferentes marcos epistemológicos para conceptuar
la naturaleza del conocimiento, la realidad social y los pro­
ced imientos para captar estos fenómenos . Los métodos cualita­
ti vos son apropiados por s í mismos como procedimientos de
76 Métodos cualitativos y cuantitativos en investigación evaluativa

estimación de la evaluación del impacto de un programa. La


evaluación de programas puede resultar fortalecida cuando am­
bos enfoques se hallan integrados en un diseño de evaluación .
La investigación evaluativa y las ciencias del comportamiento
en general padecen de una preocupación por la cuantificación
y las estad ísticas . Se requiere un equilibrio mejor entre la base
cotidiana de significados en la acción social y la generabilidad
de tales significados a un contexto más amplio. Este es el reto
que brindan los métodos cualitativos y cuantitativos . Es un
reto que ya no podemos ignorar.

B I B L IOG R A F I A

AI K E N , H . ( 1 957 1 The AgB of ldeology: The Ninflteenth Century Philolophers.


N ue va Yo r k : G eo rge B razille r .
ATTK I SSON , D. y ot ros ( 1 978) Evalwtion o f Human Service Progr11rrs . N ueva
Yor k : Acade mic P ress.

B AR N E S , B . y S . S H AP I N ( 1 979 ) N11tural Order: Historical Studies of Scientific


Culture. Beverly H i lls : Sage .
8 E CK E A , H . ( 1 9701 Sociological Work: Method and Subst11nce. Chicago: Aldina .
--- ( 1 967 1 "W hose sida are we on ?" Soci11I Problems, 1 4: 2 39 -2 49 .
--- y H . B AR N ES ( 1 952 1 Social Thought From Lort1 to Scisnce, Vols . 1 y 2 .
W as hington , D C : Harren .
B LU M E R , H . ( 1 969 ) Symbolic lnteractionism. E nglewood Cli f fs , NJ : P rentice-Hall.
BOG DAN , R . ( 1 97 2 ) Partlcipent Observation in Organiz11tional Settings. Si racusa ,
Sy racuse Univers ity P re ss .
- - - y S . TAY LOR ( 1 97 5 ) lntroduction to Owlitlltillfl Research Methods. N ueva
Y o r k : J o hn Wiley .
B R E N N E R , M ., P . MAASH , y M. B R E N N E R [eds .) ( 1 978 ) The Social Context of
Msthod. Londres : C room H elm .
B R I TAN , G . ( 1 97 8 ) "E xperi mental and conte xtual models of program evaluat i on . •
Evaluation and Program Planning, 1 : 229-234 .
B R U Y N , S. ( 1 966) The Human Perspective. E nglewood Cliffs , NJ : P renti ce-H all .

CAMPB E L L , D . ( 1 974) "Oualitative knowing in action research ." K u rt Lew i n


Award Address, Society f o r t h e Psy cholo gi cal Study of Social l ssues, re unión de
la Ameri can Psychological Association, N ueva O rleans , Septiembre 1 , Joumal o f
Social lssues .
--- ( 1 97 1 ) "Methods for the experi menti ng society ." P resentado en la reunión de
la American Psychological Associati on , Was h ington , D C .
- -- ( 1 969 1 "Aefo rms as experiments . " American Psychologist, 24 : 409 -429 .
- -- y J . STA N L E Y ( 1 966) Experimental and Ouasi-Experiment11I Desi1111s for
Research. Chi cago : R and McN ally .
CARO , F. ( 1 97 1 ) Rsadings in Evaluation ReSHrch. N ueva Y or k : R ussell Sage .
Cente r for N ew Schools ( 1 974 ) The CNS Evaluation Model. Chicago : CNS (multi­
copiado ) .
Métodos cualitativos 77

COS E R , l. ( 1 97 1 ) Mllsters of Social Thought: Idea, in Hi1torical and Social Con ­


text. N ueva Yor k : Harcout B race Jovanovich .
C O U R S E Y , E . y ot ros ( 1 97 7 ) Program Evaluation far Mental Health: Method, Stra­
tegie1 and Participants. N ueva Yor k : G rune and St ratton .
C R O N BACH , L. ( 1 97 5 ) "Beyond t he two disciplines of scientific psychology . "
American P,ychologist, 30 : 1 1 6- 1 27 .

D E N Z I N , N . ( 1 970) The Research Act. Chicago : Aldi n e .


DO U G L AS , J . ( 1 970 ) Understanding EllfJryday Life. Chi cago: A ldine .

E R I CKSO N , F. ( 1 977 ) "Sorne approaches to i n j u ry i n school-community ethno­


graphy ." Anthropology and Education OuartBrly, 8: 58-69 .
ETZ I ON I , A. ( 19 60 ) "Two approaches to organ izational analysis : a critique and
suggestion ." Administratillfl Science OuartBrly, 5: 257 -278 .

F E Y E R A B E N D , P. ( 1 975) Against Methodt Outline of an Anarchistic Theory of


Knowledga. Londres : H umanities Press .
F I LST E A D , W. ( 1 978) Evaluating the Eva/uations of Alcohol Programs . Ot tawa ,
Canada : Non -Medical Use ot D rugs , Directorat e , Nationa l H ealt h and Welfare .
--- ( 1 976) ''Sociologica l paradigms of reali ty , " en H . R . G a lvi n (ed . ) Phenomeno­
logy, Structuralism and Semiology. Lewisburg: B ucknell U n i ve rs ity P ress .
- - - ( 1 9 7 5 ) "The promises and problems of q ua litati ve met hodology ." P resentado
a l Socia l Science Symposium, Departamento de Sociolog ía, Ameri can U ni ve rs i ty.
- -- ( 1 9 7 3 ) "T he nat u ra l history of a personal proble m . Tesis Doctoral, Nort h ­
western U niversit y .
- - - [ ed .] ( 1 970 ) OualitatillfJ Methodology: Firsthand lnvolvement with the Social
World. Chicago : Markham.

G LASE A , 8 . V A. STAAUSS ( 1 967 ) The Discovery of Grounded Theory. C hicago :


Aldi ne .
G LAS E A , E . ( 1 969 ) A OualitatillfJ Evaluation of the Concentrated Employment
Program ( C E P ) in Birminghem, Detroit, Los Angeles, San Antonio, Seattle, and
South Bronx, by Meens of the Participant Observation Method. 1 n forme final de
la Office of Evaluation , Manpowe r Adm i n ist ration , U . S . D epartment of Labor .
Los Angele s : H u man l nte raction Aesearch l nstitute .
G UTTE NTAG . M . ( 1 973) "Subjectivi ty and its use in evaluation research . " Evalua ­
tion, 1 : 60-65 .

H A B E AM AS , J . ( 1 97 1 ) Knowledga and Human lnterestJ. Bastan : Beacon .


H AM I L TON , D . y ot ros ( 1 9 7 7 ) Beyond the Numbers Game : A Reeder in Educatio ­
nal Evaluation . Berkele y : McCutchan .

J U N K E R , G. ( 1 960) Field. Work: An lntroduction to the Social Sciences. Chi cago :


U n iversity of Chicago P ress .

KO U R I LSKY , M. ( 1 97 3 ) "An adve rsary mode l far educational evaluat ion . " Educa ­
"' tion Comment, 3 : 3-6 .
K R A US E , M. y K. HOWARD ( 1 976) "P rogram evaluation in t he pub lic interest : a
new research met hodology . " Community Mental Health Joumal, 1 2 : 291 -300 .
K U H N , T. ( 1 970 ) The Structure of Scientific Revolutions. Chicago : U niversity of
Chicago Press .
- - - ( 1 962 ) The Structure o f Scientific Revolutions. Chi cago : Phoeni x .
78 Métodos cual itativos y cuantitativos en investigación evaluativa

L 0 F LAN D , J. 1 1 97 6 ) Doing Social L ife. N ueva York: John W iley .


--- 1 1 973) Anelyzing Social Setting,. B elmont : Wadsworth .

MAST E R MAN , M. 1 1 97 0 1 "The nature of a paradigm , " en l . Lasotos y M . M us­


g rave ( eds .) Criticism and Growth of Knowladga. Camb ridge : Cambridge Univer­
sity P ress .
M cCA L L , G. y J . S I MM0NS (eds . ] ( 1 9691 ll6Utls in Perticip11nt Obt1tm,etion. Rea­
ding, MA: Addison .Wesley .
M ECH . E . ( 1 969 1 Perticipent Observation : Toward An Evaluatillfl Mathodology far
Manpower Programs. I nforme final de la 0ffi ce of Evaluation , M anpower Admi­
nistration , U S. Department of Labo r . Tempe: A rizona State U ni,iersity .
M I TR 0 F F . 1 . 1 1 9741 ThtJ Subjactillfl Side of Science: A Philosophical lnquiry into
the Prychology of Apollo Moon Scientim. Amste rd am : E lsever .

PATT0N , M. 1 1 9781 Utilization-Focund Evaluation. Beverly H i l ls : Sage .


--- 1 1 97 5 ) Altemativt1 Evaluation Re,earch PeradillfTI. Grand Forks : University of
N o rth Dakota P ress . .
P O L A N Y I , M . 1 1 958 1 Personal Knowlec/gt1. Londres: Routledge and K egan Pau l .
POPPE R , K . ( 1 972 ) Objectillfl Knowladge: An Evolutionary Approach. 0 xford :
Clarendon Press .

OU I N E , W. ( 1 969 1 Ontolofical RelBtivity. Nueva York: Columbia University Press.

R I E CK E N , H . y R . F . 80RUCH [eds .) 1 1 974) Social Experimentation : A Method


For Pl1111ning end Evaluating Social lnterllflntions. N ueva York: Academi c Press .
R IST, R . ( 1 9 7 7 ) "0n the relati ons among educational research paradigms: from
disdain to detente ." Anthropology end Education Ouarterly, 8: 42-49 .
R0SS I , P . y H . WI L L I AMS ( 1 97 2 1 Evaluating Social Programs: Thaory, Pnlctice
and Politics. N ueva York : Sem inar P ress .
R Y AN , W. ( 1 97 1 ) Blaming thfl Victims. N ueva York: Pantheon .

SCH U L B E R G , H . y F . 8 A K E R ( 1 9681 "Program evaluation models and the i m ­


plementation of research findings . " American Joumal o f Public Health, 58:
1 248-1 255.
SCHUTZ , A. ( 1 967 1 The Phflnomenology of the Social World. Evanston: N o rt h ­
western Unive rs ity P ress .
SCHW A R T, H. y J . J AC0BS 1 1 979 1 Qualitatillfl Sociology. N ueva Yo rk: F ree P ress .
SCR I V E N , M. 1 1 972 ) "0bjectivity and subjectivity i n ed u cat ional research ," en
H . B . Dun kel y otros (eds .1 Philosophical Rediractory of Educational RlltltNlrch.
C h i cago : N ati onal Society for the Study of Educati on .
S I E DMAN , E . 1 1 9771 'Why not qualitati ve analysis ." Public Administration Ra­
view, 37 : 4 1 5 -4 1 7 .
SJ0 B E R G , G . y R . N ETT I 1 966) A Methodology for Social Ret1t111rch. N ueva Yo rk:
H arper & R ow .
S M I T H , l . y J . 8 R 0CK ( 1 9701 "Go B ug Go! Methodologi cal l ssues i n Classroom
0bse rvational R esearch ." Occasional Peper Series: N !> 5 St . Ann, M issou ri : Cen­
tral M idwestem R eg ional Educational Laboratory .
S0 B E L , l . ( 1 9761 "An assessment of the use of q ualitatiw soci a l science methods
in program eval uation research . " Seattle : Univers idad de Washington .
STR U E N I NG , E . y M. G UTTENTAG [eds .) 1 1 97 5 ) Handbook of Evaluation Re­
search, Vals. 1 y 2. Beverly Hills: Sage.
Métodos cual itativos 79

S UCH M A N , E. ( 1 970 ) "Act i on for what ? cr1t1q ue of evaluative research," en


R . O 'Too le (ed .l The Organizstion, Managsment, and Tactic, of Social Ranrch.
Cambridge : Schennan .

TI K UN O F F . W. y 8. WARD [ed .] ( 1 97 7 ) "E xplo ring q ualitatiw/quan titative re ­


search methodologies in education ." Anthropology and Educstiona/ Ouamrly,
8 : 37 -1 63 .

WE ISS, R . y M . R E I N ( 1 97 2 1 "The evaluation of broad ai m programs : difficu lties


in e xperi mental design and alternatives, e n C. Weiss (ed .l Evaluating Action Pro­
grarm. Boston : Allyn & Bacon .
WI LSON , S. ( 1 9 7 7 ) "The use of ethnograph i c techn iq ues i n educati onal research . "
Reviaw o f Educational Renarch, 47 : 245-265 .
CAPITU LO 1 1 1

"G RADOS DE L I BE R TAD" Y E L ESTUD I O D E CASOS

Po r Donald T . CAM PB E L L*
Syracuse University

Metodolog ía cuanti tativa contra metodología cuali tativa.


Caracter ísti ca actual de la mayoría de las ciencias sociales en
los Estados Unidos es la controversia entre modos de conoci­
miento "cual itativos " frente a "cuantitativos", entre enfoques
geiteswissenchaftlich y naturwissenschftlich, entre enfoques
"huma n ísticos" y "científicos". En campos tales como la Socio­
log ía y la Psicología Social, muchos de nuestros más capacita­
dos y más entusiastas estudi antes graduados optan cada vez
más por el modo cualitativo y humanista. En Ciencia Política
ha existido una constante división en torno a estas I íneas. Sólo

•Lo sección inicial de este artículo titulado "Quontitotive vs, quol/totlve metho­
dology " (Metodología cuantitativa contra metodología cualitativa) procede (con
pequeñas alteraciones editoriales) de "Assesslng the /mpoct of Planned Socio/ Chon­
ge " en G. M. lyons (ed.) { 1 9 75) de Soc i a l Research and Pu b l i c Po l i c ies, Honover,
New Hampshire : University Press of Ne w England. Uno versión completa de ese tra­
bajo fue presen tada en el Congreso sobre Psicología So cial, celebrado del 5 al 1 0 de
moyo de 1 9 74 en Vlsegard, Hungría. la preparación del trabajo fue en porte posible
gracias a ayudas de la Russe/1 Soge Foundatlon y de lo Notional Science Founda­
tion, beca SOC- 7 1 03704-03. El resto del artículo procede (con pequeños olteroc/o­
nes editoriales) de "Degrees of Freedom and the Cose Study ", Co mparat iva Po l i tical
St u d i e s, 1 9 75, 8 : 1 78 : 7 93. Este trabajo estu vo basado en una presentación para lo
reunión del SSRC Workshop on Comparative Methodo/ogy que tuvo lugar en agosto
de 1 9 70 en lo Universidad de Horvord. Su preparación en esta forma contó con Jo
ayudo de la beco de lo Nationol Sclence Foundation SOC- 7 1 03 704-03.
" Grados de l ibertad" y el estudio de casos 81

la Economía y la G eografía parecen relativamente inmunes a


este debate.
I nevitableme nte, este cisma se ha extendido a la investiga­
ción evaluativa, adoptando la forma de una controversia acerca
de la legitimidad del paradigma cuantitativo experimental en la
evaluación de programas (v.g. WEISS y R EIN , 1 969, 1 970; G uA ­
TTENTAG , 1 971 , 1 973; CAMPBE L L , 1 970; SA LASIN , 1 973). La
cuestión para ser exactos, no ha sido completamente formu·
lada en tales términos. Los críticos que adoptan la que l lamo
posición humanista se hal lan a menudo bien adiestrados
en los métodos experimentales cuantitativos. Sus críticas espe­
cíficas estan frecuentemente bien basadas en el propio marco
experimentalista : experiencias que realizan un só lo tratamien­
to en un único entorno resultan profundamente ambiguas res­
pecto del efecto y de la causa ; existe una rigidez precaria en e l
sistema de medición , limitándose los resultados registrados a
aquel las dimensiones previamente fijadas; a menudo se descui­
da el proceso en un programa experimental concentrado en el
efecto gen eral de un tratamiento complejo y de esta manera el
conocimiento de tales efectos tiene sólo implicaciones equí­
vocas para la repetición o el mejoramiento del programa; los
programas de gran amplitud son con frecuencia irremediab le­
mente ambiguos en lo que se refiere a objetivos e indicadores
relevantes; los cambios en el programa de tratamiento durante
e l c urso d e una exper i encia d e perfeccionamiento, aunque
prácticamente, esenciales, imposibi litan las comparaciones ex­
perimentales entre entrada-salida; los programas sociales se rea­
lizan a menudo de modos que resultan pobres desde el punto
de vista del diseño experimental ; incluso en situaciones bien
contro ladas. la experimentación constituye un proceso profun­
damente tedioso y equívoco; la experimentación es demasiado
lenta para resultar po i íticamente útil, etc. Todas estas verdades
son más que suficientes para alentar una vigorosa búo;queda de
alternativas. Hasta ahora no me han convencido las alternativas
de conocimiento cualitativo presentadas (por ejemplo, WEISS
y R EIN , 1 969, 1 970; G uTTENTAG , 1 971 , 1 973). Creo, desde
luego, que la observación naturalista de los hechos es un terre­
no i ntrínsecamente equ ívoco para la inferencia causal por me­
dios cualitativos o cuantitativos en razón de la omnipresente
confusión entre selección y tratamiento. Todos los esfuerzos
por reducir ese equívoco tendrán el efecto de hacer más "expe­
ri me ntales" las condiciones. Las "experiencias" son de hecho
82 Métodos cualitativos y cuantitativos. en investigación evaluativa

iustamente ese tioo de entorno concebido para la observación,


óptimo para la inferencia causal. Los problemas de inferencia
que acompañan a la evaluación de programas son intr ínsecos a
los entornos de éstos en los procesos sociales en marcha. Los
diseños experimentales no causan estos problemas y, en reali­
dad, los alivian aunque con frecuencia sólo ligeramente.
En tales objeciones parece existir impl ícitamente un alegato
en pro de la sustitución de la clarividencia cualitativa por los
procesos indirectos y de presunción de la ciencia. Pero. aunque
yo rechazo este aspecto de la objeción humanista, existen
otros aspectos de ésta que han impulsado a tales críticas y a los
que me uno de todo corazón. Cabe denominar a estas otras
censuras "desdén por la prueba contextual cualitativa relevan­
te" o "exceso de dependencia de unas cuantas abstracciones
cuantificadas con desdén por la prueba cualitativa contradic­
toria y suplementaria".
También con harta frecuencia los científicos sociales cuanti­
tativos, influídos por los misfoneros del positivismo lógico,
suponen que, en la verdadera ciencia, el conocimiento cuanti­
tativo reemplaza al cualitativo y de sentido común. En realidad
la situación resulta completamente distinta. La ciencia depen­
de más bien del conocimiento cualitativo y de sentido común,
aunque en el mejor de los casos incluso lo supere. La ciencia en
definitiva contradice algunos elementos del sentido común, pe­
ro sólo procede así basándose en el gran conjunto del resto del
conocimiento del sentido común. Semejante revisión del senti­
do común por parte de la ciencia es análoga a su revisión por
parte del propio sentido común que, paradójicamente, sólo
puede realizarse confiando más en él. Consideremos como un
ejemplo la ilustración de Mu LLER -LY E R ( Fig. 1 ).
Si uno pregunta un miembro normal de una cultura "carpin­
tera" (SEGALL y otros, 1 966) , cuál es la l ínea más larga , la a o
la b , replicará que la b . Si se le proporciona una regla o se le
permite usar el canto de otra hoja de papel, posteriormente se
convencerá por sí mismo de que estaba equivocado y de que la
1 ínea a es más larga. Al decidirlo as í, habrá rechazado como
impreciso un producto de su percepción visual, confiando en
una serie más amplia de otras percepciones visuales. También
habrá realizado muchas suposiciones, no explícitas en su ma­
yor parte, incluyendo la suposición de que, durante el proceso
de me dición, las longitudes de las I íneas han permanecido rela­
tivamente constantes, que la regla era rígida y no elástica, que
"G rados de libertad" y el estudio de casos 83

F igura 1.

el calor y la humedad de su mano no han modificado la longi­


tud de la regla, logrando así, p�r coincidencia, producir medi­
ciones diferentes, prolongándose al acercarse a la I ínea b y con­
trayéndose al acercarse a la I ínea a, etc.
Consideremos también como eJemplo un trabajo cient ífi­
co que contenga una teoría y unos resultados experimenta­
les reveladores de la espec ífica naturaleza de la luz en con­
traste. espectacular con lo que al respecto entiende el sentido
común. O un trabajo científico que demuestre que lo que la per­
cepción ordinaria define como "sólido " corresponde en rea­
lidad a un calado abierto . Si semejante trabajo se limitara a
s ímbolos matemáticos y términos puramente científicos, pres­
cindiendo del lenguaje corriente, no permitiría la comunica­
ción con otro cient ífico de modo que pudiera duplicar la exp&
riencia y comprobar las observaciones. En vez de eso, los escasos
términos cient íficos se incorporan a un discurso de lenguaje
tlabitual, el íptico y precient ífico que supone que compren­
derá el lector (y éste también lo supone). Y en el trabajo
de laboratorio realizado en la experiencia originaria y en la
duplicada, con objeto de llegar a las conclusiones que revi­
saban así la creencia ordinaria, se empleó y se confió en un
lenguaje precient ífico y de sentido común y en la percepción
de objetos, de sólidos y de luz. Para poner en tela de juicio y co­
rregir en un solo detalle la comprensión del sentido común, hace
falta confiar en el entendimiento general del sentido común.
Relacionado con lo expuesto está el énfasis epistemológico en
la identificación de pautas cualitativas como previa a una iden-
84 Métodos cualitat ivos y cuantitativos en investigación eval uat iva

tif i cación de part ícu las ató m i cas cuan tificab les a l contrario de
la i ntuición atomista , todav ía m u y exte nd ida ( CAMPBE L L ,
1 966) . ·Se mejante epistemo log ía es errónea, más que clarividen­
te , y destaca la presunta incli nación al error de se meja nte pau­
ta de identi fi caci ón , más q ue l a perce pci ón como te rreno segu ­
ro de certeza. Pero tamb ién recon oce como único cam i no' a
esta percepción ord i naria, fal i b le, i ntu itiva y de presunción.
!; l l o n o sign i fi ca hacer las pe rcepciones l i bres de cr íti ca ( CAM P­
B E L L , 1 969) sino ind icar que, como hemos v isto, sól o resu l­
tan criticables basándose en mu chas otras percepciones del
m ismo nive l epistemo lóg ico .
S i ap licamos semejante ep istemo log ía a la i nvestigaci ón eva­
l uativa, ésta inmediatamente legitima la pa rte de "historia na­
rrat iva " de la ma yor ía de los i nformes e i nd ica q ue a esta
actividad debe otorgársele reconocimi ento formal en la planifi­
cación y ejecución del estud io, e n vez de reci b i r só lo atención
como segu nda inte nción . Los estud i os de eva l u ación no son
interpretab les sin esa pa rte y la mayor ía resu lta r ía n mejor i n­
terpretados si fuese más a m p l i a . E l hecho de que este conte n i ­
d o sea su bjetivo y cu lpab le de sesgos de perspectiva deber ía
i n d ucirn os a seleccionar mej or a aque l los a q u ienes se i nv ita a
registrar los hechos y a preparar proced imientos torma les me­
d i ante los cuales todos los partici pantes interesados pueden
aportar añadidos y correcciones al re lato oficia l . H a de tomarse
en consideración el emp leo de h istoriadores, antropólogos y
soció logos cualitat ivos p rofesiona l me nte ad iestrados. La h i sto­
ria narrat iva es u na parte i nd ispensab le de l informe f i na l y en
su preparación deber ían emp learse los mejores métodos cua l i ­
tativo s.
Tamb ién debemos reconocer que participantes y observado­
res h an estad o eva l uando d u rante sig l os in novaciones de pro­
g ramas sin contar con la cuantif icación o con un método cien­
t íf i co . E ste es el conocim ie nto de sentido común sobre el q ue
deber ía basarse y a l que deber ía superar l a comp robación cien­
t ífi ca pe ro sin sus.ti tui do . Pero, n ormalmente , éste -se desdeña
en las eva l u aciones cua ntitativas a no ser que se incluya n unas
cuantas a nécdotas favo rab les , obte n idas al azar. De acuerd o
con la epistemo log ía que defiendo, es preciso recoge r sistemáti­
came nte todas las cr íticas y eval uaciones de l programa, cua l ita­
tivas y de sentido com ú n , que se hayan gen erad o entre el
personal y los clientes del programa y sus fam i l ias y ent re los
observadores de la com u n idad . M i entras que, por razones de
" G rados de l ibertad" y el estu d io de casos 85

con ven iencia, en la recog ida de datos y en e l resu me n se i nt ro ­


d uci rán a menudo en esta etapa p roced i m ientos cuant itat ivos
como los cuesti onarios y las esca las de clasif icación , también
será preciso toma r en conside ración métodos n o cuantitativos
de recogida y comp i lación de d atos, como l os gru pos de debate
j erárq uicamente organ izados. S i ta les eva l u aciones son contra­
rias a l os resu ltados cuantitativos, éstos deberán ser considera ­
d os con susp i cacia h asta que q ueden bien ente nd id as las razo­
nes de la discrepancia. Nadie es desde l uego i nfa l i ble. Pero pa ra
m uchos de n osotros lo q ue hay q ue sub rayar es q ue l os resu lta ­
dos cuantitativos pueden ser ta n erróneos como los cua l i tati­
vos. A l f i n y a l cabo, en los laboratorios de las ciencias f ísicas
los i nstru mento s de med ida a menudo fu ncionan ma l y es. por
lo común, el conocimiento cua l i tativo más l os supuestos acerca
de lo que debe r ía seña l a r e l i n strumento, lo que reve la ese fa l l o
de funcionam iento. ( C úan a lejad a se h a l la ta l aseveración de l
mito seg ún e l cual las i nd icaciones de los med idores def inen
operacio na l mente parámetros teóricos . )
H e d e a d m it i r con pesar q ue e n las eval uaci ones d e progra­
mas en Estad os U n id os aún no se practica este emp leo conj u n­
to y oportu no de ambos modos de conocimiento. E n vez de
eso, parece ex isti r u n i n termi tente o todo o nada. E n donde se
han emp lead o antropó logos como observadores, como en las
eva luaciones de las Ciudades Modelo, ha sido genera l me nte e n
sustitución , m á s que como com p lemento de indicadores cua n ­
titativos, p retests, postests y comparaciones con g ru pos d e
control . U n ejemplo actual de l em p leo de antropó logos e s e l
d e l programa d e las Escue las E x perimenta les, i.n iciado e n l a
Ofici na de Educación d e l os Estados U n i dos y a hora e n e l
I nstituto N aciona l de E d ucación. E n este p rograma se esti mu l a
la i n i ci at iva del sistema esco lar y los p rogramas ganadores ob­
tienen i ncrementos sustancia les en sus presu puestos ( por ejem­
p lo, del 2 5 %) para emp learlos en la puesta en práctica de inno­
vaciones. Co n e l fin d e eva l uar a lgu nos de estos programas se
ha n estab lecido contratos m u y ca ros para las evaluaciones de
proceso antropológico de cada progra ma. E n u n caso, el contra­
to supon ía conta r d u rante 5 años con un equ ipo de 5 antropó­
logos para el estudio de l sistema esco lar de u na sola ciudad de
1 00.000 hab itantes. Los antropó logos carec ía n de experiencia
prev ia en cualq u ier otro sistema esco la r de los E stad os U n idos.
N o se les perm itió rea l i zar u n per íodo i n icial de estud i o antes
de comenzar el programa sino que, por el contrario , l legaron
86 Métodos cual itat ivos y cuant itativos en i nvestigación evaluativa

después de haber empezado. No se previó que estudia ran cual­


quier otro sistema escolar comparable que no estuviese suf rien­
do el cambio en cuestión. Creer que, bajo estas desventajosas
condiciones de obse·rvación, estos 'observadores cualitativos
p od r ían inferir qué aspectos de los procesos observados eran
debidos a la innovación del nuevo programa, requiere más fé
de la que yo tengo, aunque debo abstenerme de formular
juicio alguno hasta que vea los resultados. Además en el estu­
dio se presta más importancia a las observaciones primarias de
los propios antropólogos que a su papel en el empleo de parti­
cipantes como informadores. Cabe considerar posible que se
desdeñen las apreciaciones de otros observadores cualitativos
mejor situados que los antropólogos. Entre esos observadores
fiquran los padres Que tuvieron a otros hijos en la escuela antes
del cambio; los profesores que observaron este sistema antes, du­
rante y después del cambio; los profesores que fueron trasla­
dados a ese sistema con experien'cia previa en otros sistemas
compa r a b les y los p ro pios alumnos. Resultaría conveniente
quizá Que tales observaciones se reunie ran bajo la forma de
cuestionarios. En ese caso, uno desearía que también se hubie­
ran formulado preguntas adecuadas antes del programa experi­
mental y que se hiciera otro tanto en algún sistema social
comparable que no estuviera siendo sometido a semejante re­
forma, reestableciendo as í los compendios cuantitativos de jui­
cios cualitativos. (Para un estudio más completo de estas cues­
tiones cualitativas-cuantitativas, véase CAMPBELL , 1 974. )

E L EST U D I O DE CASOS

El modo dominante de estudio en antropolog ía , ciencia po­


i ítica comparada y sociología comparada sigue siendo el estu­
dio intensivo de un solo entorno extranjero por parte de alguien
ajeno, para quien ésta sea la única cultura extranjera intensi­
vamente experimentada. Tales estudios pueden ser escritos por
cient íficos sociales "adiestrados" o por observadores "aficiona­
dos" (como misioneros, diplomáticos, periodistas, hombres de
negocios, me rcenarios o turistas) cuyas observaciones y horas
libres pueden inducirles a escribir sobre esa cultura para
ellos extraña. Incluso cuando estos obse rvadores aficionados
no escriben , participan considerablemente en la tarea de infors
mar al cient ífico social sobre esta cu ltu ra extraña o en la aco-
" G rados de libe rtad" y el estudio de casos 87

modación a esa cultura por parte de quien es ajeno a ésta


( K 100ER , 1 97 1 ) . Otro género semejante es el de las descripcio­
nes del propio pa ís mientras se reside o después de haber vivi­
do en otro, como K ENYATTA ( 1 938) describiendo a los kikuyos
mient ras en I nglaterra estudiaba con MALINOWSK I . Emplearé se­
mejante conocimiento, escrito o no escrito, para exponer el
"conocimiento de sentido común" en la ciencia social compa­
rada. Si logramos una correlación cuantitativa y significativa
de 1 00 naciones es basándonos en este tipo de conocimiento
en cada punto, no reemplazando semejante conocimiento con
una metodolog ía cuantitativa "cient ífica". La generalización
multinacional cuantitativa impugnará en algunos puntos seme­
jante observación naturalista y anecdótica de un solo caso, pero
sólo procederá basándose en un cuerpo mucho mayor de tales
observaciones naturalistas y anecdóticas de un solo caso.
Esto no significa decir que semejante observación naturalista
y de sentido común sea objetiva,. segura o imparcial. Pero es
todo lo que tenemos. Es el único camino hacia el conocimien­
to, por imperfecto, falible y parcial que pueda resultar. Debe­
mos ser conscientes de sus debilidades, pero también tenemos
que confiar en esa v ía si hemos de emprender el proceso de la
ciencia social comparativa (o monocultural). Me referiré de
nuevo a los sesgos, pero primeramente voy a tratar de corregir
algunos de mis propios excesos anteriores al describir el enfo­
que del estudio de casos. La caricatura del enfoque del estudio
de un caso único que concibo es la de un observador que anota
una caracter ística sorprendente de una cultura y luego dispone
de todas las demás diferencias en tod as las otras variables para
tratar de hallar una explicación. Es posible que tenga que recu ­
rrir a casi todos los conceptos causales en su propia lengua. Es
casi inevitable que la encuentre, por obra de su total falta de
"grados de libertad ". (Es como si tratara de acomodar dos
puntos de observación con una fórmula en la que existiera un
millar de términos regulables, mientras que en buena ciencia
hemos de contar con menos términos en nuestra fórmula que
en los puntos de observación. )
Esta orientación fue expresada en CAMPBELL y STAN LEY
( 1 966: 6 , 7 ) de la siguiente manera (cita leg ítima puesto que
muchos han advertido que las comparaciones interculturales
constituyen una forma pobre del diseño cuasi-experimental; v.g.
LUPHART . . 1 97 1 : 683-685; 80ESCH y ECK ENSBERGER , 1 969 ) :
88 Métodos cual itativos y cuantitativos en investigación evaluat iva

Diseños preexperimentales
1. El estud io de un único caso

Gran parte de la investigación actual ... se acomoda a un diseño seg ún


el cual un so lo grupo es estudiado una so la vez, posterio r a la interven­
ción de algún agente o tratamiento q ue se supone haya causado a lgún
cambio. Cabe diagrama r tales estudios de la siguiente manera :
X O
Como se ha señalado (v.g. BCRING, 1 954; STOUFFER, 1 949) esos
estudios ado lecen de tan total ausencia de contro l que casi no poseen
valor cient ífico. Aqu í se introduce el diseño como m ín im o punto de
referencia. Sin embargo, requieren algún comentar io en razón del empleo
constante que se hace de ta les estud ios y de la obtención de inferencias
causa les de sus resultados. En la comprobación científica posee un
carácter básico ( y en todos los procesos de d iagnóstico de un conocimien­
to, incluyendo el de la retina del ojo) el proceso de comparación o
regi stro de diferencias o de contraste. Toda apariencia de conocimiento
abso l uto o de conocimiento intr ínseco acerca de objetos aislados y singu­
lares resulta i l u soria tras el anál isis. El logro de una confirmación c ien­
t ífica impl ica al menos el establecimiento de una comparación.Para que
semejante comparación resulte úti l ambas partes han de real izarse con el
mismo cuidado y precisión.
En los estudios de casos del Diseño 1 , un ejemplo singular y cu idadosa­
mente estudiado es comparado de modo imp l ícito con otros hechos ca­
sualmente observados y recordados. Las inferencias se hal lan basadas en las
expectativas generales sobre cuá les habrían sido los datos de no haber
tenido lugar X , etc. Tales estud ios con f recuencia implican una tediosa
obtención de deta l les espec íf icos, una observación y comp robación cui­
dadosas, etc, y en esos ejemplos surge el error de la precisión desviada .
Cuánto más val ioso resultar ía el estudio si se redujera a la mitad la serie
única de observaciones, y el esfuerzo a s í ahorrado se concentrara en estu­
d iar con el m i smo detal le un ejemplo apropiado de comparación. Parece
desde luego poco ético permitir, como tesis o disertaciones en educación,
estudios de casos de esta naturaleza (es decir, aq uellos que imp lican la
observación de un so lo grupo en una sola vez).En tales estud ios de casos
los tests "estandarizados" só lo p roporcionan una ayuda l im itada puesto
que las fuentes rivales de diferencias distintas de X son tan numerosas
como para hacer que el grupo estanda rizado de referencia resulte casi tan
inúti l como un "g rupo de contro l " . Sobre la misma base, las numerosas
fuentes incontro ladas de diferencias entre un estudio actual de casos y los
potenciales con los que pueda comparar en el futuro son tantas como
para que sea inút i l la just ificación de que p roporcionará un punto de
referencia a estudios f uturos. En genera l, sería mejor d i strib u ir el esfuer­
zo descriptivo entre ambas partes de una comparación interesante.
" G rados de libertad" y el estudio de casos 89

M i fuerte rechazo del estudio de u n caso ú n i co, y desde lue­


go de la com paración bi latera l , quedó tamb ién exp resad o d e l
si gu ien te modo en m i cap ítu l o d e l l i bro d e H su , ( 1 96 1 ) :
La imposibilidad de interpretar entre sólo dos ejemplos naturales. En
razón de la importancia del reto que plantea MAUIIOlll9<1 a la interpreta­
ción de amor-celos del conflicto de Ed ipo, es imperdonable que sus ob ­
se rvaciones no h ayan sido repetidas. Por meticuloso que sea su trab ajo de
campo en otros puntos, l as conf irmaciones publ icadas acerca de éste son
desde luego muy déb iles . Aunque alude a p ruebas de man if iesto conteni­
do on írico, lo que necesitamos son muestras sustanciales de descripciones
detallad as de los sueños de ch icos y de ch icas y de hombres y mujeres.
Pero mientras que es urgente la necesidad de comprobar y de ampliar
las pruebas de MALINOIVS<I * sobre las actitudes intrafamil iares de los h abi­
tantes de las islas T robriand, semejante repetición es de menor importan­
cia en lo que se ref iere a la comprobación de las h ipótesis freud ianas.
Qu ienes nos hallamos interesados en el empleo de tales datos para traza r
un proceso, más que para descr ibir exh austivamente ejemplos aislados,
debemos aceptar esta regla:
Ninguna comparación entre sólo dos objetos naturales es interpretable.
Entre las islas Trobriand y Viena ex isten muchas d imensiones de d ife­
renci as que podr ían constitui r potenciales ex pl icaciones contrarias y
que no tenemos medio de descartar. En comparaciones de este par, la
ex igencia del ceteris paribus es insostenible. Pero la necesid ad de obten­
ción de datos no se detiene aqu í. T anto las relaciones avunculares como
las europeas se hallan tan ampliamente distribu ídas por el mundo que si
nuestro p ropós ito estribara en la comprobación de las teo r ías de Edipo,
podr íamos se leccionar una docena de pares de tribus de áreas culturales
totalmente distintas, en donde cada par difiriera respecto de la forma en
que el hombre educa y discipl ina al niño, pero que en los demás aspectos
resultaran tan semejantes como fuese posible . Supon iendo que los sueños
recogidos de los ch icos revelaran las diferencias esperadas entre cada par,
entonces cuantos más pa res tuv iésemos, menos h ipótesis rivales adm isi­
bles resultarían acces ibles y en consecuencia mas segura ser ía nuestra
conf i rmación (CAMPBELL, 1961: 344 -345) .

U na tercera presentación :

Visto bajo esta luz, el p roblema del "laboratorio " de las relaciones
internacionales reales estriba en que son demasiado pocos los actores,
* Véase MA L I NOWSK I , B. : la vida sexuai dt: los salvajes. Mad r i d , Morata ,
1 97 5 , J8 ed ic ión IN. del R . )
90 Métodos cual itat ivos y cuantitativos en i nvest igac ión eva l u a t iva

demasiado pocas las ocasio nes, d emasiado escasas las "repos iciones" e n
l a s que grupos d e actores, clas if i cabl es como comparab les, com i enzan a
actuar desde pu ntos com parab les d e partid a y h arto numerosas las con si­
d eracio nes en teor ía obv iamente importantes. Los g rados d e l ibertad
para las declaraciones ulteriores, para probar la teo r ía en el cuerpo d e
d atos q ue la señalaban so n muy i nferiores a los ex istentes para las pred i.c­
ciones o declaraciones p revias ( u n aspecto d e este rasgo está i n se rto en l a
d i sti nción entre e l test d e sign ificación u n ilateral o b i l ateral ) . Tales p ro ­
blem as resultan tan reales como frustrantes para los estud ios cual itat ivos
del i nvestigador en Ciencias Po l íticas o en H istoria, l o m i smo que p ara e l
ana l ista estad ístico. Para este último l a com u n icación d e l p rob lema p ued e
resu ltar m ás fac i l ( aunque a m enudo será m u y d if íc i l cuando a sp i re a
refe r i rse a todo u n u n iverso ) porq u e ha formu lado claramente e l n úmero
de variables, mie ntras que e l c ientíf ico pol ítico o el h istoriador cuentan
con un g ran número de "consid e raci ones" potenci a les no expl (ci tas a l as
q ue han de referi rse, o pueden h acerlo, en u n caso o en otro . ( Esto , m ás
q u e las caracter ísticas d e reconoc i m iento del model o, constituye e l quid
de los prob l emas d e l e nfoq ue de la com prensión ( Verstehen ) , u n a fue nte
de su adaptac ión esp léndidamente sati sfacto ria a casos concretos y de su
carácter insatisf actorio como p roceso de comprobació n d e l a real idad ) .
( R ASE R y otros , 1 970 : 1 86- 1 87 .)

Aunque es probable que muchos estudios de casos que ma­


nifiesten o den a entender una interpretación o explicación o
liguen el caso a la teoría, sean culpables de tales faltas, ahora
me resulta claro que no son todos, o que no precisan serlo y
que he pasado por alto una importante fuente de la disciplina
(es decir, de grados de libertad, de persistir en el empleo de
este concepto estadístico para el problema análogo en entor­
nos no estad ísticos). En un estudio de casos realizado por un
atento científico social que esté muy familiarizado con el am­
biente, la teoría que utiliza para explicar la diferencia focal
genera también previsiones o expectativas en docenas de otros
aspectos de la cultura y no retiene su teor ía a menos que la
mayor parte de éstas queden también confirmadas. En cierto
sentido ha sometido a prueba la teoría con grados de libertad
procedentes de las implicaciones múltiples de cualquier otra
teoría. El proceso constituye un tipo de acomodación al mode­
lo ( CA M PB E L L , 1 966; R AsER , 1 969) en donde existen mu­
chos aspectos del modelo exigido por la teor ía, accesibles a la
acomodación con observaciones en el entorno local.
As í lo confirman las experiencias de los científicos sociales.
I ncluso en un estudio cualitativo de un caso aislado, el científi-
" G rados de l i bertad" y el estu dio de casos 91

co social concienzudo con frecuencia no halla explicación que


parezca satisfactoria. Semejante desenlace sería imposible si
fuese correcta la caricatura del estudio del caso único, tal como
ha sido presentada en estas tres citas; existir ía, por el contra­
rio, un exceso de explicaciones subjetivamente apremiantes.
Aunque no dudo de la existencia de un sesgo estadísticamente
significativo en favor de la extracción de conclusiones en vez
de suspender el juicio a la exprctativa ante unas pruebas esen­
cialme nte aleatorias (CAM PBELL , 1 959; demostración con ani­
ma les por TOLMAN y KRECHEVSKY , 1 933; e investigación de
B . F. SK IN NER acerca de errores causales en las palomas) , éste
no puede ser un sesgo dominante, ya que tanto la evolución
b iológica como la social hab rían eliminado semejante creduli­
dad en favor de mutantes más discriminantes. Es decir, nues­
tros me canismos cognoscitivos del sentido común deben poseer
un claro valor de adaptación, al menos para la ecología en la
que evolucionaron.
B EcKER (comunicación personal; véase también B ECKER ,
1 970: 39-62, 25-38) asegura que, casi invariablemente, e l
científico social que emprende un estudio intensivo d e casos
por medio de la observación participante y de otros accesos
cualitativos del sentido común al conocimiento, acaba averi­
guando que sus creencias y teorías previas se hallaban equivo­
cadas. Si esto es así, se trata de un hecho importante y que
merece una documentación sistemática. Si esto es as í, revela
que el estudio intensivo intercultural de casos posee una disci­
plina y una capacidad para rechazar teor ías que son desdeña­
das en mi caricatu ra del método.
NAROLL (1 962), uno de los que más han destacado en la
cuantificación de la antropología, logra una poderosa herra­
mienta para el control de calidad de los datos al clasificar la
"calidad" del etnógrafo . Vale la pena advertir que los criterios
de calidad no proceden del hecho de que el etnógrafo emplee
alguna herramienta especial de la ciencia social cualitativa (co­
mo procedimientos de muestreo aleatorio, entrevistas estructu­
radas y programadas, tets psicológicos, etc.) sino más bien de una
familiaridad cualitativa superior con la cultura descrita, por
ejemplo, a través de una residencia más prolongada y de un
mejor conocimiento de la lengua local.
Tal vez ayude a ilustrar el principio de disciplina y de grados
de libertad de múltiples implicaciones teóricas el hecho de dar
cuenta en a lgunas observaciones de primera mano durante las
92 Métodos cual i ta t ivos y cuant itat ivos en i nvest igac i ó n evaluat iva

primeras etapas de un fam oso estud i o de casos. E n e l otoño de


1 940, en Berke ley , vo era estud i ante de un sem i na r i o sobre
cu l tu ra y personal i dad di ri gi do por A. L. KROEBER y E . H . E R ICK ­
SON y consagrado a l os i nd i os y u roks de l a Ca l iforn ia septen­
tri ona l entre los cua les acababa de vi vi r E R ICKSON pa ra estu­
d i a rl os. A parti r de esos materia les E R ICKSO N l legar ía a rea l izar
su c lásica obra Observations of the Yurok ( 1 943 ) . KROEBER ha­
b ía estud i ado a tales pue b l os u nos 20 años a trás y a ni mó a
E R ICKSON a q ue los est udiara . KROEBER l levó a E R ICKSON hasta
l os yurok y le presentó a a m i gos e informa n tes supervivientes
de su época . De forma aprop iada K R OEBER i n ició el semi nario
con u na descripción de l os yu roks e n l a que figu ra ba n no sola­
me nte su situación geográfica, su econom ía, su pertenencia a
u n área cu ltu ra l , su orga n i zación socia l , l os artefactos f ís icos,
etc., s i n o tamb ién la afi rmación de que constitu ían u n a e ncarna­
ción clásica de la estructu ra de carácter anal freudiana. Recuerdo
cómo descri b ía aq ue l la estru ctura y a l os y u roks, con una l a rga
l ista de adjetivos que empezaban con "p ", posibleme nte a l go
as í como "pa rsimon ioso, pedante, p ud ibundo, petu lante, pa ra ­
n oide", aunque se me escapan l os deta l les. K R OE BE A d i spuso l a
escena para u n ejercicio conf i rmatorio y ortodoxo e n antropo­
l og ía psicoanal ítica. KROEBER hab ía s i do anal izado v p racticó e l
psicoan á l isis e n San F ran cisco . de 1 9 1 8 a 1 922 ( T . K R OEBER ,
1 9 70 ) . Su leal tad a la antropo log ía positiva era claramente más
i nten sa q ue su lea l tad a la teor ía f re ud iana, como revelaron sus
famosas revisiones de Totem y Tabú ( KROEBER , 1 920, 1 939 ) ,
pe ro en esta ocasión s u orientación era fre ud iana ortod oxa.
i ndudableme n te hab ía a lentado a ER ICKSON a visita r a l os y u roks
e n la creencia de q u e con stitu ían u n tipo idea l en la ti polog ía
freudi ana de ca racter cu ltural .
E R 1cKSON era por e ntonces u n f reud iano profu ndame nte orto­
d oxo. H a b ía real i zado una etnograf ía psicoanal ít ica de l os si ­
ou x ( 1 9 39 ) cu ya pro longad a lactancia na tura l , con la proh ibi­
ción concom itante de m orde r e l seno materno, hab ía con d u ci ­
do a u na f ijación ora l -d e nta l com pensatoria , reve lada e n un
hu mo r mo rdiente y en l os hábitos n e rviosos de mo rderse l as
u ñas y mo rder pa los y pajas. Avanzó c reativamente e n l a teor ía
fre ud iana d e l desarro l l o de l n i ño con su comp leja tipolog ía d e
mo dos y zonas de fijación en l a n i ñez ( 1 950 : 44-92 ), pero la
suya f ue u na tarea ortod oxa si b ien orig i n a l . S i e l estudio de
casos cua l itat ivos de un so lo entorno cu ltural se h a l l ase ta n
desprovisto de discip l i na de grados de libertad como estaban
"Grados de l ibertad" y el estudio de casos 93

mis caricaturas, es seguro que en este caso habr ía quedado


confirmado un síndrome anal freudiano ortodoxo . Pero no
sucedió as í. E R ICKSON no pudo encontrar en el adistramiento
para la higiene personal de los niños de entonces o del pasado
nada que hubiese producido una fijación anal de cualquier
ti po. Esto proporciona un ejemplo espectacular de un estudio
de casos invalidador de teoría en los términos del excelente
análisis de LuPHART (1 971 ), pero con un impacto considerable­
me nte más refutador del que él permite puesto que también
desdeña la disciplina emanada de una riqueza de datos rele­
vantes.
Pero E R ICKSON no se limitó a abandonar, al menor por lo que
se refiere a los yuro ks, la hipótesis de l caracter anal, sino Que
formu 16 otra hipótesis y la sometió a prueba con losyuroks. De
las innume rabies soluciones alternativas que se le ocurrieron para
resolver los enigmas de los datos, la mayoría era insostenible
por una u otra razón. Subrayo esta frase porque me parece
compendiar el empleo de imp l icaciones m ú ltiples, múltiples
observaciones ( "por una u otra razón") en una población con­
ceptual, una población de implicaciones mú ltip les de cualquier
teor ía espec ífica: grados de libertad de imp licaciones mú lti­
ples. La única teor ía que al final retuvo fue confirmada por
mú ltiples y diversas observaciones de l mismo género que las
que hab ían descartado sus otros ensayos de solución. Carezco
aqu í de espacio para expresar convincentemente su so lución, y
su apariencia inicial de inaceptabilidad empeora aún más con
la siguiente información excesivamente simplificada: en vez de
tener una fijación oral o anal, los yuroks se concentraban en
todo el canal alimentario. Esta tesis proporcionó una organiza­
ción a numerosos rasgos inhabituales de tal cultura, como su
preocupación por el r ío Klamath que atraviesa su pequeño
val le, sus casas con entradas y salidas diferentes, sus relatos
docentes para niños, incluyendo el del co libr í que penetraba
volando por la boca del oso y sal fa por el ano , etc. La lectura
de la monograf ía original resulta mucho más convincente. M i
p r o pio traba j o d e l se m inario, realizado conjuntamente con
Fr ederick M . G E IER , constitu ía un intento de proporcionar un
sentido psico lógico a una co lección de 30 o 40 mitos de los
yuroks a través de métodos de test proyectivo. Por lo que
recuerdo, en el seminario no pudimos disponer de la nueva
teor ía de E R 1CKSON . E l esfuerzo resultó tan frustrante que reco­
bramos el talante de alumnos aún no graduados y en la página
94 Métodos c u a l i t a t ivos y cuanti tativos en i nvest igación eva luativa

del t ítu lo co l ocamos un proverb i o atribu id o a Confuncio: "Só­


lo q u ien tartam udea habla verd ad e ramente de la interpretación
de los m i tos " .
E ste aspecto corrector d e los estud í o s de casos escr u p u l osos .
sensi bles y autocr ít icos, que he tratado d e re laciona r aqu í c o n e l
concepto estad ístico de posesi ón de g rados suficientes de l i ber­
tad para comprobar l a adecuación de h ipótesis, es sin d uda u n
aspecto d e los pri ncip ios de acomodación a l mode lo y d e de­
pendencia del contexto ( CAM PBE L L, 1 966 ) . Por l o demás, estoy
form u lando probab lemente, y con retraso, la m i sma arg u me n ­
tación q u e expusieron l.ASSW E LL ( 1 968) y otros ( p . ej . , RAsER,
1 969) a l i nsistir e n u n e nfoq ue conf igu raciona l . Aún q ueda por
rea l i zar u n p rofu ndo a nál isis episte m o lóg i co -estad ísti co de la
s ituac i ón . E sta retractaci ón parcia l no es nada más q ue u n
comienzo y , c o n e l f i n de reabr i r e l p roblema, proba ble me n te
estoy p resentando aq u í una defensa exagerada . Porq ue desde
l u ego la menta l idad teór i ca es capaz de una racional ización
post hoc considerab leme nte flex i b le d e cua l q u ier resu ltado y
en ta les raciona l i zaciones a menudo tienen l u gar una i nterp re ­
tación exces iva, una cap ita l i zación de l aza r y u n agotamiento
de los grad os de l i be rtad . P ara encontrar u n ej e m p l o en e l área
de p roblemas de ER IKSON, cabe o bservar el contraste entre la
presentación que hace l<A R D IN E R ( 1 939) de l ma teria l de Du
Bo lS sobre la población de Alor y su prop ia presentación ( 1 944 ) .
E n s u tema d e l a privación ora l , l<ARDIN ER p resta gran atención a
u n n i ñ o que, h ab iendo recibido para jugar u n g l obo con orejas,
trataba de ch upar una d e éstas y fu é fotografi ad o as í. Pasa por
al to contrai nd icaciones más revelantes, i n c l uyendo la ausencia
de succión del pu lgar. E n genera l, a l l í en donde u n cu idadoso
estud io cuantitativo no logra confirmar una creencia a m p l ia ­
mente extendida , p o r l o com ú n habrá q u e confiar más en e l
estud i o cuanti tativo. Pero éste , a s u vez, h a rechazado la creen ­
cia del senti d o com ú n só lo a través d e su d ependencia d e mu ­
chas otras creencias. Por supuesto, e l conocimiento social ordi­
na rio se h al la sometid o a m u ch os sesgos espe c ífi cos, a algu nos
de l os cu ales me refer i ré a h ora. Pero sigue siendo el ú n i co
cam i n o . I ncluso cuando logramos u n perfecciona m i en to debe­
mos seg u i r por ali í y basarnos en ese te rre no .
E l testi m o n i o d e BECK ER y e l trabajo d e ER IKSON operan en
contra del bien conocido sesgo ge neral en favor de hal lar las
cosas como uno espera que sean . Para F rancis BACON e ra el
p r i mero de los " ldo los ( fa lsas i máge nes) d e la tribu ". "Por su
" G rados de libertad" y el estudio de casos 95

naturaleza peculiar, el entendimiento humano supone en las


cosas un grado mayor de orden y de igualdad que el que real­
mente encuentra. Cuando ha quedado establecida una proposi­
ción, el entendimiento humano fuerza todo lo demás para lo­
grar apoyos y confirmaciones nuevos. Error peculiar y perpe­
tuo del entendimiento humano es el sentirse más movido e
impulsado por las afirmaciones que por las negaciones" (BA­
CON, 1 853: la cita procede de Aphorisms, B k . 1 ,X LV I ). Yo he
participado en una clara confirmación al respecto en lo que se
refiere a los juicios perceptuales de las imágenes desenfocadas
( WvATT y CAM PBE L:L, 1 95H y existen muchas otras en los textos
(revisados por CA M PBE LL, 1 959). Pero aunque universal en cier­
to grado, sigue siendo un sesgo marginal. En nuestro experi­
mento, el sesgo reducía aproximadamente en un 1 5 � la preci�
sión que habría existido $in la expectativa y desaparecía en
cuanto las imágenes pasat>an a quedar enfocadas (WvATT y
CAM PB E L L, 1 95 1 ). Este es, desde luego, un sesgo que comparten
la percepción física y la percepción social. A menudo choca
con un sesgo ligado a los niveles fluctuantes de adaptación
( HE LSON, 1 964) que impulsa a un observador a advertir nuevos
co ntra stes a exp e nsas d e la u niformidad CAM PBE LL, 1 96 1 :
341 -344; 1 959).
Ya que los estudios de casos de una sola cultura seguirán
siendo la forma principal de la ciencia social comparativa, va­
le la pena brindar unas cuantas sugerencias para mejorar la
instrucción que, como prueba la teor ía, ofrecen tales estudios .
Estas sugerencias se hallan basadas en analogías de los estudios
cuantitativos. Como veremos, los estudios cuantitativos ya pu­
b licados no son en manera alguna inmunes a estos problemas,
pero conducen a la realización de esfuerzos por obtener niveles
significativos que a su vez llevan al conocimiento de aspectos
sutiles del problema. En lo que sigue, la recomendación princi­
pal y general es que el investigador que realice un estudio de
casos en un solo lugar mantenga un registro muy explícito de
los aspectos analógicos de sus actividades de resolución de
o rob lemas.
El problema mejor conocido respecto de los grados de li­
bertad en los tests de significación es el número de observa­
ciones con las que se pone a prueba la hipótesis. Para réplicas
similares dentro de un emplazamiento cultural, el trabajador
de campo se encuentra ya por lo común alerta al respecto, por
ejemplo, el número de aldeas observadas en el que se halla
96 Métodos cual itat ivos y cuant itativos en investigación evaluativa

presente el modelo de jefatura y el número de aquellas en que


no lo está. Lo que aqu í se sugiere es que lleve un registro
análogo para la totalidad de implicaciones de la teor ía, aspi­
rando a un registro completo de todos los razonamientos e
investigaciones de contrastación de la teor ía que adopten esta
forma : Si la teor ía A es cierta, entonces también lo serán B, C,
y D. En donde estas implicaciones le hayan motivado a reali­
zar una activa búsqueda, el registro resultará fácil. Cuando la
comprobación se haya completado adecuadamente tan sólo en
el proceso mental, se perderá gran parte del cálculo de implica­
ciones. Pero incluso en estos experimentos mentales una cons­
ciente atención al problema puede determinar un registro mu­
cho más completo que el de las monograf ías de estudios de
casos ya conocidos. Como señala Po1N CARE ( 1 9 1 3 ) , buena par­
te de esta preocupación por el enigma es sin duda literalmente
inconsciente y/o durante el sueño. As í no se logrará un registro
completo. Probablemente las omisiones más corrientes corres­
ponderán a las implicaciones que no se acomoden, sobre todo
en el caso de los observadores más atentos a la teor ía. La
literatura acumulada de otros estudios y de sus cr íticas pro­
porciona al respecto un freno lento y parcial. Necesitamos
una tradición de promoción deliberada de un proceso contra­
rio que estimule a otros expertos a buscar otras implicaciones
de la teor ía y otros hechos que la impugnen o confirmen. Ya
se hace algo a propósito pero no en una forma que genere una
suma de aciertos y fallos. Freno ulterior al inevitable etnocen­
trismo residual de los científicos sociales ser ía la práctica de
invitar a los cient íficos sociales locales a presentar, junto con la
publicación original de las monograf ías regionales, observacio­
nes y comentarios en contra y a favor. Esto ayudar ía también a
incrementar la relación de aciertos y fallos. Resoecto de cada
estudio de casos correspondiente a una teor ía clásica, existen
predicciones no empleadas sobre las que efectuar una intervali­
dación. (Tal vez los mitos de los yuroks sobre los que trabaja­
mos GEIER y yo pudieran proporcionar un terreno para las
hipótesis de ER IKSON.) Si éste es un estudio importante, merece
la pena realizar un estudio de casos confirmatorio.
Vale asimismo tomar en consideración una segunda cuestión
en los grados de libertad en los tests de significación y es la
distinción entre tests unilaterales y bilaterales. Cabe quizá tra­
ducirla al entorno del estudio de casos como una distinción
entre el valor confirmatorio de una coincidencia entre implica-
" G rados de l ibertad " y el estu d io de casos 97

ción y hechos cuando la teor ía ha sido e legida a la luz de


estos hechos, frente a l valor confirmatorio superior cuando la
teor ía ha sido elegida sin el conocimiento de estas confirma­
ciones. Desde luego, en el conjunto han de mantenerse separa­
d os ambos tip o s. M ás a ú n, cuando l a t eor ía pronostique
correctamente un hecho que resultaría inesperado desde el
punto de vista de l sentido común o de otras teor ías o culturas,
por ejemplo, la confirmación es desde luego más convincente
que cuando el pronóstico es banal. Este hecho no es reconocido
con facilidad en la tradición de los tests de significación (MEEH L,
1 967) pero se encuentra en la historia de la ciencia como en el
empleo por parte de GA LILEO de las fases de las lunas de Júpiter.
Podr ía probablemente utilizarse una orientación bayesiana pa­
ra concentrarse en la comparación de probabilidades previas,
dada la teoría A frente a las probabilidades previas de otras
teor ías. Esto no parece t ípico de las aplicaciones bayesianas
que resultan más adecuadas para abordar en cada teor ía las
probabi lidades previas y las probabflidades después de la ob­
tención de los datos. Sea como fuere, cabe l lamar la atención
del epistemólogo-estadístico bayesiano respecto del problema
del estudio de casos de comprobación de una teor ía . Ta l pro­
blema deber ía ser además abordado separadamente para cada
uno de los seis tipos de estudios de casos .ele UPHAAT ( 1 97 1 ) (p.
ej., generación de hipótesis, confirmación de una teor ía, recha­
zo de una teor ía, etc.) con especia l atención a la diferencia en
grados de libertad cuando uno ha elegido, por ejemp lo, el lugar
que espera que sea confirmatorio tras una búsqueda impl ícita o
expl ícita en muchas culturas para ta l circunstancia, frente a un
caminar a ciegas y la aparición de una confirmación. Un cono­
cimiento previo de una o de dos variables relevantes, o de
ambas o de ninguna afecta a l problema de los grados de liber­
tad, es decir a la capita lización sobre el azar. E l análisis de
LuP HART se muestra muy relevante aqu í aunque, como en mis
anteriores presentaciones, no l legue a comprobar las imp lica­
ciones mú ltiples con un so lo caso.
E xiste un ú ltimo prob lema de grados de libertad, aún no
bien expuesto en los estudios estad ísticos publicados, pero
que cada vez interesa más. Se trata de la cuestión de rea lizar
comprobaciones de hipótesis m ú ltiples y luego anotar aquel las
que sean "estad ísticamente significativas" mediante un test de
significación que da por supuesto que la indagación se inició
exclusivamente con esta hipótesis. De este modo, si los datos
98 Métodos cual itativos y cuant itat ivos en i nvest igac ión eva l uativa

propios proceden en realidad exclusivamente de números alea­


torios, si uno estudia todas las interrelaciones entre 1 5 varia­
bles que generen 1 05 relaciones hipotéticas entre dos variables .
1 /20 de éstas ó 5+ resultar ían significativas en e l nivel del 5 % . E l
problema aparece en l a l iteratura como la "tasa experimental
de error" ( Rv AN, 1 960) y el " problema de las comparaciones
mú ltiples" ( ScHEFFÉ, 1 953 ) o de "rastreo de datos" (SELV IN y
SruART, 1 966 ). Combinado con el problema del número de
observaciones, cabe advertirlo en forma especialmente aguda
en lo que se refiere a estudios de cien<:ias poi íticas que estable­
cen corre laciones de dimensiones de naciones: si uno posee
tantas variables como naciones, entonces la correlación mú lti­
ple que relacione a cualquier variable con las demás será 1 ,00,
incluso aunque todos los datos sean números aleatorios. (Pue­
de advertirse a partir de la fórmula de "contracción" para R,
loRD y Nov1cK,· 1 968 : 286 . ) Las R calcu ladas en pequeñas
muestras resultan regularmente más pequeñas al ser interval i­
dadas en nuevas muestras. Esta fórmula estima semejante con­
tracción en ausencia de interval idación. En estudios analíticos
factoriales surge como verdad indiscutib le el hecho de que con
muestras más pequeñas de naciones aparecerán cargas factoria­
les mayores y más factores en razón de la mayor variabi lidad
de muestreo de coeficientes de correlación con pequeñas n.
Esta es la auténtica explicación del repetido hal lazgo de que las
estructuras factoriales sean más claras y expl iquen más cuando
los datos son anal izados por continentes en vez de reunidos
para todo el mundo .
Para atender a este problema en el estudio de casos genera­
dor de hipótesis, como en la segunda fase del trabajo de ERIKSON
sobre los yuroks, es preciso tener en cuenta todas las teorías
consideradas en el proceso creativo de resolución del enigma .
Para exponer los grados de l ibertad de las implicaciones mú lti­
ples, hay que tener en cuenta también las imp l icaciones contra
las que cada una fue comprobada y la totalidad de los aciertos
y fal los. Personalmentb, estoy convencido de que la teoría del
canal alimentario de ERIKSON es mejor que la correlación mú lti­
ple seudoperfecta extraída del agotamiento de los grados pro­
pios de l ibertad, al comprobar demasiadas hipótesis en excesi­
v_9s casos o implicaciones. Tambi én estoy convencido de que, a
este respecto, cabe mejorar los estudios de casos en su valor de
comprobación de teorías. Cuando uno reconoce además la rea­
l idad de la interacción de orden superior entre variab les (p. ej .,
" G rados de l iber tad" y el estu dio de casos 99

la relación de variables A y B como diferente en distintos nive­


les de C, D, E, etc.), tiene que reconocer que la abundancia de
hipótesis p lausibles y la escasez o la carest ía de los ejemplos
crea auténticos I ímites a una ciencia social comparativa. Pero
también alivia, a l menos un poco, el problema e l reconocimien�
to de ejemplos en implicación espacial para comp lementar los
ejemplos de personas, aldeas, naciones, eras, etc.
Se brinda una sugerencia más para mejorar el estudio de
casos. E l estudio aislado de casos, como se ha presentado an­
tes, constituye en realidad una comparación entre dos casos : la
cu ltura original y la cultura extranjera. Pero esta es una compa­
ración muy asimétrica y asimétrica en cierto número de pará­
metros importantes: una cultura es aprendida como lo hace un
niño que no tiene otra alternativa y es aprendida concomitan­
temente con la adquisición de las presuposiciones loca les, e l
lenguaje y el conocimiento social . La otra cultura es aprendida
como la aprende un adulto extranjero. Los deta l les de la nueva
cultura sometidos a análisis son focales y se hal lan especifica­
dos. Queda implícita la base de comparación de la cu ltura
propia. Si los rasgos de la cultura propia hubiesen sido igual­
mente focales y expl ícitos, si hubieran sido "estudiados" direc­
tamente, la comparación impl ícita habría sido a menudo nega­
da. Pero aunque esto sería un perfeccionamiento, los rasgos de la
cultura propia aún resultarían más sensibles, razonables, intuiti­
vamente comprensibles y morales. Los de la cultura extranjera
tenderían a parecer arbitrarios, anóma los, reprendentes si no
inmorales. Al efecto de corregir esto, formulé la siguiente suge­
rencia en un trabajo anterior :
Triangulación a través del sesgo de la propia cultura de los observado­
res. El logro de constructos útiles y "realistas" en u na c iencia ex ige
múlt iples métodos concentrados en el diagnóstico del m i smo constructo
desde pu ntos de observación independientes, a través de un tipo de tria n ­
gulación. Y ello e n razón d e que los datos d e los sentidos y las lecturas de
las med iciones son entendidos como el resultado de una transacción en la
q ue tanto el observador (o medidor) . como el objeto de i nvestigación
oontr ibuyen a la forma de los datos. Si se di spone de una sola observa­
c ión es imposible separar el elemento subjetivo y el objetivo. Sin embar­
go, cuando se pueden aj ustar las observaciones por medio de instrumen­
tos diferentes y desde emplazamientos d i stintos como refer idas a "los
mismos" objetos, entonces es posible dist i nguir los componentes en los
datos debidos al observador ( i nstrumento ) y a lo observado. Resulta q"ue
este proceso de desenmarañam iento ex ige tanto observadores múltip les
1 00 Métodos cualitativos y cuantitativos en investigación evaluativa

(métodos) como objetos de estudio mú ltip les y diferentes.


Aplicado a l estudio de la filosof ía de una cultura, esto supone que
nuestro t íp ico estudio de un observador y una cultura es inherentemente
amb iguo. Porque cualquier caracter ística determ inada del informe resu lta
equ ívoca, tanto si es como si no es un rasgo del observador o un rasgo del
objeto observado. Para corregir esta situación puede apreciarse el parad ig­
ma ideal ta l como aparece en la F igura 2 (a) .
En el modelo más general, dos antropólogos de diferentes culturas estu­
diarían cada uno una tercera y una cuarta cultura. De las cuatro etnogra­
f ías, los atr ibutos comunes en las etnograf ías 1 y 3 no compartidos por la
2 y la 4 podr ían ser atribu idos al etnógrafo A; los atributos comunes en
la 2 y en la 4 y no presentes en cualquier otro lugar p odr ían ser atribu idos
al etnógrafo B. Examinando las consistencias a l ineadas en la f igura, l os
atributos comunes a las etnograf ías 1 y 2 y no presentes en 3 y 4 podr ían
ser atr ibu idos a la cu ltura C como "objetivamente" conocida.Los atribu ­
tos comunes a las cuatro etnog raf ías so·n inherentemente ambiguos, inter­
pretab les como sesgos compartidos por los etnógrafos o como cultura
compart ida por las sociedades estudi ada s. Adviértase al efecto la ventaja
de comparar etnólogos de procedencias culturales tan diferentes como
sea posible. En el grado en el que los etnólogos p roceden de la m isma
cultura, la dup licación de los resultados se vuelve más una cuestión de
f iabi l idad que de validez, como son entendidos estos términos en l os estu­
dios de los tests psicológicos. Si para realizar semeíánte estudio se em­
p learan cuatro etnógrafos, dos de los cua les pertenecer ían a la cultura A
y dos a la B y estudiaran a ldeas distintas de las cultu ras C y D para evitar
interferencias y choques, entonces los atributos singulares de cada una de
las etnograf ías ser ían adscribibles a un equ ívoco conjunto de especifici­
dades de la aldea dentro de su cu ltura, a puntos espec íficos de la persona­
lidad del etnógrafo y la interacc ión entre la cultura espec ífica del etnó­
grafo y la cultura estudiada. (Si sólo se emp leara un etnólogo de cada cu l­
tura y si cada uno de los dos estudiara a su vez la misma aldea en las
culturas fijadas, entonces los rasgos singu lares de cualquiera de las etno­
graf ías resu ltar ían equívocamente debidos a las interacciones etnógrafo·
cu ltu ra, los efectos de orden temporal por los que el etnógrafo reacciona­
ba diferentemente ante su segunda cultura, los efectos de orden temporal
por los que la sociedad reaccionaba diferentemente ante la segunda perso­
na que la estudiaba, las tendencias históricas y las interacciones entre
éstas. ) La presencia de estas indeterminaciones no debe ser eliminada n i
tampoco debe permitirse que eclipse a los grandes beneficios en l a com­
prensión que introducir ían semejantes estudios de etnógrafos mú ltip les.
A unque sea idea l la mu ltip l icidad tanto de cu lturas de etnógrafos co­
mo de cu lturas estudiadas, también resultar ía una gran ventaja lograr sólo
la mitad superior de la F igu ra 2(a ) . es decir dos cu lturas de etnógrafos
concentradas en el estud io de una sola y prefijada cultura . En todas estas
triangulaciones, nos enfrentamos de nuevo con la paradoja de la incapaci-
"Grados de l ibertad" y el estud io de casos 1 01

Etnógrafos Etnógrafos
desde la desde la desde la desde la
cultura cultura cultura cultura
A B A B
- -
.. e
Etnograf ía Etnograf ía Etnograf ía Etnograf ía
., 1
1 2 .,
"O A 1 1 2
....
'e
::,
:'6

..
::,
(cultura
propia)

e e
Etnografía Etnograf ía Etnograf ía Etnograf ía
::,
(J D 3 4
::,
(J B 3 4
(cultura
propia)

a. Paradigma general b . Caso reflex ivo

Figura 2: E squema mú ltip le de etnograf ía para d iferenciar el contenido


aportado por el etnógrafo del contenido de la cu ltura estud iada.

dad de emplear d iferencias cuando éstas son tan predom inantes como
para hacer imposib le la acomodación de los aspectos correspond ientes de l
informe que esté siendo comparado. La necesidad de este denom inador
común proporciona una justificación a la defensa que hace HOCK ETT en
favor de inclu ir detal les cu ltu rales materiales y comportamentales inclu­
so en etnograf ías centradas en la determinación de la fi losof ía de las cul­
turas.
Otra versión del d iseño de etnógrafos y objetivos mú ltiples es aquella
en la que dos cu lturas se estud ian mutuamente, como aparece en el
d i agram a de la Figu ra 2(b) . Por lo común el foco se fija en las etnograf ías
2 y 3, el informe de A sobre B y el informe de B sobre A. Imp l íc itamen­
te, sin embargo, la descripción de A por parte de A y la descripción de B
por parte de B están conten idas como bases de referencia. Cabe conseg uir
probab lemente algún valor cient ífico de tales informes, incluso en el nive l
de la serie de estereotipos recíprocos o el consenso de reputación entre
los pueb los próx imos. Una vez elim inado el elemento evaluativo (conside­
rándose cada tribu a s í m isma como la mejor), tales ser ies de estereotipos
mutuos muestran una notab le co incidencia en la confirmación de la d i ·
rección de las d iferenc ias de grupo (CAMPB E L L , 1964: 331-333) .

En l ínea con la presente exposición, me gustar ía ahora in­


crementar las exigencias, solicitando que en una segunda fase
1 02 Métodos cual i tat ivos y cuan t i tat ivos en i nvestigac ión eva l u a t iva

del trabajo de campo se pida a cada etnógrafo que intervalide e


invalide la interpretación por parte de los otros de la cultura
que han estudiado en común.

CO M E NTAR I O S F I N A L ES

Evidentemente este trabajo tiene un caracter explorator io,


representa el extremo contrario al que ocupa en el otro conf ín
m i previo desdén dogmático por el estudio de casos. Aunque
no alterará en forma notable mis enseñanzas acerca de los
diseños cuasi-experimentales y los métodos de investigación, por
el momento parece acertado. Al f in y al cabo el hombre es,
conforme a su habitual estilo, un conocedor muy competente
y el conocimiento cualitativo del sentido común no puede ser
reemplazado por el conocim iento cuantitativo. Por el contra­
rio, el conocim iento cuantitativo ha de basarse y alzarse sobre
el cualitativo, incluyendo la percepción corriente ( CAM PB E L L,
1 974). Los metodologistas hemos de elaborar una epistemolo­
gía aplicada que integre a ambos.

B I B L I OG RA F I A
B A CO N , F . ( 1 853) " Novum orgá n u m , " en J . Devey (trad . ) The PhysiCBI and Meta­
physical Worb of L ord Bacon. Lo nd re s : H . G . Bo hn . ( p ub l i cad o origi nalme nte
en 1 620 .l
B E CK E R , H. ( 1 9 70 ) Sociological Work. Chi cago : Ald i na .
B O E S C H , E . E . y L . H . E C K E N S B E R G E R ( 1 969 ) "Methodi sche P robleme des
i n ! e r k u ltere l le n Vergleichs," pp . 5 1 5 -566 en C . F . Graumann ( ed . ) Socialf)6ycho•
logle, Got t i nge n : Verlag fu r Psych ologi e .
B O A I N G , E . G . ( 1 9541 "The natu re a nd h istory of expe r i mental control . " Ameri­
can Joumal of 1'$ychology, 67 : 5 7 3 -589 .

CAMP B E L L , D. T. ( 1 974) "Oualitati ve know i ng i n action research . " K u rt Lew i n


Award Add ress , Socie ty f o r t h e Psychologi ca l St udy of Social l ssues, re u n i ó n
de l a American Psy chological Association, N ueva O rleans, Sept iembre 1 . Jour­
nal o f Social l ssues .
--- ( 1 970) "Consideri ng t he case aga i n st e xperi m e ntal eva l uati ons of socia l i n no­
vat i on s ." Administrative Science Quarter/y, 1 5 : 1 1 0 - 1 1 3 .
--- ( 1 969 ) "A phenomenology of the other one : corri g i b le , hy pot he tical and cri ­
t i ca l , " pp . 4 1 -69 en T . M ischel ( ed . l Human Action : Conceptual and Empirical
lssues. N ueva Y o r k : A cade m i c P ress .
- -- ( 1 966) "Patte rn match i n g as an esse n t i a l i n d i sta l know i n g , " págs . 8 1 -1 06 e n
K . R . H ammond (ed . ) The Psychology of Egon Brunswik. N ueva Y o r k : H o l t ,
A i nehart & W i nston .
" Grados de l ibertad" y el estu d io de casos 1 03

--- ( 1 964) ''D isti nguishi ng d i ffe rences of percept i on from failu res of commun ica­
tion i n cross-cultu ral stud ies ," págs . 308-336 en F .S .C . N orthrop y H . H . Li ­
vi ngston (eds .l Cross-Cultural Undentanding. Epistt1mology in Anthropology.
N ueva York : H arper & R ow .
--- 1 1 96 1 1 "The m utual methodologi cal relevance o f anth ropology and psycholo­
gy , " págs . 333-352 en F .L .K . Hsu (ed .l Psychologicsl Anthropology: Appra11 -
ches to Cultun, and Ptlnonality. Homewood . 1 L: Dorsey .
--- ( 1 9691 "Systemati c error on the part of human li n ks i n comm u n i cati ons sys­
tems . " lnformation and Control, 1 : 334-369 .
--- y J . C. STAN L E Y 1 1 966 1 Experimental and Ouasi-Experimental Design1 for
Rt111111rch. Chicago : R and McNally .

DuB O I S , C. A. ( 1 944 ) Tl,e Ptlople of Alor. M inneapolis: Univers ity of M i nnesota


Press .

EA I KSON , E . H. ( 1 950 ) Childhood and Society. N ueva Yor k : W . W . Norton .


--- 1 1 9431 Obst1rvations on the Yurok. Publi cations i n Ameri can Archaeology
and Ethnology , 35 , N .0 1 0 . Berkeley : Univers ity of Cali forn ia Press .
--- ( 1 939 1 "Observations on Siou x ed ucation . " Joumal of Psychology, 7 : 1 0 1 -1 56 .

GUTTE N T AG . M. ( 1 9731 "Subjectivity and i ts use i n evaluation resaarch . " Evalua­


tion, 1 : 60-65 .
--- ( 1 97 1 1 "Models and m ethods i n evaluat i on research ." Joumal for thfl ThllOry
of Social Bt1havior, 1 : 7 5-85 .

H E LSON , H. ( 1 9641 Adaptation -LeVtll Theo,v. N ueva Yo r k : Harper & Row .


H S U , F. L. K. [ad.] ( 1 961 ) P1ychological Anthropology: Approaches to Culturund
Ptlnonality. Homewood , I L : Dorsey .

K A R D I N E R , A. ( 1 939 1 Tht1 Individual and His Society. N ueva Yo r k : Columb ia


U nivers ity Press .
K E N Y ATTA , J . 1 1 938 I Facing Moun t Kenya. Londres : Secker & Warburg .
K I D O E R . L. H. ( 1 97 1 ) "Fore ign visito rs : a study of the chan gas i n sel ves , skills ,
and attitudes of Weste rners i n I nd i a . " Tesis doctoral, Northwestern U n iversity .
K R O EB E R , A. L . 1 1 939 1 ''Totem and taboo i n retrospect ." American Joumal of
Saclology, 45 :446-45 1 .
--- ( 1 920 1 ''Totem and taboo : an ethnologi cal psychoanalysis ." American An­
thropologi1t, 22 : 48-65.
K R O E B E R . T. ( 19701 Alfrt1d Kr0t1bt1r: A Penonal Con figuration . Berkele y : U n iver­
sity of Cali forn ia P ress .

LASSW E L L , H . D . ( 1 9681 "The futu re of the comparativa method . " Comparativs


Politics, 1 : 3-1 8 .
L I J P H A R T , A. ( 1 97 1 1 "Comparativa politi cs and t he comparative method ." Ame­
rican Political Scisnce Rsvlsw, 65 : 682-693.
LOR D , F . M. y M. R . NOV I C K 1 1 968 1 Stati,tical Theories of Mental Tt11t Seores.
R ead i ng , M A : Add ison .W esley .

M E E H L , P. E . ( 1 967 1 ''Theory -testing i n psychology and physics : a methodological


para do x ." Philosophy of Scisnce, 34 : 1 03-1 1 5 .
1 04 Métodos cual itativos y cuantitativos en investigación evaluat iva

N A R O L L , R. ( 1 962 ) Data Ouality Control: A New Re..rch Technique. N ueva


Yor k : F ree P ress .

PO I N CAR E , H . ( 1 9 1 3 ) "M athemati cal creation . " en H . Poincare , The Foundation•


of Science. N ueva Yor k : Science Press .

RASE R , J . R. ( 1 969 ) Simuiatlon and Society. Boston : A l l y n & Bacon.


---, 0 . T. CAMP B E L L , y R. W. CH ADW I C K ( 1 970) "Gaming and s imulation for
developing theory re levant to inte mational relations ." General Syrtef'M, 1 5 :
1 B3-204 .
R Y AN , T. A. ( 1 960 ) "Significance tests for multiple comparisons of proportions,
varian ces and other statistics . " Psycholofical Bulletin, 57 : 3 1 B-328 .

SA LAS I N , S. ( 1 973) "E xperimentation revisited : A conversation wit h Donald T .


Campbell . " Evaluation, 1 : 7 -1 3 .
SCH E F F E , H. ( 1 953) " A method for judging al i contrasts i n analysis of variance."
Biometrika, 40: 87-1 04.
SEGA L L , M. H ., 0. T. CAMP B E L L , y M. J. H E RSKOV I TS ( 1 966) The lnfluence
of Culture on Visual Perception . l ndianapolis : Bobbs-Merri l l .
S E L V I N , H . C. y A. STUART ( 1 966) " Data- dredging procedu res i n survey ana­
l ys is ." American Statistician, 20: 20-23.
STOU F F E R , S. A. (ed .) ( 1 949 ) The American Soldier. Prin ceton : Princeton Uni ­
versity P ress .

TO LMAN , E . C. e l . K R E C H E VSK Y ( 1 933) "Means-end-read i ness and hypot he•


sis ." Psychological Review, 40 : 60-70 .

W E I S S , R. S. v M. R E I N ( 1 970) "The eval uat ion of b road -ai m programs : experi­


mental design , its d i ffi culties and an alternativa ." Administratillfl Scienoe Ouar-
terly, 1 5 : 97 - 1 09 .
--- ( 1 969) ''The evaluation of broad-ai m programs : a cautionary case and a mo­
ral . " A nnals of the American Academy o f Political and Social Science, 385:
1 33-1 42 .
WYATT , 0. F. y D. T. CAMPB E L L ( 1 95 1 l "On the l iabi l ity of ste reotype or hypo­
thesis . " Joumal of Abnormal and Social Psychology, 46: 496-500 .
CAP I TU LO I V

SOB R E LA RECONC I L I AC I ON D E LOS ANAL I SIS


CUALI TATI VOS Y CUANT I TATI VOS*

Un estudio de casos

Por M . G . TR EN O
Ab t. Associa tes /ne.

I NTRODUCC ION

Este trabajo examina un ejemplo en donde el análi sis de los


datos cualitativos procedentes de un observador participante
dieron lugar a una expli caci ón que no cab ía reconciliar inme­
diatamente con la basada en los datos cuantitativos que hab ían
sido extraídos de la misma experiencia social . Tres son los pro ­
pósitos que animan a esta presentación .
En primer lugar, los detalles del caso pueden proporcionar al
lector alguna idea sobre la psicolog ía social que interviene en
las tareas de investigación en gran escala, en las que el trabajo
anal ítico corre a cargo de personas procedentes de di sci plinas
muy diversas .
En segundo lugar, el caso puede contribui r a di sipar la no­
ción de que el empleo de múltiples métodos conduci rá a expli ­
caciones más sólidas de un modo fáci l y acumulati vo . Desde
luego el perfecto ensamblaje de las piezas del rompecabezas de
una investigaci ón debe ser causa de sospecha. La unanimidad
puede consti tui r la caracter ística del t rabajo en el que se hayan
cerrado prematuramente los caminos a otras expli caciones.
En tercer lugar, la confrontación entre dos explicaciones di -

• R ep rod ucido con perm iso de la Society for A p p l i ed Ant h ro po logy de Human
Orgonizotion, 37 : 345 -354 , r n 78 .
1 06 Métodos cual itativos y cuant itativos en i nvestigación evaluativa

fe rentes de los mismos acontecimientos y la resolución even­


tual de este confli cto sugiere un modo de proceder con otra in­
vestigación q ue emplee una perspectiva de métodos múltiples .
Creo q ue es preciso estimular la proliferación de explicacio­
nes di vergentes . Los distintos análisis, basado cada uno en una
forma diferente de información , han de mantenerse separados
hasta una fase posteri or en el j uego anal ítico . Debe permiti rse
q ue "maduren" las expli caciones alternativas y q ue consigan
adeptos o defensores. Luego habrán de compararse los relatos .
Si encajan , se obtiene as í una prueba i ndependiente de la vali ­
dez de la investigación. En caso negati vo , las áreas de disensión
proporcionarán unos puntos sobre los q ue podrá ejercerse una
posterior acción anal ítica. Debe tratar de acometerse una s ín­
tesis. El resultado deseado es una tercera explicación que proce ­
da por deducción y que justifi q ue todos los hechos accesibles.

E L CONT E XTO

Du rante 1 972 el Departamento de la Vivienda y del Desarro­


llo U rbano de los Estados Unidos (H U D ) , emprendió tres expe­
riencias sociales destinadas a poner a prueba el concepto del
empleo de asignaciones financieras di rectas para ayudar a las
familias económicamente débiles a obtener en el mercado un
alojamiento digno . P roporcionando dinero a q uienes lo precisa­
ban , con la condición de q ue la asignación fuera inverti da en
una vivienda, el H U D esperaba asignar de modo más eficiente
las casas disponibles. En el proceso, los benefi ciarios de la ay u­
da eran libres de escoger, conforme a sus preferencias persona­
les , aquellas vi viendas q ue más les interesaran.
Dos de los experimentos fue ron econométri cos . Uno estaba
concebido para medi r los eftlctos que, en el mercado local de la
vi vienda de un área urbana, tendr ía un programa de asignacio­
nes en gran escala . El ot ro se concentraba en la forma en q ue
uti li zaran la ayuda los benefi ciarios .
El tercer estudio , conocido como Experimento de Agenci a
Administrati va (AAE) trataba de identifi car los problemas de
gestión relacionados con el sistema de ayuda económica di rec­
ta . Ocho organismos públicos , localizados en diferentes regi o­
nes del pa ís, hab ían de concebi r y poner en marcha sus propias
ve rsiones de un programa de asignaciones para la vi vienda. En
función del volumen de la población correspondiente, cada
Sobre la reconcil iación de l os análisis cualitativos y cuantitativos 1 07

proyecto local fue autorizado para atender hasta 900 familias


durante dos años. El H U D seleccionó a Abt Associates /ne.,
una empresa investigadora de Cambridge , para realizar y eva­
luar el experimento. Su tarea consist ía en determinar qué pro­
yectos funcionaron mejor tanto referidos a los costes como a
los efectos de las diferentes estrategias , y las experiencias del
personal de los organismos públicos y de los participantes en el
programa .

D I S E !\1O D E LA I N VESTIGACION

El AAE era un experimento naturalista; no empleó grupos


de control o tratamiento. Sin embargo se organizó una planifi ­
cación del proyecto, una información y una recogida de datos
en torno a una serie de doce "funcion es". Estas eran construc­
tos anal íticos. Cada una de ellas describ ía una actividad que
deb ía realizar un organismo. Se estimularon las variaciones si
bien dentro de ciertos I ímites.
Las funciones anal íticas, que cobraron realidad por la prácti­
ca del programa, defin ían lo que se esperaba de todos los im­
plicados. Algunas de las funciones como "Revisión de Cuentas
y Control" correspond ían a responsabiiidades puramente
administrativas. Otras , como "Inspección " pod ían implicar
directamente a los participantes. Por ejemplo, aunque el H U D
hab ía exigido que se realizaran inspecciones en todas las unida­
des del programa, los planificadores locales resolver ían quiénes
efectuar ían tales inspecciones. Por eso la variación en esta sola
función abarcó, desde el empleo de los polic ías locales, hasta la
utilización de consejeros en cuestiones de vivienda del organis­
mo, para permitir que los propios participantes determinaran si
las viviendas poseían los niveles m ínimos.
Los diseños propuestos del programa fueron sometidos al
H U D , criticados y revisados. Las neyociaciones concluyeron
con la firma de los contratos de asignación. Después, las agen­
cias contratantes, como fueron denominadas, hab ían de crear
unas agencias administrativas separadas para la realización del
programa. Abt Assoclates observar ían, instruir ían y evaluar ían
a estas últimas entidades.
La información recogida por la evaluación constaba de datos
tanto cuantitativos como cualitativos. Se empleó una serie co­
mún de 6 impresos para registrar el progreso de las familias
1 08 Métodos cualitativos y cuantitativos en investigación evaluativa

participantes. Los empleados , en términos cotidianos, asigna­


ban su tiempo a las funciones apropiadas. Los contables m an­
ten (an de la misma forma un registro de los gastos. Esta y
otras informaciones eran remitidas a Abt Associates en donde
se pasaban a tarjetas perforadas y a discos de ordenador.
Equipos de investigadores interrogaban a unas muestras de
participantes a intervalos apropiados. Antes y después de su in­
corporación al programa, Abt Associates evaluaba la vivienda
que ocupaban en ese momento para determinar si quienes ha­
b ían recibido las asignaciones se trasladaban a residencias me­
jores. Con el tiempo los datos cuantitativos l legar ían a com­
prender más de 55 mil lones de caracteres.
Durante e l primer año del experi mento se asignó un· observa­
dor a cada emplazamiento. Las agencias administrativas pro­
porcionaron a esos observadores un espacio en sus sedes y les
permitieron examinar diariamente las operaciones del progra­
ma. La mayor ía de los observadores eran antropólogos. Su
tarea consist ía en proporcionar los datos cualitativos para el
estudio. Una vez concluidos, las notas y los registros de campo,
los remit ían por correo a Cambridge a intervalos regulares; con
el tiempo l legar ían a sumar más de 25.000 páginas.
E l H U D y Abt Associates concibieron tres tipos de infor­
mes. E l primero consist ía en un análisis comparativo en fun­
ción de la situación en el emplazamiento. Los informes de este
tipo estaban basados pri ncipalmente en el análisis cuantitativo
y hab ían de evaluar los resultados del- programa. Como segun­
do género del producto se proyectaron 8 estudios de casos so­
bre 8 emplazamientos. Se concibieron como documentos na­
rrativos, de base cualitativa que enriquecer ían los informes de
función, proporcionando una imagen orgánica del tratamiento
del programa _ en l as agencias administrativas. Un informe final
clasificar ía los descubrimientos de todos l os análisis y los con­
vertir ía en recomendaciones pol íticas para un programa nacio­
nal de asignaciones con destino a la vivienda.

EL CASO

Cada emplazamiento del AAE y su programa planificado era


singular en cierto aspecto. E l emplazamiento B resultaba inte­
resante por muchas razones. En primer lugar, la agencia contra­
tante se hallaba situada a 1 30 kilómetros del núcleo del área
Sobre la reconciliación de los anális is cual i tativos y cuantitat ivos 1 09

del programa. Esto indicaba que era probable que la agencia


adm i nistrativa operara con bastante independencia.
E n segundo lugar, la jurisdicción del programa consist ía en
tres áreas no contiguas . Dos eran condados rurales y la otra
una ciudad de tamaño mediano . Para atender mejor a los parti ­
cipantes previstos se establecieron tres oficinas y la urbana fue
designada como sede . La existencia de las ofi cinas sucursales
suscitaba la posibilidad de problemas de cooordinación .
En tercer lugar, la agencia contratante nunca hab ía sido res­
ponsable de un programa de carácter rural. Algunos de los in ­
vestigadores de Cambridge se preguntaban si la transición resul­
tar ía dif ícil aunque la agencia contratante dio muestras de
energ ía y deseos de t ri unfar.
En cuarto lugar, la filosof ía del plan redactado reflejaba un a
mezcla de independencia de los pa rticipantes y de control de la
agencia. Se brindaban pocos servicios de asistencia . Tras una
breve explicación respecto al modo de buscar una vivienda , ca­
da familia afiliada deb ía responsabilizarse de hallar el tipo de
residencia que quer ía. Entonces -al menos en la ciudad- se
realizar ía una inspección siguiendo una rigurosa lista de com­
probaciones . Ei plan redactado preveía que un 20 % de las
viviendas no reunir ía los requisitos exigidos.
El programa del emplazamiento B fue concebido atendiendo
a su eficacia . Se fijaron objetivos de rendimiento y la agencia
contratante exigió a la oficina central que observara cuidadosa ­
mente el progreso del programa . No deseaba que éste se desvi a ­
ra del curso fi jado. Se hizo hincapié e n la gestión económica .
L a agencia contratante pretendía que e l suyo fuese e l mejor
programa de demostración del AAE . En palabras de un funcio­
nario del H U D, los planificadores pretend ían llevar a cabo un
programa "estricto y eficaz".

OBSE R VA C I O N ES D E CA MPO Y E XP L I CACI O N E S

Desde el punto de vista del observador local el programa


social que funcionara normalmente y que concibieron los pla­
nificadores jamás se materiali zó. Las de moras en la fi rma del
contrato del H U D determinaron que las oficinas locales se abrie­
ran con un mes de retraso. Sin embargo se exigió que se atuvie ­
ran al calendario anteriormente fijado. Las solicitudes sólo po­
d ían ser admitidas en los 8 primeros meses de l programa , que
1 10 Métodos cual itativos y cuantitativos en i nvestigación evaluat iva

as í se convi rtieron en siete . El emplazamiento B ten ía que es­


forzarse por compensar la demora si quer ía cumplir con las
previsiones del programa y con los objetivos de participación .
La reacción inicial al programa fue lenta. Como la preocupa­
ción principal de la agencia contratante era atender a la totali­
dad de 900 familias , dispuso que se realizaran esfuerzos para
que fuesen más los solicitantes . Sin embargo transcurrieron 3 6
4 meses antes de que las familias acudieran al programa en nú­
mero considerable .
Las primeras observaciones de la agencia contratante revela­
ron que la tarea iba más retrasada en la parte urbana del área
del programa . Valoraron fundamentalmente el "avance" por el
número de familias que recib ían asignaciones económicas en
cualquier momento dado. Las regulaciones permit ían a una fa­
milia recibir asignaciones sólo si hab ía cumplido con determi­
nados requisitos en los 90 d ías siguientes a su afiliación . Dentro
de este período , la familia ten ía q ue localizar una residencia
aceptable -pod ía ser aquélla en la que ya estaba viviendo- y
disponerla para una inspección. Sólo comenzaban los pagos si
la vi vienda cumpl ía las normas m ínimas y 'Si el propietario
aceptaba firmar un contrato de arrendamiento por un año.
En el área rural, la mayor ía de los afiliados parec ían estar
cumpliendo con bastante facilidad las exigencias del programa.
En contraste , los de la ciudad estaban abandonándolo en una
proporción ele vada, sin llegar siquiera a calificarse para la ob­
tención de la asignación. El programa experimental se hallaba
ya retrasado con respecto a las previsiones y la agencia contra­
tante decidió buscar una nueva solución .
La solución por la que optaron consistió en incrementar e l
número de afiliaciones tan rápidamente como fuese posible
con objeto de compensar los abandonos. 1 mpusieron cuotas
diarias de tratamiento a cada agente. Con el fin de cumplirlas
los conseje ros empezaron a seleccionar a los solicitantes en gru
pos en vez de proceder individualmente . Los gestores de lé
agencia contratante visitaban frecuentemente la agencia admi
nistrativa para asegurarse de que estaban lle vándose a la prácti
ca sus deseos de incrementar la actividad .
Los consejeros de vi viendas se quejaban de que se hab íar
convertido en simples burócratas y de q ue las afiliaciones er
grupo n o les permit ían establecer relaciones profesionales cor
sus clientes . Sin embargo, los consejeros también e liminare,
todo rastro de servi cios de asesoramiento o asistencia. Hast
Sobre la reconciliación de los anál isis cualitativos y cuantitativos 111

" EM P LAZA­ A R EA D E O P E RAC I ON E S D E L P R O G RAMA


M I E NT0 8 "

O 6 10 26
Sede de la Agencia 1 1 1 1
contratante Escala en m i l las
\ 7 0 m i l las
f: , ,)Vhl A R E A D E L P R OG R A M A
Oficina d e la Agencia Administrativa
O Oficina pri ncipal , u rbana
e Sucursales rurales

Figura 1: Emplazamiento B. Area de operaciones del programa .

entonces los afiliados habían de asistir a una reunión en donde


se debat ía la manera de hallar una buena vivienda. Después se
les informaba tan sólo de los requisitos técnicos que hab ían de
cumplir para recibir una asignación .
E l personal de la agencia administrativa empezó a lamentar­
se de exceso de trabajo . El consejeío de la vi vienda encargado
de las inspecciones en el á rea urbana estimó que se le estaba
acuciando a dar el visto bueno a viviendas marg; ilales con obje­
to de que el programa pudiera cumplir con su objetivo de
alcanzar a 900 beneficiarios . E: plan exigía que de éstos , 650
procedieran del casco urbano, en donde eran peores las condi ­
ciones de las viviendas . Por añadidura, cuando las masas de ad­
mitidos empezaron a encontrar residencia, las inspecciones
procedieron en grupos . El consejero de la vi vienda a cargo de
las inspecciones estimó que esta circunstancia podr ía haberse
11 2 Métodos cualitativos v cuantitativos en investigación evaluativa

evitado si las admisiones en el programa se hubieran realizado a


un ritmo controlado.
El personal de la oficina principal estaba seguro de que los
beneficiarios hab ían dado con residencias detestables. Al fin y
al cabo la mayor ía de aquellas personas económicamente débi ­
les hab ían vivido durante toda su vida en casas ruinosas . Ni si­
quiera sabr ían qué buscar a la hora de optar por una nueva vi ­
vienda .
Surgieron conflictos persona les entre quienes trabajaban en
la oficina principal de la agencia administrativa . Consideraban
que ten ían que competir entre s í para cumplir con sus cuotas y
mantener sus empleos. En privado , algunos de los consejeros
reconocieron que se hab ían vuelto negligentes en la comproba­
ción de los ingresos de los solicitantes . A muchos les preocupa­
ba que después se descubrieran fraudes entre los participantes .
En buena parte, la hostilidad se orientaba hacia el exterior,
hacia el persona l de la agencia contratante que hab ía impuesto
las cuotas de tratamiento y hacia el director del programa que
exig ía tales medidas . Los consejeros de la vivienda se quejaban
de que la forma de proceder que estaban adoptando era inhu­
mana y advi rtieron que muchos de los solicitantes necesitados
no recib ían asignaciones simplemente porque no eran capaces
de hallar casa . Uno de los planificadores del programa replicó :
"En este programa no se toleran sensibler ías ".
La atmósfera de las oficinas rurales era completamente dis­
tinta . Aunque el personal trabajaba mucho, nadie se quejaba
de la tarea que Je hab ía sido asignada . El personal rural hab ía
encontrado incluso tiempo para realizar visitas a domicilio e
inspeccionar todas las residencias conseguidas por los benefi ­
ciarios . No se les exig ía en el plan pero sencillamente quer ían
asegurarse de que todo iba bien. Y as í era. El personal de la
oficina principal y el observador envidiaban las relaciones cor­
diales que exist ían entre los empleados de las sucursales . Por lo
general se a tribuyeron a la ausencia de intromisión de la agen­
cia contratante y a la distancia geográfica y emocional entre el
personal rural y el conflicto de la oficina central. Si a lguna
queja llegaba del persona l de las zonas exteriores del programa
era la de que se sent ía aislado.
Las notas de campo y los registros del observador del empla­
zamiento B dieron cuenta del conflicto que estaba desarrollán­
dose entre la agencia contratante y la oficina principal del em ­
plazamiento. Los analistas del personal de Abt Associates los
Sobre la reconciliación de los análisis cualitativos y cuantitativos 1 13

leyeron con avidez. Siempre que los ocho observadores eran re­
queridos en Cambridge para informar, se debatía durante largo
tiempo el caso del emplazamiento B .
El personal analista de Cambridge no se mostraba de modo
unánime acerca de la importancia del conflicto . Algunos afir­
maban que correspond ía a la idiosincrasia del lugar y que por
eso ten ia escasa relevancia poi ítica . Otros consideraban que la
fricción pod ía responder a causas estructurales. Se aludió a la
posibilidad de dificultades en la gestión a larga distancia . El
observador estimaba que la falta de armon ía era un caso de
gestión incompetente a la que se un ía la existencia de fuertes
personalidades en ambas agencias .
Sólo uno de los analistas superiores se mostró susplcaz ante
las explicaciones del observador. Consideró que las operaciones
en el emplazamiento B parec ían "caóticas " y ello le confund ía .
Se ñaló que el programa llevaba trazas de atender a las 900 fa­
milias , aunque fuese deficientemente, y que esa misma tarea
deb ía exigir una cierta capacidad y una determinada coordi­
nación.
Las demoras en la clasificación y cribado de datos brutos
impidieron que se arrojara nueva luz sobre la calidad de las vi­
viendas que obten ían los beneficiarios , sobre la demograf ía de
los que abandonaban el programa o sobre el coste de realiza­
ción de éste . El observador fue enviado de nuevo al emplaza­
miento con instrucciones de averiguar más acerca de la discor­
dia . Y as í lo hizo, próximo ya a concluir el plazo de solicitud .
Informó que los conflictos pe rsonales en el emplazamiento
hab ían adquirido entonces matices raciales .
Como en la mayor ía de los programas de asistencia pública,
las minor ías hab ían acudido masivamente al proyecto de asigna­
ciones en el emplazamiento B . La agencia contratante preten­
d ía realizar un proyecto demográfica mente equilibrado que
atendiera a diferentes tipos de familias , conforme a su repre­
sentación en la población elegible. El H U D hab ía exigido que
cada agencia realizara una estimación de la población de las
minor ías en el área del programa para asegurarse de que éstas
no estuvieran mínimamente representadas en el experimento .
La agencia contratante consideraba que la conservación de es­
tos perfiles demográficos servir ía como medida de la eficacia
de sus esfuerzos . Por eso se dio orden de reducir el ingreso de
familias negras que ya estaban muy representadas entre los ad­
mitidos .
1 14 Métodos cualitativos y cuantitativos en investigación evaluativa

El pe rsonal de color y cierto n úmero de consejeros de vi ­


viendas , blan cos de ideolog ía liberal, se sintieron agraviados .
Consideraban que el programa deber ía funcionar sobre la base
de atender al que primero llegara . Además de:ieaban prestar
más asistencia a los afiliados -en especial a los negros- de
quienes sab (an que estaban tropezando con serias di ficultades
en su búsqueda de alojamientos . Los empleados , i rritados , afir­
maron que si sólo se beneficiaran del programa unas 500 fam i ­
lias , l a atención adicional de carácter más pe rsonalizado que se
prestar ía a éstas aseguraría que todos los afiliados al programa
consiguiesen una vi vienda decente . De esta forma el programa
podr ía ser calificado de "éxito" aunque no se h ubiera alcanza­
do toda la participación prevista.
La agencia contratante se mantuvo en sus trece e i nsistió en
la primac ía de los objetivos n uméricos y demográficos . Sus rec­
tores pidieron a la oficina urbana que siguiera admitiendo a
más familias blancas y que proéediera con mayor rapidez.
Finalmente , 900 familias recibieron asignaciones . Pero los
decepcionados consejeros de viviendas estimaron tanto que el
programa era de facto racista como que se les hab ía dado una
tarea superior a sus posibilidades habiendo tenido que abordar
el programa como si estuvieran trabajando en una cadena de
montaje . Muchos de estos empleados dimitieron concluido el
per íodo de afiliación , bastante antes de que concluyeran sus
contratos laborales.

R E DACC I O N

Lo expuesto corresponde al punto de vi sta del observador


del emplazamiento B y al de muchos de los empleados de la
oficina urbana. Constituyó la base de un extracto de 35 pági­
nas. Redactado como prólogo al auténtico estudio de casos, su
finalidad era la de proporcionar una visión panorámica de l em­
plazamiento, captar lo esencial de la agencia admi nistrativa
local . Como director de los estudios de casos -y anteriormente
observador en otro emplazamiento- solicité de cada observa­
dor que redactara este trabajo con objeto de aclarar sus ideas .
Los trabajos quedaron concluidos 6 meses después de que los
observadores hubiesen abandonado los emplazam ientos .
Quienes revisaron el extracto del emplazam iento B se mos­
traron un tanto decepci onados del hecho de que el trabajo hu-
So bre la reconc i l iación de l os aná l isi s cua l i tativos y cuant itat ivos 115

biese utilizado los conflictos personales y la incompetencia de


la gestión para explicar lo sucedido en el lugar. Aunque fuese
interesante, el trabajo constituía simplemente una crónica de
las disensiones entre el personal y preveía que, de ser juzgado
por criterios distintos al de alcanzar el tope de asistt3ncia de las
900 familias, el programa del emplazamiento B constituir ía un
fracaso. Un primer análisis de la mejor ía en la calidad de las
viviendas de los beneficiarios parec ía corroborar esta afirmación .
Se sugirió al observador que iniciara su estudio de casos y
que tratara de abarcar más ampliamente los procedí mientos de
la agencia . La insistencia en las disensiones pe rsonales hab ía
enturbiado la explicación sobre el modo real de funcionamiento
del programa función por función. Los analistas de Cambridge
consideraron que la información sobre el rendimiento de las
funciones contribuir ía de manera óptima al trazado de un pro­
grama nacional de viviendas. Para quienes hab ían de elaborar la
poi ítica correspondiente, carec ía de relevancia el hecho de que
el conflicto entre los empleados fuese de carácter personal o
idiosincrásico. También se encargó al observador que volviera a
redactar el extracto, puesto que servir ía como informe oficioso
al H U D acerca de la investigación en marcha. Finalmente , aun ­
que el personal de Cambridge reconoció que los miembros de
la agencia contratante habían permanecido mudos e inaccesi­
bles� sugirió encarecidamente al observador que tratara de en ­
tender s u punto de vista orientado hacia el rendimiento y que ,
de alguna manera, lo tuviese en cuenta.

E XPL I CACI ONES O PUESTAS

Transcurrieron 5 meses más hasta que quedaron completa­


dos el estudio de casos y el extracto sobre el emplazamiento B .
F ueron presentados , revisados y rechazados . Esta ·ve z el proble­
ma era más grave. Los datos cuantitativos habían sido depura­
dos y "congelados ". Basándose en nuevas operaciones del
ordenador, las mediciones de los resultados paree ían mostrar
ahora que el rendimiento del emplazamiento B había sido muy
bueno en comparación con los demás emplazamientos . Una re­
visión de los cálculos de la demograf ía del emplazamiento reve ­
ló que las minor ías se hallaban adecuadamente representadas
en la población benefi ciada. Además, pese a todos los informes
sobre rencillas entre el personal , no pudo apreciarse ningún
116 Métodos cualitativos v cuantitativos en investigación evaluativa

efecto sobre los benefi ciari os . La i magen de l programa de l e m ­


plazamiento B, que estaba formándose e n las mentes d e los ana­
l i stas profesiona les, era la de un programa socia l bien l levado
q ue hab ía cubierto l os objet i vos propuestos . Sól o q uedaba en
duda el mejoram iento en la calidad de las v iviendas. " ¿ Y s i fue­
ra éste n uestro mejor emp lazamiento? " preguntó a lg ui e n .
E l n ue vo extracto ya no se con centraba e n las disension es
person aies , s i no q ue descri b ía e l e xceso de trabajo de l os e m ­
p leados y la pesada i ntromisión d e u n a agenci a contratante que
q ue r ía tri unfar a cua lquier preci o . Pero , basán dose en los resu l ­
tados d e l aná l i sis cuan titati vo , no cab ía rechazar como i ncom ­
petentes o i napropiadas las acci ones d e l os gestores de la agen ­
ci a cont ratante a un q ue si rvi e ran a sus propi os i ntereses . H ab ían
logrado resu ltados . E n el peor de los casos cab ía i m p utar a l os
gestores s u aspe re za y su i nsensibi l i dad pe ro n i una n i ot ra
consti tu ían un de l ito .
E l problema del extracto era ahora doble. En pri me r l ugar, e l
documento aún conten ía referenci as a las di scordi as , n i ng un a
de las cuales -e n a usencia de efecto alguno sobre e l p rogram a-­
pose ía una re levan cia po l íti ca . E n segundo l ugar , e l aná l i si s
cuan t i tati vo dec ía a lgo muy di fe rente d e l o q ue señalaba e l e x­
tracto . Como los datos cuanti tati vos hab ían sido obte n i dos
bajo las con diciones prescri tas y se ha l la ron s ujetos a "est ím u ­
los " u ope raci ones uniformes, se consideraba fi ab le e l an á l i si s
basado e n tales da tos . Los ana l i stas de Cambri dge esti maron
q ue n o era fáci l comprobar la fi abi li dad de los datos cua litati ­
vos . No e ran e xp l ícitos l os modos en los q ue los agentes de
campo hab ía n extra ído su s i nferencias y sus normas de deci­
sión pa rec ían i ndi vi d uali stas y ocu ltas . E ntonces, fre nte a las
exp l i caciones e n confl i cto , comenzó a ponerse en te la de j ui ci o
la credi bi l i dad de l obse rvador de l emplazamie nto B .
U n creciente n ú mero de emp leados de Cambri dge esti maban
q ue el o bservador no era i mparci a l . Se cre ía q ue se hab ía deja ­
do a rrastrar por las pol íti cas de la ofi ci na y q ue hab ía pe rdi do
su objeti vi dad cie nt ífi ca . Su l i ge ra aparienci a reform i sta le tor­
n aba aún más sospechoso y los d i recti vos lamentaron haberle
otorgado l a l i be rtad q ue le hab ía sido con feri da . Los an a l i stas
estaban seguros de q ue hab ía ten i do l ugar e l equiva lente cua l i ­
tati vo de un "sesgo de med i ción " . E l obse rvador e ra un "i ns­
tru mento " q ue estaba m i diendo lo q ue n o debie ra , un conflic­
to e n e l seno de l pe rsona l . Yo tuve acceso a las n otas de cam po
y mostré mi disconform idad . Esti mé q ue el problema e ra e l
Sobre la reconciliación de los análisis cualitativos y cuantitativos 1 17

"error de medición"; el observador no había explorado con


profundidad sufi ciente.1 Por eso acced í a ayudarle a escri bi r
de nuevo el extracto.
El observador y yo hicimos lo que hacen la mayor ía de los
investigadores cuando se enfrentan con pruebas crecientes . d e
que sus tan queridas interpretaciones son falsas : capitulamos y
tratamos de recobrar tantos jirones de la explicación original
como nos fuera posible. Se redactaron tres borradores . El pri ­
mero soslayó la cuesti ón de confli cto y trató de concentrarse
en una descripción del contexto local y la forma en que se rea­
li zaban las funciones en el emplazamiento 8 . Esta ve rsión fue
rechazada con una observación imprecisa : "l qué queremos ha ­
cer? l Lograr un informe o 'hacer un viaje '?". Otro intento dio
lugar a un texto que decía que los planifi cadores del programa
se hallaban mentalmente determinados "por las cifras ". Pero
perdimos los hilos de la trama cuando nos enfrentamos con un
análisis cada vez más riguroso que no mostraba efectos nocivos
por esa banda. El análisis riguroso se impon ía al borroso . Lo
segui mos, tratando de mantenemos al tanto de los nuevos ha­
llazgos .
La quinta y última versión describía la forma en que la agen­
cia contratante había destacado leg ítimamente los aspectos de
mantenimiento de los ingresos del sistema de ayuda directa en
metálico a expensas de un mejoramiento en la calidad de las vi­
viendas de los benefi ciarios . La falta de armon ía en el emplaza­
miento B se explicaba como resultado de dos di ferentes opi­
niones sobre lo que deber ía realizar el prógrama . La concepción
sostenida por la agencia contratante se interesaba por los fines
programáticos , dt! resultados . La otra, sostenida por el perso­
nal de la agencia administrati va, era más humana y se interesa­
ba por las condiciones de vida de los participantes . Desgraciada­
mente, y cuando hab íamos concluido esta versión del extracto,
nue vos análisis cuantitativos re velaron que los beneficiarios del
emplazamiento B disfrutaban de un mejoramiento en la cali­
dad de sus viviendas que ocupaba el segundo puesto en el AAE.
Empezaron a toma rse posiciones . El observador del empla­
zamiento B i nsist i ó en que su interpretación era básicamente

1 D o y las y r n c i as a l D r . Robert H E R R I O T T , q u ien me informó s ob re l os tE! rm i ­


nos técn icos correctos (es deci r "error d e m ed i ción " y "sesgo d e med i ci ó n ") para
describi r las d os o p i n i on es d i fe re n tes sob re lo que h ab ía sucedido con 1 05 d atoo ob­
servacionales del em plazam iento B .
118 Métodos cualitativos y cuantitativos en i nvestigación evaluativa

correcta. Sab ía lo que hab ía visto . Los otros antiguos observa­


dores oyeron rumores acerca de las dificultades con el extracto
del emplazamiento B y defendieron a su colega. Uno de ellos
consideró que el problema era poi ítico y opinó que el extracto
original "dice las cosas como son pero Abt Associates tiene
miedo de imprimirlo". Otro afirmó que las medidas de resulta­
dos no dec ían toda la verdad, que las técnicas cuantitativas
eran "basura" y que no cab ía reducir a "simples números" la
conducta humana.2
Para entonces, el observador se hallaba profundamente desa­
creditado a los ojos del personal de Cambridge. Aunque hab ía
restado dureza a sus opiniones acerca de la agencia contratan ­
te, aún se le consideraba parcial y testarudo . E l observador
quedó libre de sus responsabilidades. Si bien todav ía me ayu­
dar ía, yo ser ía el encargado de hacer de lo restante otro ex­
tracJo .
Me consideré en parte responsable del descrédito del obser­
vador y as í lo dije. Los ot ros analistas de Cambridge me asegu­
raron que me sentir ía mejor "una vez que hubieran cambiado
las cosas " .

L A S I N T E S ! S3

Lo curioso , pensé , era que ninguno de los dos bandos duda­


ba seriamente de "los hechos" descubiertos por uno u otro mé ­
todo de indagación. El problema parec ía estri bar en las dife ­
rentes interpretaciones de aquellos hechos , que sólo coi ncid ían
en parte . En realidad los analistas cuantitativos insist ían más
en las medidas de los resultados . Por otro lado, el observador
hab ía permanecido 1 8 meses en el emplazamiento obteniendo
informaciones . El mismo campo social, considerado desde di ­
ferentes perspectivas , parec ía producir unas explicaciones que
muy bien pudieron haber estado basadas en dos realidades di -

2 E n el cam po de la psicolog ia , los profesionales c h n i cos e x presan a menudo opi ­


n i on es sem ejan tes ; s on aq uel l os q ue gustan de prescri b i r terapia ind i vid u a l i zada a ca ­
da paciente . U n est udio rea l i zado por M E E H L ( 1 954i desc ubrió q ue los mét od os es­
tad íst icos eran s u periores a i as i m ui ci ones de l os pro fesi on ales cl ín i cos en l a previsión
de la efi cacia y d e l a adec uació n de l os t ratam ientos as ignados .
3 L a s intesis se refer ia a más puntos q ue l os aq u i p resentados . Por ra zones de
eco nom ía . rne he l i m itado a abord a r los relat ivos a las áreas m ás im portan tes de l as
interpretacio nes en con flicto .
Sobre la reconcil iación da los análisis cual itativos y cuantitativos 119

ferentes. Me recordaba la pe l ícula japonesa "Rashomon ". El


observador y yo denominamos a este embrol lo el "efecto Ra­
shomon ".
Ten (amos que responder a la pregunta de cómo era posible
que un programa pudiera producir resultados tan admirables
en muchos de sus aspectos cuando todos los datos observacio­
nales indicaban que el programa ser ía un fracaso. l Oué hab ía
sucedido y cómo había pasado?
Aunque ambas bases de datos -rigurosos y borrosos - esta­
ban ya terminadas , yo no sabía por dónde empezar. Un enfren­
tamiento con uno de los principé,:lles analistas, que hab ía sido el
más expresivo en sus cr íticas , nie condujo a un descubrimien­
to. Tras el rechazo del último extracto, le pregunté qué le ha­
b ía hecho dudar sobre las interpretaciones del observador y al
margen de las medidas de la calidad de las viviendas . Me dijo
que desconfiaba ante las protestas formuladas por exceso de
trabajo : "no hicieron trabajar a nadie horas extraordinarias ni
solicitaron una ayuda adicional. Se limitaron a quejarse ". Y
después añadió : "creo que ese 'exceso de trabajo' es una corti ­
na de humo. Parecen alienados ".
Me brindé a comprobar si el volumen de trabajo en el empla­
zamiento B era extraordinariamente elevado. La base de datos
rigurosos nos permitir ía registrar la afluencia mensual de parti ­
cipantes. Podr íamos calcular entonces cuál ten ía que ser e l tra­
tamiento de las operaciones por parte del personal. Lo mismo
podr ía hacerse en todos los demás emplazamientos y cabr ía as í
efectuar comparaciones.
Mencioné varias otras áreas en donde diverg ían las explica­
ciones cualitativas y las cuantitativas. Sospechaba muy especial­
mente de la afirmación según la cual la inspección en el emplaza­
miento B era un modelo de precisión . Las notas de campo del
observador hab ían descrito la forma descuidada en que hab ían
sido seleccionados los aspirantes a beneficiarios y la obsesión de
la agencia por el número de participantes , que bordeaba el mis­
ticismo. Sin embargo, las medidas de los resultados parec ían
indicar que en el emplazamiento la inspección hab ía sido clara,
precisa y racional . Me pregunté si no ser ía posible que un pro­
grama alcanzara el "éxito " y quise comprobar esa idea.
Durante seis semanas el observador y yo trabajamos juntos
en un nuevo análisis. Tardamos otro mes en redactar los resul ­
tados. Medio en broma, formulamos cuatro normas ostentosas
que orientaran nuestra indagación :
1 20 Métodos cualitativos y cuantitativos en investigación evaluativa

1 ) No cabe ignorar hecho a lguno en beneficio de una explicación más


n ítida .
2) Todas las hipótesis han de ser expresadas en una forma refutable .
3) E n la medida de lo posible . especificaremos previamente l as condi ­
ciones bajo l as que abandonaremos una opi nión .
4 ) La$ hipótesis falsas h an de ser reemplazadas por otras explicaciones
alternativas que a su vez serán comprobadas .

El trabajo del personal de comprobación exigió mucho tiem­


po pero no fue oneroso . Con la ayuda de un ordenador, fuimos
capaces de reproducir en el papel el flujo de solicitantes, de ad­
mitidos y de beneficiarios en todos los emplazamientos . Los
niveles del emplazamiento B eran un tanto más altos aunque
sólo durante un mes o dos . Sin embargo las caracter ísticas de
producción en masa que reveló e l emplazamiento B indicaban
que cada caso a:I í tratado exigió probablemente mucho menos
tiempo que en cualquier otra agencia del AAE . Por añadidura,
las quejas acerca de "exceso de trabajo" se iniciaron muy pron­
to en la oficina principal, mucho antes de que hubiese que
atender a la gran masa de los admitidos .
Como el carácter de las ofi cinas rurales hab ía parecido tan
diferente al observador, sepaiamos el emplazamiento B en tres
componentes . Las cosas empezaron a parecer más interesantes .
Averiguamos que , sobre la base individual, una de las oficinas
rurales de ; emplazamiento hab ía atendido casi a tantas familias
como la oficina principal . Sin embargo, los empleados de la
oficina rural no se hab ían quejado de tener que trabajar dema­
siado e incluso hab ían ampliado sus tareas, prestando cada vez
más atención a cada familia en su parte del programa .
La "alienación" empezó a parecer más atrayente como ex­
plicación del descontento en la oficina principal . La mayor ía
de los empleados en las operaciones ten ían antecedentes en el
servi cio social : quer ían ayudar a las personas necesitadas . Con
pocas explicaciones, la agencia contratante les hab ía instado a
introducir cada vez más gente en el programa . No se recomen­
daba a los consejeros de viviendas que proporcionaran servi ­
cios, ta rea para la que se imaginaban que hab ían sido contrata­
dos . Los empleados de las áreas rurales no hab ían sufri do tales
apremios . AI I í se alcanzaban las previsiones del programa y la
agencia contratante no consideraba necesario entrometerse .
Examinamos aún más la alienación del personal. Como la re­
cepción de la totalidad de las subvenciones del H U D depend ía
Sobre la reconcil iación de los anál isis cual itativos y cuant itativos 121

de contar con 900 familias como beneficiarias , la insistencia


del personal en que el programa funcionar ía i gualmente tan
bien aunque sólo atendiera a 500 familias indicaba una falta de
comprensión de los aspectos fi scales del experimento . Las no­
tas y los regi stros de campo confirmaban esta re i vindicación y
el observador estaba seguro de que la agencia contratante ja­
más hab ía explicado la necesidad de equilibrar un presupuesto
y la forma de hacerlo . En realidad ni siquiera él m ismo ;o
hab ía entendido claramente . As í en la oficina principal -que
empezó a funcionar con retraso- se exi g ía a los consejeros de
viviendas que admi tieran a muchas personas con objeto de lo­
grar, al final del per íodo de admisión , los 900 beneficiari os sin
saber por qut! resultaba tan i mportante la participaci ón plena.
Se exam i naron los procedimientos de inspección del empla­
zamiento . Sab íamos ql.11! era posible que un programa local se
quedara sin fondos si el promedio de la asignación por vi vienda
se elevaba por encima de los ni veles proyectados porque por
cada familia beneficiari a, de acuerdo solamente con su volu­
men, se justificaba el pago a la agencia de una cierta cantidad de
dinero . Los fondos para abonar los salari os del pe rsonal y los
gastos de la oficina proced ían de esta "hucha". Sin embargo la
asignaci ón por vi vienda se establec ía conforme a una fórmula
matemática en cuyos términos se inclu ía tanto el volumen de
la fam i l i a como sus i ngresos .4 Por eso aunque una agencia hu­
biese logrado una participación plena, todavía pod ía quedarse
sin fondos. La forma más fácil de que una agencia fuese a la quie­
bra consistía en atender sólo a familias de ingresos muy bajos. Si
esto suced ía, todo el d inero se destinar ía al abono de las subven­
ciones y no quedar ía nada para los gastos administrativos.
En el área urbana, en donde vi vían la mayor parte de los be­
neficiarios , la agencia no hab ía consegui do mantener las asigna­
ciones para vi vienda dentro de I imites tolerables. Esto sucedi ó
en parte porque muchos de los benefici arios eran miembros de
grupos minoritarios cuyo volumen familiar e ingresos les ha-

4 La fó rm u l a de as i gn aci ón era :
H AP = C * - 0 ,25 Y ag
en donde
=
H A P as ignación mensual para vi vi e nd a .
C* = esti mación d e l promed io d e renta bruta d e u n a residenci a modesta para
un a fam i l i a de un determ inado vo l umen .
Ya g = i ngresos tot a les mensua les de la fam i li a , menos ci ertas d ed u cc i ones .
1 22 Métodos cualitativos y cuantitativos en investigación evaluativa

c ían acreedores a recibir considerables asignaciones. La deci­


sión de suspender los ingresos de negros, unido al e levado por­
centaje de negros que abandonaron en la etapa de admisión por­
que no pudieron hal lar viviendas, impidió que empeorara la si­
tuación económica de la oficina principal. Pero esta decisión de
interrumpir la admisión de las minor ías obedeció a una razón
improcedente, la de lograr que e l programa fuese "racialmente
equilibrado " .
En contraste , los admitidos e n las áreas rurales eran blancos .
Nada menos que e l 80% de el los al.:anzaron la categor ía de be­
neficiarios en comparación con e l 5 1 % de los negros urbanos.
Las familias blancas eran de volumen más reducido , ten ían
ingresos más e levados y obtuvieron as í asignaciones inferiores
al promedio. La inclusión de estas familias tuvo e l efecto de re ­
ducir e l promedio de asigndción abonada y consiguientemente
quedaron más fondos disponibles para fines administrativos. Al
tratar al emplazamiento B en su conjunto , los analistas cuanti ­
tativos hab ían pasado por alto casi todo lo que luego llegamos
a descubrir nosotros.s
También averiguamos que los ficheros de la oficina principal
no hab ían sido atendidos cuidadosamente . Se limitaban a
excluir de l programa a las familias que hab ían superado e l pe­
r íodo de 90 d ías para la búsqueda de una vivienda. Esto deter­
minó que ni la agencia contratante ni la administrativa pudieran
sabe r, en un momento dado , cuántas personas estaban buscando
vivienda o qué tal se desenvolvfan . Cuando no se cumpl ían en su
momento las previsiones sobre asignaciones , la agencia contra­
tante ordenaba a la oficina principal que admitiera a más fami­
lias con mayor rapidez. Las sele�ciones fueron de hecho reali ­
zadas mediante e l atento examen de una lista de solicitantes,
pern la información sobre los ingresos y e l volumen de la familia
que guió este proceso no había sido comprobada y, a menudo,
res_u ltó inexacta.
Estamos ahora seguros de que la aparente eficiencia de las

5 Carezco de e x p l i caci ón sólid a respecto a la razón de Q ue el emplazam ie nto B


fuera con siderado en conj unto en los anali sis cuan t i tati vos . U n a e xp l i cació n p l a us i ­
b le es q ue l a mayoría de l o s demás emplazam ie n tos contaban c o n áreas de p rograma
homogE! neo q ue . por lo genera l , s ó l o conten (an una ciudad . Los i nvest igad ores q ui zá
no pensaron en examinar separadamente cada subárea del em plazam iento B . Otra
explicación p lausib le es Q ue en gran pana d e l trabajo anal ít i co s ó l o se empleó en ca­
da em plazam iento un a m uestra de los parti c i pan tes . Al d i vi d i r el em p lazam iento e n
t re s partes es posible Q ue la m uest ra n o alcan zara n i veles aceptab les .
Sobre la reconcil iación da l os análisis cual itativos y cuantitativos 123

operaciones del emplazamiento B era en parte ilusoria. De na­


da vale señalar los resultados ejemplares de i esfuerzo local . Pe ­
ro el mercado de la vivienda actuó en favor de la agencia, al
menos en lo que se refiere al presupuesto. En un ambiente
diferente , las mismas técnicas de inspección y control del pro­
grama podr ían haber resultado desastrosas . Aun as í la tasa dt!
abandon os entre los admitidos negros del área urbana fue la se­
gunda más alta del AA E .
I rónicamente , l a alienación del pe rsonal de la oficina princi­
pal , engendrada por la escasez de comunicaciones con la agen ­
cia contratante , contribuyó a reducir aún más los costes . Como
los de!tanimados empleados abandonaron sus puestos antes de
la expiración de los contratos, el dinero destinado al pago de
esos salarios pudo destinarse a abonar otros costes .
Tras examinar más a fondo la estrategia de admisión de la
agencia contratante comprendimos que los "bajos costes unita­
rios " contaban una wrdad a medias a los analistas de Cambrid­
ge . Algunas de las medidas de eficiencia se hallaban basadas en
el coste por inscripción . La agencia contratante hab ía admitido
deliberadamen te a cuantas familias pudo . Las mediciones igno­
raban y no podían cuantificar el despil farro que ten ía lugar
cuando una familia abandonaba e l programa porque no era
capaz de hallar una vi vienda en el plazo de 90 d ías .6 Además
los métodos de producción en masa que empleaba la agencia
significaban que un personal relativamente reducido pod ía
atender a mayor n úmero de familias, creando as í la ilusión de
"eficiencia". Ahora estimamos que los andlistas de Cambridge
abordaron la evaluación con sus propios sesgos .
En un cierto punto de n uestro esfuerzo anal ítico llegamos a
una etapa de "despegue". Ni el observador ni yo nos sent íamos
ya limitados por cualquiera de las anteriores interpretaciones
opuestas acerca de lo sucedido en el emplazamiento B . Aunque
todav ía nos refer íamos ocasionalmente a n uestro anterior tra­
bajo, nuestras hipótesis comprobadas parec ían sugeri r la inws­
tigación en otras áreas. Tan sólo nos sent íamos ligeramente
constreñidos por la decisión de que todo lo que tuviéramos
que decir deb ía tener una relevancia poi ítica inmediata y obvia .
Nos sorprend ía el hecho de que la proporción de admitidos

6 Pare un examen detallado de los costes ad m i n istrat i vos en un programa de s ub ­


venciones d e residencia . véase M A L O Y y ot ros ( 1 977i .
124 Métodos cualitativos y cuantitativos en investigación evaluativa

que llegaban al rango de beneficiarios vari aba en las tres sub­


áreas de la jurisdicción del programa , incluso después de haber
controlado la raza. la tasa de éxito para los blancos admitidos
no era la misma en las tres ofi cinas del emplazamiento.
las cifras del Censo � 1 970 revelaban que la proporci ón de
vi viendas vac ías en alquiler era uniformemente baja en toda el
área del programa. Descartamos por eso las condiciones del
mercado como una explicación del hecho de que difiera la tasa
de éxito entre las familias blancas . El condado rural que conta­
ba con el mayor porcentaje de familias deseosas de permanecer
en sus unidades ori ginarias ten ía también la mayor proporción
de admitidos que lograban reuni r los requisitos para ser benefi ­
ci a rios . la ci udad pose ía la prqporci ón más baja en ambos ca­
pítulos. El otro condado rural se situaba entre los dos extrernos.
El descubrimiento era ajeno a la argumentación del extracto
y jamás fue incluido. Sin embargo un análisis posterior confi r­
mó que las personas que pretend ían mudarse y que presumi ­
blemente buscaban una vi vienda figuraban en la categor ía de
"con riesgo" en todos los emplazamientos del AAE en donde
el mercado de la vi vienda resultaba poco propicio . El trabajo
anal ático efectuado para otro informe reveló que los servi cios
asistenciales ayudaron a los blancos admitidos en tales merca­
dos a alcanzar la categor ía de beneficiarios. Más aún, servi cios
de calidad notable contri buyeron a que familias de las mino­
r ías pudieran califi carse para el programa al margen de sus pro­
pós itos de mudarse o de las condiciones del mercado local
(véase W1Lo , 1 977 ) . Retrospecti vamente , estos datos refuerzan
la afi rmación de los consejeros de vi viendas del emplazamiento
B según la cual el otorgamiento de una mayor asistencia perso­
nal a los admitidos podr ía haber reducido el porcentaje de de­
serción y permitido lograr un programa más humano.
Después de que nuestro trabajo hubiera quedado conclui do
en muy amplia medida, descubrimos que no pose íamos infor­
mación suficiente para comprobar de forma adecuada determi ­
nados sectores de desacuerdo entre los análisis cualitati vos y
cuantitati vos. Subsist ía un pequeño residuo de hallazgos inex­
plicados. la elevada calidad de las vi viendas de los benefi cia­
rios del emplazamiento B era un dato que no podíamos refutar
con los datos cualitati vos. Pero aún nos mostrábamos suspica ­
ces ante semejante resultado e insistimos en el asunto. Escribi ­
mos que , fueran cuales fuesen las vi viendas en las que estaban
residiendo los benefici arios del emplazamiento B , hab ían
Sobre la reconci l iac ión de los anál isis cual i tativos y cuant i tat ivos 1 25

encontrado por s í mismos tales residencias , con ayuda o i nter­


venci ón escasa de la agencia administrati va. Esta resultó ser
una conclusión prudente; más tarde, mucho más tarde, las me­
dici ones de calidad empleadas por los analistas de Cambridge
revelar ían q ue tales vi vi endas eran deficientes . 7
En la ve rs i ón aceptable del extracto, no exist ían ni auténti ­
cos héroes ni villanos. Realmente , la agencia contratante ha­
b (a recurrido a medidas draconianas para asegurarse de q ue se
cumplir ían determinados objeti vos del proyecto. Algunos re­
sultaban apropiados , otros eran discutibles y vari os más eran
si mplemente erróneos o absurdos . Pese a su insistencia en la
precisión , los gestores de la agencia contratante habían i nspec­
cionado defi cientemente el programa y en realidad en ningún
momento controlaron los resultados .
Por otro lado el personal de la agenci a administrati va care ­
c ía de imagi nación y había capitulado muy al principi o del
programa. Al enfrentarse con la necesidad de pagar unas asig­
naci ones a 900 famili as , no fueron capaces de concebi r otro
modo razonable de proceder. Por el contrari o sugi rieron q ue
se prestaran servicios amplios a sólo unas 500 familias, recha­
zando así a las 400 restantes .
Por su parte, a las familias beneficiarias pareció gustarles el
programa. Aunq ue no fuese por otra razón , el dinero adici onal
contribuyó a alivi ar s us apremi os económicos , al margen de las
condiciones f ísicas de las vi viendas. Los analistas de Abt Asso­
ciates fueron quienes obtuvi eron más ventajas de los esfuerzos
desarrollados en el emplazamiento B . Empezaron a pensar en
di versas maneras de emplear unas interpretaciones opuestas
para obtener una comprensión más clara.

CONCLUSIONES

El experimento de la Agencia Administrati va implicó al me­


nos a 5 grupos de actores o entidades : las a�ncias , los partici ­
pantes , los observadores, los analistas al servi ci o de Abt Asso­
ciotes y el H U D . Cada uno representa un nivel diferente desde
7 Los an a l i stas de Cambridge fue ron i ncapaces de concebí r una med i d a satis­
factoria de la calidad de l as vi vi end as . El i nforme s ob re e l á rea co rrespondiente se
cen tró , por el contrar io . en la adecuación de l as i n specc iones de las v iviend as ( e t .
B U D D I NG 1 9 77 i .
126 Métodos cual itativos y cuantitativos en i nvest igación evaluativa

el que puede considerarse el experimento.8 En beneficio de la


simplicidad me he concentrado en un emplazamiento, un ob­
servador y los analistas de Cambridge . He prescindido también
de números y ecuaciones as í como de la riqueza contextual de
los datos de la observación . Sin embargo, es preciso recalcar al­
gunos puntos .
Quizá resulte tentador afirmar que el "efecto Rashomon'"
experimentado con los análisis del emplazamiento B, fue obra
de unas bases de datos diferentes y en desacuerdo. Pero no
resultó as í. La dificultad radicaba en las explicaciones o jus­
tificaciones opuestas, cada una de éstas en buena medida ba­
sada en diferentes tipos de datos . Los problemas con los que
nos enfrentamos implicaban no solamente la naturaleza de in­
ferencias observacionales frente a inferencias estadísticas , sino
dos grupos de prefe rencias y sesgos dentro de todo el grupo de
investigación. La solución consist ía en acabar con las explica­
ciones existentes, brindando una tercera . Para ello no se reque ­
r ía gran lucidez pero hac ía falta cierta destreza y una buena
dosis de tenacidad.
Aunque la tensión cualitativa/cuantitativa no es el único
problema que puede surgi r en una investigación, me parece que
resulta probable. Pocos investigadores se sienten igualmente
cómodos con ambos tipos de datos y il O se hallan bien desarro­
llados los procedimientos para el empleo conjunto de los dos.
La tendencia consiste en relegar un tipo u otro de análisis a un
papel secundario, según sean la naturaleza de la investigación y
las predilecciones de los investigadores. Dejo a los metodologis­
tas la cuestión de determinar qué tipo de información es útil
para qué tipo de problemas . 9 Corrientemente , sin embargo, los
datos observacionales soi1 empleados para "generar hipótesis"
o "describir procesos ". Los datos cuantitativos son utilizados
para "analizar resultados " o "comprobar hipótesis". Me parece
que esta división del trabajo es r ígida y !imitadora .
El conflicto en el seno de un equipo investigador resulta do­
loroso . Como la finalidad buscada en el trabajo anal ítico estri­
ba en lograr una explicación integrada o al menos una consti ­
tuida por piezas perfectamente encajadas , los enfrentamientos
8 Agrade¿co al pr ofe so r M . P E N N , U n i ve rs i t y C o l lege , U n i versidad de M i n neso ­
ta , uue me señalara este punto .
9 A b u n d an l os t e x tos sob re metodo l og ía ; para un b uen resumen de los em pleos
t rad i ci o n a les de d a t os c u a l i tat i vos y c uant itati vos , ci . W H YT E y A L B E R T I ( 1 9 7 6) .
So bre la reconcil iació n de los anál isis cual itativos v cuant itat ivos 127

son rehu (dos casi deliberadamente. la forma más fácil de pro­


ceder honestamente consiste en no permitir que exista nunca
la oportunidad de que surjan puntos de vista diferentes .
Una "teor ía establecida" (véase G LASEA y STAAUSS , 1 967)
ahoga el diálogo anal ítico en i nterés de la "ciencia" cuando se
la l leva a sus extremos l ógicos . los partidarios de esta doctrina
creen que la teor ía y la exp licación pueden ser form u ladas in­
ductiva mejor que deductivamente. El método implica una
constante referencia a los acontecimientos que ocurren en el
campo social sometido a observaci ón. Fragmentos y piezas del
marco explicatorio son modificados hasta que finalmente se
toman congruentes con "los hechos ".
Un peligro que cabe esperar.del enfoque de la teor ía estable­
cida es e l de que las explicaciones que emerjan sean tan ad hoc
y tan congénitas que puedan negar cualquier ventaja suscepti ­
ble de obtenerse por el empleo de métodos y perspectivas m úl ­
ti ples . las explicaciones inductivamente originadas serán pro­
'bablemente más abigarradas y toscas que e legantes o refuta­
bles . También se pierde su cualidad generalizable .
Pero , aunque no se opte precipitadamente por la teor ía esta­
blecida, se encontrarán trampas adicionales relacionadas con la
investigación por métodos m últiples. Está ahora bien conside­
rado afi rmar que diferentes métodos de indagaci ón 'pueden re ­
sultar complementarios (véase BENNETT y THAIS , 1 970) . E l
caso aqu í presentado ha mostrado que l a complementariedad
no siempre es patente . E l simple empleo de diferentes pe rspec­
ti vas con la esperanza de que se confirmen entre s í no nos ex­
plica qué es lo que hay que hacer cuando las piezas no encajan .
Este trabajo ha defendido la noción de triangulación , una
idea avanzada por 0ENZIN ( 1 970). la triangu lación implica
reunir una variedad de datos y métodos para referirlos al mis­
mo prob lema. De este modo cabe lograr explicaciones más só­
lidas . Sugiero contar con la oportunidad de que surjan diferen­
tes puntos de vista y que demoremos el rechazo inmediato de
informaciones o hipótesis q ue parezcan desviarse del punto de
vista de la mayor ía .
las explicaciones derivadas de lc1 observación resultan espe ­
cialmente vulnerab les al rechazo sin un j uicio justo. Y ello es
as í porque resulta dif ícil comprobar la fiabilidad de los datos
en que están basadas . Si las discrepancias relativas a los infor­
mes sobre el programa del emplazamiento B hubiesen sido des­
cubiertas mientras el ob!E!rvador aún segu ía en el campo , éste
1 28 Métodos cual i tativos y cu antitativos en investigación evaluativa

habr ía adve rti do q ue de b ía a l i near s us observaci ones y con c l u ­


si ones con las de l resto de l equi po de i nvestigación . N o habr ía
existido coacci ón de n i ngún género . E l observador se hubiera
senti do abrumado por e l aná l i sis basado en datos "rigu rosos"
em inentemente cre í bles .
Por un afortunado accidente ( pero q ue cabr ía regular) l os
informes contrad ictori os sobre e l programa del emplazamien­
to B se man tuvi e ron separados y cobra ron fuerza . E n real i d ad ,
e l observado r y yo "ced imos " u n tanto d u rante l a redacción
de l os borradores te rce ro , cuarto y q u i n to de l extracto . Si n
emba rgo, cada pa rte se atuvo tan estri ctamente a s us propi as
opi n i ones q ue fue i mposible obvia r la falta de congruencia , so­
bre todo después de q ue e l punto de vi sta aparentemente más
débi I hab ía q uedado tran scri to en un i nforme . N os vi mos obli ­
gados a profundiza r a un más para ave ri guar en dónde radi caba
el prob lema . Una armon ía previ a h ubiera i mped i do cualq uier
búsq ueda . adicional dado que n ada h ubiese req ueri do una ex­
pl i cación .
La exp l i cación resu ltante j ustifi có casi todos los hechos co­
nocidos y tuvo i m p l i caci ones poi íti cas en e l diseño de un p ro ­
grama de asi gnaci ones pa ra vi viendas ( a un q ue no sea n ada más
que por eso, ;a i nstalación adecuada de puntos de i nspección
es materi a q ue ca be i n c l u i r por escrito en l as regulaciones y ex­
p l i car en los man uales de l os operadores del programa ) . Al m i s­
mo tiempo n o me cabe d uda de q ue es posible efect uar i nter­
pretaci ones mejores de "l o q ue s uced ió en e l emplazamie nto
B ", en especial si sa le a la l u z n ueva i nfo rmación .
La versión fi nal de l extracto del emplazamiento B fue un
l ogro modesto. 1 ° Sin em bargo, e l proceso por e l que se l legó
hasta a l l í se aproxi ma a l proced i m iento ci ent ífi co en un as ­
pecto m uy i mportante . L a parte d e resol ución de l e n i gma en
nuest ro empeño n o con stituyó su caracte r ísti ca más i mportan ­
te . Esta parte hab ía s i do desarrol l ada e n todos l os aná l isis ante ­
ri ores , tan to cua l i tati vos como cuantitati vos . La yuxtaposición
de esq uemas expl icati vos contradi ctori os d i o e l i mp u lso para
JO E s ad ecuado adverti r q ue el AAE era un a i nvest igac i ó n orientada haci a un pro ­
b l em a . L os esq uem as "teóri cos " de l os i n vestigad o res n o fue ron tan expl fcitos co ­
m o pod r (an haber res u l tad o con una i n vest i gación b ás i ca . S i n emba rgo . au n q ue l as
pers pecti vas teóri cas d i fe rentes e i m p l 1'citas hub iesen sido la única ca us a de la d i ve r ­
gencia e nt re las e x p l i cacio nes , e l l o no n os habr (:i e x i m id o de i ntentar d a r a l g ú n se n -·
tido a las d os e x p l icaciones .
Sobre la recon c i l iació n de l os anál isis cual itativos y cuan t i tat ivos 129

buscar una comprensión mejor y menos inductiva de las opera­


ciones en el emplazamiento B ; una que no estuviera ligada a
anteriores concepciones previas. El valor de semejantes con­
frontaciones lo advirtió un filósofo de la ciencia, Paul Fev e.
R A BEN O :

Resulta entonces que la interacción entre tenac idad y proliferación


(es) un rasgo esencia l en el auténtico desarrol l o de la ciencia . Pa rece que
no es la actividad de resolución de enigmas l a responsable del desarrollo
de nuestro conocimiento s ino la interacción activa de diversas concepcio­
nes tenazmente sosttmidas (1970: 209 ) .

Estas opiniones han sido respaldadas po r otro filósofo, al­


guien cuyas contribuciones principales radican fuera del cam­
po de la filosof ía de la ciencia. Este hombre recomendaba
que se permitiera q ue "se abrieran cien flores y compitan cien
escuelas del pensamiento ... " ( M Ao 1 967 : 302 ) .
Y yo añado a tales alegatos en favor del hedonismo metodo ­
lógico e interpretativo : " i S í, pero comprobar, comprobar y
comprobar "!
1 30 Métodos cual itativos y cuantitativos en i nvestigación evaluativa

B I B L I OG R A F I A

8 E N N ETT , J . W . y G . T H A I S ( 1 9701 "Survey research i n anthropological f ield


wor k , " en R . Narol l y R . Cohe n (eds .l A Handbook of Method in Cultural
Anthropology. Nueva Yor k : Columbia U n iversity Press.
B U D D I N G , D. ( 1 9 7 7 1 lnspection : lmplementing Housing Oua/ity Requirements in
a Housing Al/0W1111ct1 Program. Cambridge, MA : Abt .

DEN Z I N , N. K . ( 1 9701 The Resnrch Act. Chi cago: Ald i n e .

F E Y E RA B E N D , P. ( 1 970 i "Consolations for t he special i st , " en 1 . Lakatos y A . E .


Musgrave ( eds .1 Criticism snd the Growth of Knowllldge. Camb ridge : Cambridge
U n i ve rs ity P ress .

G LASE A , B . G. y A. L. STR AUSS ( 1 96 7 1 The Discovery of Ground«I Theory:


Strat•gi• far Oua/itatiWJ Research. Chi cago : Ald i na .

P . MAD D E N , D. B U DD I N G , y W. L . H A M I LTON ( 1 97 7 1 Admi•


MA LOY , C. M., J .
nirtrative Costs in a Housing Program: Two Year Cosfl in the Admini,trative
Agsncy Expsriment. Camb ridge , M A : Abt .
MAO TSE -TUN G ( 1 967 ) Ouotations from Chairman Mao Tse -Tung. Peki ng : Fo­
re ign Language Press .
M E E H L , P. E. ( 1 954 1 Clinical Vet$US Statistical Prediction . M i n neapolis: U n i ve rs i ­
t y of M i n nesota Press .

WHYTE , W. F . y G. A L B E R T ! ( 1 9761 Power, Politics, and Progrea. Nueva York :


E lsevi e r .
WI L O , B . ( 1 97 7 ) "The effects of agency servi ces o n enrol lees ' success i n becomi ng
recipients , ' ' en W . L . Holshouser i ed .l Supportive Services in a Housing Allowan •
ce Program. Camb ridge : M A : Abt .
CAP I TU LO V

HAC I A UN ACERCAM I ENTO ENTRE LAS


METODOLOG IAS CUANTI TATI VAS
Y CUA L I TATI VAS
Por Francis A. J. IANN 1 *
V Margaret Terry OR A

Horace Mann- Lincoln lnstitute


Teachers Colfege Columbia University

A lo largo de la ú ltima década se ha registrado entre los edu­


cadores un interés continuo y creciente por la med ición cuali­
tativa y e l empleo de los métodos de campo en l a i nvest iga­
ción educativa. En un grado considerable, este interés procede
de la Ley de Derechos Civi les de 1 964 que impulsó la educa­
ción y, consigu ientemente, la investigación que la informa, ha­
cia la preocupación por las d iferencias tanto culturales como
i n dividuales. Hasta cierto punto éste es el resu ltado de la insa­
tisfacción entre los cl ientes de la investigación educativa, que
tienden a considerar los parad igmas de la investigación educa­
tiva trad icional como abstracciones de la real idad de la vida
cotid iana de las escuelas. Hasta cierto punto este es tamb ién
el resu ltado de la creciente complej idad de los propios i nvesti­
gadores educativos cuando comienzan a explorar metodolo­
g ías d iferentes de aquel las que se desarrol laron durante la lar­
ga e incestuosa relación con la psicolog ía.
E ste nuevo i nterés por los métodos cual itativos no deja de
presentar problemas. Las exigencias que los educadores plan­
tean a los métodos cual itativos son grandes; en muchos casos
i ncluyen expectativas de sol ución de problemas y de uti lidad
educativa que superan las capacidades de los actuales méto­
dos de investigación de campo. Al mismo tiempo, la larga
* N ota d e l o s au tores: Partes de este capítulo fueron preparadas, en u n principio,
para un informe sobre antropologfa e investigación educativa con destino a la Aca·
demia Nacional de Educación.
132 Métodos cual i tativos y cuan t i tat ivos e n i nvestigación evaluat iva

tradición de predominio que los psicólogos educativos han


ejercido sobre la investigación educativa, ha producido un
clima extraño al estilo y al ritmo de los estudios etnográficos
de campo. Además los a ntrópologos, principales exponentes
de la investigación etnográfica, han intervenido en la i nvesti­
gación educativa un período de tiempo demasiado escaso para
haber desarrollado una teor ía sistemática y unos métodos en
la propia antropología educativa.

M ET O D O S C U A L I T AT I V O S EN E V A LU A C I O N

Actualmente la evaluación ha llegado a ser una actividad


principal en los programas de servicios sociales. Dentro de la
educación, desempeña un papel preponderante en las activi­
dades de investigación y de desarrollo. Los organismos del
Gobierno, el Congreso y el público se interesan por la activi­
dad educativa y por su eficacia. Sin embargo, a medida que
aumentan las demandas de una buena evaluación, se incremen­
ta también el impacto de una evaluación deficiente. Nuevas
exigencias tanto de los programas educativos como de los pa­
trocinadores de la evaluación han dado lugar, asimismo, a la
extendida insatisfacción actual con la metodología anterior,
El empleo habitual de datos cuantitativos, por ejemplo, pue­
de suministrar una información considerable y útil sobre los
logros del estudia nte. Pero son cada vez más numerosas las
pruebas que indican que los datos cua ntitativos no pueden
proporcionar respuestas satisfactorias a muchos de los inte­
rrogantes cualitativos de la educación actual. Ya no basta
con decir que un niño no sabe leer ; lo que ahora se pregunta
es por qué no sabe y qué es lo que le hará aprender. Ante
esta creciente insatisfacción por los actuales métodos de eva­
luación han surgido dos nuevos intentos por reconsiderar los
tipos más tradicionales de evaluación ; ambos poseen impor­
tantes implicaciones en la estimación cualitativa.
U no ha consistido en un desplazamiento en la unidad de
a nálisis desde una concentración en el individuo como quien
aprende, a una concentración en el programa como el que
enseña. Los diseños de la evaluación primitiva ponían pre­
ponderantemente su énfasis -a veces de modo exclusivo­
en la comprobación psicométrica de los estudia ntes. Este
tipo de diseño era si mplista y raciona l : si el objetivo del pro -
Hacia un acercamiento entre l as metodologías cuantitativas y cual itativas 1 33

grama consist ía en familiarizar a los estudiantes con un cuer­


po específico de información, entonces la mejor manera de
determinar el éxito o el fracaso del programa consist ía en exa­
minar a esos estudiantes para averiguar si hab ían adquirido
esa información. Mientras que la evaluación desempeñó en
la educación un papel menor, en buena parte limitado a inte­
reses de la investigación, este método no presentó problemas.
Pero en la década de los sesenta el consumismo educativo
llegó a ser u n movimiento destacado y ya no bastaron los an­
tiguos métodos de evaluación. Se vertieron miles de millones
de dólares en programas educativos para los culturalmente
desfavorecidos. Los padres de los ghettos afirmaron que los
exámenes normativos tenían un sesgo cultural. Se puso en tela
de juicio la eficacia de los exámenes para medir el éxito de
un programa. Surgió u n importante enfrentamiento cuando
la Westinghouse Learning Corporation calificó de modo des­
favorable el programa Head Start porque los tests de logros
revelaban u n escaso progreso significativo de los estudiantes.
E l programa Head Start, entonces popular tanto en el Congre­
so como en las comu nidades urbanas, lo sigue siendo hoy. El
reto de Westinghouse al programa desencadenó fuertes críti­
cas públicas a las normas de evaluación de la empresa y lanzó
las técnicas habituales de evaluación al terreno del debate
público. Por primera vez la metodología de la evaluación fue
seriamente puesta en tela de juicio por personas ajenas a la
profesión. Los evaluadores se vieron obligados a desplazar el
foco de su atención de los individ uos a los programas. Al
obrar as í, los organismos comenzaron a recurrir a la antropo-·
log ía y a la sociología "blanda " en busca de técnicas con las
que observar y valorar programas.
La segu nda tentativa de reconcentrar el diseño de evalua­
ción surgió también cuando los programas sociales empeza­
ron a recibir grandes subvenciones. Cuando la aprobación
del Título I de la Ley de Educación Elemental y Secunda­
ria de 1 965 determinó la súbita aportación de miles de mi­
llones de dólares a la educación en el interior de las ciudades,
el Congreso se interesó por la forma en que se gastar ían esos
fondos. El componente de evaluación en la Ley de Educa­
ción Elemental y Secu ndaria condujo tanto al rápido creci­
miento de la evaluación como a la exigencia habitual de un
sistema de insp_ección financiera. Como buena parte de las
nuevas asignaciones para educación y para investigación
1 34 Métodos cual i tat ivos v cuantitativos en i nvest igac i ó n eva l u a t iva

educativa i ba destinada a z onas urbanas ( principa l mente ghet­


tos ) , las cuestiones de los efectos de cu l tu ra, su bcu ltura, raza,
etn ia y otros rasgos de la comun i dad, se tornaron extremada­
mente i m portantes. G eneral mente, cuando e me rgieron estas
nuevas preocu paciones come nzaron a fa l lar los proced imi en­
tos establecidos de control experi me nta l a islado, gru pos de
control y el proceso lógico-deductivo. Resu l ta ba cl aro que e l
est i l o d e investigación orientado hacia e l l a boratorio, constitu
yente de la tradición de investigación educativa, no era satis­
factorio, n i para la eva luación de programas de estud i os étn i­
cos, ni para la de programas efectivos de educación . Una vez
más la antropolog ía , que siempre se hab ía i n teresado por las
cuesti ones subyacentes a ta les programa s, proporci onó u na
fuente potencia l de metodolog ía .
Pero n o todas l as presiones e n pro d e u n cambio proced ie­
ron de la educación. E x ist ía u na creciente insatisfacción con
los estudios de eva l u ac ión de todas l as opini ones, porq ue l a
práctica habitual daba l ugar a u na est i mación acu m u l ativa
que ven ía a deci r : " Aq u í está lo que usted ha hecho ; aqu í
está l o que h a ido mal ; si vuelve a hacerlo, he aq u í algunas su­
gerencias q u e q u i zá desee segu ir". E n los nuevos empeños, los
eval u adores ex igían componentes de eva luación formativa
a ñadida a la que hab ía sido antes exc l usiva mente u na eva l ua­
ción sumativa. En vez de hal larse por encima y más a l lá del
programa, e l eva l u ador se veía empujado a formar parte de él.
La mayor ía de l os educadores y muchos i nvestigadores edu­
cat ivos co i nc iden en adm itir que la moderna tecnolog ía de l a
eva l u ac ión se h a l l a en u n penoso estado. Aun tiende a situarse
baj o l a rúbrica de i nvestigación y por eso i mpone los cá no nes
de la ciencia que en muchos casos no resu ltan apl icables. La
mayor ía de l as eva l uaciones actuales no investigan si no q ue,
por el contrario, tratan ad hoc de proporciona r alguna base
para descri b i r y val orar programas y j ust ificar los gastos de
fondos. Los métodos de comprobación proceden de la psicolo­
g ía ; las técnicas de i n spección de los programas corresponden a
l os proced i m ientos a n a l íticos sistemáticos; l os métodos de ob­
servación cua l i tativa son adoptados rle l a �ociolog ía y de l a antro­
polog ía y todos se reu nen apresu radame nte para cu mp l i r l os
p lazos previstos. Pese a l hecho de que l os eval uadores persisten
en a l u d i r a l a eva l uación como investigación, aq u í no parecen
operar n i ngu na de l as ex igencias de u na investigación profun­
da. No existe teor ía que informe a l a metodolog ía, no hay
Hacia un acercamien to entre las metodolog ías cuantitativas y cual i tativas 1 35

consistencia en el desarro l lo metodológico, falta una aplica­


ción sistemática de los métodos y, lo que quizá resu lte más
importante, no existe un sistema mediante el cual lo que se
aprende en una eval uación informe al siguiente eval uador.
La razón primaria de la discrepancia entre medios y fines
de la eval uación procede de la incapacidad de la educación
en el desarrol lo de una metodología consistente de la evalua­
ción que únicamente se acomode a la educación. Las necesi­
dades de la investigación educativa difieren considerablemente
de las de otras discipl inas del comportamiento.
Los peligros del trasplante metodológico no resu ltan inme­
diatamente obvios a la mayoría de los educadores. Enfrentado
con la exigencia de una evaluación, e l educador se orienta ha­
cia otros científicos del comportamiento en busca de un es­
quema de valoración. Y sin embargo, como estos científicos
del comportamiento operan con unas condiciones especifica­
das, sus métodos sólo son habitualmente aplicables bajo cier·
tos supuestos de "sistemas cerrados" que sólo pueden actuar
con un discreto número de variables seleccionadas. Aunque
semejantes modelos son apropiados para el estudio de a lgunas
cuestiones educativas, la mayor ía de los programas concebi­
dos para producir cambios exigen un marco analítico, más
abierto y cualitativo. En otras palabras, la mayoría de los ac­
tuales métodos de recogida, registros y análisis de datos edu­
cativos están basados en modelos experimentales y requ ieren
mediciones estadístico-cuantitativas y, sin embargo, la mayo­
ría de las confrontaciones educativas son no experimentales
(es decir tareas operacionales de campo con un objetivo es­
pecífico), sobre las cuales la metodología existente propor­
ciona una escasa penetración. E I problema se complica aun
más porque, si bien se les dice a los educadores que contro­
len ciertas variables para ver lo que les sucede a otras, su ta­
rea sustantiva estriba en manipular tantas variables como
sean necesarias para lograr objetivos múltiples que, a menu­
do, se hal lan en conflicto y son de importancia diversa. Y no
hay manera de disponer estos objetivos y de eva l uar los efec­
tos diferenciales mediante la manipulación de combinaciones
limitadas de variables. N i tampoco existen procedimientos sis­
temáticos para estimar los costes de la realización de diversos
efectos. A estos fines, es cada vez mayor la tendencia a recu­
rrir a la antropo log ía en busca de orientación sobre el desarro­
llo de una sól ida eval uación de programas.
1 36 Métodos cu a l i tativos y cuantitativos en i nvest igación eva luat iva

LA E VALUAC I ON COMO UNA I N VEST I GAC I ON DE CAMPO

Ser ía tentador señalar que la antropolog ía, bien sola o en


combinación con otras disciplinas, proporciona una serie co­
herente de métodos y una base teórica a partir de la cual pue­
de desarrollar la evaluación educativa un marco conceptual
y una metodolog ía consistentes. Tal no es el caso. En primer
lugar, la tarea de examinar, definir y redefinir el entorno ins­
titucional en educación debe ser responsabilidad principal del
propio gremio y, en consecuencia, no debe asignarse a ningu­
na entidad o a ningún grupo exteriores, por dispuestos que
estén a asumir la tarea y por poco inclinados que se sientan
a acometerla los educadores. En segundo lugar, no existen
métodos preordenados que surjan de teorías específicas, a
través de los cuales puedan los evaluadores abordar la tarea
de la evaluación con seguridad de éxito. No hay un esquema
teórico para la observación y el análisis en cualquiera de las
estrategias existentes de investigación de las ciencias del
comportamiento o sociales que se corresponda con las ne­
cesidades de la evaluación. Nada emerge con tanta claridad
de los empeños de la investigación "interdisciplinaria" como
el hecho obvio de que cada disciplina de las ciencias del com­
portamiento y sociales ha elaborado su propio marco con­
ceptual y su cultura correspondiente. Cada una se caracte­
riza por sus modos preferidos de escudriñar el mundo y en­
tenderlo. Estas preferencias no son superficiales: caracterizan
a los tipos de preguntas formuladas, a las maneras de plantear­
las y al modo en que las preguntas son interpretadas y pre­
sentadas.
En cierto aspecto, los problemas del educador son compa ­
rables a aquellos con que se enfrenta el antropólogo. También
él ha de observar, registrar y analizar la conducta en el cam­
po, no en el ambiente de un laboratorio. A través del desarro­
llo de un modelo conceptual y de la correspondiente metodo­
logía, los antropólogos_ han logrado una considerable preci­
sión en un entorno natural. A lo largo de los últimos años,
esta semejanza en la estrategia de campo ha traido un incre­
mento del interés por lo que ha llegado a denominarse el
"método antropológico" o, más frecuentemente, "enfoques
antropológicos" de la evaluación.
Aunque la expresión enfoque antropológico evoca una sim­
pática imagen de los evaluadores como etnógrafos residentes
Hacia un acercamiento entre las metodologías cuantitativas v cual itativas 1 37

describiendo la cultura del sistema que están estudiando, re­


sulta no sólo imprecisa sino disfuncional porque perpetúa
cierto número de crecientes malos usos. En primer lugar, el
enfoque antropológico ha llegado a significar el empleo de ob­
servadores participantes, si n especificar nada del modo en que
sean empleados los observadores participantes. La observa­
ción participante es un importante estilo de investigación en
antropología (como lo es en cierto número de otras ciencias
sociales), pero dentro de ese esti lo resulta necesario desarro­
llar u nas destrezas en el empleo de la técn ica. La mayoría
de las evaluaciones conocidas que proponen el empleo de la ob­
servación participante destacan, por lo general, la observación
hasta la exclusión del papel de participante y, en muchos
casos, no existe una defin ición clara de lo que está siend.o obser­
vado o, más importante todav ía, sobre cómo ha de ser observa­
do, cómo ha de ser registrado y con qué fin se hace todo aquello.
El empleo de observadores participantes no adiestrados, que
carecen de una base teórica y que no han aprendido la diferen­
cia entre mirar y buscar, ha creado grandes problemas en el
campo. Los profesores de las escuelas y los miembros de las co­
munidades han creado su propia teoría de la "conspiración"
por lo que a la evaluación se refiere. Son cada vez más los pro­
fesores y los residentes en las comunidades que consideran la
evaluación como un medio de mantener el sistema tal como
ahora existe. Conforme a esta idea la evaluación se lleva a ca­
bo para informar a quienes toman las decisiones educativas con
objeto de que puedan impedir cualquier movimiento orienta­
do al cambio. Cuando los profesores son evaluedos, como le
sucede a cualquiera que se vea en esa situación, empiezan a
sentirse i ncómodos. Resulta fácil mitigar la i ncomodidad cri­
ticando al evaluador. Cuando surgen en escena los observado­
res participantes, que no parecen saber lo que están haciendo,
la actitud de los profesores se exacerba y reciben nuevo alien­
to las críticas.
Aunque las técnicas antropológicas parezcan simpl istas a
primera vista (un especialista en planes de estudio nos dijo:
"He utilizado durante años la técnica antropológica, siempre
visité mis escuelas "), se hallan estrechamente ligadas al marco
conceptual que informa la metodolog ía y son mucho más di­
fíciles de domi nar que la investigación de encuesta o el siste­
ma de cuestionarios porque resultan mucho menos estructu-
1 38 Métodos cualitativos v cuantitativos en investigación evaluativa

radas. Todo lo dicho tiene como objeto destacar nuestra prin­


cipal afirmación, la de que las. técnicas de investigación de cam­
po representan un enorme potencial para su empleo en la eva­
luación pero que esto no debería confundi rse con la antropo­
logía. Las técnicas de campo son considerablemente emplea­
das en la antropolog ía así como en la sociología. En ambos ca­
sos están ligadas a la teoría y no cabe emplearlas al margen de
ésta. Una de las razones fundamentales de que las técnicas de
investigación de campo resulten tan atrayentes para los evalua­
dores educativos es que permiten recoger cantidades grandes
de datos descriptivos acerca de las escuelas, el personal, los es­
tudiantes y la comunidad. Por desgracia, esta misma riqueza
a veces destruye la utilidad de los datos porque hay tantos
-cuantitativa y cualitativamente- que no pueden ser emplea­
dos todos. Por esta razón, es en especial pertinente un marco
conceptual dentro del cual se desarrolle una estrategia para la
evaluación de campo.

COM B I NAC I ON DE LOS EN FOQUES CUANT ITAT I VO V CUAL I TAT I VO

H ab ida cuenta de la complej idad de los actuales programas


educativos, en especial de los que intentan innovar o reformar,
es necesario para la evaluación consegu i r una variedad de da­
tos del comportamiento, interactivos, económicos e incluso
pol íticos. Cabe emplear distintos métodos para recoger y ana­
lizar estos diferentes tipos de datos. El problema metodológi­
co implicado consiste, empero, en determi nar cómo comb inar
mejor estos métodos.
Al seleccionar y comb inar métodos de investigación para
construir un diseño apropiado de evaluación es preciso respon­
der a ciertas preguntas. En el mismo comienzo hay que deter­
minar el objetivo de la evaluación. l Ha de proporcionar la eva­
luación información sob re el resultado del programa, sobre el
proceso del programa o sob re el coste y los beneficios efec­
tivos? Por añadidura el d iseño de la evaluación debe reflejar
el papel que ésta tiene que desempeñar en el proceso de elabo­
ración de decisiones. Esto determinará el tipo de retroinforma­
ción que se precise, la clase de información que debe recoger­
se y las fases necesarias para la obtención de datos. El inves­
tigador tomará tamb ién en consideración ciertas limitaciones
exteriores que le vienen impuestas al d iseño de la investiga-
Hacia un acercamiento entre las metodologías cuantitativas v cualitativas 1 39

ción. E l alcance de cualquier diseño de investigación o de eva­


luación se· halla limitado por el tiempo y e l dinero disponibles
para ello y los problemas de comunicación e interacción entre el
investigador y los participantes en el proyecto. Tales proble­
mas suelen ser graves en la evaluación en razón de la natura­
leza del empeño. Finalmente deben ser consideradas las cues­
tiones técnicas de diseño, análisis y medición. Entre éstas se
incluye la identificación de cuestiones pertinentes acerca de
la incidencia del problema y sobre lo que constituye una prue­
ba sumaria adecuada en respuesta a estas cuestiones ( BRvK,
1 978).
El evaluador dispone de una gama de técnicas de investiga­
ción tanto del área cualitativa como de la cuantitativa. Las téc­
nicas comprenden desde métodos que requieren una interac­
ción m ínima con un proyecto (como medidas discretas o revi­
sión de los datos archivados) a las que implican una modera­
da interacción personal con la situación (como las que se rea­
lizan con el empleo de esca las, tests y encuestas) y a las que re­
quieren una interacción activa con los participantes en el pro­
grama (como observación y entrevistas). Al aplicar estos méto­
dos a la evaluación hay que considerar las limitaciones teóricas
así como los puntos metodológicos fuertes o débiles de cada
técnica. Es posible que una determinada técnica no se acomo­
de a un proyeccto específico de evaluación porque no se pue­
dan satisfacer todas las normas de investiAación cient ífica.
Como seña lan WEISS y Re1N ( 1 972), los diseños experimen­
ta les tradicionales a menudo no resultan directamente aplica­
bles a la evaluación aunque constituyan uno de los formatos
más corrientemente empleados en la evaluación. Una de las ra­
zones del desajuste entre método y situación es la dificultad de
seleccionar criterios satisfactorios para la va loración del impacto
de un programa. Ya que los fines y objetivos pueden cambiar,
sobre todo cuando resultan amplios sus propósitos. Además,
es dif ícil desarrollar medidas operativas de cambio de sistema
mientras sean sensibles a un cambio inesperado. Por añadidu­
ra un programa en marcha no puede ser controlado durante
la evaluación como lo sería en una situación experimental de
investigación. Finalmente, los "tratamientos" de un programa
no suelen estar acomodados a unas normas. Esto hace dif í­
ciles las comparaciones sobre la eficacia de programas y la
variabilidad y el alcance de los objetivos vuelven 'menos fácil­
mente identificables los logros de un programa. Como BRvK .
1 40 Métodos cual itativos y cuantitativos en investigación evaluativa

( 1 978 :39-40) observó : " E I programa muy estructurado cu­


yos objetivos primarios pueden ser medidos con cierto grado
de precisión tiende a tener efectos más positivos que los pro­
gramas "abiertos" cuya plena perspectiva de desarrol lo ha elu­
dido hasta ahora una medición cuantitativa con éxito".
S1E eER ( 1 973) indica varios modos de emplear las observa­
ciones de campo y las encuestas de forma compatible entre
s í, complementándose recíprocamente el diseño o las debi li­
dades metodológicas. Aunque S!EBER ( 1 973) consideró explí­
citamente sólo las técnicas de observación de campo y de en­
cuestas, su pensamiento puede extrapolarse a otros métodos
de recogida de datos, tanto cualitativos como cuantitativos.
S1EBER ( 1 973) explica primeramente cómo los métodos de
campo pueden beneficiar a los métodos de encuesta. Los pri­
meros pueden confirmar a los segundos así como proporcio­
nar la explicación razonada para el diseño de una encuesta.
Los métodos de campo pueden servir como antecedente a una
encuesta, al proporcionar una familiaridad con el medio sobre
el que se están llevando a cabo las encuestas, mediante el des­
arrollo de una relación con los que son objeto de la encuesta
y a través de la realización de un trabajo exploratorio que re­
sulta necesario para comprobarla previamente. La observación
de campo puede ampliar la estructura teórica del análisis de
encuesta y validar sus resultados. Por ejemplo, cabe emplear
los métodos de campo para i lustrar hallazgos y para aclarar
respuestas ambiguas o estimulantes. Los métodos de campo
pueden complementar además un diseño experimental. Por
ejemplo, 8R Y K ( 1 978: 5 1 ) afirma que "para estudiar cuestio­
nes de interacción. .. hemos de ligar los efectos del programa
concreto que emergen a lo largo de su desarrol lo con las ca­
racterísticas del contexto. En términos estad ísticos describi­
mos toda la distribución (del efecto del tratamiento), junta­
mente con datos multivariados sobre característ icas del pro­
grama concreto. E l paradigma básico de tratamiento/grupo de
control no puede proporcionar esta información". Finalmen­
te cabe emplear los métodos de campo para comprobar la
fiab i lidad de una encuesta o de otra técnica cuantitativa.
S1EBER ( 1 973) describe también la forma en que contribu­
yen las encuestas al trabajo de campo. Las encuestas pueden
ayudar a informar el diseño del trabajo de campo y a comple­
mentar la perspectiva para la recogida de datos así como , por
ejemplo, ayudar al investigador a obtener una muestra represen-
Hacia u n acercam iento e n tre las metodo log ías cuantitativas y cual i tat ivas 141

tativa y un entendimiento estructurado de esa mu estra. Los


métodos de encuesta pueden ser utilizados también para com­
probar las interpretaciones de campo y para arrojar nueva
luz sobre sus observaciones, de la misma manera que los mé­
todos de campo son empleados para ilustrar el análisis . de
los hallazgos de una encuesta. ER1CKSON ( 1 977) señala, sin
embargo, que el mayor beneficio de los métodos cuantita­
tivos estriba en que facilitan la generalización de los cono­
cimientos aerivados de los datos cualitativos.
DENZIN ( 1 978 : 292) indica unos medios más formales de
combinar los métodos a través de la triangulación de las técni­
cas de investigación. Un investigador examina un problema (o
unos problemas) desde tantas perspectivas metodológicas co­
mo le resulte posible; "cada método implica una l (nea de
acción diferente hacia la realidad y, por eso, cada uno reve­
laré diferentes aspectos de ésta, muy a la manera en que un
caleidoscopio, según el ángulo en que se sostiene, revela
al observador diferentes colores y configuraciones de los
objetos".
Según DENZI\I existen cuatro fuentes de triangulación acce­
sibles al investigador o, en este caso,'al evaluador : datos (inclu­
yendo tiempo, espacio y persona); investigador (cuando se
utilizan varios investigadores para la misma investigación) ;
teórica (empleando sobre la misma serie de objetivos perspec­
tivas múltiples en vez de una sola) y metodológica (bien dentro
de una colección de instrumentos o entre métodos) . Se ob­
tiene la triangulación "dentro del método " cuando las uni­
dades observacionales son multidimensionales o cuando una
sola encuesta hace uso de diferentes estrategias. La triangu­
lación "entre métodos" corresponde al empleo de varios
métodos de recogida de datos para las mismas cuest iones re­
ferentes a estos datos; de forma tal que las deficiencias de un
método puedan ser compensadas por los puntos fuertes de
otros métodos.
DENZIN (1 978) indica sólo una forma de triangulación teó­
rica, en donde varias teorías son aplicadas simultáneamente a
la misma serie de datos. En la evaluación educativa es posible
una forma diferente de triangulación teórica porque los pro­
gramas tienen frecuentemente más de un objetivo y cada ob­
j etivo representa una penetración especial para el logro del
impacto del programa. Así, distintos modelos teóricos pueden
concebiblemente ser aplicados a diferentes aspectos del mismo
1 42 Métodos cualitativos y cuantitativos en investigación evaluativa

programa. Esto tam b ién puede co nd ucir a estrateg ias d iferen­


tes o i nterre lacionadas de la recog ida de datos.
Un med io ú ltimo de co mbina r estos métodos en la eva l ua­
ción consiste en operar a t ravés del desarro l l o de modelos cau­
sales basados en las observaciones de ca mpo, tal como sug i­
rió Coo LEY ( 1 978) . Los pri meros i ntentos de cuantificación
de datos cual itativos se l i m itaro n a estad ísticas descriptivas
(véase BECKER, 1 969, para u n exame n de otro sistema de cuan­
tificac ión de datos cua l i tativos). Pero tanto Coo LEY ( 1 978) co­
mo F1EN BERG ( 1 977) advierten que l os descubri mientos de la
investi gación cual itativa p�eden ser modelados por estad ísticas
i nferencia les e i n d ican qu� ésta es u na ma nera de me jorar la
genera bi l idad de l os descu brim ientos cua l i tativos.
Tal vez contribu i rán a fijar estas ideas u n par de ejemplos
en donde se han combinado los métodos cual itativos y cuanti­
tativos. U n estud io reciente y ampl io sob re la vio lencia escolar
h i zo u so de l o que pod r ía deno m i na rse estratificación metodo­
lóg ica. E l Estud io sobre Segu ridad E sco lar, real i zado por e l
I nstituto Nacional d e Educación, fue conceb ido en tres fases.
La Fase I era u na encuesta por correo sobre 5.57 8 escuelas
pú bl i cas de los Estados U n idos; la Fase I I co nst itu ía u n estu­
dio sobre cuestonario en e l emplazam iento referido a 851 de
estas escuelas y q ue formaban u na muestra representativa y
la Fase 1 1 1 era u na serie de estud ios de casos en profund idad
de 1 0 escuelas d isem i nadas por los E stados Un idos. E l obje­
tivo de la Fase 1 1 1 consist ía en proporcionar ejemp los del
" mu ndo rea l " para ani mar el estud io en buena parte estad ísti­
co de las otras dos fases. En este estud io pod r ía haber sido
más útil u na estratificación i n versa de l os métodos. Los a ná l i­
sis com parativos de estos 1 0 estud ios de casos resu ltaron tan
ef icaces en la identificación de variab les clave q ue h u bo que
vo lver a exa m i na r anal íticamente los datos de la encuesta an­
terior, basándose en los hal l azgos de la Fase 1 1 1 .
E n genera l , la secuencia adecuada consistir ía en empezar con
el trabaj o de cam po etnográfico y cl ínico y luego ut i l iza r los
resu ltados de estos estud ios i n icia l es para d i señar i nstrumentos
de encuesta y para aclarar l os aná l isis de sus descubrimientos.
D e esta forma cabe uti l izar la i nvestigación etnográfica para
describir e l campo socia l de i nterés y para identificar l as varia­
bles i m po rtantes, sobre todo en e l exá men explo ratorio de los
p rocesos sociales, que so n deficientemente entend idos. Así se
garant iza que los descubrimientos de l a i nvest igaci ó n estén
Hacia un acercam iento entre las metodologías cuantitat ivas y cual itat ivas 1 43

"fundados", lo que les confiere una elevada validez espec ífica


para el emplazamiento aunque su naturaleza intensiva limite
su generab ilidad. La parte de encuesta del estudio se emplea
luego para establecer la generabilidad de lo descubierto etno­
gráficamente.
Una reciente evaluación de una clase abierta observó precisa­
mente semejante procedimiento. Esta evaluación requer ía una
estimación de las diferencias cognitivas, afectivas, de actitud y
observacionales entre el programa de clase abierta y los pro­
gramas de clase regular en el distrito y se examinaron los pro­
cesos y resultados de ambos programas. La observación de
campo constituyó la primera etapa del proceso de recogida
de datos. Luego se realizaron cuestionarios y entrevistas para
que participantes relevantes en el programa prosiguieran con
cuestiones especialmente referentes a los obj etivos identifica­
dos del programa y la evaluación, que se desarrollaron duran­
te la fase de observación. Tales entrevistas y cuestionarios se
emplearon también para valorar los problemas y puntos sóli­
dos del programa así como para recoger información acerca
de las prácticas docentes y de las percepciones personales que
pudieran generalizarse. Las entrevistas y las encuestas fueron
seguidas por otra serie de observaciones de campo para apre­
ciar los descubrimientos realizados gracias a estos esfuerzos.

R ES U M EN Y CONC L U S I ONES

Como se ha indicado antes, hay en la evaluación educativa


una tendencia creciente a orientarse hacia las metodolog ías
cualitativas. En todos los casos que hemos observado se espera
que los sistemas cualitativos proporcionen un paradigma de
investigación que atienda al contexto sociocultural de la edu­
cación y proporcione a los datos cuantitativos la calidad del
mundo real.
Hemos señalado cierto número de razones para este nuevo
interés por los métodos cualitativos, siendo una de las princi­
pales el hecho de que los que invierten en educación ponen
cada vez más en tela de j uicio la correspondencia entre los
modelos anal íticos formales tradicionalmente empleados por
los evaluadores educativos y la realidad social de sus escuelas.
Un resultado de ese creciente interés es el hecho de que los
enfoques etnográficos de la eva luación estén siendo utilizados
1 44 Métodos cual itat ivos y cuanti tativos en i nvest igac i ón eva l uativa

en una amplia variedad de programas escolares que emplean,


por lo común, a menudo por períodos de tan sólo unos días,
"investigadores de campo" con escaso adiestramiento. En con­
traste, la verdadera etnografía se caracteriza por años de estu­
dio profundo. Creemos que la práctica corriente de em­
plear investigadores de campo ha prestado un mal servicio a
la educación y actúa en detrimento del desarrollo productivo
de las medidas cualitativas necesarias para la investigación eva­
luativa.
Las descripciones etnográficas de entornos naturales y la
información corriente sobre lo que la gente dice y hace, en
vez de lo que dice que hace, han incorporado un nuevo empi­
rismo a la investigación evaluativa. E xisten, sin embargo, cier­
tas cuestiones relativas a la oportunidad de la etnograf ía en
evaluación. Aún queda por determinar si el estilo preferido
en etnograf ía -agente de campo en solitario y la resistencia
correspondiente a la investigación en equipo- resulta adecua­
do a la actual orientación de resolución de problemas en gran
escala de buena parte de la investigación y de la evaluación
educativas. Los administradores de investigaciones se ven a
menudo en apuros por culpa del estilo individualista de los an­
tropólogos ( "Según nuestra experiencia los antropólogos no
sólo prefieren trabajar solos, es que se muestran realmente ne­
gativos si se les mezcla con otros especialistas de ciencias so­
ciales o con educadores") y del hecho de que resulte imposi­
ble en antropología la investigación en equipo ( " Rara vez pedi­
mos a más de un antropólogo que trabaje en un proyecto por­
que rara vez coinciden dos"). Desde luego algunas de las re­
servas de los administradores de investigaciones respecto al
empleo de antropólogos en investigación educativa son realis­
tas. N uestra propia experiencia en investigación en equipo nos
ha convencido de la verdad del antiguo axioma según el cual
los problemas hallados en la investigación en equipo aumentan
aritméticamente conforme al incremento de científicos impli­
cados. Pero los problemas parecen crecer de forma geométrica
cuando esos cient íficos son antropólogos y exponencial­
mente cuando se mezclan con otros científicos sociales.
Otro problema es el de que los etnógrafos tienden a estable­
cer una empat ía con quienes estudian y, en algunos casos, pa­
recen casi "volverse indígenas". Su implicación personal y su
inmersión en la vida de las personas estudiadas les l leva a con­
vertirse en sus defensores (y hay cierto nú me ro de antropólo-
Hacia un acercam iento entre las metodologías cuantitativas v cualitativas 1 45

gos que sost ienen que ésta es la co nducta apropiada) . Así,


de la m i sma manera que es d i f íci l hal lar etnograf ías q ue se
muestren neutrales tanto respecto de l as sociedades tribales
como del col o n ia l ismo, q u ienes estud iamos la cu ltu ra u rbana
americana tendemos a menudo a identificarnos con los p roble­
mas de l os pequ eños traficantes de d roga, los proxénetas, d ro­
gad i ctos y presos co n los que t rabaj amos mientras q ue, co nfor­
me a su concepto, vemos a las "autoridades" como opresoras.
La h isto ria p re l i m i na r del estud io antropológico de las escue­
las america nas muest ra que los etnógrafos ven a los estud ian­
tes como o prim idos y a p rofesores y ad m i n i st radores como i n­
d i viduos que, en cierto modo, actúan para degradar los esti los
de aprendizaje natu rales en los a l u m nos. Cu ando estud ia mos a
los p rofesores son los ad m i n istradores q u ienes parecen resu l­
tar cu l pab les. Con e l incremento del interés po r los métodos
etnográf icos para la eva l u ación en educación hay tamb ién u n
au mento d e l a inqu ietud entre gestores y ad m i n istrado res d e
proyectos respecto a lo que co nsideran tendencia de l o s etnó­
grafos a im poner ta les j u icios ideológicos de valor sin enten­
der p lenamente el prob lema desde ambos l ados. E x isten, des­
de l uego, otras razones para el examen hol ista de las escuelas
y de los d i stritos esco lares. El apoyo a la rea l i zación de u n
cambio soc ia l es más eficaz cu ando se hallan re lacionados to­
dos l os elementos de un sistema socia l ( véase NADER . 1 969) .
Pese a todo esto, creemos q ue los enfoques cua l itativos re­
su ltan esencia les para la eva l u ación, en especial u na vez que
com prendemos que l a observació n participante no es la ú n ica
técn i ca cual itativa. E s esencial el desa rro l lo teórico y práctico
de med idas cual itativas que puedan ser integradas con enfo­
ques cuant itativos. La h isto ria de la i n novación ed ucativa, y
desde luego la de todos los p rogramas recientes de servicios
socia l es, indica claramente que cuando u nos programas de
acción socia l no se deriva n de u n cuerpo teórico al que a la
vez re- i nforman. raramente sob reviven l a rgo t iem po para p ro­
duci r cambio i nstitucional alguno.
1 46 Métodos cual itativos y cuantitativos en i nvestigación evaluativa

B I B L I OG R A F I A

B E CK E R , H . S. ( 1 9 69 ) "P rob lems o f i nference and proof in part icipant observa­


ti on , " en G , McCal l y J . C . Simmons (eds .l l ssues in Participant Observati on .
Readi ng , M A : Addison .Wesley .
B R Y K , A. ( 1 978) "E va l uating program i m pact : a t i me to cast a way stones, a time
to gat her stones together , " en S. Anderson (ed .l E xplori ng Purposes and D imen­
sions . San F rancisco : Jossey -Bass .

COO L E Y , W. W. 1 1 978 ) "E xplanato ry observational studies . " Educat i onal R esear­
cher 7 , 9 .

D E N Z I N , N. K. ( 1 978) The Research Act . N ueva York: M cG raw -H i l l .

E R I CKSO N , F. ( 1 97 7 ) ''Sorne approaches to i nq ui ry in school -community ethno­


graphy . " Ant h ropology and Educati on Ouarterly 7 , 2 .

F I E N B E R G , S. E . ( 1 97 7 ) "The co l lecti on and analysis of ethnographic d ata in ed u ­


cational research . " Anth ropology and Educati on Ouarte rly 7 , 2 .

N A D E R , L. ( 1 969 ) "Up the anth ropologist -perspectives gained f rom studying


up," en D . H ymes (ed .l R einventing Anth ropology . N ueva York: Random
H ouse .

SI E BE R , S. ( 1 973) "The integrati on of fieldwo rk and s u rvey methods ." American


Journal of Sociology 7 8 : 1 33-1 59 .

WE ISS , R . y M . R E I N ( 1 97 2 ) "The evaluati on of b road -ai m progrems : di fficulties


in experi mental design and an alte rnati va ,'' págs . 236-249 en C . Weiss (ed .) E va•
l uating Acti on P rograms . Boston : Allyn and Bacon .
Hacia un acercamiento entre las metodologías cuant itativas v cual itativas 1 47

NOTA DEL EDITOR

A algunos de los lectores podrá parecerles extraño que haya s ido in­
cl u ido en este volumen uno de los trabajos de Howard S.BECKER.. sobre
fotografía. Esta técnica no es habitual en evaluación y B ECKER, autoridad
notable en métodos de investigación cua litativa para las ciencias socia­
les, no ha destacado por su contribución a la evaluación. Desde l uego la
palabra evaluación no aparece en este trabajo en ning uno de los sent idos
trad ic iona lmente empleados para caracteri zar los esf uerzos de estima­
ción de los cambios debidos a proyectos o programas.
Hemos inclu ido el trabajo de BECKER por dos razones. En primer
lugar, la fotograf ía puede ser muy úti l en la evaluac ión. Los period istas
investigadores han demostrado una y otra vez la eficacia de fotograf ías
espectacu la res para l lamar la atención y, en cierto aspecto, "resumi r"
determinados p roblemas socia les y la adecuación de estrategas para mit i ­
garlos. Baste sólo con pensar en las imágenes d e conductores d e ambu lan­
cias negándose a l levar a actores obesos que han f ingido ataques card íacos
en el tercer piso de un edif icio o en fotograf ías y pel ícu las de minusvál i­
dos tratando de sa lvar el bordillo de una acera demasiado alta o en las no­
ticias f i lm adas de la guerra del Vietnam. Como medio de comunicación,
la cámara posee un considerable potencial para determinar una acción y
pa ra d ramati zar las tentativas de intervenc ión.
Las fotograf ías (y las pel ícu las) pueden tambi én proporciona r un re­
gistro más deta l lado y continuo de los procesos y transiciones que los
clientes experimentan en determinados programas. De esta forma, pue­
den proporcionar un marco para entender y clasif icar algunos de los
acontecimientos importantes que trascienden en el curso de un programa.
Desde luego semejante emp leo se ha lla limitado por el gasto (aunque las
técnicas de muestreo de tiempo y personas puedan reduci r los costes) y
po r cualesqu iera maneras en que la presencia de la cámara pueda afec­
tar a la persona que está siendo fotografiada (aunque tal es problemas
no son exclusivos de semejante procedimiento) .
La referencia a l a posibi lidad d e obstrucción i lustra una segunda ra·
zón, quizá más importante, para incluir el trabajo de BECKER. Su estud io
sobre la intepretación de las fotograf ías se basa considerablemente en
una prem i sa epistemológica que trasciende la d isti nción entre métodos
cual itativos y cuantitativos. BECK ER afirma que, incluso con las fotogra­
f ías, el investigador tiene que determinar cúales son las interpretaciones
de la imagen que se hal lan j ustificadas v luego tratar de emplear la foto­
graf ía, el conocimiento de las c ircunstancias que la rodean y cualquier
otro conocimiento relevante para descartar interp retaciones alternativas
de lo que la fotograf ía parece sugerir. Se trata de un marco de conf irma­
ción (es decir, determ ina r qué interpretaciones son confi rmadas) y de
no-conf i rmación (es decir, determinar qué interpretaciones plausibles
q ueda n descartadas). Lo que nos parece importante es esta sucinta pre­
sentación de un marco epistemológico común a la investigación cuanti­
tativa y a la cual itativa.
CAPITU LO V I

lD ICEN L A V E R DAD LAS FOTOG R AF I AS?*

Por Howard S. 8ECK E R


North western Universi ty

l Dicen la verdad las fotografías? Los científicos sociales y


los fotógrafos se interesan igualmente por la pregunta aunque
lleguen hasta all í por caminos diferentes. La "sociolog ía vi­
sual" y la "antropolog ía visual" son movimientos pequeños
pero en desarrollo dentro de esas disciplinas y hay historiado­
res (el ej emplo más obvio es el de Michael Lesv ) que juegan ha­
bitualmente con un empleo más imaginativo y amplio de · las
fotografías. Si vamos a utilizarlas como prueba de afirmacio­
nes de las ciencias sociales, necesitamos saber si puede con­
fiarse en las imágenes como prueba, si "dicen la verdad " y
cómo la dicen.
Los fotógrafos sienten una preocupación mucho más ambi­
valente por la verdad de las fotograf ías y, a menudo, adoptan
una estrategia para lograrla de las dos maneras, presentando
las imágenes de un modo que diga indirectamente, sin expre­
sarlo del todo, que transmiten una verdad importante o esen­
cial acerca del asunto que fotografían. Pero los fotógrafos sa­
ben perfectamente bien que las imágenes representan una
muestra muy pequeña y seleccionada del mundo real sobre el
cual se presume que están transmitiendo alguna verdad. Sa­
ben que su se lección de tiempos, lugares y personas, de distan­
cia y ángulo, de enmarque y tonalidad, todo combinado, pro­
duce un efecto completamente distinto de l que se lograría

• Reproducido de Afteri mage, febrero 1 9 78, 9- 1 3. Se han omitido algunas fo­


tografías del original.
l D icen la verdad l as fotograf ías? 1 49

de la misma realidad con una selección diferente. Y como


otros podr ían haber fotografiado el mismo asunto de modo
distinto, les preocupa ser acusados de parcialidad. Con esa
preocupación presente, están a la defensiva y afirman, antes de
ser acusados al respecto, que sus imágenes son sólo una visión
personal : "simplemente como me parecía", que cualquier
otra visión personal ser ía igualmente "válida ". Pero nunca
piensan realmente en las rectificaciones, tanto de sus propias
fotograf ías como de cualesquiera otras, que tengan alguna pre­
tensión de verdad documental.
Usted mismo puede comprobar la inutilidad de la rectifica­
ción "sólo es personal ". Tome a lguna fotograf ía que posea un
intenso elemento de algo parecido a un informe veraz sobre la
sociedad o una parte de ésta; las fotograf ías de FSA son buenas
a este fin aunque no sean clásicas (a menudo utilizo las foto­
grafías que hacen mis alumnos). Ahora dígase o diga a sus ami­
gos, o a quien le escuche, que acaba de descubrir que esta foto­
grafía no ha sido tomada en donde parecía haberlo sido, o en
donde dice el pie de foto, o que las personas en imagen no son
quienes parecen ser o que no están haciendo "naturalmente"
lo que la fotograf ía muestra que están haciendo. Yo trastor­
né una vez a una clase diciéndoles que las fotografías tomadas
por un estudiante eran falsas por cuanto, aun tomadas en
O ' H are Field, cada persona de las que aparec ía era un "extra"
contratado y cuyos movimentos había coreografiado. La res­
puesta a tal afirmación es intersante. Jamás he sabido de na­
die que no respondiera diciendo: " i Eso no es cierto1 " incluso
quienes unos momentos antes aseguraban vigorosamente que
la imagen representaba una visión personal cuya verdad no im­
portaba. Si nos negamos a creer que una fotograf ía carece
de la patente de realidad que suponíamos que tenía, debemos
ver que parte de nuestra respuesta a ella lo era, como prueba
de algo acerca del mundo real y del fotógrafo.
N aturalmente no todas las fotograf ías producirán semejan­
te respuesta. Géneros totales sencillamente no suscitan la cues­
tión de verdad. N adie sabe ni le importa en donde se originó
una construcción de UELSMANN y si Duane M1cHA LS emplea
modelos, ly qué? Por otro lado resultaría muy diferente
para nosotros si pensáramos que trabajos tan obviamente "per­
sonales" como los de Diane AR aus o Robert FRANK no se
realizaron donde dan a entender que fueron efectuados o que
las personas que aparecen en esas imágenes eran modelos con-
1 50 Métodos cual i tativos y cuantitativos en i nvest igación evaluativa

tratados ; y el caso es más serio cuando pensa mos en fotogra­


f ías de W. E ugene SM ITH o en l os f otógrafos de F SA. Aqu é l
que no reaccione n u nca de se mejante modo ante las fotogra­
f í as no necesita segu i r l eyendo.
De esta ma nera, la mayor ía de nosotros nos preocupamos
de si las fotog raf ías que hacemos y l as que observamos parecen
"verdaderas" y pueden ser consi deradas como tales por otros
que l as vean. Qu iero señalar alg u nos modos de reflex ionar es­
ta cuestión que resu lten más claros que l os que h ab itual mente
seg u i mos. A l proceder as í me basaré en algunas ideas más o
menos bien conocidas de los científicos sociales y probable­
mente violentaré algu nas sensi b i lidades fotog ráficas pero éste
es el p recio por escapar a las t rampas en que nosotros mismos
nos hemos metido.
Lo que propondré no es necesa ria mente lo mejor y n i si­
quiera un modo extraord inariamente i m portante de eva l uar las
fotograf ías. Tampoco todas las fotograf ías deben ser eva l uadas
conforme a l as no rmas que desc ri b i ré. Pero si la verdad es u n
factor e n nuestra respuesta a u na fotog raf ía, entonces estas
normas t ienen releva ncia para nuestra co mprensi ón y j u icio a l
respecto y tamb ién para nuestra experiencia estét ica.

lQU E ES LO V E R D AD E RO ?

U na pri mera aclaración nos obl iga a ren u nc ia r a la pregu nta


" l es esto verdad ? En esa forma simpl ista carece de respuesta
y de significado y por eso resu lta estú pida. Toda fotog raf ía,
puesto que parte d e l hecho de que u nos rayos l um i n osos q ue
a lgo emi te han l legado a una pe l ícu la, tiene que ser verdad e n
a lg ú n sentido obvio ; y como siempre pudo haber sido d iferen­
te de l o que fue, no es posi b l e que se t rate de toda la verdad
y en ese sentido obvio resu lta falsa .
Para abordar la cuestión de una manera más sensible hemos
de pu l i r l a . Para empezar podemos p regunta rnos " l acerca de
qué está d ic iendo l a verdad esta fotograf ía?" Por l o general
las imágenes pueden contener i nformación suficiente que pue­
da ut i l i za rse para apo rtarnos pruebas acerca de más de un asun­
to. l N os dicen las i mágenes de B rasai (en The Secret of Paris of
the 30's) la verdad acerca de Par ís, o acerca del Par ís de los
años treinta, o sob re l a vida aleg re parisiense, o sobre esa cla ­
se de vida alegre en general o." . . ? l D icen la verdad las fotogra-
l D i cen la verdad l as fotografías? 1 51

fías de Bill Owens (en Suburbia) respecto a las comunidades


suburbiales, sobre Livermore, en California, en especial, de los
papeles del sexo en la América moderna, de las prácticas do­
mésticas, sobre los niños americanos o . . . ? En consecuencia te­
nemos que especificar primeramente de qué verdad se trata.
Incluso eso no es suficiente. Aunque conozcamos el asunto
aún no sabemos qué es lo que se afirma al respecto. Adverti­
mos a veces que las afirmaciones que formula una fotografía
-su "declaración"- son tan sutiles e inexplicables que no cabe
reducirlas a palabras. 1 ndudablemente no es posible traducir
toda la formulación de este modo. En buena parte se expresa
en un lenguaje visual respecto del cual carecemos de normas
hábiles para reflejarlo en vocablos. Más aún, contiene tanto
material que su traducción a palabras significaría más trabajo
del que merece la pena el empeño. Aun as í, y por lo general,
no solemos considerarnos incapacitados para no decir nada
sobre e l contenido de la imagen. En consecuencia, precisamos
de un modo de extraer de la imagen algunas formulaciones ver­
bales que nos ayuden a decídir acerca de qué nos está diciendo
la verdad, si éste es el caso y en qué consiste semejante verdad.
He aqu í una manera de proceder. Respecto de cualquier
imagen, pregúntese usted qué cuestión o cuestiones puede es­
tar respondiendo. Como la imagen podría responder a muchas
preguntas, nosotros podemos resolver cúal es la pregunta en la
que estamos interesados. Desde luego, la imagen señalará la
probabilidad de que al l í se encuentren respuestas a algunos
interrogantes. Por ejemplo, las fotografías de despensas y fri­
gor íficos de Owens sugieren claramente que responderán a
preguntas acerca del tipo de a l imentos que almacenan y presu­
miblemente consumen, quienes habitan esas casas m ientras
que otras fotograf ías de Suburbia indican que responderán a
otras preguntas respecto a sus disposiciones domésticas. Las
fotograf ías de Wal ker Evans sobre las cocinas de aparceros
no contienen una información tan detal lada de los a l imentos
y no es posible emp learlas para responder a tales preguntas; su
contenido sugiere que responderán a los interrogantes sobre el
mobil iario de los aparceros. De l mismo modo, algunas de las
fotograf fas de Brassai responden expl ícitamente respecto al
modo en que operaban las prostitutas parisienses mientras que
las imllgenes de Danny Lyon (en The Bikeriders) contestan
a algunas preguntas acerca de la manera en que invierten sus
momentos de ocio las bandas motorizadas.
1 52 Métodos cual itativos y cuantitativos en i nvestigación evaluativa

N o es preciso que nos l im itemos a l as pregu ntas que sugie­


ran l as fotograf ías. Tamb ién pueden emplearse para que nos
i nformen de asu ntos en los q ue no pensó el fotógrafo y q ue no
sugieren d e ma nera obvia l as i mágenes. As í Lesy e mp lea

B i l l Owens, de Suburb1a
l D icen la verdad l es fo tograf ías? 153

Wa l k e r E v an s, " Coc i na y pa l anga n a en e l pas i l l o de la cabaña de F l oyd


Bu rrough , aparce ro del a lgodón , Hale Co , A l abama , 1 93 5".
1 54 Métodos cualitativos y cuantitativos en investigac ión evaluativa

fotograf ías de u n estud io comercial (en Real Life) pa ra i nves­


t igar la forma en que los participantes en la vida social de
Lou isv i l le d u ra nte l os años 20 a lteraban del iberadamente l a
rea l idad, cuestión sobre l a q ue ouede presum i rse q ue p reten­
d ían ma ntener . ignorada las i mágnes de Cau lfie ld y Shook.
Cabe sustraerse as í a i n terrogantes i nterminables, i nexp l i­
cables e i rre levantes acerca de l propósito del fotógrafo
porque, cua lqu iera que sea esa i ntención, podemos e mp lear
las fotograf ías para respo nder a l as pregu ntas q ue q ueremos
plantear y p roceder as í sin vio lentar la ta rea de los fotógra­
fos-art istas.
E n cualqu ier caso e leg i mos u na pregu nta de la que pensamos
que la fotograf ía nos perm i t i rá responder. Qu izá nos acerca­
remos a la fotograf ía con la pregu nta ya decid ida o tal vez se
nos ocu rri rá cuando observemos la i magen. De uno u otro mo­
do tenemos q u e recu rri r sistemáticamente a la imagen para ver
qué t i po de respuesta pu ede darnos. Qu izá descubramos que
no contesta muy bien a l a p regu nta pero respo nderá a algún
otro i nterroga nte de modo más satisfactorio, deja ndo menos
margen para la duda. La tarea consiste en hal lar u na pregu nta
y u na respuesta que se aco moden, siendo la respuesta la que
correspo nde a tal pregu nta y viceversa.
Las p regu ntas más obvias a las que pu eden responder las
fotograf ías son las más espec íficas l Qu é tienen estas perso­
nas en l as estanter ías de su despensa ? l Qué cl ase de c haq uetas
visten los mi embros de la ba nda m otorista de Lyon. Pe ro só­
lo nos i nteresamos por u na i nformación tan espec ífica si los
sujetos de la fotografía son ce lebridades de algú n t i po, si son
personas de nuestra i nti m idad o si las fotograf ías van a ser
em p l eadas en u n trám ite lega l . N o rmal mente l as fotograf ías
nos parecen interesantes porque responden a pregu ntas acer­
ca de a lgo más amp l i o q u e el asu nto i nmed iato y por lo co­
m ú n los fotógrafos nos dan a entender que su s imágenes tie­
nen ta l significado a mp l io. As í Owe ns no titu la su l i bro
Livermore sino Suburbia y al p roceder de este modo da a en­
tender ( hay que su poner q u e de l iberadamente) que las foto­
g raf ías responden a pregu ntas acerca de l as genera l idades del
est i l o de vida su bu rbano y no tan sólo de u n su burbio. S i sólo
se refi rieran a ese barrio, las fotograf ías nos pa rec ían me nos
i nteresantes; son escasas las personas ( a l margen de las q ue a l l í
vive n ) que sientan u n profu ndo i nterés por Livermore, Cal i­
fornia. Los l ibros de fotograf ías docu menta les tienen m uchas
¿ D i cen la verdad l as fotograf ías? 1 55

veces títulos que implican ese tipo de generalización intere­


sante (pensemos en The Americans, American Photographs
o You Have Seen Their Faces) . Pero incluso sin semejante ayu­
da saltamos rápidamente a tales generalizaciones porque sin
ellas las fotografías en manera alguna nos llamarían la aten­
ción.
En consecuencia, inspeccionamos por lo común este tipo de
fotograf ía con la mirada atenta a la respuesta referente a al­
guna pregunta general acerca de las disposiciones o los proce­
sos sociales. El género de preguntas que nos interesa corres­
ponde a menudo al de las que formulan los científicos socia­
les. Por ejemplo: l cuáles son los principales temas de la cultu­
ra de esta sociedad? Este es el tipo de pregunta que suscitó
Ruth 8 E NED ICT en Patterns of Culture y en The Crhrysan­
themum and the Sword y me parece que es un modo justo
de caracterizar el libro de Robert F RANK afirmar que The
Americans es una clase de respuesta a preguntas tales acer­
ca de los Estados Unidos. En la lista de los temas que el l ibro
proporciona como respuesta, si formuláramos la pregunta
correspondiente, figuran (y no es exhaustiva mi relación)
los siguientes : .
1 ) . E l coch e do mina l a so l ed ad americana. Los america nos reve­
renc ia n a sus coches y prácticamente v iven en su i nterior.
2). Reverencia n de modo sem eja nte a la bande ra o a l menos l a m ues­
tran en todas partes, en tantos l ugares y tan variados que l l egan
a d evaluarla y degradarla.
3 ) . De l m i sm o modo resulta om nipresente el simbo l i smo rel igioso y ,
en co nsecuencia, aparece carente de s ignificado y degradado. Só­
lo entre los negros constituye una fu erza viva.
4). Algunos varones -blancos, de l a cl ase media alta, d e mediana
edad u occid entales- son poderosos e inspiran m i ed o y d efe­
renci a. Los ancianos parecen d eva luados e ignorados. Son trata­
dos muy ma l , tal como les sucede a los pobres y a los miembros
d e las m i no r ía s étn icas.
5 ) . Las muj eres carecen de poder y só lo obtienen algo gracias a su
apariencia y a su relación co n un varón pode roso .

No es éste lugar para un análisis completo de The Ameri­


cans, pero la naturaleza de los temas culturales constituye
al menos un orden de interrogantes al cual proporciona res­
puestas.
Otros trabajos fotográficos caracterizan el estilo de v ida
de algún estrato socia l , grupo profesional o área social, deta-
1 56 Métodos cualitativos y cuantitativos en investigac ión evaluativa

llando formas principales de asociación entre los miembros


del grupo y colocándolos en relación con una serie de fuerzas
del entorno. Eso es lo que hace la obra de Danny Lyon. Otros
fotógrafos responden a preguntas equivalentes a una versión
de: lpueden existir tales cosas? Es decir, comprueban que cier­
tos fenómenos realmente han tenido lugar o han existido de
modo que sabemos que las charlas y teorizaciones futuras ten­
drán que tener en cuenta su existencia. En el grado en que las
fotografías publicadas de Dian Arbus nos dicen algo más
allá de ella misma, sirven a ese propósito, indicando la existen­
cia de una población de excéntricos y extravagantes por lo
común convenientemente olvidados por los miembros más
"normales" de la sociedad americana, una población ignorada
por las teorías tanto profanas como profesionales acerca del
modo en que opera la sociedad. O atendamos a esta pregunta :
lrealizarían en público las relaciones sexuales conocidas como
cunnilingus y con mujeres que les fueran totalmente descono­
cidas, americanos de pequeñas ciudades, granjeros y trabaja­
dores semejantes? A la mayoría de quienes han escrito sobre
la sociedad americana les resultaría imposible esta situación
pero unas pocas fotografías de Carniva/ Strippers de Susan
Meiselas, más el texto de acompañamiento, nos muestran
que lo han realizado, al menos en la mediad suficiente para que
ella lo fotografíe; según testimonio de quienes informaron a la
autora, el hecho es incluso corriente.
Son innecesarios ejemplos ulteriores. De estas fotograf ías
pueden extraerse las respuestas a tales preguntas. Las respues­
tas, tanto específicas como generales, que hallamos en las
fotografías pueden ser consideradas como las proposicio­
nes cuya verdad afirma la imagen. Así ya no es necesa­
rio contestar a preguntas tan irreplicables como : "constitu­
ye el reportaje de Smith sobre la aldea española una ima­
gen 'verdadera' de la vida allí?" En vez de eso podemos
hacer preguntas espec íficas acerca de esa vida -lse toman
muy en serio los aldeanos los ritos religiosos?- y emplear el
material de las imáqenes para responderlas. El primer paso
consiste en decidir si las imágenes dicen la verdad y luego re­
solver qué verdad afirman, viendo qué respuestas pueden ex­
traerse de ellas a las preguntas sugeridas por nosotros o por
ellas. ( Este modo de examinar las cosas destaca el hecho de
que las imágenes no realizan simplemente afirmaciones sino
que más bien nosotros interactuamos con ellas con objeto
¿ D icen la verdad las fotograf ías? 1 57

de llegar a unas conclusiones, en suma, que nosotros desempe­


ñamos un papel activo en el proceso, como Dewe v señaló ha­
ce ya tiempo y muchos otros han reiterado desde entonces).

AM E N AZAS A LA VAL I D E Z

Una vez que sepamos lo que en nuestra opinión afirma una


i ma gen, o puede lograrse que afirme, puede preguntarse : les
cierta esa afirmación? Antes de sugerir un modo de abordar
este problema quiero formular unas cuantas observaciones pre­
liminares.
1 ). La verdad no tiene por qué ser toda la verdad. Es irrele­
vante criticar la afirmación que hayamos extra ído de una
imagen porque tamb ién postule alguna otra afirmación, a
menos de que las dos afirmaciones sean contradictorias. Como
frecuentemente las imágenes contienen una gran riqueza de
información, no es sorprendente que pueda formularse más de
una cosa verdadera sobre la base de una sola imagen. Cuando
así sucede, solamente signif ica que estamos formulando dife­
rentes preguntas que merecen y logran distintas respuestas.
2). Por lo común, la verdad no quedará comprobada por una
sola fotografía y habitualmente tampoco por cierto número de
fotograf ías consideradas en sí mismas. Los fotógrafos y otras
personas incurren en el hábito de debatir la cuestión de la ver­
dad como si tuviese que quedar zanjada con referencia a una
i ma gen. l Oué podemos afirmar con seguridad sobre la base de
esta única fotografía? La respuesta suele ser nada en absoluto.
Por lo general decidimos acerca de las cuestiones importantes
sobre la base de la valoración de todo tipo de datos, equilibran­
do todos los fragmentos que de hecho podamos reunir para lle­
gar a formular el mejor juicio posible que quepa hacer respec­
to de una proposición. Entre estos fragmentos f igurarán co­
rrientemente otras fotografías, además de aquella con la que
hemos estado trabajando, y una variedad de textos : docu­
mentos, entrevistas, etc.
3). N unca podemos estar completamente seguros de la ver­
dad de una afirmación. Nuestro conocimiento es siempre par­
cial y por eso falible; posiblemente mañana encontraremos
nuevos datos que nos muestran que la af irmación que conside­
rábamos verdadera es, después de todo, falsa. As í una reciente
investigación sobre las circunstancias de la realización de mu-
1 58 Métodos cual itativos y cu antitativos en investigaci6n evaluativa

chas de las primeras fotografías de los indios americanos mues­


tran que son considerablemente imprecisas, porque los fotó­
grafos vest ían a los indios y les hacían posar como creían que
tenían que hacerlo los indios en vez de investiaar suficientP.­
mente sobre sus vidas para ooder fotoqrafiarles tal como apa­
rec ían en su vida corriente (véase ScH E R E R , 1 975). Estos ca­
sos y otros similares revelan cómo una nueva información pue­
de modificar nuestras ideas acerca de la validez de una afir­
mación y, en consecuencia, el grado en el que estas ideas se ba­
san en algo más que en la prueba interna deducible de una fo­
tograf ía.
4). No existe una sola norma de validez que resulte acepta­
ble para todos los grupos sociales y para todos los fines. Algu­
nos grupos se muestran más escépticos que otros, en parte por
sus inclinaciones profesionales (por ejemplo, los psicólogos
son probablemente más escépticos que los antropólogos) y
en parte en función de los propios intereses (la prueba de algo
que me perjudique tiene que ser muy convincente, mucho
más que si me favorece). Por añadidura, exigimos de la prue­
ba un nivel elevado cuando hemos de basar alguna acción im­
portante sobre nuestra conclusión. ( Una de las razones de que
nos mostremos menos escép�icos respecto del material fotográ­
fico puede ser la de que rara vez emprendemos una acción im­
portante sobre esta base.)
Con estas precisiones podemos pensar en la forma de decir
si la afirmación que hemos extraído de una fotografía es cier­
ta. La idea de amenazas a la validez de una proposición fue pri­
mero formulada y estudiada considerablemente por Donald
CA M PB E L L , un psicólogo y filósofo de la ciencia, junto con
unos cuantos de sus colabo radores. La idea es bastante sim­
ple. Decidimos si una proposición es cierta (o, quizá mejor, si
debemos creerla), pensando expl ícitamente en todas las razo­
nes que podemos tener para dudarlo y viendo luego si las prue­
bas accesibles nos obligan a tomar en serio estas dudas. Si las
pruebas indican que no es necesario que alimentemos tales du­
das, que estas amenazas a la validez de nuestra idea no son só­
lidas, entonces cabe aceptar como cierta la proposición. 1
CAMP B E L L y otros han establecido una lista de gran número
de amenazas a la validez de hipótesis o afirmaciones. Muchas
1 La declaraci6 n original relativa a este enfoque es de CAMPB E L L y STAN L E Y
( 1 966) . CAMPB E L L ( 1 969) formula a l respecto algu nas importan tes m od i ficac ion es.
l D icen la verdad las fotograf ías? 1 59

de éstas presentan una referencia especial a la situación del ex­


perimento de laboratorio ; otras resultan más generalmente
aplicables. No pretendo examinar toda la lista sino más bien
iniciar otra similar aplicable a afirmaciones basadas en materia­
les fotográficos. En la actualidad d isponemos de numerosos
ensayos y monografías fotográficos que formulan una espe­
cie de declaración acerca de la vida social. Al examinar varias
de estas obras podemos ver qué dudas tenemos al respecto ; con
la generalización de estas dudas cabe apreciar cúales podrían
ser las categorías generales de las amenazas a la validez de afir­
maciones de origen fotográfico ( CAMPB ELL revisó su lista en va­
rias ocasiones desde la primera vez que la publicó y la lista que
daré es asimismo provisional: cabe ampliarla sobre la base del
modo en que funcione en la práctica). Cuando podemos enten­
der las amenazas a la validez, podemos ver también qué tipos
de material cabrá emplear con la amenaza. En suma, cabe com­
pilar un catálogo de problemas y soluciones. He aquí algunos.
1 ). La amenaza más obvia a la validez de una conclusión
basadá en datos fotográficos es la sospecha de que la fotogra­
fía fue falseada de alguna manera. Puede que haya sido retoca­
da; Lesv muestra algunos burdos ejemplos de fábricas inmun­
das, dignas de Lewis Hine, * convertidas mágicamente en lu­
gares de trabajo espaciosos, soleados e h igiénicos. Puede que
el grabado sea una mezcla de varios negativos y que muestre
juntas a personas que en realidad jamás se reunieron. Las per­
sonas y las cosas en la imagen pueden haber sido d ispuestas
por el fotógrafo o por alguien más ( con o sin el conocim iento
y la aprobación de éste), como en el caso de la fotografía
de la "calavera" de Arthur Rothstein quien fotografió la
descolorida calavera de un buey sobre un terreno reseco de
Dakota del Norte. Había encontrado cerca el cráneo y lo des­
plazó hasta dejarlo sobre un espacio pelado y próximo a un
herbazal, buscando la luz y el ángulo mejores. Los políticos
republicanos, en un esfuerzo por poner en evidencia los de­
mócratas y a Franklin Roosevelt, afirmaron que la foto­
grafía hab ía sido trucada, que el cráneo no estaba en donde
Rothstein lo fotografió. Deieron a entender que llevó con­
sigo la calavera buscando un lugar oportuno con objeto de
• Auto r en tre otras series fotográficas célebres, de l a s q u e ded icó a l a l l egada d e
e m igrantes a N ueva York ( 1 905 ) , su vida posterior ( 1 908) y las cond iciones de tra­
bajo de n i i'los ( 1 909 ) . (N. del T. )
1 60 Métodos cual itat ivos y cuantitat ivos en i nvestigac ión evaluativa

sacar un partido dramático a la sequía. Lo que rechazaban era


la conclusión implícita de que la sequía hab ía sido tan grave
que los bueyes se mor ían y pudrían en los camp os.i
La historia de Rothstein ilustra varios puntos. El hecho de
que la fotograf ía sea "auténtica" depende de las conclusiones
que extraigamos al respecto. Si la consideramos como prueba
de que las vacas de Dakota del Norte estaban muriendo de sed,
problablemente no es cierta. Si la consideramos como simboli­
zadora de la situación de la sequía, ilustrando su gravedad, en­
tonces probablemente era verdadera. La historia indica tam­
bién lo que se requiere para que una imagen sea estimada co­
mo indiscutiblemente "verdadera". Si sospechamos que ha
sido objeto de la intervención subrepticia de alguien, de for­
ma que la fotograf ía no ser ía lo que es sin semejante ínter-

M ichael Lesy , de Real Lite: Louisvílle in the Twen ties. Por cortes ía de l os
arch ivos fotográficos d e l a Universidad d e Lou i sv i l l e .

2 E l relato aparece en H U R L E Y ( 1 97 2) : 8 6 : 92) .


l D i cen la verdad las fotograf ías? 1 61

M ichael Lesy, de Real Lite: Louisville in the Twenties. Por cortesía de l o s


a rch ivos fotográficos d e l a Un iversid ad de Lou isv i l l e

vención, su valor como prueba disminuye. Así quizá no con­


fiemos en las fotoQrafías de camoesinos oeruanos oue hizo
lrving Penn (en Worlds in a Sma/1 Room) para decirnos qué
clase de personas son, porque Penn nos cuenta que dispuso
él mismo sus posturas, moviendo sus brazos, piernas y torsos
como hacía con las modelos de alta costura. Sea cual fuere lo
que hubiéramos podido deducir acerca de la vida y de la cul­
tura de los campesinos por la manera de situarse ante la cá­
mara, resulta ahora sospechoso porque quizá lo que vemos
corresponda sólo a una idea de Penn. Del mismo modo,
cuando una fotografía muestra abiertamente signos visibles
de haber sido trucada ( como en las imágenes de Photomontage
de Dawn AoEs), no ponemos reparo alguno ; nadie está tratan­
do de engañarnos y sabemos que a ta hora de hacer inferencias
tendremos en cuenta la adulteración.
2). La historia de Rothstein sugiere una segunda amena-
1 62 Métodos cualitativos y cuantitativos en investigación eva luativa

za a la validez de afirmaciones basadas en fotografías. La fo­


tografía posee un rango ambiguo en relación con el arte su­
perior, y a muchos fotógrafos cuyo trabajo es descaradamen­
te comercial o periodístico también les gustaría ser conside­
rados "artistas". Les estimulan en su deseo las autoridades en
el mundo de la fotografía de arte quienes periódicamente
descubren un mérito art ístico en trabajos de este tipo y así
periodistas gráficos como Cartier-Bresson y W. Eugene
Smith son reconocidos como artistas y sus obras se exhiben
en los museos v son compradas y vendidas por marchantes y
coleccionistas. N ingún género de fotografía parece inmune
a este efecto. Se ha iniciado un intenso movimiento para to­
mar en serio las fotografías de fa moda e incluso han recibido
semejante tratamiento las fotografías de reconocimiento
aéreo realizadas bajo la dirección de SrEICH EN durante la pri­
mera guerra mundial (véase SEK ULA , 1 975).
No quiero debatir aquí la oportunidad o la improcedencia
de esta práctica. Algunas de las personas y fotografías así en­
noblecidas, lo merecen; no es ése el caso de muchas. En cual­
quier circunstancia y como los fotógrafos, sea cual fuere el
trabajo que estén realizando, pueden desear ser reconocidos
como artistas, sospechamos a veces que hacen sus reportajes
acomodándolos a los actuai'es estilos art ísticos, tanto por lo
que se refiere a la técnica y a la composición, como con res­
pecto al capricho y al asunto. Así, hace algunos años, Jones
y Boruch montaron una exposición de fotografías de una mo­
ribunda población californiana : tiendas de escaparates cubier­
tos de tablas, calles desiertas, un Banco cerrado. La e x posi­
ción mereció una respetuosa cr ítica de Margery MANN ( 1 964)
quien, meses más tarde, envió al director de l.2. publicación
una airada carta en la que anunciaba que hab ía visitado des­
pués la población moribunda; descubrió que a menos de una
manzana de distancia de donde fueron tomadas las fotogra­
fías había surgido un nuevo y próspero barrio comercial, con
una nueva sucursal del B anco que hab ía cerrado, dos concesio­
narios de coches y otros signos de prosperidad. Las fotogra­
f ías parecían haber sucumbido al deseo "artístico" de nos­
tálgicas historias sobre la muerte del antiguo Oeste. No hay en
esto cr ítica alguna a las fotografías ni la afirmación de que fue­
sen falsas. Tan sólo se indica que, a partir de tales imágenes,
no cabe lleqar a la conclusión de que la población estuvies e
mu ri éndose ; los fotógrafos merecían una censu ra tan sólo en
l D icen la verdad las fotograf ías? 1 63

cuanto hab ían sugerido que el observador pudiera llegar a tal


conclusión.
El deseo de hacer "arte" puede, pues, inducir a los fotó­
grafos a suprimir detalles que estorben a su concepción art ís­
tica, una idea que puede ser perfectamente válida en s í misma
pero que no conviene a las fotografías cuando éstas han de
ser utilizadas como prueba para llegar a cierto género de con­
clusiones. Muchos cient íficos sociales experimentan r>recisa­
mente este temor. El miedo se halla justificado pero no puede
limitarse sólo a las fotografías o a aquellas realizadas con una
intención art ística. En el grado en que la intención art ística
obstruye el empleo de la fotografía como prueba, en e l mismo
grado procede afectando a la selección y presentación de deta­
lles, de modo que algunas cosas no se muestran, se destacan
ciertos detalles a expensas de otros y así se sugieren relaciones
y conclusiones sin proporcionar realmente una causa sólida
para creerlas y presentando detalles de manera que proporcio­
nen un talante en vez de otro (a través, por ejemplo, de la
manipulación de la luz o del estilo de impresión) . Como toda
manera de realizar una fotograf ía, tanto si es con fines artísti­
cos como para su presentación como prueba ante un tribunal,
recurre a tales medios, existe un problema pero es aquél con
que tropieza cada usuario de la fotografía. Por lo demás, toda
forma de material verbal plantea el mismo problema; porque el
testimonio escrito y el oral se hallan asimismo determinadas por
la existencia de una audiencia y han de ser, en consecuencia,
interpretados y comprendidos. Así el hecho de saber que el
fotógrafo posee algunas intenciones art íst icas no invalida su
trabajo como prueba ; aun podemos decidir que una cierta con­
clusión es verdadera. Pero sabiéndolo, estaremos atentos a
algunas amenazas a la validez de nuestras afirmaciones. No ca­
be resumir fácilmente tales amenazas porque dependen de las
convenciones y modas art ísticas que se impusieran cuando se
hizo la fotografía. Conociéndolas, podemos buscar en especial
omisiones o sesgos en la muestra y en la presentación que cabe
.asociar con tales convenciones.
3). Podemos sospechar que el fotógrafo ha realizado una
muestra inadecuada de los acontecimientos que haya captado,
dejando de ver todas las cosas relevantes para la pregunta y la
respuesta en las que estamos interesados o que, habiéndolas
v isto, no las ha fotografiado. En este punto, uno de los proble­
mas principales es el del acceso. l Podemos lograr el acceso a
1 64 Métodos cual itat ivos y cuantitat ivos en investigación evaluativa

toda la gama de actividades relevantes y si es así, en q ué tér­


minos cabe acceder? l Oué tenemos que dar a cambio ? Cuan­
do examinamos las fotograf ías como prueba, queremos saber
lo referente al acceso y a las condiciones. Por lo general los fo­
tógrafos nos proporcionan información sobre estos puntos,
tanto expl ícitamente (como en la introducción de B ruce
DAv1osoN a East 1 00th Street o en el largo texto de Smith
en Minamata ) como impl ícitamente, por la prueba de las pro­
pias fotograf ías. Se dice a menudo que una fotograf ía registra,
entre otras cosas, la relación del fotógrafo con las personas que
aparecen en la imagen, tanto si es íntima, amistosa, hostil o
voyeu rista. Podemos advertir, por ejemplo, que Danny Lyon
y Larry Clark (en Tu/sa l tuvieron que haberse relacionado
íntimamente con las personas a las que fotografiaron con sus
mo tos y tomando drogas mientras que Frank resultaba un
extraño para quienes fotografió; que Bill Freedman ten ía una
relación amigable con la gente del circo que ella fotografió ;
que Bill Owens se relacionó en Livermore con algunas perso­
nas mejor que con otras, pero que conocía ampliamente la
zona, igual que la conocer ía un reportero. Parte de nuestro
interés estriba siempre en saber cuánto tiempo pasó en la zona
el fotógrafo ; confiamos más en la muestra cuando sabemos
que ese período fue largo. N o es lo mismo una semana que un
año o dos.
La obtención de permiso o autorización para realizar foto­
graf ías de personas puede considerarse provechosamente como
una negociación entre ellas y el fotógrafo. Cada uno da algo y
consigue algo. La mayoría de los fotógrafos han desarrollado
u n sistema de abordar este problema, pero rara vez hablan de
ello con franqueza o prolijamente. lOué entrega el fotógrafo a
cambio del permiso por realizar su trabajo ? Por ejemplo, yo
pasé dos años fotografiando a personas que proporcionan ser­
vicios médidos de urgencia en los grandes conciertos de rock
al aire libre de la zona de la bahía de San Francisco. La única
regla a la que hube de someterme para lograr el acceso a buena
parte de las operaciones era no fotografiar ni utilizar nunca el
rostro de un paciente. La razón era clara y comprensible y
acepté la prohibición como precio para poder realizar todo m i
proyecto. Sin embargo, quienes ahora lo ven no pueden respon­
der a las preguntas relativas a los tipos de personas que son tos
pacientes o qué les parece el servicio que obtienen, por obra de
la norma que yo acepté durante la negociación del permiso.
l D icen la verdad las fotograf ías? 1 65

Un segundo problema es el de la teoría del fotógrafo. No


fotografiamos lo que nos parece falto de interés o que carece
de significado. El hecho de que pueda tener un significado y
resultar interesante está en función de la teoría que tengamos
respecto a lo que estamos investigando. Por lo general, logra­
mos una cierta idea acerca de la teoría del fotógrafo al investi­
gar tanto las propias fotograf ías como el texto que las acompa­
ña. Podemos llegar a decidir que la teoría ha cegado al fotógra­
fo en lo que se refiere a cosas que tenemos que saber para de­
cidir si una determinada afirmación es cierta. Aquí criticamos,
hasta el punto en que estemos haciendo una crítica, no las fo­
tograf ías sino la teoría o idea' que subyace en su realización
(véase BECK E R , 1 975).

Howard Beck·er, de l a serie sobre asistencia méd ica en los


conciertos de rock

En cualquier caso, una muestra inadecuada, sea cual fuere


la forma en que surgió, puede inducirnos a advertir una grave
amenaza a la validez de la afirmación que queremos hacer ba­
sándonos en las fotografías.
1 66 Métodos cual itativos y cuantitativos en investigac ión evaluativa

4). Finalmente, puede que sospechemos que alguna forma


de censura nos ha impedido contemplar todas las imágenes que
pudiéramos haber visto y que las retenidas hubieran cambiado
sustancialmente nuestra opinión y alterado quizá nuestras con­
clusiones. La censura puede ser impuesta por el Estado o por
alguna subdivisión de éste, por una atmósfera cultural general
que estime indecentes o desagradables ciertas fotograf ías o por
los mismos fotógrafos, imbuídos de determinadas convicciones
personales o políticas.
Las consideraciones contemporáneas se han relajado tanto
en las cuestiones "morales" Que ahora vemos fotoqrafías aue
no se hubieran publicado tan sólo hace unos años. Un ejemplo
sorprendente al respecto es el nuevo libro de Brassai en donde
figuran sus ya famosas imágenes de Par ís más muchas otras rea­
lizadas por el mismo tiempo, pero presumiblemente considera­
das entonces demasiado indecentes para su presentación en
público o para su distribución · y que ahora no merecen esa
valoración. Así contemplamos los bares de homosexuales que an­
tes no veíamos, las prostitutas y sus clientes en la intimidad,
etc. En nada contradicen lo que antes veíamos; simplemente
extienden y ampl ían lo que podíamos haber imaginado sin es­
tar comp letamente seguros de que acertábamos, aunque nuestro
conocimiento del mundo nos dijera que probablem.ente tenía­
mos razón.
Pero el hecho de que ahora veamos esas fotografías no
significa que no hayamos de considerar la posibilidad de la cen­
sura. Hay que tener especialmente en cuenta que el sexo es só­
lo uno de los asuntos sobre los que puede recaer la censura.
Existen muchos otros. Todo aquello sobre lo que las gentes no
quieren saber, y hay millones de tales cosas, puede ser censura­
do si quienes desean que el tema se mantenga oculto poseen
poder para lograrlo. En realidad impedir que se publiquen co­
sas es un elemento de la práctica de las relaciones públicas y en
especial empresas y comunidades se esfuerzan a menudo por
evitar que se divulgue el material "desfavorable", entre el que
figuran las fotografías. Aunque realizada por intereses parti­
culares más que por el Gobierno y sin ser resultado de una
norma cultural general, esta tarea también tiene el efecto de
limitar lo que vemos.
De manera semejante, el fotógrafo puede limitar lo que ob­
servamo s. En este caso, desde luego, el empeño tiene un nom­
bre más agradable y posee además una razón de ser. Frecuente-
l D icen la verdad las fotograf ías? 1 67

me nte emp leamo s el térmi no editar, refiriéndonos a s í a la se­


lección de un peq ueño nú mero de fotograf ías excelentes entre
u na a mp l ia masa de imágenes. Es i m p robab le que q u isiéramos
ver todas las fotograf ías aunque no sea rid ícu lo ind icar, por
ejemplo, q ue p referi mos d ispo ner de los contrat ipos para ha­
cer la comprobación po r nosotros mismos. A todo e l mu ndo
le pareci ó extremadamente interesante co ntem plar la gama
comp leta de negativos que real izó Wa l ker Evans para FSA. A
menudo descubrimos que la contemplación de u na parte
más a m p l i a de u n trabajo no mod ifica nuestra ca pacidad
de form u l a r varias afi rmaciones o su j ustificación. Pero puede
l og rarlo y queremos saber si es as í antes de aceptar la respues­
ta a algu na pregu nta.
Cabe también q ue los fotógrafos censu ren su trabajo por ra­
zones de ideo log ía o qe ét ica, como yo h ice co n los rostros de
los expectadores asistidos d u rante los conciertos de rock. Es
posible que, s i n q ue se lo ex ija n las c i rcu nstancias, resuelvan
que no q u ieren mostrarlo todo, que a lgunas cosas a nad ie le
i m po rtan o que l as imágenes resu ltan i rrespetuosas para los
fotog raf iados. Es instruct ivo comparar al resoecto el trabajo
de B i l l Owens con e l de R oslyn Ban ish . Ban ish (en City Fami­
/ies) ha tratado u n asu nto- a lgo semejante a l q ue abordó Owe ns
y de u n modo comp letamente d iferente (au nque e l la se i n te re­
saba por la v ida doméstica de qu ienes resi d ían en el casco
u rbano en vez de en los subu rbios) . En l ugar de las instantá­
neas s i m p les de Owens, com p lementadas con u na declarac ión
breve y rá pida acerca del tema, e l la h izo retratos forma les de
fam i l ia a los que añadió largas entrevistas, re bosantes de deta­
l les sobre las vidas y asp i raci ones de cada u na. Estas fotogra­
f ías, mucho más respetu osas, presentan a las fami l ias de un
modo digno y sobrio que subraya su respetabil idad y honora­
b i l idad. Owens no dejaba que sus sujetos se p resentaran con
tal formal ismo ; les convencía para q ue ofrecieran ante l a cá­
m a ra un aspecto menos d igno y más cóm ico y al mismo t iem­
po no les perm it ía hab l a r tan pro li j a mente de sí mismos. Las
fotog raf ías de Owens nos proporcionan mucha más i nforma­
ción acerca de u na variedad de temas ( lqué sucede tras l os
claros m u ros de esas casitas subu rbanas? l Co nfusión, alcoho­
l i smo, mal gusto, pereza y desorden ?) y mucha menos acerca
de una var iedad de otros temas ( esperanzas, sueños y asp i ra­
ciones) . Si hub iese de eleg i r para com prender a u nas fa m i l ias
en su entorno, me g usta r ía tener ambas series de fotograf ías.
1 68 Métodos cualitativos y cuantitativos en i nvest igación evaluativa

B i l l Owens, "A Andrew no le gusta ir so lo al cuarto de baño",


de Suburbia.

Puedo responder a más preguntas y más completamente par­


t iendo de la combinación de las dos q ue con cualq u iera de las
dos series consideradas a isladamente. I gnoro si es justo decir
de la edición fotográfica de Ban ish que es respetuosa o afir­
mar de la censu ra de las ex presiones de los sujetos en l a ed i­
ción de Ovve ns que fue severa; probablemente n o, pero el efec­
to es el m ismo y en cada caso significa que tenemos menos
confianza en las conclusiones extra ídas de l material presenta­
do de la que de otra manera hubiéramos pod ido tener.
Siempre habrá razones suficientell'lente buenas para q ue a l­
gunas personas no presenten todo el materia l q ue pod r ían ofre­
cer, tanto si las razones son éticas o po l íticas como si senci­
l lamente se t rata de buen gusto. A la hora de ver a q ué conclu­
siones podemos l legar, a q ué pregu ntas podemos responder
plausiblemente, hemos de tomar en consideración todo lo qu e
sepamos o sospechemos acerca del grado de se lección q ue se
¿ D i cen la verdad las fotograf ías? 1 69

Rosalyn Banish, fotografía de la f ami lia Entwistle, de Ci ty Families


(Phantheon, 1976) .

haya operado. Hemos d e reconocer q ue l o s demás esti marán


cualesqu iera signos d e semejante selecció n co mo p u ntos débi­
les en la argu mentación que estemos p resentando y así quere­
mos evitar tales sesgos, ocu ltar los ind icios o expl i ca r lo q u e
son y po r qué s e hal l an presentes.
U n a consideración f i na l . E n el grado en q ue nos parezca que
u na forma determinada de o perar es prueba de la inexistencia
de una a menaza a la va l idez de cierta respuesta, hemos de estar
atentos a la posi b i l id ad de q ue e l propio signo de l a autent ici­
dad haya sido falseado. M u chos fotógrafos exh i ben ahora sus
fotograf ías enmarcadas por u na g ruesa l ínea negra. E ntre otras
cosa s la I ínea ind ica q u e e l negativo no h a sido recortado, que
todos los datos se nos p resentan abierta y since ramente. Pero
desde l u ego cabe t raza r I íneas negras en to mo del fragmento
de un negativo. Y, aun más significativa mente, el sistema ocu l­
ta u na amenaza peor : cualq u ier fotógrafo d iestro pued e enmar­
car as í u na i magen para tapar los detal les i ndeseados que una
persona menos d iestra tendría que recortar.
1 70 Métodos cualitativos y cuantitativos en investigación evaluativa

CON C L U SI O N

Repito que m i pr6p6sito en este trabajo ha sido e l de i n i ­


ciar u n debate, no e l de concl u irlo. La l i sta de amenazas está
i ncompleta y a penas resu ltan sugerentes los med ios ind icados
para abo rdarlas. E n m i opin ión, la manera de p roceder consis­
te en investiga r la práct ica eficaz -obras que co nvencen y lo­
g ra n su perar las d udas- tanto en la ciencia social como en la
fotog raf ía, a prend iendo y genera l i zando a part i r de las ex pe­
riencias en a mbas á reas.

B I B L IOG RA F I A

B E C K E R , H . S. ( 1 9751 "P hotography and sociology . ' ' Afta rimage (Mayo/Junio l .

CAM P B E L L , D. T. ( 1 969 ) "P rospecti va : artifact and con trol," en R . Rosenthal y


R . L . Ros now (ads .l A rtifact in Behavio ral Research . N ueva York: Academic
Press .
- -- v J . C. STAN L E Y ( 1 966) E xpe rimental and Ouasi-E xperimantal Designs fo r
R esearch . C hicago : R and McN ally .

H U R L E Y . F . J . ( 1 9 72 1 Portrait of a Decad e . Baton Rouge : Louisiana State Univer-


sitv Press .

MAN N , M. ( 1 964 1 Review , A rtforum ( Mayo l .


--- ( 1 964 ) Letter . A rtfo rum ( Septiemb re ) .

SCH E R E R , J . C. ( 1 97 5 ) "Y ou can 't believe yo u r eyes : inaccuracies i n photo­


graphs of N o rth American l ndians ." St udies i n t he Anthropotogy o f Visual
Communication 2 : 67-86 .
SEK U L A , A. ( 1 9 75) "The instrumental image : Steiche n at war ." A rtforum ( Di•
ciembre ) , 26 -35.
CAPITU LO V I I

CONT R IBUCIONES ETNOG RAF ICAS A LA


I NVEST IGAC IO N EVALUAT I VA

Evaluación del programa de Escuelas experimentales


y algu nas alternativas

Por M ichael S. KNAPP *


Stanford University

E n _los ú lt imos años los estud ios sob re la i n vest igación


eva l u at iva han comenzado a emplea r e l t rabajo etnográfico d e
campo como u n elemento en los esf uerzos i nvest igadores de
equ i po m u l t i d iscipl inar. Un ejemplo destacado a l respecto -la
i n vest igación eva l u at iva d e l P rograma f i na nciado por e l G ob ier­
no federa l - pro po rciona u n regist ro deta l l ad o de los p roble­
mas y de l as posi b i l id ades de l a i nvestigac ión etnográfica.
H ab id a cuenta de u na considerable i n versión en trabajo de
cam po, de u n marco temporal ampl io y de u n d iseño de estu­
d io q ue req u iere u n acercam iento a la i n vestigación etnográfi­
ca convenciona l , los estud ios sob re las E scuelas E x perimenta­
les co nstituyen u n excelente pu nto de partida para debat i r
lo que p uede - y no puede- ofrecer la etnograf ía a la i nvesti­
gación eval uativa. Este trabajo si ntetizará los comentarios pu­
b l i cados de q u ienes participaro n en esta serie de estud ios, u na s
d o s docenas de art ícu los y u n l i b ro aparecidos en los ú lt i mos
cinco años dentro de l as l iteratu ras de antropo log ía apl icada,
eva luación y camb io de orga n i zaci ón. Como demuestra ampl ia­
mente la experiencia de los partici pantes, el empleo de la et­
nog raf ía en la investigación eval u at iva suscita cuestiones f u n­
dame nta les que resu lta n tanto más dif íci les de resolver cuanto

• Agradezco los eficaces comentarios que form u l aron respecto de versiones p re­
v i as de este cap ítu l o Lee J. C R O N BAC H , Woodrow W . C LA R K , R obert E . H E ­
R R IQT, Mitchell D. McCO R C LE y R obert B. T E X TO R.
172 Métodos cu a l i tativos y cu antitativos en i nvest igación eva l uativa

más se ase meja el co mponente etnográfico a la práctica etno­


gráfica convenciona l . Las d ificu ltades no son insu perab les pero
sól o es posi ble resolverlas co n u n g ran coste y co n mod ificacio­
nes en la práctica etnográfica convenciona l.
La tarea con la q ue se enfrentaron los investigado res de las
Escue las E xperi menta l es representa sólo espec íficamente u n
programa, u n contexto pol ít ico, u na fina l idad eva l u adora y
u n n ivel de inversió n en la investigación. Son posib les otras
a p l i cacio nes de la etnograf ía a la investigación eva l u at iva, cada
u na co n ventajas y desventajas especia les y cada u na desviada
en diferentes 'grados del trabajo etnográfico co nvenciona l. Con
la esperan za de ensa nchar el debate iniciado por los estud ios
sobr:e las Escuelas Experi menta les y de incrementar la ga ma de
las aportac io nes etnográficas a l a invest igación eval u ativa , se
exam inarán informes se leccionados respecto a estas alternat i­
vas.

Investigación etnográfica

Para precisar la terminolog ía hay que decir que po r investi­


gación etnog ráfica se entiende la act ividad descri pt iva de traba­
jo de campo de los a ntropóJogos cu ltu ra l es y de m uchos soció­
l ogos cua l i tativos. E n tre los e lementos básicos de la i nvestiga­
ció n etnog ráfica figu ran : a) un acceso inicial mente explorato­
rio y abierto a todas las contingencias al prob lema de la inves­
tigació n ; b ) u na i ntensa i m p l icación del investigado r en el en­
torno soci a l q ue está siendo estud iado, como observador y en
d iferentes g rados como partici pante ; e) e l empleo de mú ltiples
téc nicas de i n vest igación intensiva, insistiendo en la observa­
ció n participante y en las entrevistas con informantes c lave;
d) u na tentat iva exp l ícita de co mprender los aconteci m ientos
en térm inos del significado q ue les prestan qu ienes hab itan en
ese entorno socia l ; e) u n marco interpretativo q ue su braye e l
i mportante papel del contexto en l a determinación de l a con­
ducta y de las i nterrelaciones "estruct u rales" o "eco lógicas"
e ntre la co nd ucta y los aconteci m ientos dentro de un sistema
funciona l ; 1 f) u n p roducto de i nvestigación en forma escrita
1 A u n q u e las etn ograf ias t ienden a i n terp retar los fen ómenos soc iales en térm i­
n os fu n c i o n a les, no e s pre c i so que así sea (véase E V E R H A R T . 1 97 6 : 2 1 -22 ) . Pe ro
hasta la fecha u n marco in terp retat ivo fu ncional parece t íp ico de gran parte del t ra ­
baj o etnográf ico .
Contribu c iones etnográficas a la i nvestigación eval uat iva 1 73

-u na "etnograf ía "- q ue i nterprete los acontec i m ientos con­


forme a las I íneas anteriormente ind icadas y describa el entor­
no con detalles suficientemente vivos como para q ue e l lector
"sepa lo q ue es estar a l l í". A u nq ue suficiente para los fines de
este t rabajo, esta l ista de e lementos no hace j usticia a las com­
plej id ades de la investigac ión etnográfica tal como ha sido des­
crita más amp l iamente por antropólogos ( p.ej . B E RREM AN ,
1 968; WAx , 1 97 1 ) ; por sociólogos cual itativos ( p. ej . M cCALL y
SIMMONs , 1 969 ; F ILSTEAD , 1 97 0) o por etnóg rafos educat ivos
( p. ej. W0 LCO TT, 1 97 5; WILSON, 1 977 a ) .

I N V EST IGACI0N ETN0GRAF ICA D E LA EVALUACI0N E N


LOS ESTUD IOS SOB RE LAS ESCUE LAS E XPER IM ENTALES

E l "progra ma " hacia e l que se orientó la i nvestigación eva­


luat iva en las Escuelas Experi mentales co111> rend ía varios sub­
programas, cada u no de los cuales consist ía en respuestas i nde­
pen d ientes a una d i rect iva genera l de "cambio vasto y a largo
plazo " en los sistemas educativos establecidos. E n d istritos es­
co lares elegidos en todo el pa ís, u nas asignaciones federales
s i rvieron para financiar du rante 3 o 5 a ños u n os p lanes de des­
arro l l o l oca l para la innovación en el persona l , l os p lanes de
estud io, la p reparación de los profesores y la organ ización. La
entidad patroci nadora actuó como "socio" en la tarea de cam­
b io proporciona ndo fondos, orientación y u na asistencia téc­
nica l i m itada ( véase HERRK>TT , 1 979a : 5 1 ) Las rea l i zaciones lo­
cales d u ra nte la vigencia del prog rama varia ro n en su alcance,
en el grado de alteración de la p ráctica y de l a o rga n i zación
existentes y en e l vol u men de rea l ización.
El Progra ma de l as E scuelas E xperi mentales se desa rro l ló
en conj u nto dentro de u n contexto de la pol ítica naciona l ca­
racterizado por l a turb ulencia desde su com ienzo e n 1 97 2 has­
ta el presente . E l p rograma, en un principio u na i m portante
i niciativa de Gobierno de N ixon dentro de la reforma educat i­
va, se resi ntió de los d i versos relevos en la Casa B lanca, sufrió
el cambio de patroci n io de la Oficina de E ducación al I nst itu­
to N aciona l de Ed ucación y conoció años d i f íc i les en el seno
de este o rga n ismo cuando e l I nst ituto Naciona l de E d ucación
fué blanco de los ataques del Congreso y de otros cuerpos e le­
gidos ( HERR10TT , 1 97 9a) . En d iferentes momentos de su h is­
toria, e l programa experimentó d i recciones diferentes, cada u na
de las cuales alentaba expectativas d ist intas.
1 74 Métodos cual i tativos y cuantitativos en i nvestigación evaluativa

I n vestigación evaluativa en las Escuelas Experimentales


y su componente etnográfico

La estrategia general de la investigación evaluativa _en las Es­


cuelas Experimentales exig ía una tarea interdisciplinar para
reunir datos de dos tipos básicos. En primer lugar, unos estu­
dios descriptivos de casos "documentaron" el progreso del
programa en cada circunstancia bajo la forma de relatos lo­
cales y de explicaciones etnográficas. En segundo lugar, una
bater ía de instrumentos encuestadores y psicométricos reco­
gió en todas las situaciones una información "evaluativa" co­
rriente para determinar así el cambio registrado en los alum­
nos, la organización escolar y la co munidad.
Algunos miembros del grupo de evaluación -y algunos par­
ticipantes en los estudios sobre las Escuelas E xperimentales­
establecieron distinciones entre los co mpo nentes de "evalua­
ción" y de "documentación" e insistieron en que el trabajo
etnográfico de campo era sólo parte de este último y carecía
de un importante papel evaluativo . Este trabajo mantiene, no
obstante, que resulta más productivo tratar a ambos compo­
nentes co mo un programa integrado de "investigación evalua­
tiva", cada parte del cual ,Pudo influir en la otra, así co mo en
las cuestiones po i íticas o en las decisiones futuras que afecta­
ron al programa.
En la tarea de evaluación participaron 7 empresas investi­
gadoras, cada una de las cuales se encargó de realizar un estu­
dio sobre uno de los subprogramas de las Escuelas E xperimen­
tales. Los informes sobre dos de estos estudios han dado cuen­
ta de amplios com ponentes etnográficos, cada uno organizado
de un mo do un tanto diferente ( H ER IOTT , 1 977; EvERHART ,
1 97 5, 1 976). En un caso -el Proyecto Rural que ha sido el
más ampliamente debatido en la literatura- en cada uno de los
1 O distritos escolares residió durante largos per íodos de tiempo
( entre 3 y 5 años en función del lugar) un agente de campo
con adiestramiento etnográfico.2 El tiempo del agente de
campo se repartió aproximadamente entre la elaboración de
estudios de casos y la recogida de datos interlocales. El resto
del equipo de evaluación, integrado por personal con prepara-

2 No t odos los agen tes de campo de l Proyecto R u ra l eran e tn ógrafos con creden­
ciales ant ropo l ógicas; tres eran soc iólogos y u n o educador (véase H E R R I OTT ,
1 97 7 : 1 09) Todos poseían e l equ ivalente de u n adiestramiento etn ográfico.
Contribuciones etnográficas a la i nvestigación evaluativa 1 75

ción psicológica y sociológica, permaneció en la empresa inves­


tigadora y fue responsable del diseño investigador e instru­
mental, as í como de los amplios análisis efectuados sobre los
datos transmitidos desde el campo. La división del trabajo pa­
recía lógica, habida cuenta de la lejanía y dispersión de los
emplazamientos escolares.
En el segundo caso, del que informó EvEA H AAT ( 1 975,
1 976) , el agente de campo era parte de un equipo interdisci­
plinar localizado en el emplazamiento escolar y al parecer fue
capaz de consagrar una parte mayor del tiempo al trabajo et­
nográfico. En razón de la proximidad de los demás miembros
del equipo, el agente de campo interactuó sobre una base de
continuidad con los restantes elementos de la tarea general
investigadora. En ambas tareas, los agentes de campo elabora­
raron un estudio de casos sobre principios próximos a los de la
etnografía tradicional, además, de realizar otros trabajos no
habituales en los etnógrafos.
La razón de la inclusión de un elemento etnográfico formal
de cada tipo parece eminentemente oportuna. H abida cuenta
de la variación esperada de un lugar a otro, de la naturaleza po­
lifacética de los cambios que se suponía hab ía de promover el
programa y de la obvia imposibilidad de separar la realización
del programa local de su contexto inmediato, resultó razona­
ble la decisión de aportar tantos recursos a un componente
etnográfico. El adiestramiento de los etnógrafos, por no men­
cionar su socialización para el trabajo en áreas remotas, pare­
cía idealmente adecuado para la tarea.
Por convincentes que estos razonamientos fueran -y lo
son- se prestó una atención insuficiente a las dif íciles cuestio­
nes suscitadas por la combinación de etnograf ía formal e inves­
tigación evaluativa. Tales cuestiones se hallan espectacularmen­
te ilustradas por las experiencias de quienes participaron en los
estudios sobre las Escuelas Experimentales, tanto en el nivel de
los agentes de campo como en el del coordinador de la investi­
gación o en el del patrocinador del programa.
176 Métodos cual itativos y cuanti tativos e n i nvest igac ión evaluat iva

Cuestiones suscitadas por la experiencia de i nvestigación


evalu ativa de las escuelas experimentales
1 . D E F I N I CION D E L PROBLEMA

La etnografía convencional procede de u na tradición que pri­


ma un enfoque in icialmente abierto a las contingencias y explo­
ratorio de la defin ición del problema de la investigación (WoL­
con, 1 975: 1 1 3). Pero en e l contexto de la investigación eva­
luativa, los patrocinadores tienden al principio a tener inte­
reses más centrados: u na po i ítica o un programa espec íficos,
u n determinado grupo de personas, una gama de variables a
las que se considera "po i íticamente relevantes" y una serie
de preguntas entre las que figuran t íp icamente las siguientes :
lfu ncionó el programa ? l Se alcanzaron los objetivos? l Se rea­
lizaron las partes del programa tal co mo se había proyectado ?
Pese a l a ampl itud que se les otorgó en los estudios sobre las
Escuelas E xperimentales, los agentes de campo se debatieron
entre las definiciones del problema de la investigación i moues­
tas por el pat rocinador o por sus electores y su propia incl ina­
ción a "descubrir en qué consiste el problema", i nteresándose
por e l entorno de la investigación y sus ocupantes. Uno de los
agentes de campo se resistió a las presiones ejercidas por los
coordinadores del estudio para que investigara efectos especí­
ficos del programa de u n modo que habría reducido considera­
b lemente e l foco del trabajo etnográfico. E l agente de campo
i nformó q ue hab ía recibido "duras críticas de nuestra propia
organ ización matriz por no exami nar exclusivamente las varia­
bles resu ltantes y por no basar todo nuestro esfuerzo qu i nque­
nal en e l exámen de las repercusiones de cada acción sobre los
objetivos del proyecto ... ( po r el contrario) nosotros afi rmamos
que el proyecto ten ía que ser exami nado en su contexto, es
decir como u na especie de t rasplante en el organ ismo vivo del
distrito escol ar" ( EvERHART, 1 976 :20).
Dentro del Proyecto R ural se realizaron esfuerzos conside­
rables con e l fi n de mantener la l ibertad de los agentes de cam­
po para defin i r un tema adecuado de su trabajo etnográfico y
consigu ientemente se lograron qarant ías al efecto a través de
las cláusu l as de contratación ( F1T z s1MMONS , 1 97 5 : 1 89) . Aun
así, otras tareas de los agentes de campo co mo recopi ladores
de datos i nterlocales compl icaron el proceso de def inición
Contribuciones etnográf icas a la invest igación evaluativa 1 77

de un problema de investigación. La natu raleza de los e lemen­


tos en los instrumentos interlocales, por ejemplo, proporcionó
al persona l del emplazamiento escolar una impresión sobre las
"preocupaciones"reales del estudio, restring iendo as( la l ibertad
de los agentes de campo para abordar un problema tal como
les parecía oportuno. Uno citó un ejemplo de recogida de in­
formación de encuesta sobre la condición de un clérigo de una
iglesia, que provocó una reacción negativa del interrogado, con
el resu ltado neto de que la empresa investigadora "obtuvo su
informac ión pero a m í no me fue posible retornar a este sector
de la comunidad, basándome en una información d iscreta, una
participación limitada o en entrevistas indirectas" ( CLNTO N ,
1 975 : 1 99) . En este caso no sólo se vio potencialmente afecta­
da la definición del problema de investigación, sino tamb ién
e l elemento crucial de la relac ión con los informantes.

2. RELAC I ON Y EL EN LACE CON E L PATROC INADOR DEL PROGRAMA

E l establecimiento de una tarea de trabajo de campo q ue


funcione a largo plazo es bastante difíci l para cualqu ier etnó­
grafo pero se torna aún más complejo en la situación de inves­
tigación evaluativa debido al tipo de re laciones entre las partes.
Dada la natu raleza de la información recogida por e l investi­
gador y la forma en que es obtenida, a un evaluador etnográfi­
co le resulta difíci l sustraerse a la suspicac ia de los informan­
tes potenciales.
Los agentes etnográficos de campo se enfrentan siempre con
el delicado problema de legitimar su actividad de obtención de
información. Han de establecer y mantener unas relaciones con
e l g ru po q ue estén estudiando. La información que reunen es
detallada, personal y sólo llega a través de contactos continua­
dos con los q ue pertenecen al entorno social sometido a estu­
d io. En un sentido muy auténtico el agente de campo es el ins­
trumento primario de la investigación (Wou:oTT . 1 975 : 1 15) .
Resulta preciso crear un nuevo tipo de función, la de "quien
está dentro y está fuera" ( PELTO y PELTO . 1 97 8 : 1 89) y hay
que convencer a las personas de ese ámbito social de que la
función es aceptable. Este enfoque de la investigación ha sido
desarro llado fundamentalmente en ámbitos en donde un pro­
grama específico no constitu ía el centro del estudio y en don­
de la pertenencia institucional del investigador no supon(a una
1 78 Métodos cualitativos y cuantitativos en investigac ión evaluativa

relación obvia con las fuentes de financiación del programa.


Además, los agentes etnográficos de campo cuentan siempre
con una "salida" : ante una persistente reacción adversa pueden
trasladarse a otro emplazamiento.
Los investigadores evaluativos de cualquier tendencia meto­
dológica se encuentran dentro de una relación triangular que
los implica a ellos, al personal del programa y a los patrocina­
dores (que por lo común son también quienes financian la eva­
l uación). La posición del evaluador es precaria en lo que con­
cierne a la organización ; se trata de un papel ambiguo de inter­
mediario sobre el que se han f9rmulado amolios comentarios
en la literatura de evaluación (v.g. CARO , 1 97 1 ) . Los agentes de
campo en los estudios sobre las Escuelas Experimentales se vie­
ron en semejante posición, entre el personal del programa y el
de la entidad patrocinadora. Para complicar aun más las cosas,
los agentes de campo eran sólo parte de un amplio empeño
de investigación evaluativa y así tuvieron que tratar también
con otros miembros del equipo investigador.
La ambigüedad del papel del evaluador y los problemas ha­
bituales asociados al establecimiento de relaciones se combina­
ron para crear a los agentes de campo de las Escuelas Experi­
mentales una situación esp�cialmente difícil. Pese a las seguri­
dades en sentido contrario, el personal del emplazamiento es­
colar consideró que la información recogida por las etnógra­
fos influ ía en la canalización de fondos federales al distrito
escolar. Los agentes de campo fueron repetidamente tratados
como "espías del Gobierno", tornando problemático, y en al­
gunos casos imposible, el establecimiento de relaciones adecua­
das ( H ER R IOT . 1 977 : 1 1 0). En alguna ocasión, además, las indi­
caciones inconsecuentes que recibieron las personas del empla­
zamiento escolar de los funcionarios del programa de la agen­
cia patrocinadora complicaron aún más la cuestión (véase
EvERHART . 1 975 : 208-209). Los agentes de campo fueron con­
siderados como los "representantes" primarios del G obierno
en el lugar ; por tanto hubieron de dedicar períodos de tiempo
extremadamente largos al establecimiento de relaciones para
poder efectuar un m ínimo de trabajo etnográfico.
La consecuencia de la incapacidad de lograr un nivel adecua­
do de relaciones con los miembros clave del gru po sometido a
estudio superó incluso el grado de incomodidad en el agente
de campo. En un caso la permanencia de éste en el emplaza­
miento tuvo que concl uirse prematuramente por obra de las
Contribuciones etnográficas a la invest igación evaluativa 1 79

deficientes relaciones con el personal local ( HERR1on . 1 977 :


1 1 1 ). A otros se les negó el acceso a los datos o éstos fueron
tergiversados cuando los informantes trataron de manipular
la afluencia de información proporcionada al agente de campo
( CLINTON , 1 97 5 :20 1 ).
En suma la naturaleza misma del enfoque etnográfico con­
vencional -prolongada inmersión en el entorno del campo y
contacto íntimo y continuo con los informantes-- significa
que los agentes de campo han de enfrentarse con una tarea
de establecimiento de relaciones muy superior a la del evalua­
dor que periódicamente visita los emplazamientos para reco­
ger datos de encuestas o tests. En honor de los etnógrafos de
las Escuelas Experimentales hay que decir que fueron capaces
de crear un nivel adecuado de confianza entre sus informan­
tes, tal como han señalado algunos ( p.ej., C.0 LFE R , 1 976 :38)
pero que lo lograron al precio de un considerable gasto en
tiempo y energ ías que de otro modo podr ían haberse consagra­
do a la recogida de datos.

3. CARACTER CON FI DENCIAL Y LAS CONSECUENCIAS


POTENCIALES DE LA I N FORMACION
Cualquier etnógrafo se enfrenta con cuestiones difíciles en
lo que atañe a la propiedad y disposición de las ingentes canti­
dades de datos del trabajo de campo generadas por la investi­
gación. La cuestión es relevante en diferentes etapas del proce­
so del trabajo de campo. En primer lugar, cuando están siendo
recogidos los datos, el etnógrafo debe decidir si divulgará par­
te de éstos, tentación que se incrementa cuanto más participa
en las actividades del programa o proporciona retroinforma­
ción al personal. En segundo lugar, cuando los datos son ana­
lizados y transmitidos, el etnógrafo debe resolver hasta qué
punto protegerá el anonimato de las fuentes, tarea no fácil
dentro de una trad ición investigadora que sostiene que los
"buenos" informes etnográficos contienen cantidades sustan­
ciales de datos primarios en forma de citas, incidentes críti­
cos y casos semejantes (WO LCOTT, 1 97 5 : 1 24). En cualqu ier
etapa, la cuestión es la misma: lposee el investigador e l dere­
cho de revelar información, en buena parte privada y personal,
que implica a determinadas personas y que puede tener para
ellas consecuencias negativas? La respuesta a la pregunta no es
1 80 Métodos cu alitativos y cuantitativos en investigación evaluativa

obvia y depende en un grado considerable de cada caso espe­


cífico. La mayoría de los antropólogos coi nciden en la siguien­
te orientación : ocultar la identidad de personas o lugares espe­
c íficos hasta el punto en que resulte práctico y evitar la presen­
tación de datos que puedan resultar nocivos para algunos i ndi­
viduos. 3
Cualquier forma d e investigación evaluativa suscita este m is­
mo tipo de cuestión, pero los dilemas so n más agudos en el
caso del trabajo etnográfico de campo como demuestra amplia­
mente el ejemplo de las Escuelas Experimentales. Para empe­
zar, el centro de cada explicación de casos por parte de un
agente de campo de las Escuelas E xperimentales era un empla­
zamiento escolar establecido con u nas determi nadas personas.
Corno uno expresó: " El anonimato de la población de la inves­
t igación es, en este caso, un asu nto muerto . . . ( como) el de dis­
frazar a los actores principales. .. Un sistema escolar rural con­
tiene u n pequeño n úmero de profesores, aún menos adminis­
tradores . . . y un solo superintendente" ( CLINTON, 1 975 : 200) .
Además no era posible precisar promedios de rendimiento in­
dividual ni ése es el tipo de datos para cuya obtención se halla
concebida la etnografía. I nformar después de la terminación
de la actividad más importante -por ejemplo, tras la conclu­
si_ó n de la financiación federal- representa una solución par­
cial, suponiendo que las audiencias estén dispuestas a enterar­
se entonces de los descubrimientos efectuados. Pero en el caso
de las Escuelas Experimentales, se exigía de los agentes de cam­
po una producción intermedia para asegurar a la agencia pa­
trocinadora que el trabajo progresaba satisfactoriamente y para
proporcionar u na información que sirviera como protección
contra los grupos hostiles de Washington. La sugerencia del
patrocinador de que los informes intermedios fueran elabora­
dos en secreto sólo sirvió para complicar el problema ético con
que se enfrentaban los agentes de campo, como señaló u no de
ellos ( Co LF E R , 1 976). Cada solución en este caso representaba
cierta violación de unas seguridades previas respecto del ca­
rácter confidencial. Al advertir este mismo problema, otr o
agente de campo sugirió unos productos intermedios alterna­
tivos que provocaran escasas dificultades, como informes re-
3 Aqu í si m p l i f i co e x t remadamen te u nas cuestiones éticas complejas que se de·
baten con amp l i tu d en el seno de los c írcu los an tropológicos (véase R Y N K I E W I C H
y SP R A D L E Y , 1 97 6 ) .
Contribu c iones etnográf i cas a la i nvestigación evaluat iva 1 81

lativo s a intereses no programáticos o los antecedentes histó­


ricos del sistema esco lar sometido a estudio ( BuRNS, 1 976:
32) . En principio resultan posibles estas soluciones pero
evaden la cuestión: lo que al patrocinador le interesa más es
info rmarse del programa proyectado. Y sobre todo en el ni­
vel federal es muy probable q ue la agencia patrocinadora ex­
perimente una acuciante necesidad po i ítica de info rmación
acerca del programa mucho antes de q ue quede concluída u na
investigación evaluativa a largo plazo.

4. E L I N FORME ETNOGRAF ICO Y LA ID ENTI F ICACION D E


LAS VARI ABLES PO LIT ICAS
La i nvestigación etnográfica co nvencional da l ugar a una
"etnografía", una descripción y un análisis densos y vivaces
del ento rno social que está siendo estudiado, por lo común
de varios centenares de pági nas o más. Su finalidad co nsiste
en dar cuenta detallada del funcio namiento de un complejo
sistema social o de algún aspecto de éste. Se necesita largo
tiempo para real izar un trabajo adecuado ; algunos autores
señalan que la redacción de una etnograf ía requ iere el mismo
tiempo que el ded icado a la obtención de los datos de campo
(WoLCOTT, 1 975 : 1 1 8).
Po r razo nes diversas, el propio informe etnográfico tiende
a no l legar a propo rcionar las implicacio nes específicas para
una po lítica o para una acción administrativa que constituyen
el t ípico producto final de la investigación evaluativa. Por u n
motivo : porq ue n o resulta probable que la etnograf ía indivi­
dualice el programa co mo un determinante específico o espe­
cialmente poderoso de acontecim ientos en el entorno social
que esté siendo estudiado. Po r el co ntrario , el emplazamiento
escolar y su programa tienden a ser interpretados en térm i nos
funcionales como partes de sistemas autosubsistentes más am­
plios ( véase EvERHART. 1 976 :21 ). De modo semejante la etno­
graf ía puede apartar su directa atención de aquellas variables
susceptibles de manipulación de una manera pol íticamente via­
ble por parte de quienes poseen autoridad para asignar los
recu rsos del programa. Un agente de campo en las Escuelas
Experimentales resumió así su percepción de lo q ue desean los
elaboradores de políticas : " Los elaboradores de políticas re­
quieren i nformación rápida y simple sobre un problema con-
1 82 Métodos cual itat ivos y cuantitativos en i nvestigación eva l uativa

creto con el fin de proporcionar información sobre variables


que puedan sobrevivir al proceso administrativo-legislativo"
( EVEAHART, 1 976 :20) .
Aunque el caso puede haber sido exagerado, existe una
clara tensión entre el típico informe etnográfico y las necesi­
dades de información de muchas personas decisivas en el pro­
ceso poi ítico. Como observó un miembro de la agencia patro­
cinadora, la fragmentación de cuestiones en el proceso pol íti­
co, la búsqueda de resultados a corto plazo y el propio núme­
ro de los participantes en el juego ejercen conjuntamente una
presión en favor de variables políticas dis :retas y políticamen­
te negociables (MuLHAUSEA, 1 975: 3 1 3). -r des variables tienden
a ser dif íciles de hallar en la mayoría de las informaciones et­
nográficas que se acomodan a las tradiciones de la disciplina
antropológica. Can frecuencia, cuanto mejor es la etnografía,
menos responde a las necesidades políticas inmediatas de la co­
munidad política relevante.
Pero cabe considerar el dilema bien como un "desajuste" o
como una "tensión creativa". El caso de las Escuelas Experi­
mentales proporciona un ejemplo del modo en que la tensión
puede ser productivamente utilizada. En principio, resulta
posible sintetizar descubrimientos de estudios de casos de ma­
nera que proporcionen implicaciones políticas. Exactamente
as í se operó en el Proyecto Rural (HEAAIOTT y G Aoss , 1 979).
Los coordinadores de la investigación, así como un grupo de
educadores, leyeron e interpretaron informes extractados
de estudios de casos que describ ían el proceso de realización
del programa en cinco emplazamientos. Luego debatieron las
implicaciones políticas de los estudios de casos. Por citar un
ejemplo, uno de los que revisaron los informes del Proyecto
Rural recomendó (entre otras cosas) que, en el futuro, las
agencias patrocinadoras del programa prestaran atención es­
pecial al problema del relevo del funcionario del programa,
que establecieran relaciones más equitativas de negociación
con los programas locales y que reorientaran la insistencia
"administrativa" de la asistencia técnica federal para abordar
más explícitamente la naturaleza política de la realización del
programa en el emplazamiento escolar (GID EONSE, 1 979:31 9-
327 ). Estas recomendaciones estaban basadas en pruebas sus­
tanciales halladas en los estudios de casos y referidas a la conti­
nuidad de relaciones deficientes entre el personal local v los
funcionarios del programa federal, junto con algunas indicad o-
Contribuciones etnográficas a la i nvestigación evaluat iva 1 83

nes de que pod ía mejorarse la interacción con funcionarios del


programa mejor ad iestrados y más estables. En el grado en que
recomendaciones como éstas encuentren audiencia en Washing­
ton -y en que transmitan con precisión las descripciones de
los acontecimientos realizadas por los agentes de campo- el
trabajo etnográfico parece haber servido a un fin útil.
También es posible que, a largo plazo, los informes etnográ­
ficos contribuyan a dar una nueva conformación a la idea que
se tenga en la Administración respecto de lo que es releyante para
la realización de una poi ítica, qué variables pueden y deben ser
manipuladas. Al menos las etnograf ías pueden tran·s mitir un
necesario mensaje negativo en relación con ciertos tipos de
programas como por ejemplo · " i No es posible obtener .eso de
aquí! ". Pero aún es demasiado pronto para valorar la aporta­
ción de los informes etnográficos de las Escuelas Experimen­
tales a este tipo de reconformación de variables políticas.

5. G ENERAL I ZAB I L IDAD Y EL CASO UNI CO

La investigación etnográfica es un enfoque ideográfico para


el estudio de fenómenos sociales : aspira a captar las compleji­
dades del caso único. Dentro de este caso, la etnografía descri­
be esquemas "generales", es decir, órdenes dentro del sistema
social. Los esquemas observados o extraídos del testimonio
de algunos informantes clave son "generalizados" mediante
una lógica inductiva a todos los que comparten la misma cul­
tura y participan en idénticos tipos de actividades. En defini­
tiva, el t rabajo etnográfico contribuye a la búsqueda de órde­
nes interculturales más amplios en la conducta humana, tras
la comparación y contraste entre diferentes relatos etnográ­
ficos, pero este trabajo corresponde más a menudo al etnólo­
go que al etnógrafo.
En los estudios de l as Escuelas Experimentales el compo­
nente etnográfico fue dispuesto de forma que contribuyera a
descripciones completas de casos aislados, realizada cada una
por un agente de campo. El empleo de mú ltiples emplazamien­
tos -como en el Proyecto Rural- permitió que los coordina­
dores de la investigación, la agencia patrocinadora y otras per­
sonas buscaran esquemas más generales de reacción al progra­
ma. Por último, los componentes no etnográficos fueron ex­
plícitamente comparativos : buscaron una información norma-
1 84 Métodot cual i tativos y cuantitat ivos en i nvest igación eva luat iva

lizada en todos los emplazamientos y trataron de lograr una


imagen más general de los efectos del programa en alumnos,
organizaciones escolares y comunidades locales.
El componente etnográfico en la investigación evaluativa de
las Escuelas Experimentales destaca una tensión fundamental :
la concentración ideográfica y la lógica inductiva de la investi­
gación etnográfica no encajan con la inclinación de los patro­
cinadores a los resultados generalizables basados en el cono­
cimiento de la investigación nomotética y en la lógica deduc­
tiva. La agencia patrocinadora quer ía saber si el concepto del
programa de Escuelas Experimentales pod ía ser exportado a
otros efll) lazamientos. En otras palabras lconducir ía a resul­
tados positivos previsibles en otros entornos el programa de
las Escuelas Experimentales o una cierta forma de tal progra­
ma? Tales previsiones se basan t ípicamente en la noción de
generalizabilidad estadística que desempeña un papel vital en
los modos de investigación nomotética y para la mayoría de
los miembros de la comunidad que elabora la poi ítica posee
en la actualidad un tipo especial de credibilidad pol ítica. Un
miembro de la agencia patrocinadora del Programa de Escue­
las Experimentales y su investigación evaluativa afirmó que las
etnograf ías no eran útiles porque (entre otras cosas) "descri­
ben una o varias clases de lugares o instituciones en vez de
comparar un gran número" ( MuLHAUSE R, 1 975 : 3 1 4).
Más importante quizá que el hecho de que sea reducido el
núrre ro de emplazamientos escolares que describen, es que la
concentración de las etnograf ías en los detalles minuciosos de
los acontecimientos en cada lugar torna dif ícil conocer la base
para afi rmar que el Programa de las Escuelas Experimentales
ha tenido un efecto "general". En uno de los emplazamientos
del Proyecto R ural, por ejemplo, los objetivos originales del
proyecto fueron adaptados gradualmente e incorporados al
plan de estudios; al mismo tiempo la agencia patrocinadora
realizó escasos esfuerzos por dirigi r rígidamente el p rograma
(DoNN E LLY. 1 979) . En otro emplazamiento, disminuyó cons­
tantemente la dedicación administ rativa a los objetivos del
proyecto, se realizó de modo desigual una serie de componen­
tes aislados del programa y la agencia patrocinadora empren­
dió esfuerzos enérgicos para dar forma al plan local del progra­
ma (MESSERSCHM ID T, 1 979) . Aunque la yuxtaposición de estos
casos suscita cuestiones interesantes, relat ivas, por ejemplo,
al efecto d e una intervención act iva del patrocinador, la com-
Contribuciones etnográf i cas a la i nvest igación eval uativa 1 85

paración no está suficientemente ajustada para permit ir el t ipo


de descubrimiento general al que tienden a prestar atención
ahora muchos de los que elaboran la política.
Pero la orientación de la argumentación aquí esbozada ter­
giversa probablemente el tipo de generalizabilidad que se re­
quiere en la investigación evaluativa. La auténtica cuest ión
que se plantean quienes part icipan en la poi ítica relevante para
un programa o en la acción administrativa es ésta: quieren
pruebas de que pueden extrapolar con seguridad a situaciones
más allá del alcance lógico de cualesquiera hallazgos generali­
zados. En otros términos, subsiste aquí un salto de fe necesa­
rio para pasar de cualquier generalización de base estad ística
a nuevas aplicaciones del programa ( véase CAoN BACH, 1 978 :
301 -355). Lo más probable es que los elaboradores de polí­
ticas realicen ese salto de fe en donde la extrapolación apare­
ce plausible y en donde resulte políticamente convincente
a sus cuerpos electorales más importantes.
Contempladas a esta luz, las etnograf ías de las Escuelas
Experimentales pueden perm itir -o ayudar- a los miembros
de la comunidad política a realizar extrapolaciones más seguras
de los hallazgos de las Escuelas Experimentales a nuevas apli­
caciones del modelo del Programa de Escuelas Experimentales
o a empeños semejantes. La m isma complejidad de los hallaz­
gos de cada caso, considerados aisladamente o en su conjunto,
y la vivacidad de las descripciones de los casos pueden sugerir
extrapolaciones plausibles a situaciones que nunca considera­
ron quienes trazaron el programa original. Y, para bien o para
mal, fragmentos de los informes de casos poseen un potencial
considerable para convencer a unas audiencias a través de su
capacidad de "llevar al lector hasta allí". S in embargo la cues­
tión sigue siendo hipotética. Aún restan por debatir las nuevas
aplicaciones de los hallazgos de las Escuelas Experimentales
en la literatura publicada. Cuando finalmente hayan concluí­
do los estud ios sobre las E scuelas Experi mentales y lleguen
a las d iversas audiencias, quizá se entiendan parte de sus posi­
bilidades para generar un conocim iento convincentemente
"generalizable" acerca de los procesos de vastos camb ios, esti­
mulados por un financiación federal.
1 86 Métodos cualitativos y cuantitativos en investigación evaluat iva

6. COST ES : F O N DOS, T I E MPO , R ECU RSOS PO L I T I COS

La investigación etnográfica convencional es una labor in­


tensa y, en cierto sentido, redundante: se extiende y vuelve
a extenderse sobre el mismo terreno durante largos períodos
de tiempo, a la búsqueda de indicios sobre rasgos sutiles del
sistema social. Es una forma cara de realizar investigaciones
si el coste se mide en términos del tiempo v de la atención
requeridos de profesionales muy adiestrados. Además, y en vir­
tud de su concentración en un único y a menudo pequeño en­
torno social, su "coste por unidad estudiada" resu lta especial­
mente elevado.
En el contexto de la investigación eval uativa el problema se
complica porque dentro del montaje de un esfuerzo investiga­
dor interviene una serie más amplia de costes. Y no sólo esca­
sean los fondos sino también los recursos pol íticos y e l tiempo.
Quienes patrocinan la investigaéión evaluativa y quienes utili­
zan sus productos se mueven en un inestable campo de intere­
ses políticos, sometidos a las limitaciones de tiempo que a me- .
nudo resu ltan imprevisibles. Los estudios sobre las Escuelas
Experimentales contaron al principio con la gran ventaja de
una abundancia de recursos : mil lones de dólares para la inves­
tigación, un marco de tiempo de cinco años y una configura­
ción favorable de los acontecimientos pol íticos. Pero la situa­
ción pol ítica cambió rápida y drásticamente de un modo que
afectó a la dotación de los restantes tipos de recursos. La agen­
cia patrocinadora y el programa de Escuelas Experimentales en
su seno fueron objeto de un acoso político ; su respuesta pudo
haber afectado a la supervivencia de todo el proyecto.
E l componente etnográfico fue menos capaz de responder
a esta amenaza, en buena parte porque sus descubrimientos
no podían ser fácilmente desplegados en medio de aquell a
corriente. No resu lta sencil lo sintetizar en un breve plazo infi­
nidad de anotaciones de campo; gran parte de su contenido co­
rresponde a una información muy delicada. Los esfuerzos
manifiestos que hicieron los agentes de campo por responder a
las exigencias de j ustificación amenazaron con alterar la frágil
relación establecida -con dificu ltades considerables- en el
em plazamiento esco lar. En el Proyecto R ural los agentes de
campo situados en remotos entornos no estaban en posición
de replicar rápida y persistentemente a las presiones qu e
hacían peligrar el proyecto. No es sorprendente que el trabajo
Contribuciones etnográficas a la i nvestigación evaluativa 1 87

etnográfico experi mentara una considerable reducción; en al­


gunos casos un trabajo de campo proyectado para cinco
años fue limitado a tres (p. ej., BuRNS, 1 976 : 31 ). Pero en ho­
nor de los agentes de campo y de los coordinadores de la inves­
tigación, hay que decir que el trabajo etnográfico se mantuvo
tal como estaba en los estudios de las Escuelas Experimentales.
Resulta difícil responder en este punto a la cuestión definiti­
va acerca de la relación coste-beneficio y decidir si estaba justi­
ficada la inversi ón de los componentes etnográficos de l as Es­
cuelas Experimentales. Es evidente que los componentes se
mantuvieron a un coste considerable. El valor a largo plazo de
la inversión sólo comenzará a ser evidente, si es que cabe apre­
ciarlo, con la aparición de esfuerzos sintetizadores como los
realizados por HER RIOTT, y GRoss. (1 979) y cuando a través del
proceso polít ico se filtren los resúmenes de la investigación.

Aportaciones alternativas de la etnografía a la investigación


evaluativa
El debate ha estado hasta ahora orientado en torno de un
tipo de situación de investigación evaluativa -el de un proyec­
to amplio de carácter federal- y a un ejemplo de esta catego­
r ía de estudios. En este contexto, las tensiones fundamentales
implicadas en la definición del problema de la investigación, el
estableci miento de la comunicación y el mantenimiento del
carácter confidencial hicieron especialmente problemático el
trabajo etnográfico de campo. Apenas sa l ida del campo, la
complejidad de la información etnográfica y su base diferente
para la generalización trocaban en dudosa su aportación a l pro­
ceso polít ico. Los costes generales de un componente etno­
gráfico desarrollado por completo son además especialmen­
te elevados, no sólo en razón de l a naturaleza intensiva del
t rabajo de campo, sino también por obra de su vuloerab ilidad
pol ítica y de las especiales exigencias de tiempo.
Un entend im iento más amplio de las cuestiones y de los mo­
dos alternativos en que puede contribuir ta etnografía a la in­
vestigación eval uativa exige la experimentación en otros con­
textos eval uativos con diferentes propósitos, distintos marcos
de t iempo y diferentes niveles de inversión en la investigación.
En la l iteratura comienzan a aparecer descripciones de tales
experimentos, aunque hasta ahora con claridad inferior a la de
1 88 Métodos cual itat ivos y cuantitativos en investigac ión evaluativa

los estudios sobre el caso de las Escuelas Experimentales.


Tres son los temas que aparecen en la literatura. En primer
l ugar, es posible hacer más de lo mismo, es decir, incorpora r
componentes etnográficos en gran escala, semejantes al de los
estudios de las Escuelas Experimentales, a otras tareas de inves­
tigación eval uativa bajo patrocinio federal. En segundo l ugar,
la evaluación etnográfica puede resu ltar especialmente útil
cuando l a audiencia primaria del estudio sea el programa en
sí mismo, es decir cuando el trabajo etnográfico de campo
está destinado a fines más formativos. En tercer lugar, cabe
incluir en los diseños de investigación evaluativa componen­
tes etnográficos más limitados para documentar la realiza­
ción de un programa, para revelar conexiones plausibles entre
ciertas variables pol fticas o para contribu ir al desarro l lo de
instrumentos sensibles de la investigación.

Perfeccionamiento del modelo de las Escuelas Experimentales

Cuando estudios federales más amplios monten un compo­


nente etnográfico semejante al empleado en la investigación
de las Escuel as Experim�ntales, es posible que se encuentren
soluciones mejores a los problemas anteriormente referidos. Un
proyecto de investigación patrocinado por el Instituto Nacional
de Educación, los estudios de campo sobre el Programa de Escue­
las Urbanas I ntegradas, ha revelado ya un funcionamiento con­
siderablemente más flu ido de sus componentes etnográficos
(semejantes a los de las Escuelas Experimentales) con respec­
to a los problemas del trabajo de campo debatidos en este
trabajo ( véase CAsseL. 1 978 : 67). Pero el programa de las Es­
cuelas Urbanas I ntegradas corresponde sólo marginalmente al
terreno de la investigación evaluativa, tal como se ha conce­
bido en este trabajo: no se estudiaba un programa determina­
do, con una asignación específica de recursos, sino que más
bien se trataba de una tarea de investigación básica encamina­
da al entendimiento del fenómeno de la integración de las es­
cuelas urbanas.
F uera del área de la ed ucación están empezando a emplear
componentes etnográficos otros proyectos en gran escal a
de investigación evaluativa, si bien con una más clara modifi­
cación del modelo etnográfico convencional. Así, por ejem­
plo, u n reciente estudio sobre el programa de financiación
Contribuciones etn ográficas a la i nvestigación eval uativa 1 89

de alqui leres del Departamento de la Vivienda y del Desarro­


l lo Urbano. situó en los emplazamientos a observadores etnográ­
ficamente adiestrados por per íodos de un año, con objeto de
reuni r datos acerca de las operaciones de la agencia del pro­
grama, las fam i l ias participantes y la comunidad local en don­
de vivían . las fami l ias ( C HAM BERS , 1 97 7a) . La definición del pa­
pel del agente de campo estaba más especificada que en e l
caso de los agentes d e las Escuelas Experimentales; e l pro­
ducto del trabajo etnográfico no iba a ser una etnografía.
Pese a todo, las experiencias de los agentes de campo en el es­
tud io del D epartamento de la Vivienda y del Desarrol lo Ur­
bano revelaron muchas de las tensiones a las que antes nos he­
mos referido. Los principales problemas se refi rieron al mante­
nim iento de la comunicación y de un adecuado carácter con­
fidencial así como a la mult ipl icidad de tareas exigidas de los
agentes de campo.

Orientación hacia aud iencias internas

Los estudios sobre las Escuelas Experimentales fueron en


buena parte concebidos como un "experimento" acumulativo.
Se suponía q ue los agentes de campo evitarían proporcionar
con sus descubrimientos una retro información a los que reali­
zaban el programa al objeto de impedir la "contaminación"
del experimento, al tiempo que mantenían el carácter con­
fidencial y la objetividad adecuados ( Co LFER , 1 97 6 : 36). A l
obrar así, los agentes de campo de las Escuelas Experimenta­
les adoptaron un papel relativamente no participante con el
fin de lograr todo un abani co de datos cualitativos respecto
a los procesos del cambio y destinados a audiencias externas.
Estas confiar ían en q ue los datos fuesen tan "objetivos" como
resultara posible y que manifestaran el curso "natural " de los
acontecimientos sin haber sido afectados por una compleja
invest igación.
Pero en muchos contextos de evaluación, al margen del pro­
yecto de caracter federal, la audiencia primaria para los resulta­
dos de la evaluación es el propio programa. En estos casos, los
gestores y el persona l del programa, y a veces los clientes, re­
ciben información periódica acerca del funcionamiento del
programa para mejorar o alterar al menos sus actividades. En
tales circunstancias, el triángulo patrocinador-evaluador-pro-
1 90 Métodos cualitativos y cuantitativos en investigación evaluativa

grama se trueca en u n encuentro entre e l eva l uador, que sigue


estando en a lgún sentido al margen del programa, y los eva l ua­
dos, q ue son a l mismo tiempo patrocinadores y usu arios de
la i nformación eva luativa. Este encuentro no es d iferente de la
rf!lación trad icional entre e l antropólogo y la comunidad que
desea estud iar, con u na i m portante d istinción : en la situac ión
de eva l uación formativa, e l antropó logo es contratado por la
comunidad ( o en nombre de ésta) para contribu i r a q ue se
i nforme sobre s í misma.
E n este t i po de i n vestigac ión eva luativa los descubrim ientos
l ogrados por e l agente de campo son t ípicamente transm itidos
a los participantes en e l programa en una forma menos ordena­
da y co ncluyente q ue la que tendría un informe etnográf ico
escrito. E l resu ltado no es "etnograf ía" en el sentido clásico
del térm i n o ; si n embargo _ en muchos aspectos es "etnográf i­
co " en cu anto q ue resu lta exploratorio, procede de mú lti ples
fuentes de d atos i ntensivos, refleja una co mprensión empát i­
ca de las experiencias de l os pa rt icipantes y asp i ra a proporcio­
nar u na visión hol ista de las operaciones y de los i mpactos de l
programa.
A lgunos informes breves en la l iterat u ra co rrespond iente se­
ña l an la naturaleza de los entornos y los co ntextos de eva l ua­
ción en q ue resu lta úti l este enfoque. As í por ejemplo, en una
eva l uación de una un idad ex peri menta• del primer ciclo de
enseñanza su perior en una gran un iversidad, un antropólogo
consiguió ganarse la confianza de los pa rtici pantes en e l p rogra­
ma, en un principio host i les a la idea de u na eva l uac ión, gra­
cias a su anterior experiencia con modos más convenciona­
les de eva l uación ( FrrzGERALD, 1 97 6) . Subsigu ientemente, e l
antro pólogo observó sobre una base de continu idad l a s inter­
acciones del programa, transmitiendo de manera periód ica sus
i m p resiones en una forma q ue resu ltaba aceptab le a q u ienes lo
estaban rea l izando. Aunque sea d if íc i l ( y qu izá no resu lte sign i­
ficativo) sepa rarlas de la persona l idad de l antropó logo, diversas
caracter íst icas del enfoque de l a investigación etnográf ica pare­
c ieron especial mente úti les en este caso : la gran i mportancia
oto rgada al desarrol lo de re laciones adecuadas con los partici­
pantes en el programa, el énfasis descriptivo en 1� recogida e
i nterpretación de datos y e l hecho de q ue los agentes de camp o
se concent raran en comprender lo q ue sign ificaba e l programa
para l os participantes.
E n otro caso, un agente etnográfico de campo observó a
Contr ibuciones etnográficas a la investigación eval uativa 1 91

a l u mnos, profesores y ad m i n istradores de una escue la secu n­


daria a lternativa u rbana como parte de u n estud io de eva l ua­
ción sobre la escuela ( W1LSON , 1 977b) . E l agente de campo pro­
porcionó reg u larmente retroinfo rmación a los participantes
en el programa, alterando el anál isis antropológico convencio­
nal "tan pronto como fue posib le, en u na forma que ayudara
a los sujetos a entender lo que estaban haciendo para p ro mo­
ver o i n h i b i r el cambio" (W1LSO N, 1 97 7 b : 200) . La atención
p restada por el agente de campo en "aprender los marcos me­
d i ante l os cua les ( l os participantes en el progra ma ) i n terpreta·
ban l os aconteci mi entos" pareció i nf l u i r considera blemente
en l a capacidad de l a eva l uac ión para traducir los descubri­
m ientos en términos que resu lta ran úti les al p rograma.
Las tensiones fundamentales hal ladas en los estud ios de las
Escuelas E x peri mentales parecen menos evidentes en estos dos
cosos a u nq ue resu ltaría d if íci l afi rmar que no ex istieron. Cabe
señalar tamb ién otras l i m itacion�s del trabajo etnográfico for­
mativo. E n pri mer l uga r, este t i po de enfoq ue de i n vest igación
parece más apropiado en sistemas peq ueños y basta nte mane­
jables, en donde el agente de campo posee l a capacidad de desa­
rro l lar datos etnográficos y a l m i smo tiempo de mantener
una re lación con los usuarios de la información eva l u at iva. E sta
necesidad sólo i m p l i ca q ue la eva l uación ha de concentrarse en
un programa dent ro de una sola inst itución , como u na escue­
l a o una universidad. Se ha sugerido la conven iencia de efec­
tuar trabaj o etnográf ico en conj unción con el desarrol lo de l a
pol ít ica al nive l local y se experi menta al respecto a u nque aún
no se hayan pu b l i cado informes detal lados sobre estos trabajos
( CH AM BERS, 1 97 7 b) . En segu ndo l ugar, a l agente de campo le
resu lta más fác i l perder parte de l a perspectiva que pod r ía
tener u n etnógrafo menos participante y es posi ble q ue l legue
así a concl usiones prematuras. En tercer l ugar, h ay l ím ites cla­
ros a l t i po de i nformación q ue puede transmit i rse a q uienes
trabajan en el sen o del progra ma. E xiste el problema general
de manten i m iento del caracter confidencial adecuado, aunque
el f l ujo de la i nformac i ón se hal le l i m itado a los partici pantes
en el programa y no l legue a aud iencias externas. F inal mente,
al pro porc ionar i nformación - de modo periód ico, el agente de
campo se convierte cada vez más en un participante en la sit ua­
ción. Surgen n ueva, d i n:iensiones de l problema de manten i­
m iento de la relaci ón , cuando e l agente de cam po l lega a
ident ificarse co n ciertos grupos dentro de l programa ( p. ej . ,
1 92 Métodos cu a l i ta t ivos y cu antitat ivos en i nvest igación eval ua t iva

W1LSON. 1 977b : 202). En suma, el agente de campo se inmiscu ­


ye más en el programa, con alteraciones subsiguientes en las
conductas de las personas. i Pero esto es lo que pretende hacer
la evaluación formativa!

D iseño de componentes etnográficos más l i m itados

Cabe incluir en la investigación evaluativa componentes et­


nográficos modestos, algunos que no traten de generar la apro­
ximación a la etnograf ía convencional tal como es evidente en
los estudios de las Escuelas Experimentales. Es obvio que cabe
debatir si se pierde el espíritu de la investigación etnográfica
cuando uno empieza a desmembrar un enfoque complejo e
integrado para realizar mejor tareas limitadas de evaluación.
Este capítulo simplemente supone que cabe concebir los enfo­
ques de la investigación como más o menos "etnográficos".
El estudio que sigue no establece una distinción tajante entre
lo que es "etnográfico" y gran parte de lo que se incluye en
los debates como "enfoques cualitativos a la evaluación"
( p. ej. , CLARK, 1 977 ; HAM ILTON y otros, 1 977).

1 . M I N I ESTUD I0S ETN0GRAF IC0S


El trabajo de campo a corto plazo puede resultar particular­
mente útil en la investigación de la relación entre variables a las
que la retórica del programa o el plan de evaluación identifi­
can como impo rtantes. Un ejemplo al respecto tuvo lugar du­
rante una de las primeras etapas del Programa de E xploración
de Profesiones con base en la experiencia, del I nstituto Nacio­
nal de Educación en donde varios agentes de campo a media
jornada realizaron un "estudio de refuerzo" antropológico
sobre los esquemas de interacción de los alumnos en el progra­
ma de escuela secundaria alternativa de Exploración de Profe­
siones con base en la experiencia ( Srons y otros, 1 974 : 1 7 1 -
1 94). El trabajo de campo consistió tan sólo en 1 00 horas de
observación -aproximadamente durante un mes- en las cu a­
les los agentes de campo vagaron por el edificio de la escuela
alternativa, acompañaron a los estudiantes y mantuvieron con
éstos conversaciones acerca de las relaciones entre ellos. Los
resultados, resumidos en un informe etnográfico de 23 pági-
Co ntribuciones etnográficas a la investigación evalu ativa 1 93

nas no llegan, en modo alguno., a constituir una rigurosa et­


nograf ia, pero localizan con gran precisión aspectos de las ope­
raciones del programa no captados por otros instrumentos de
recogida de datos.
Una ilustraci ón concreta tomada del estudio revela lo que
este tipo de empeño puede lograr. Los dos agentes de campo
pudieron documentar la existencia de un elevado grado de
aprendizaje y enseñanza no formales entre los alumnos del cen­
tro de aprendizaje del programa de exploración de profesio­
nes con base en la experiencia. Estas pruebas sirvieron para res­
paldar la afirmación del programa según la cual éste podía
crear entre los alumnos un amb iente positivo de aprendizaje
no formal. Aunque las pruebas no resisten un vigoroso exámen
de las hipótesis alternativas -p. ej., el modelo de aprendizaje
habría tenido igualmente lugar en una escuela secundaria co­
rriente o el modelo constituyó una reacción temporal de los
adolescentes ante un entorno nuevo y diferente- los datos
etnográficos documentan que el modelo se llevó a cabo, fue­
ran cuales fuesen sus causas. Y los datos son considerablemen­
te más convincentes en su forma etnográfica de lo q ue habrían
sido en un cuestionario como datos automanifestados en una
escala de clasificación, por citar tan sólo un medio alternativo
de llegar hasta ese descubrimiento.
M iniestudios etnográficos como éste pueden llevar clara­
mente al conocimiento de rasgos sutiles del funcionamiento
del programa pero es también preciso tener en cuenta las des­
ventajas del sistema. Las observaciones limitadas a unos pocos
alumnos o a una pequeña muestra de periodos de tiempo no
son necesa riamente características de la mayoría de los estu­
diantes del programa y de la mayor ía de los períodos de tiem­
po. Los mi niestudios con un pequeño marco temporal tampoco
pueden revelar especialmente bien un cambio a lo largo del tiem­
po; para que as í fuese, se necesitar ían unas relaciones prolonga­
das entre el agente de campo y el entorno del programa. F inal­
mente resulta dif icil justificar el coste de tales miniestudios a no
ser que la concentración en la investigación etnogréfica resulte
vital para el progreso de la evaluación.
1 94 Métodos cual itat ivos y cuantitativos en investigación evaluativa

2. DO CUMENTACI ON ETNO GRAF I CA DE LA


REALIZAC I ON DEL PROGRAMA

Aunque gran parte de lo que hicieron los agentes de campo


de las Escuelas Experimentales pueda ser considerado como
una "documentación de la realización del programa", es clara­
mente posible que un sistema de observación participante más
limitada resulte inapreciable en una tarea de investigación
evaluativa. Si desde el principio se concentra más claramente
el foco de las observaciones y se procede con la aprobación
del personal del programa, podrán reducirse algunos de los
problemas del establecimiento de una relación y del caracter
confidencial, si bien nunca quedarán eliminados. La tarea de
"observación de la agencia" de los agentes de campo en el es­
tudio de financiación de alquileres del Departamento de la
Vivienda y del Desarrollo Urbano anteriormente mencionada,
proporciona un ejemple de este tipo de uso (véase CHAM BERS,
1 977a : 259). En esta situación el observador manten ía un re­
gistro de doce funciones administrativas específicas en la agen­
cia que supervisaba el programa de financiación de alquileres,
a través de contactos con los miembros del personal y me­
diante la observación de sus actividades. Se preparaban diaria­
mente sinopsis de estas actividades que hab ían de remitirse
a la empresa investigadora encargada de la coordinación del
estudio.
Hay algunos inconvenientes obvios en este empleo del tra­
bajo etnográfico de campo. La dificultad más grave surge cuan­
do el personal del programa y el patrocinador de éste mantie­
nen por cualesquiera razones una relación de animosidad; en
este caso es probable que la presencia de un agente de campo
que documente las actividades del programa genere problemas
de enlace y de caracter confidencial, semejantes a los señala­
dos en el caso de las Escuelas Experimentales. El examen del
experimento del Departamento de la Vivienda y del Desarro­
llo Urbano indica que existen allí algunas dificultades al res­
pecto ( CHAMBERS, 1 977a :265).

3. INSTRUMENTOS ETNO GRAF I CAMENTE DESARRO L LADOS


PARA LA INVESTI GAC I ON

Es también posible utilizar las ventajas del enfoque de la


investigación etnográfica respecto al problema de desarrollar
Contribuciones etnográficas a la investigación evaluativa 1 95

i nstrumentos sensibles para la investigación. Un reciente infor­


me sobre encuestas "etnográficarnente basadas" y realizado
como parte de u n estudio sobre los j u icios relativos a las
drogas entre los afiliados al Cuerpo de Empleo*, propor­
cion a u n ejemplo al respecto (MveRs. 1 97 7). la situación de
entrevista para la encuesta fue pensada tanto como un encuen­
tro entre culturas como u na solicitud de información ( Mv eRs.
1 97 7 : 244-45). los entrevistadores fueron contratados antes
del desarrollo del instrumento y eran también miembros del
Cuerpo de Empleo semejantes a la población encuestada. A
través de entrevistas abiertas y de "sesiones de impacto" en
gru po con los entrevistadores, los diseñadores de la encuesta
desarrollaron cat�or ías de información v elementos a ue re­
flejaban la naturaleza de la realidad social tal como era experi­
mentada por los demandantes potenciales. Tamb ién se estable­
cieron durante estas sesiones las categorías de elemento-res­
puesta y su enunciado. E l proceso de desarrollo instrumen­
tal fue simultáneamente u n proceso de adiestramiento y de
socialización, destinado a lograr el compromiso de los entre­
vistadores con los fines y el proceso de investigación ; en cierto
sentido, para hacer de los propios entrevistadores u na parte del
i nstrumento de encuesta. Durante el proceso de ad iestra­
miento se hizo hincapié en el mantenimiento de u na rela­
ción entre el entrevistador y el entrevistado más que en la
normalización de la presentac ión de los elementos. los for­
matos de codificación de los datos estuvieron especialmen­
te encami nados a lograr interpretaciones del encuentro de
la entrevista por parte del entrevistador, prestando una aten­
ción especial al sentido de los sign ificados de la conducta no
verbal.
Existen, desde luego, riesgos en este tipo de enfoque. Pue­
de que no haya tenido éxito la socialización de los entrevista­
dores y que no consigan mantener la integridad cient ífica del
esfuerzo investigador. El enfoque deja espacio a una ambigüe­
dad considerable en las respuestas corno resultado de la falta
de normalización en la presentación de los elementos y en el
proceso de codificac ión interpretativa. Además la técni ca da
por supuesto que los afiliados al Cuerpo de Empleo que
fueron seleccionados como entrevistadores no diferían siste-
* El cuerpo de E mpleo (Job Corps ) proporciona ad iestram iento p rofesiona l y
educacional a jóvenes comprend idos entre los 1 6 y l os 2 1 años. (N. del T. 1
1 96 Métodos cual itativos v cuant itativos en i nvest igación evaluativa

máticamente de la población demandante; por añadidura es


posible que, en el marco de las cuestiones, se hayan perdido
importantes categorías de respuestas. La técnica parece más
aplicable a poblaciones demandantes relativamente homogé­
neas como la de usuarios de droga en el seno del Cuerpo de
f mpleo, quienes eran de un modo consecuente jóvenes de mi­
norías pobres y residentes en áreas urbanas (véase Mv e Rs.
1 97 7 : 251 ). En semejante caso el proceso de adiestramiento
y de desarrollo del instrumento pudo conectar con una subcul­
tura común entre el grupo entrevistador y, al mismo tiempo,
preparar a los entrevistadores para un cierto tipo de encuentro
de entrevista. Finalmente cabe preguntarse por el grado en que
son reproducibles los resultados de encuestas conforme a esta
técnica (el estudio publicado no proporciona indicios al res­
pecto).

EN CONCLUSION

Este trabajo ha estudiado e ilustrado diversas funciones


desempeñadas por la etnografía en la reciente investigación
evaluativa, desde la aproximación a la investigación etnográfica
convencional empleada eri los estudios de las Escuelas Experi­
mentales, al proceso de desarrollo del instrumento modificado
que acabamos de describir.
La experiencia de quienes intervinieron en la tarea etnográ­
fica de las Escuelas Experimentales, bien en el nivel del trabajo
de campo o en los de coordinador o patrocinador de la investi­
gación indican que son considerables las dificultades para in­
corporar intacto el modelo etnográfico convencional de inves­
tigación al proceso de investigación evaluativa. Existen tensio­
nes fundamentales, que fueron especialmente evidentes en el
caso de las Escuelas Experimentales. Pero la experiencia con
el trabajo etnográfico de campo en los estudios de las Escue­
las Experimentales revela que las dificultades no son insupera­
bles. En 1 0 de los 8 emplazamientos escolares se realizaron
etnografías detalladas de los procesos de cambio. Las explica­
ciones de los casos de los diferentes emplazamientos comenza­
ron a ser sintetizadas e interpretadas, así como a generar reco­
mendaciones para una posterior acción poi ítica ( HE R R IOT,
1 979 b). Los datos del estudio de casos siguen constituyendo
un recurso considerable del que hay que extraer su potencial.
Contribuciones etnográf icas a la i nvestigación eva l u ativa 1 97

Aún es pronto para señalar hasta qué punto ha sido útil el


ejercicio o si los resultados y sus implicaciones llamarán la
atención de las numerosas audiencias que podrían utilizarlos.
Existen tamb ién aportaciones alternativas de la etnografía
a la investigación evaluativa, que reducen algunas de las tensio­
nes básicas manifestadas por el caso de las E scuelas Experimen­
tales. Pero cada una de las alternativas se desvía del modelo et­
nográfico convencional más sustancialmente que los compo­
nentes del trabajo de campo de las Escuelas Experimentales.
Cuando la investigación evaluat iva se orienta a audiencias inter­
nas, el papel del agente de campo permite una participación
más activa y los procedim ientos anal íticos se transforman para
hacer posible la retro información periódica. Los componentes
"etnográficos" reducidos, como los m iniestudios, los informes
l imitados sobre realización de programas y los procesos de des­
arrollo de un instru mento alterado se basan en las ventajas y
sensibilidades específicas del modo de investigación etnográfi­
ca : su apertura, su atención al sistema significativo del grupo
estudiado, y su concentración en las interacciones sutiles entre
el programa y el contexto ambiental.

lPero quién lo hará?

Hasta ahora el debate no ha abordado una cuest ión impor­


tante que proporciona una indicación adecuada para terminar:
lqu ién puede tener el adiestramiento, la experiencia y la moti­
vación necesarios para realizar un trabajo etnográfico en los
futuros empeños de investigación evaluativa ? En su mayor par­
te las . destrezas etnográficas han sido adquiridas a través de
un riguroso adiestramiento universitario avanzado en antropo­
logía y en sociología cualitativa, primariamente orientado ha­
cia las carreras académicas. Bajo la presión de la falta de pues­
tos de trabajo, etnógrafos adiestrados de este modo -incluyen­
do muchos de los agentes de campo de las Escuelas E xperimen­
tales- han aceptado su contratación en la investigación evalua­
tiva como la "segunda mejor" alternat iva a la investigación
financiada por una beca conforme al modo convencional. El
tono de la q ueja . resulta inconfundible en los debates sobre
las experiencias de las Escuelas Experi mentales. Los agentes de
campo han de efectuar una considerable acomodación para
atender a las complejas relaciones de su misión y a las exigen-
1 98 Métodos cual itativos v cuantitativos an investigación evaluativa

cias de j u stificación co n l as q ue no están fam i l iarizados. Han


de aceptar posicio nes como u na parte - i nferior jerá rq u ica­
mente- de u n empefio de i nvestigación interd iscipl inar y su
resentim iento por ocupar tal_es posiciones se refleja en los t ít u­
los de los artícu l os que describen sus experiencias: El antropó­
logo como trabajador contratado ( CLINTON, 1 975), El antro�
pólogo como mensajero (TRENO, 1 976) , y Trabajando poro el
Hombre . . . ( CHAM BERS, 1 977a ) .
Estas quejas están j ust ificadas e n e l grado e n e l q u e los et­
nóg rafos se orientan h acia carreras de caracter académ ico y
conforme a I íneas antropológ i cas más convencionales. A tales
personas les i nteresará aún menos o rientarse hacia los t i pos
de eva l uación etnográfi ca q ue aq u í han sido act ivamente su­
geridos. Pero l as expectativas de los et nógrafos expertos es­
tán cambiando y algunos se incl inan ya por misiones más i m­
portantes y sat isfactorias en l a invest igac ión eva l uativa. Un
agente de campo aconseja a sus colegas que consideren l os t ra­
bajos que no sea n de ca mpo en las sedes centrales de las f irmas
i nvest igado ras, si ntet i za ndo e i nterpretando datos de fuentes
cuant itativas y cua l itativas, d isefiando futu ras tareas de i n vesti­
gaci ón y d irigiendo l a l abor de los agentes de campo ( TRENO,
1 976) . Otro defiende para los agentes de ca mpo u n pape l más
activo, t rad uciendo sus hallazgos etnográficos en recomenda­
cio nes de acc ión ( EvERHART, 1 97 6 : 22 ) . Ot ro sugiere q ue los
etnógrafos pueden rea l i za r fu nciones úti les co mo parte de
eq u ipos de "asistencia técnica " q ue ayuden a los participantes
en el programa a actuar sob re la información generada po r l a
i nvest igación eva l uat iva (W1LSON, 1 977b :200) . Estas fu ncio­
nes y otras n uevas están siendo ensayadas en med ida crecien­
te por etnógrafos ad iestrados con resu ltados sufic ientemente
positivos para l lamar la atención de otros hacia la invest iga­
ción eval uativa.
Otra fuente de persona l cal ificado -quizá mucho más va­
riada desde el punto de vista de la invest igación eva luativa­
correspo nde a aquel l os que consideran la i nvestigación eva l u a­
tiva co mo u n objet ivo primario en su carrera y optan por
consegu i r u n ad iestram iento t ras su formación universitaria.
En programas de fo rmación de caracter amplio e i nterd isc i ­
pl inar tales perso nas pueden obtener u n úti l co noc i m ie nto
práct ico de l as técn icas y destrezas etnográficas, si n so meter­
se necesariame nte a todo e l rito de p reparación de l a ntro­
pó logo ( que por l o genera l i nc l uye u na experiencia en u n tra-
Contribuciones etnográficas a la investigación evaluativa 1 99

bajo individualizado d e campo durante un prolongado perío­


do de tiempo y en un entorno intercultural). Los antropó­
logos pueden discutir si unos agentes de campo sin una am­
plia experiencia intercultural cuentan con perspectiva sufi­
ciente para concebi r, observar y redactar una etnograf (a
com petente ( véase Wo Lcon. 1 97 5 : 1 1 5- 1 1 6).
Pero mientras prosigue el debate, el orden del d ía de la in­
vestigación evaluativa no aguarda. Los problemas pugnan por
encontrar solución en el terreno Político . La investigación
evaluativa tiene mucho que ofrecer con tal de q ue pueda ha­
llar las formas más apropiadas y sensibles para desarrollar da­
tos con destino a cada situación de decisión. También tiene
m ucho que brindar a este proceso la disciplina de la invest i­
gación etnográfica pero, como cualq u ier otro riguroso enfoque
de las ciencias sociales, perderá buena parte de su identidad
disciplinar, cuidadosamente constru ída, al entrar en la contien­
da.

B I B L I OG RA F I A

8 E R R EM A N , G . 0 . 1 1 9681 " Et h nography : method and product," en J . A . Cl ifton


( ed . ) lntroduction to Cultural Anthropology: Enay:s in tha Scops and Msthod:s
of tha Science of Man. Boston: Houghton Miffl in.
B U R NS , A. F . ( 1 976) "On ath nographic process i n anthropology and education . "
Council on Anthropology and Educstion Quarttlrly 7 . 3.
CARO , F. G. ( 1 97 1 1 " Eval uation research : an overview," en F. G . Caro ( ed . ) RtlB·
ding:s in Evaluation Re,earch. N u eva York: R ussel l Saga.
CASS E L L , J. ( 1 978) A Fieldwork Msnual for Studying Dfl/Sflflregatsd School:s. Wa­
s h i ngton , D C : National l nstitu te for Education .
C H A M B E R S , E . ( 1 977al "Work ing for tha man: the anthropologist i n pol icy rele­
vant research . " Human Organization 36. 3.
--- ( 1 97 7 b l " Pol icy rasaarch 11t the local level" . Human Organlzatlon 36. 4 .
C LA R K , W. W. , J r . ( 1 97 7 1 " T h a incorporation of qual itative techniques i n educa­
tional evaluation." CEDR Ouarterly 1 0, 4.
C L I N TO N , C. A. ( 1 9761 "On bargain i ng with the dev i l : contract eth nography and
accou ntabi l i ty in fialdwork . " Council on Anthropology and Education Ouartrlr·
/y 7 , 2 .
- -- ( 1 975) " T h e anthropologist a s h i red hand." HulTltln Organization 34, 2 .
C O LF E R , C. J . P. ( 1 9761 " Rights, responsab i l i t ies, a nd reports: an eth ical dilem­
ma in contract research ," en M. R y n k iawich y J . Spradley (eds . ) Ethic:s and An·
thropology: Dilemmas in Fieldwork. N u eva York : Joh n W i lay .
C R O N B AC H , L. J . ( 1 978) Designing Educstional Evaluations. Stanford: Stanford
U n ivers i ty School of Education, Stanford Evaluation Consort i u m . (versión prel i ­
m i nar)
200 Métodos cua l i tat ivos y cuantitativos en i nvestigación evaluativa

D ON N E L LY , W. L. ( 1 979) " Arcadia: l ocal i n i tiatives and adaptation," e n R . E. He­


rriott y N. Gross (eds . ) The Dynamics of Planned Educational Changa. Berke­
ley : McCutchan .

E V E R HA R T , R . B . ( 1 976) " Et h n ography and educational policy : l ove and marria­


ge o r strange bedfe l l ows? " Council on Anthropology and Education Ouartar­
ly 7, 3.
--- ( 1 97 5) "Problems of doing fieldwork in educational evaluati on . " Human Or­
nization 34, 2 .

F I LSTE A D , W. J . [ed . ] ( 1 970) Oualitative Methology: Firsth1111d lnvolvement in


the Sociel Sciences. Ch icago : Markham.
F I TZ G E R A L D , T. K. ( 1 976) "The role of the anthropolog ist i n experimental eva­
luations: soma personal observations," en C. J. Cal h oun y F . A. l a nni (eds. ) The
An thropological Study of Education. The Hague . Mouton .
F I TZS I M MO N S , S. J . ( 1 975) "The a nth ropologist in a strange l and. " Human OrflB•
nization 34, 2 .

G I DE O N S E , H . D . ( 1 979) "Designing federal policies a n d programs t o faci litate l o­


cal change efforts," en R. E. He rriott y N . Gross (eds. ) Tha Dynamics of Plan­
ned Educational Chan!lfl. Berkeley: McCutchan .

H A M I LTO N , D . , 8. McDONA L D , C. K I N G , 0. J E N K I NS , y M. P A R LETT [eds.]


( 1 97 7 ) Beyond the Numbers Gam,: A R,ed,r in Educational Evaluation. Ber­
keley : McCutchan.
H E R R IOTT, R . E . ( 1 979a) "The federal conte x t : plann i ng, fund i ng, and monito­
r i ng," en R . E. Herriott y N. G ross (eds . 1 Th• Dynamlcs of Planned Educational
Change. Berkeley : McCutchan .
--- ( 1 979b) F,deral lnitiativ• and Rural School lmprovement: Findings from th•
Experimental School Program. Cambridge, MA: Abt.
--- ( 1 977) " E t h n ogreph ic studies i n federal ly-funded multi-disciplinary po licy re­
search : sorne design a nd implementation issues . " Anthropology and Education
Ouarterly 8, 2 .
--- y N . G R OSS ( 1 979) The Dynamics of Planned Educational Changa. Berke·
ley: McCutchan.

McCA L L , G . J . y J . L. S I MMONS [eds .] ( 1 969) /uues in Participant Obltlf'vations.


Reading, M A : Addiso n-Wesley .
M ESSE R SC H M I DT , D. A. ( 1 979) "River District: a search for un ity amidst diver­
sity ," e n R. E. H e rriot y N. G ross (eds . ) The Dynamics of Planned Educational
Changa. Berkeley: McCutchan .
M U L H A U SE R , F. ( 1 975) "Eth n ography and policy-ma king : the case of education ."
Human Organization 34, 3.
M Y E R S , V. ( 1 97 7 ) "Towards a sy nthesis of ethnographic a nd survey methods. "
Human Orgsnization 36, 3.

PE L TO, P. y G. H . P E LTO ( 1 978) Anthropo/ogical R1SBBrch: Tha Structur, of In·


quiry. Cam bridge ; Cambridge Univers ity Press.

A Y N K I E W I CH, M. y J . SPRAD L E Y ( 1 979) Ethics and Anthropo/ogy: Dilemmas


in Fieldwork. N ueva York: John Wi ley .
Contribuciones etnográficas e la i nvestigación evaluativa 20 1

SPOTTS , A . , R. WATK I N S , J . E V EN SON , y J . 8AVRV ( 1 974) E,cperience-S.­


std Cllf'tlflr Education Fine/ Evaluetion Report FY 1974, Vol . 2. San Francisco:
Far West Laboratory for Educational Research .

TR E N O , M. G. ( 1 976) "Tha anthropologist as go-fer." Presentado al congreso


anual de la Sociaty for Appl iad Anthropology . St . Lou is, 1 7-21 Marzo.

WAX , R . H. ( 1 97 1 ) Ooing Fieldwork: W.rningund Advica. Ch icago: University of


Ch icago Press.
W I LSON , S. ( 1 977a) "Tha use of ethnograph ic techniques in educational research."
Review of Educationel Re..rch 4 7, 1 .
--- ( 1 977b) "The use of ethnograph ic methods in aducational evaluation." Hu­
men O,ganizetion 36, 2.
WO LCOTT, H. F . ( 1 97 5) "Critaria for an ethnograph ic approach to resaarch in
schools." Humen O,ganization 34, 2.
CAPITULO VIII

CON E X I ON E NT R E E L ANA L I S I S DE P ROC ESO Y


E L ANA L I S I S DE I MPACTO*

El caso del Trabajo Asistido

Por Robi nson G. HOLUSTER , Jr.


Mathematica Po/icy Research and
Swarthm ore College
Peter KEIIIFER y Judith WOOLORIDGE
Mathematica Policy Research

La mayor ía de las eva luaci ones de los programas de emp leo


y de formación corresponden a dos grandes ti pos : a ná l isis de
" i mp acto ", emp leado para esti ma r el i mpacto gene ra l de l pro­
gra ma en qu ienes fueron participantes y aná l isis de "proceso ",
que se concentra en los e leme ntos i nternos del progra ma . La
eva l uación del i mpacto pregu nta si el progra ma es en genera l
u n "éx ito " o u n "fracaso " y resu lta t ípicame nte cuantitativa
!)Or su enfoque. E n contraste , e l a ná l isis de proceso, se pregun ­
ta cómo funci ona e l progra ma , i nsistiendo e n identifica r mo­
dos de mejora r las· operaciones y e l d iseño del programa y re­
su lta t ípicamente cua l i tativo por su enfoqu e. Aunque pa recen
obvias las ventajas de comb i nar los dos ti pos, no conocemos
tentativas de u n i rlos excepto en la eva l u ación actu a l mente en
cu rso de l Tra bajo Asistido, "un progra ma de ex periencia labo-

*La Investigación sobre la que est6 basada este estudio es parte de una evalua­
ción del programa de Trabajo Asistido para la Manpower Demonstratlon Research
Corporation, cuya cooperación aprecian los autores. El trabajo de la M. D. R.C. es­
t6 siendo realizado merced a la beca No. 33-36-75-0 1 y los contratos Nos. 30-36-
750 1 y 30-34-75-02 de la A dministración de Empleo y Formación del Deoartamen­
to de Trabajo de los Estados Unidos y a la beca No. 740-0537A de la Fundación
Ford. La A dministración de Empleo y Formación del Departamento de Trabajo
es la entidad principal en un consorcio federal de financiación que patrocina el
programa de Trabajo A sistido. Los puntos de vista expresados en este trabajo co­
rresponden a los autores y no representan la posición oficial o las políticas de los or­
ganismos patrocinadores.
Cone>Ci6n entre el anál isis de proceso y el análisis de impacto 203

ral de transición para ciertos grupos que tradicionalmente ex­


perimentan una gran dificultad en la obtención o en la conser­
vación de empleos regulares" (Manpower Demonstration and
Research Corporation, 1 978 : 1 ). Nuestro trabajo argumenta
que la conexión entre el análisis de proceso y el análisis de im­
pacto deber ía ser un importante objetivo de la investigación
evaluativa y emplea una pequeña muestra de los primeros da­
tos de la evaluación del Trabajo Asistido para ilustrar las ven­
tajas potenciales de la conexión entre el análisis de proceso y el
análisis de impacto. También señala que, all í en donde sea po­
sible, deben incrementarse los métodos tradicionales de análi­
sis de proceso con las técnicas cuantitativas más habitualmente
asociadas al análisis de impacto. Deseamos subrayar que nues­
tro objetivo es presentar material ilustrativo relevante para la
metodolog ía de la investigación evaluativa cuantitativa y no
evaluar el Trabajo Asistido. Por esa razón ninguna parte del
material ofrecido debe ser considerada como representación de
semejante evaluación. 1

A . E M P LE O DE L ANA L I S I S CONJUNTO PARA EVA LUAR I MPACTOS


DE COM PON ENTES DE PROGRAMA

Queja fundamental de los operadores de programa, sobre


todo de los de programas experimentales o de demostración,
es que las evaluaciones generales de impacto han conducido
a juicios sumarios - -con mayor frecuencia negativos-- acerca
de programas sin una estimación adecuada o justa del gra�o en
el que los componentes específicos (subprogramas) resul­
tan más o menos eficaces en la preparación de los participantes
para un futuro empleo. Sin embargo, quienes se ocupan de
cuestiones relativas a si es preciso consagrar a un programa
mlls o menos recursos, han mostrado su mlls completo excepti­
cismo ante los análisis de proceso que tratan de evaluar estos
componentes de programa porque proporcionan muy escasa
información sobre los efectos generales del programa. Además,

1 Los lectores fu ndamental mente i n teresados en el Trabaj o Asist i d o deben con ­


su ltar d i versos i n formes con sagrados espec íficamente a su impacto genera l . Cabe ob­
tener i n form ac ión sobre la catego r ía y los med i os de acceso a tales i n formes , así
com o a otras p u b l i cac iones concern ientes a l Traba j o Asistid o , de Manpower De­
monstratlon Research Corporatlon , 3 Park Aven u e , Nueva Yor k , 1 0016.
204 Métodos cualitativos y cuantitativos en investigación evaluativa

cuando producen una información evaluativa es habitualmente


cualitativa e incluso cuando es cuantitativa no cumple los ri­
gurosos requisitos de los tests de hipótesis estad ísticas. Tanto
los gestores del programa como los elaboradores de la poi íti­
ca en un nivel superior, resultarán mejor atendidos por evalua­
ciones del programa que apliquen los datos y las técnicas cuan­
titativos norma lmente asociados con el análisis de impacto en
las cuestiones del proceso referentes a qué aspectos del progra­
ma "funcionan". A continuación se exponen algunos de los
modos espec íficos en que semejante análisis cuantitativo pue­
de perfeccionar la gestión y el diseño de los programas so­
ciales.
En primer lugar, en vez de aceptar o rechazar simplemente
un concepto de programa central quizá sea posible vo lver a
diseñar su estructura, eliminando los e lementos menos efica­
ces y destacando los más eficaces. Para proporcionar informa­
ción para tal perfeccionamiento en e l diseño del programa re­
sulta esencial un nexo entre los elementos del programa y los
impactos del post-programa .
En segundo lugar, en el pasado, los operadores de progra­
mas se centraban necesariamente en ciertas medidas de rendi­
miento en el programa que, según creían, presentaban una
probable correlación con · efectos posteriores del mismo, por
ejemplo, los relativos al empleo futuro. La asistencia, la can­
tidad de tiempo consagrado al programa y la colocación en
un puesto de trabajo a su conclusión, son probablemente los
indicadores de rendimiento más corrientemente empleados.
Por lo que sa bemos, ha habido muy pocas tentativas de valo­
rar cuantitativamente el grado en el que semejantes indicado­
res de rendimiento en el programa guardaban correlación con
resultados posteriores o los preve ían. E l empleo de un enfoque
más cuantitativo a las variables del proceso, combinado con
datos de impacto, permite un aná lisis de la utilidad de estos
indicadores de rendimiento como retroinformación de los
operadores del programa , al menos respecto del programa es­
pecífico para el que se establece el nexo y quizá para generali­
zación en otros programa similares.
En tercer lugar, los operadores están casi siempre convenci­
dos de la eficacia del programa que están realizando. Semejan ­
te convicción es necesaria para la continuidad de una elevada
motivación. También desarrollan opiniones respecto a qué
aspectos de su programa son los más eficaces y cúales son los
Conexión en tre el análisis de proceso y el anál isis de i mpacto 206

menos eficaces. También esto resulta esencial para una gestión


óptima del programa. La conexión entre los datos del proceso
y del impacto permite al analista proporciona algunas com­
probaciones cuantitativas de las hipótesis que los operadores
élesarrollan acerca de "lo que realmente importa". En áreas
diferentes de las de la formación y el empleo, por ejemplo,
existen ejemplos sorprendentes de opiniones sostenidas con fir­
meza por los operadores acerca de una eficacia que no respal­
dan los análisis cuantitativos. Por ejemplo, durante décadas,
los profesores de enseñanza primaria y los expertos educativos
afirmaron con completa convicción que el rendimiento acadé­
mico se ve ía considerablemente afectado por los gastos reali­
zados por alumno y por el volumen de la clase . Numerosos
análisis cuantitativos han revelado, sin embargo, que los resul­
tados académicos no se ven muy influidos, si es que llegan a
serlo, por el gasto por alumno o por el volumen de la clase.2
Pese a estos beneficios potenciales, tales análisis enlazados
resultan raros. Diversos factores inhibidores pueden explicar
este fracaso de la investigación evaluativa.
Primeramente, ha habido una falta de datos. Es caro reco­
gerlos y así no existen a menudo antecedentes sobre los
resultados de un programa -sobre todo en la experiencia de
seguimiento a largo plazo en el empleo posterior al programa.
Y cuando los hay, rara vez existen datos sobre la experiencia
del programa de los mismos individuos y que sean adecuados
para el análisis cuantitativo. Es desde luego infrecuente la com­
binación de ambos tipos de datos así como la capacidad para
ligarlos.
En segundo lugar, no basta con la accesibilidad de los datos.
Han de existir muestras suficientemente grandes de participan­
tes afectados por los elementos específicos de un programa
para asegurarse de que sea estad ísticamente detectable un
efecto de tamaño razonable. Cuando son varios los elementos
de un programa que han de ser evaluados, las exigencias re­
lativas al tamaño de la muestra pueden tornarse prohibitiva­
mente grandes.
2 S i n embargo , los descu b r i m ientos de estos est u d i o s no han sido todos n ega­
t ivos. Como adv ierte H A N U SH E K en su ú t i l revisión de tales estud i o s , éstos
proporc ionan "pru eba s conc l u yentes de que las d i ferencias entre escuelas y pro­
fesores resu l ta n i m porta n tes en e l l ogro . . . Sin emba rgo la identificac ión y la me­
d i c ió n de atributos espec íficos de profe�or o de escue la que sea n i mportantes re­
su ltan mucho menos seguras" ( la cursiva es n uestra ) .
206 Métodos cual itativos y cuantitativos en investigación evaluativa

En tercer lugar, como la asignación de participantes a dife­


rentes elementos del programa no está sometida, por lo común,
a un proceso cuidadosamente controlado y documentado, los
resultados que parecen tener efectos del tratamiento pueden
ser debidos a un sesgo en la selección. l Asignan los técnicos
sus mejores colaboradores a su tratamiento favorito (a veces
denominado la "crema") o destinan los peores, los más nece­
sitados, al tratamiento que consideran más poderoso ? lO los
propios participantes tienden a optar voluntariamente o a
buscar unas experiencias del programa que de algún modo
encajen con su "estilo" personal? En uno u otro caso habrá
diferencias en los impactos post-programa, no en razón de las
existentes en el tratamiento del programa sino por las diferen­
cias en los tipos de individuos que sean asignados a esos trata­
mientos (o que se seleccionen ellos mismos al respecto). En la
medida en que los factores que determinan a los técnicos
a seleccionar tipos espec íficos de individuos para unos deter­
minados tratamientos sean medibles y resulten accesibles al
evaluador sus datos, los métodos estadísticos pueden efectuar
correcciones sobre el proceso de selección con objeto de pro­
porcionar estimaciones imparciales de los efectos del trata­
miento. Sucede lo mismo si la autoselección de los participan­
tes está determinada por ' tales caracter ísticas medidas. Pero
all í en donde la selección por parte del técnico o por los par­
ticipantes implica unas caracter ísticas no medidas, los efectos
estimados del tratamiento pueden estar sometidos a ese sesgo
de la selección.
La evaluación del Trabajo Asistido es suficientemente amplia
y las estrategias de recogida de datos bastante rigurosas para
permitir la obtención de los tipos necesarios de datos con des­
tino a una evaluación de los efectos post-programa de los dife­
rentes factores dentro del programa. Como ya hemos señalado
anteriormente, la evaluación general aún no ha sido terminada.
Pero las secciones siguientes ilustran -con una pequeña sub­
muestra de las primeras observaciones- el potencial del en­
foque enlazado.

B . T R A BAJO ASI ST I DO Y SU BASE DE DATOS

El Trabajo Asist ido es un programa de e xperiencia labora l de trans i ·


ción or ientado hacia cu atro grupos de personas que trad iciona lme nt e
Conex ión entre el análisis de proceso y el análisis de impacto 207

han experimentado grand es d ificultades para conseguir o mantener pues­


tos regulares de trabajo : ex reclusos recientemente puestos en l ibertad ; ex­
adictos sometidos a tratamiento; jóvenes que han abandonado prematura­
mente la enseñanza, muchos de los cual es tienen a ntecedentes delictivos,
y mujeres que han sido durante largo tiempo beneficiarias del programa
de Ayuda a las Fam i l ias con Nii'los * . El Trabajo Asistido brinda a tales
personas un puesto y la oportunidad de mejorar así, con la posibi l idad de
conseguir empleo permanente e n el mercado regular de trabajo . . .
El Trabajo Asistido fue iniciado en u n n ivel n acional e n marzo de
1 975, en un empei'lo por comprobar la eficacia de un programa que hab ía
revelado perspectivas sustancia les en el nivel local , en la ciudad de Nueva
York . En la primera fase participaron 1 3 emplazam ientos. Hacia el final
del segundo afio completo de la prueba, en junio de 1 977, se hab ían ai'la­
dido dos emplazamientos y estaban i ntegradas en el programa más de
5.400 personas.
La prueba está patrocinada por un consorc io de 5 agencias federales,
encabezadas por la Administrac ión de. Empleo y Formación del Departa­
mento de Trabajo de los Estados Unidos y por la Div isión de Asuntos
Naciona les de la Fundación Ford ; se halla regida por la Manpower De­
m onstration Research Corp oration, una organización no lucrativa que fue
creada para disei'lar y superv isar proyectos en gran escal a de comproba­
ció n e i nvest igación. Los recursos para la prueba proceden de una combi­
nación de subvenciones d irectas de los patrocinadores naciona les, de fon­
dos federales de participación en los i ngresos origi nados por los programas
locales y del producto de la venta de bienes y serv icios generados por los
trabajadores asistidos.
La prueba incluye un componente general de i nvestigación que trata
de informar si el Trabajo Asistido determina un mejoramiento en e l sala­
rio y en el empleo y reduce la activ idad delictiva, el uso de d rogas y el
régimen de beneficencia. Los contratistas para la i nvestigación del Tra­
bajo Asistido son Mathematica Po/icy Research, /ne., Pri nceton, New
Jersey y el lnstitute for Research on Poverty d e la Un iversidad de Wis­
consin en Madison (MDRC, 1978: 1-2).

En 1 0 de los 1 5 emplazamientos del Trabajo Asistido,


los solicitantes admisibles del programa se asignaron al azar
a un grupo experimental o a un grupo de control. Los atribuidos
al grupo experimental recibieron la oportunidad de participar en
el Trabajo Asistido. I nmediatamente después de la asignación
al azar, se iniciaron entrevistas periódicas que se repetir ían 9
y 1 8 meses después. Las entrevistas contienen datos demográ­
ficos básicos y de post-programa así como de otros resultados

"A ld to Famllles with Dependent Chlldren ( A F DC l .


CAP ITU LO V I I I

CONEXION ENTRE EL ANA LISIS DE P ROCESO Y


EL ANA LISIS DE IMPACTO*

El caso del Trabajo Asistido

Por Robinson G. HOLUSTER , Jr.


Mathematica Po/icy Research and
Swarthmore College
Peter KEMPER V Jud ith WOOL.DAIOOE
Mathematica Policy Research

La mayor ía de las eva l uaci ones de los programas de emp leo


y de formación corresponden a dos gra ndes ti pos : a ná l isis de
" i mp acto ", emp leado para esti ma r el i mpacto gene ra l de l pro­
g ra ma en quienes fueron pan;icipantes y aná l isis de "proceso ",
que se concentra en los eleme ntos i nternos de l programa . La
eva l uación de l i mpacto pregu nta si e l progra ma es en genera l
u n "éxito " o u n "fracaso " y resu lta t íp icamente cuantitativa
por su enfoque. E n contraste , e l a ná l isis de p roceso, se pregun ­
t a cómo funci ona e l progra ma , i nsistiendo en identificar mo­
dos de me jorar las · operaciones y el d i seño de l p rograma y re­
su lta t ípicamente cua l itativo por su enfoque. Aunque parecen
obvias las ventajas de comb i na r los dos ti pos, no conocemos
tentativas de u n i r l os excepto en la eva l u ación actu a l mente en
cu rso de l Tra bajo Asisti do, "un progra ma de ex periencia labo-

'"La Investigación sobre la que está basada este estudio es parte de una evalua­
ción del programa de Trabajo Asistido para la Manpower Demonstratlon Research
Corporation, cuya cooperación aprecian los autores. El trabajo de la M. D. R.C. es­
tá siendo realizado merced a la beca No. 33-36-75-0 1 y los contratos Nos. 30-36-
750 1 y 30-34-75-02 de la A dministración de Empleo y Formación del Departamen·
to de Trabajo de los Estados Unidos y a la beca No. 740-053 7A de la Fundación
Ford. La A dministración de Empleo y Formación del Departamento de Trabajo
es la entidad principal en un consorcio federal de financiación que patrocina el
programa de Trabajo A sistido. Los puntos de vista expresados en este trabajo co­
rresponden a los autores y no representan la posición oficial o las políticas de los or­
ganismos patrocinadores.
Tabla 1 : Resu men de cuestionarios d e l Siste ma de I nformación de Gestión ( M I S ) n
o

Cuestionario Datos Frecuencia Qu ién cumpli menta el cuestio nario


"'
:,
X
o:
Afiliación G rupo escogido, estructura de la familia , Realizado u na vez que se Los funcionarios e ncargados de "':,
:,

fuentes de i ngresos , raza, educació n , efectúe e l i ngreso en e l efectuar el i ngreso , cu mplimentarán


historial labora l , destrezas y formac ió n , programa. el impreso, anotando las respuestas �
condenas previas , anterior tratam iento de los trabajadores asistidos a las
por uso de drogas o alcohol , condena preguntas formuladas . .,:,
!!.

diferida. !!!:
¡;;·
¡;;·
Asistencia Horas i nvertidas en provectos . servicios Semanal . Los funcionarios d e nómina. Se c.
auxiliares, enfermedad , vacaciones, fiestas, transcr i be parte de la información CD

a
suspensió n , inactividad , etc; también de la ficha semanal de asistencia "O
i ncluye d ías de asistencia. minutos de que rel lenan los capataces .
retraso o salidas anticipadas, i ndicación !xo
de primas y código de evaluación . <
Un miembro adecuado del persona l !!.
Cambio de categoría 1 nd ica fecha de comien zo , ascensos , Cuando resulte apropiado. o,
degradaciones , inactividad , reactivación , del programa. :,
suspensión , transferencia a otro equipo ; !!!:
¡;;·
conclusión ; i ncluye también las razones ¡;;·
de los diferentes ca mbios de catego r ía . "'
c.
Asignación a super­ I dentifica l a relació n e ntre e l supervisor Cuando resulte apropiado. Perso nal de operaciones . 3'
visión de equipo
Sumario de
y e l equipo.
Tipo de cliente , oferta competitiva o Cuando comience un Persona l de operaciones .
...
n
o
proyecto no, t ipo de superv isió n , codigos DOT proyecto .
y SIC de ocupación e i ndustria, tipo
de trabaj o ; tipo de reembo lso (si lo
hay ) por e l p royecto .
Perfil del supervisor I nf ormación sobre el supervisor i nclu­ U na vez , tras dos meses Supervisores .
yendo educación , edad , raza, expe­ de experiencia de
riencia de supervisión , formació n de supervis ió n .
destrezas, actitudes hacia la supervi­ IV
sión del T rabalº Asistido . �
2 10 Métodos cual itat ivos y cu antitat ivos en i nvestigación eva luati va

Para los resu ltados, son accesi bles las sigu ientes med idas:

• Asistencia
• T i po de conclusión y d u rac ió n de la permanencia en e l programa
• Categor ía e i ngresos d e l emp leo post-programa
• Otras med i c iones de los resu ltados

F i na l mente la base de datos i n c lu ye i nformación sobre :

• Ca racterísticas i nd ividuales
• Cond i c iones del mercado local de trabajo 4

Esta base de datos se puede emp lear pa ra ana l i zar u na a m­


plia va riedad de cuesti ones . Con objeto de i lu strar e l ti po posi ­
b le de aná l isis, hemos emp leado a lgunos resu lta dos mu y pre l i ­
minares basados e n u na pri me ra mu estra d e los participa ntes
para responder, contando con u na so la medida del materia l
producido -ingresos de l Tra bajo no Asistido du rante los 1 8
meses posteriores a la perma nencia- a dos pregu ntas. En pri­
me r lugar, l hasta qué pu nto predicen e l tiempo y e l tipo de
conclusión ( un i n d i cador de éx ito acces i b le a los técnicos de l
programa ) , los i ngresos posteriores a l programa ? Y, en segun­
do lugar lcómo están re laéionados los i ngresos posteriores a l
progra ma con l a experiencia d e los partici pantes d u ra nte e l
desa rro l lo d e éste, es dec ir con e l t i po d e trabajo proyectado,
las caracter ísti cas de los su pervisores, las ca racter ísticas de l
�qu i po y los servicios de asi stenci a ?

C. CON C LU S I O N COMO I N D I CACION DE U N E X ITO POST E R I O R


A L P R OGRAMA

Como se señaló anteriormente, u n modo de perfecc ionar la


gestión de los programas soc ia les consiste en proporcionar a
los gestores una retroinformación sobre e l rendi m i ento. Sin
emba rgo la recogi da de datos re lativos al segu i m iento poste·
rior de los pa rticipa ntes resu lta costosa y la retroi nformación
respectiva su pone una considera ble demora te mpora l . La re·
troinforma ción habitu a l a gestores de programa s de emp leo

4 Esta s han s i d o ob ten i da s de f u en tes de datos p u b l i cad o s .


Conex ión entre el anál isis de proceso y el anál isis de i mpacto 21 1

y formación está actualmente limitada a indicadores a corto


plazo, como la asistencia e indicadores a plazo medio, como la
duración de la permanencia y si la razón de la conclusión fue
o no el hecho de haber obtenido un trabajo regular. Las deci­
siones de la gestión han de estar basadas en estos indicadores
a plazo corto y medio, bajo la presunción de que constituyen
una previsión del rendimiento post-programa. Comprobamos
en esta sección tal presunción mediante el examen de la rela­
ción entre los ingresos post-programa y el tipo y el tiempo de la
conclusión.
La Tabla 2 ofrece los resultados de regresiones en los ingre­
sos del Trabajo no Asistido durante los 1 8 meses posteriores
a la afiliación sobre la razón de la conclusión del programa y
con dos series de variables de control. Tanto las observaciones
del grupo experimental como las del de control han sido in­
cluidas en estas regresiones para permitirnos separar el efecto
sobre ingresos debidos a la conclusión del programa de otros
factores que afectan asi mismo a los ingresos.
Las razones para la conclusión han sido agrupadas en tres ca­
tegorías; positiva, negativa y neutra. Se añaden variables ficti ­
cias para los diferentes emplazam ientos del Trabajo Asistido
con el fin de obtener un control de las diferencias del merca­
do laboral en las distintas ciudades. Los resultados muestran
unas diferencias bastante grandes y estadísti camente signifi­
cativas respecto del tipo de conclusión. Los sujetos de experi­
mentación que concluyen por una razón positiva, ganan du­
rante los 1 8 meses 237 dólares más que e l promedio de sujetos
de control, mi entras que los que concluyen por razones negati­
vas ti enen unos ingresos inferiores en 50 dólares a los de con­
trol. ( Los ingresos de los que term inaron por razones neutras
no eran significativamente diferentes de los ingresos rte los con­
troles.) El promedio general de ingresos durante los 1 8 meses
fue, en esta muestra prelim inar, de 1 48 dólares. La magnitud
de la diferencia, respecto de este promedio, en los ingresos por
tipo de conclusión señala así que tal tipo de conclusión es un
buen indicador de los ingresos post-programa, al menos cuan­
do se miden los 1 8 meses después de la afi l iación. Cuando de­
ci mos "buen indicador de los ingresos post-programa" nos
referimos al hecho de que el promedio del valor de los ingre­
sos de los que han concluido positivamente es de un modo
sustancial (y estadísticamente significativo) superior al pro­
medio del conjunto de la muestra. Sin embargo debe adver-
212 Métodos cualitativos y cuantitativos en investigación evaluativa

Tab la 2 : Tipo de conclu sión co mo previsión de los i ngresos post-programa.


Variab les independ ientes inclu idas
en las regresiones

Tipo de conclu sión,


emp lazam iento y
Tipo de conclusión característi cas
Variab le y emp lazam iento ind ivid uales

Tipo de conclusión ª
Positiva 237 * * * 208* * *
N egativa - 50* * - 46*
N eutra 5 30
Emplazamiento
Atlanta 1 02 * * 95
Chicago 86* * 86* *
Hartford 19 35
Je rsey C ity 45 68 * *
N ewark 9 - 10
Oakland 88* * 38
F iladelfia (omitido)
San F rancisco 1 07 * * * 43
Caracterlsticas individuales
G rupo étni co
Blanco 93* *
H ispano
N egro (omitido)
Edad ( Grupos estudiadoslh
Menos de 25 años - 21
2 6-30 años (omitido)
Más de 30 años -3
Mujeres ( Grupos estudiados que no son
de Ayuda a las F ami lias con N iños) c - 77**
Número de personas dependientes 4
Educación
T ítulo de enseñanza secundaria 66* *
Ha tenido formación profesional - 32
Experiencia laboral
H a te nido un emp leo a jornada completa 19
1 ngresos el año anterior ( 000) 6
Grupo estudiado
Ayuda a las Famil ias con N i ñosc - 19
E x -adi ctos - 45
E x-del incuentes
Jóvenesb - 64
El individuo es jefe de un equipo 1 87 * * *
Estadlsticas
R 2 ajustada 0,05 0 ,09
F estad ísti ca 6 ,20 5 .04
N ú mero de observaciones 1 .033 1 .033
Conexión entre el anál isis de proceso y el análisis de impacto 213

tirse que la regresión general explica sólo un pequeño porcen­


taje de la varianza en los ingresos de los 1 8 meses ( R2 ajustada =
0,09 ) de forma que cualquier indicador de los ingresos de los
1 8 meses obtenido de las características medidas y representa­
das en la regresión resulta relativamente débil.
Sin embargo, de estos resultados no queda claro si las dife­
rencias de ingresos son debidas a diferencias entre los indivi­
duos que estaban presentes al comienzo del programa, dife­
rencias que influyeron tanto en el tipo de conclusión como en
los ingresos post-programa. La columna 2 de la Tabla 2 mues­
tra el efecto de los resultados de la regresión al incluir varias
características medidas de los sujetos experimentales y de con­
trol en el momento de la distribución al azar.s ( Una vez más
la inclusión de las observaciones del grupo de control mejora
la capacidad para separar el efecto del tipo de conclusión del
5 Aunque no resu lte de interés primario para este a ná l i si s , va le la pena señalar
q u e los coefic ientes de las caracter ísticas individuales inclu idos en las regresi ones
en la columna 2 son estad ísticamente sign ificativos y. en genera l , con secuentes con
otras investigac iones sobre los factores que afectan a los i n gresos. Los negros ga­
nan menos que los blancos y que los i ndividuos de habla española . Las muj eres
menos que los h ombres. Los ingresos son superi ores en aquel los que poseen un t í­
tulo. Estas caracter ísticas se podr ían también interactuar con rango experimental
para determ i nar si e l programa es más o menos eficaz con determinados subgrupos
de participantes. Semej ante aná l isi s podr ía provocar recomendac iones pol íticas pa­
ra or ientar el programa hac ia determ inados subgrupos de la pob lac ión c liente ac­
tualmente atend ida . Por añadidura . al interactu ar las caracter ísticas individuales
con variantes del programa o subprograma , qu izá sea posi b le suger ir modos de
mejorar la asignac ión de participantes a variac iones en experiencia en el seno del

90¡
programa . Esta investigación supera los fines i lu strativos del presente trabajo .
Notas a l a Tab la 2
* EstacHsti camente sign i fi cativa en el nivel del con un test bilatera l .
• • Estad (sticamente signifi cati va e n e l n i ve l del 9 6 con un test bilateral .
n • Es tad (sticamente sign ifi cativa en el nivel del 99 con un test bi l ateral .
a. Las catego rías del t i po de conclusión se hallan defi nidas dei sigui ente modo :
O,nclusi6n positil/8: El parti cipante abandona con objeto de asumir un traba¡o
o de ir a la escue l a durante el período de estudio.
Conclusión negatil/8: E l parti ci pante futl desped ido, encarcelado o abando '! ó ,
insatisfecho con el programa d urante el per íodo d e est ud i o .
Conclusión neutra: El participante abandonó d urante un período de estudio
por razón de enfermed ad , para cuidar de la familia, por­
q ue no exist ía trabajo dispon ible en el programa o porq ue
se vió obl i gado a graduarse .
b . j..as variables de edad abarcan só lo los grupos estudiados al margen de los jóvenes
(que t ienen 2 1 6 menos años ) . As í las vari ables de los jóvenes combinan el efec­
to de la edad y del rango del grupo estudiado .
c. La vari able femenina abarca sólo los grupos est udiados al margen de las personas
de Ayuda a las F amilias con N i ños (que son todas mujwes) . De este !'lodo la
variable de Ayuda a l as Familias con N i l'los combina el efecto de ser mu¡er V ha­
llarse en ese grupo est ud iado .
214 Métodos cualitativos y cuantitativos en investigación evaluativa

de las diferencias individuales). El hecho de que los resultados


cambien sólo ligeramente sugiere que las diferencias apreciadas
en los ingresos post:pro_grama por tipo de conclusión no son debi­
das a diferencias en las ca racterísticas medidas de los individuos
incluidos en la regresión. Desde luego pueden deberse a diferen­
cias en caracter ísticas no medidas. En la sección E se examinará
después la cuestión del correspondiente sesgo en tal selección.
Los administradores de programa poseen información no
sólo respecto del tipo de conclusión sino también de la dura­
ción de la permanencia en el programa; y la retención de parti­
cipantes en un programa se considera frecuentemente como
una medida importante del éxito del programa en s í mismo. La
Tabla 3 ofrece estimaciones del efecto de la duración de la es­
tancia en los ingresos post-programa. La duración de la estancia
está dividida en cuatro distintos per íodos de tiempo para cada
tipo de conclusión. En beneficio de la sencillez de la presenta­
ción sólo damos cuenta de los coeficientes del tiempo y tipo
de variables de la conclusión, omitiendo de la Tabla las varia­
bles de las caracter ísticas individuales y del emplazamiento aun­
que estas variables fueron incluidas en la regresión de la que
proceden los coeficientes mostrados en la Tabla 3.
No es sorprendente que el esquema de los coeficientes con
estas categor ías dispares del tipo de conclusión se corresponda
en términos generales con el efecto promedio del tipo de
conclusión, tal como figura en la Tabla 2. En general, las conclu­
siones positivas tienen un efecto positivo en el empleo post­
programa y las conclusiones negativas poseen un efecto negati­
vo. Pero la dispersión por el número de semanas en que tuvo
lugar la conclusión proporciona algunas calificaciones intere­
santes respecto de este resultado. En primer lugar, la relación
entre conclusiones positivas e ingresos post-programa no llega
a ser significativamente positiva a no ser que la conclusión se
produzca después de la octava semana; una conclusión positiva
en las primeras 8 semanas carece de relación significativa con los
ingresos post-programa. En segundo lugar, la relación entre con­
clusión positiva e ingresos alcanza un máximo cuando la
conclusión se produce entre las semanas 37 ª y 3ga , disminuyen­
do a partir de entonces. En tercer lugar, las conclusiones negati­
vas revelan una relación negativa con los ingresos que es peque­
ña por su magnitud e insignificante hasta la 37 ª semana.
Finalme nte, aunque las conclusiones neutras no estaban, en
términos generales, relacionadas de un modo signi ficativo con
Conex ión entre el anál isis de proceso y el anál isis de impacto 215

Tabla 3: Ti po y tiempo de con chaión como previsión de los l naresos post-programa.


Variables I ndependientes I ncluidas
Tipo de conclusión,
emplazamiento y
Tipo y tiempo de Tipo de conclusión caracter(stlcas
concluslón 1 y emplazamiento I ndividuales
Paaitill8
Semanas 1 � 36 50
Semanas 9 -2 6 1 92 1 63* *
Semanas 27-39 377 * * * 337* * *
Semanas 40-62 281 * * * 253* * *
Nfl(llltil/8
Semanas 1 � -39 -27
Semanas 9-26 -1 6 -1
Semanas 2 7-39 -1 10• • -1 1 0* *
Semanas 40-62 -86* -1 0 1 . .
Nt1utra
Semanas UI 6 15
Semanas 9-26 -89 -67
Semanas 27-39 -77 ..:J7
Semanas 40-62 284* • • 283* * *
Estadfsticas
R 2 ajustada 0 ,06 0,09
F estad ística 4,37 4 ,26
N úmero de observaciones 1 .033 1 .033
NOTA: Además de las variab les i ndicadas , estas regresiones tamb il!n incl uyen las
caracter ísticas individuales que aparecen en la Tabla 2. Como figuran fundamen­
talmente como va riables de control , no se indican u í .
• Estadísticamente s ignifi cati va en el nivel del 90 con un test bilateral .
• • E stad ísticamente sign i fi cativa en el nivel del 96� con un test bi lateral .
• • • E stadísti camente signifi cati va en el ni\181 del 99 con un test bilateral .
a . Las categor ías del t i po de concl usión estiln definidas del s iguiente modo :
Conclusión pa,ftiVII: El partici pante abandona con objeto de asumir un t rabaj o
o de i r a la escuela durante el per íodo de est udio .
Conclusi6n n8(1Btill8: El participante ful! desped ido , encarcelado o abandonó ,
insatisfecho co n e l programa durante el per(odo de estudio .
Oonclusi6n neutra: El pa rti cipante abandonó durante el período de estudio
por razón de enfermedad , para cuidar de la famil ia , por­
q ue no exist ía t rabajo disponible en el programa o porq ue
s e vió obligado a graduarse .

los ingresos post-programa, la Tabla 3 muestra que el resultado


general oculta una diferencia en el efecto que depende del
tiefl1) o de la conclusión. La relación entre ingresos post-progra­
ma y conclusión neutra es negativa pero insignificante durante
las prime ras 39 semanas. En contraste, y respecto de las conclu­
siones neutras que se producen entre las semanas 40- y 52ª , la
216 Métodos cu a l i tativos y cuantitat ivos en i nvest igación eva luativa

relación con los ingresos post-programa es positiva y estad ísti­


camente significativa. Como las graduaciones forzosas están
incluidas en la categor ía neutra, estos resultados indican que
en el caso de los participantes que permanecen en el programa
durante largo tiempo, la presión para que asuman un trabajo
regular puede ser una po l ítica eficaz. (E l declive del per (odo de
27-39 semanas a l per íodo de 40-52 semanas en lo que se refie­
re al efecto de conclusiones positivas resulta también conse­
cuente con esta hipótesis. ) Aunque estas pruebas sean sugeren­
tes, para determinar esta cuestión de un modo más definitivo
se precisar ía un trabajo posterior que examinara los ulteriores
ingresos en subsiguientes per íodos de tiempo y que distinguie­
ra en la categor ía de la conclusión neutra las salidas forzadas
por otros motivos.
Los resultados expuestos aqu í ilustran un tipo de análisis
que podría realizarse conexionando datos del proceso y del
impacto. Como ya hemos advertido, los resultados pueden
verse afectados por sesgos en la selección, consecuencia de fac­
tores no medidos por las variables de contro l incluidas en la re­
gresión y han de ser estimados por eso como preliminares. Sin
embargo, señalan que un tipo de indicador de rendimiento a
menudo empleado por los técnicos del programa, 6 es decir
el tipo de conclusión y la duráción de la estancia, puede estar
significativamente relacionado, al menos en este programa es­
pec ífico, con el rendimiento post-programa. También propor­
cionan algunas indicaciones referentes a la pol ítica sobre el
modo en que habr ía que estimu lar una larga permanencia en
el programa o permitir a los participantes que continuaran den­
tro de éste.

D. E XP E R I E N C I A DURANTE E L P R OGRAMA
E I N G R ESOS POST-PROGRAMA

Otro tipo de análisis que en potencia resulta aún más útil en


beneficio de la pol ítica que el referido en la sección anterior,

6 La asistencia es otro i n d i cador d e l rend i m ien to que e m p lean a men ud o lo s


técn icos d e l IJ!Ograma (y los patron os) . H e m o s rea l izad o anál isis � i m i lares _ de la
_
relac ión de este i nd icad or con los i ngresos post-programa. Pero en razon de las 1 1 m 1 ta·
c iones de espac i o no damos cuenta deta l lada de tal anál isi s . Mostró q ue las ta sas de
asistencia se h a l l aban sign i ficativamente rel acionad as con los i ngresos post-programa.
Conex ión entre el análisis de proceso y el aná l i sis de i mpacto 217

Tabla 4: Regresión de los ingresos post-programa sobre l a experiencia del programe


(controlando las caracter (st lcas i nd hld uales) .
Variable Coeficiente de re1reslón

Industria del proyecto laboral


Jardineri'a -6
Pintura 15
Construcción
Man u facturas -82
Venta al por menor -202 · · ·
Servicios administrativos 87
Servi cios de mantenim iento inmobi l iario -2
Otros servicios a empresas 27
Servicios de reparación de coches 222 . .
Servicios de reparación de mobiliario -377 . .
Servicios sociales 335• • ·

Tipo de IUPflrvi1i6n
Por programa -68
Por jefe de eq uipo 70 . .

Edad ti instrucci6n del 1uPt1rvi1or


Edad -3
G rado superior concluido -1 7 ·
Posee licencia o certificado de formación 59

EXPBriBncia pre via dBI IUPBrvi,or


Ha trabajado con grupos para estudio 1 26 . .
Orientado -40
Supervisado 27
E xperiencia mil itar de supervisión 52
M ismo tipo de trabajo -68
Adiestrado -48

Stlmejana dtll supervisor con el participanttl


Sexo 34
R aza -26
Condenas -60
Tratamiento contra drogas 19

Estilo del ,u,,.rtlisor


La realización del trabajo como objeti vo primario 81
Severidad 57 • • ·
Prdctico respecto de los pa rticipantes 67
Dimension• del Bquipo
1 a 3 (om itido)
4a7 59
8 a 10 86
M lis de 1 0 57
Caractt1rf1ticas d• los otros miembros del equipo
Proporción de los q ue trabajan a Jornada completa -203•
Promadio de grado superior concluido -3
Promed io de edad 5
21 8 Métodos cualitativos y cuantitativos an invastigación evaluativa

Tabla 4: (Conti nuaci ón )


Variable Coefi ciente de regresión

Número de cembios en e/ equipo ( po r semana)


Servicios de asistencia
O rientación 73
Adiestramiento para la búsq ueda de empleo 73* *
Formación de destrezas del empleo 32 *
Educación en el aula 54
Segundo alfo de operación del programa
R 2 aj ustada 0,10
F estad fstica 2 ,80
N úmero de observaciones 1 .033
N OTA: Se incluyen también en la regresión, pero no se indican las caracter ísti­
cas i ndividuales y las vari ables para cada emplazamiento y grupo est udiado , q ue son
las m ismas q ue las q ue se sei'lalan en la Tabla 2 .
* Estad (sticamente s ignificati va en el nivel del 90 } con un test bilateral .
* * E stad ísticamente significativa en el n i vel del 95 ;¡¡ con un test bilate ral .
* * * E stad (sti camente s ign i fi cativa en el n ivel del 99 '!í con un test b i lateral.

es el examen de la relación entre variaciones en el tratamiento


del programa y resultados post-programa. La Tabla 4 propor­
ciona este tipo de información . Los resultados señalados
corresponden a una regresión de ingresos post-programa sobre
variables que miden la variación en la experiencia del progra­
ma : caracter ísticas del proyecto en el que trabajaron los parti­
cipantes, su inmediato supervisor del trabajo, sus compañeros
de equipo y los servicios de asistencia que recibieron . Varios de
los col!ficientes son estadísticamente significativos y grandes
por su magnitud :
• El tipo de proyecto de trabajo parece estar relacionado con los in­
gresos post-programa. Los proyectos da venta al por menor y de re·
paración de mobi liario tienen coeficientes negativos y los proyectos
de servicio socictl y de reparaciones de coches tienen coeficientes
positivos.
• El tipo de supervisor puede afectar también a los resultados . Los
supervisores con ma yor instrucción figuran asociados a i ngresos
post-programa inferiores en las participantes. Una anterior experien·
cía laboral con los grupos estud iados de Trabajo Asistido está posi ­
tivamente relacionada con los ingresos post-programa, aunque otros
tipos de experiencia no lo están . La severidad del supervisor (con·
forme a sus propios informes) e:;tá sign ificativamente relacionada
con l os ingresos , asociándose los supervisores más est rictos a i ngre-
Conexión entre el anál isis de proceso y el análisis de impacto 219

·sos infe riores. Por ai'ladidura, s i u n equ ipo de trabajo cuenta con un
jefe participante (además del habitu al supervisor de plantilla ) , el
proyecto está asociado a ingresos post-programa más elevados.
• IEI número de veces que un indiv iduo cambia de equ ipo está positi­
vamente asociado con los ingresos post-programa, resultado un
tanto sorprendente . Las caracter ísticas del equ ipo no son, por lo
i:iene ral, si11nificativas ( aunque si otros miembros del equ ipo traba­
jaban a jornada completa antes del Trabajo Asistido, los ingresos
post-programa eran inferiores; lo opuesto al efecto del grupo de
compai'leros, corno habr ía cabido esperar).
• El grado de los serv icios de asistencia proporcionados constituye
un aspecto importante del diseí'io del programa. La regresión reve­
la una asociación positiva entre ingresos post-programa y adiestra­
miento para búsqueda de empleo 7 y una asociación negativa con
la formación de destrezas del empleo .

Nos hemos abstenido aqu í de estudiar, explicar o formular


hipótesis en términos considerables acerca del valor de la signi­
ficación o no significación estadística de variables de la expe­
riencia con un determinado programa. Son varias las razones
de esta limitación. La muestra empleada resulta pequeña y
preliminar. No hemos realizado suficientes investigaciones
con esta muestra para confiar en que unos determinados
datos aparentemente significativos no sean consecuencia de
alineaciones en los mismos datos (aunque es muy probable
que todos los coeficientes significativos sean debi_dos a tales
problemas) . Y los resultados siguen estando potencialmente
sometidos a un sesgo en la selección por obra de caracter ís­
ticas no medidas.
Pero aún más importante es el hecho de que consideremos
que tales resultados cuantitativos ilustran tan sólo un primer
paso en la secuencia que constituir ía un análisis ideal de pro­
ceso. Los resultados sirven para ilustrar la forma en que po­
dr ían iniciarse sugerencias de una posterior indagación sobre
el proceso del programa (Por ejemplo, los persistentes efectos

7 Cab r ía esperar que ésta fuese u na correlac ión fa l sa : es más p roba b le que con si­
gan un empleo qu ienes permanecen t iempo su ficiente en el proga m a para obtener
un ad iestram iento en la búsqueda de empleo (y a u nque no reciban e l adiestram ien ­
to ) . En regresiones de las que aqu í no se da cuenta se a í'ladieron a la ecuación e l
t i po y e l tiempo d e conc l u sión pero el coeficiente de adiestram iento e n la búsqueda
de emp leo sigu ió siendo significati vo y apro x i mada mente del m ismo vo l u men . Esto
sugiere la posi bil idad de que l a correlación no sea falsa.
220 Métodos cua l i tativos y cuantitativos en investigac ión evaluativa

positivos del adiestramiento en la búsqueda de empleo debe­


r ían conducir a una recogida más atenta de información deta­
llada acerca del tipo de asistencia proporcionada para la bús­
queda de empleo, en qué etapa y a quien). También propor­
cionan algunas indicaciones sobre orientaciones en el perfec­
cionami ento de l diseño del programa que podr ían poner a
prueba los operadores del programa en per íodos subsiguien­
tes. ( Cabr ía incluir cambios en las mezclas del proyecto, in­
crementar el empleo de jefes de equipo participantes, contra­
tar supervisores con experiencia con el grupo estudiado y que
no se caracterizan como "estrictos" ). Igualmente valiosos,
estos resultados podr ían servir para disuadir de la inversión
de recursos en cambios que probablemente no ser ían efica­
ces (p. ej., mantener reducido el volumen de los equipos).
La investigación posterior y la reacción ante tal análisis
cuantitativo inicia l deber ía conducir a una secuencia de in­
teracciones entre los analistas y los técnicos del programa que
podr ía perfeccionar el análisis y los programas. 8

E . SE SGO DE SE LECC ION

En las secciones anteriores, hemos formulado repetidas re­


servas acerca de los resultados específicos porque podr ían es­
tar afectados por un sesgo en la selección. Por esa razón y an­
tes de extraer unas conclusiones necesitamos estudiar un poco
más detenidamente esta cuestión.
En la literatura de la evaluación ha existido una controver­
sia considerable en torno a la cuestión del sesgo en la selec­
ción de los datos generados por cualquier proceso que no sea
una experiencia con asignación al azar de los sujetos a los tra­
tamientos. No queremos profundizar aqu í en esta controversia
sino que más bien nos limitaremos a unos cuantos comentarios
en relación con los ti pos de datos que hemos descrito.
Ya se ha demostrado que en el grado en que la selección es
expl ícita y la información se obtiene a través de un proceso ex­
pi ícito de selección, los métodos cuantitativos permiten una es-
s E n la Demostrac ión del Trabajo Asistido la eval uación de la investigac ión p u ra·
mente cuan titat iva fue com p lemen tada co n u na eva lu ac ión más cual itativa . Pa rte de
la investigación q u e sigu ió a l a ná l i sis del proceso de la pri mera etapa i mplicó al per•
sonal rea l i zad or d e l anál isis cual i tativo y fue l levada a cabo por el m ismo per so na l .
Para u na descripción d e este aná l i si s , véase B A L L ( 1 977) .
Conex ión entre el anál isis de proceso v el anál isis de impacto 221

ti mación imparcia l de los efectos de u n programa incluso cuan­


do el proceso de asignación no se efectúa al azar ( CA1N , 1 975) .
Esto indica que para perfeccionar la capacidad de i nterpreta­
ción de los datos del programa es preciso rea lizar mejores
esfuerzos en la documentación de los procesos de se lección.
Subsiste aqu í, si n embargo, el problema de una selección
no registrada sobre caracter ísticas no medidas, tanto por parte
de un administrador que asigna a los particioantes como a
través de una autoselección de los mismos participantes. He
aqu í dos diferentes v ías genera les que pueden seguirse. En pri­
mer l ugar es posi b le lograr un perfeccionam iento de la metodo­
log ía, e l i minando o disminuyendo los sesgos en la selección
de u na determinada serie de datos que ya han sido recogidos.
En segundo luga r cabe tratar de estab lecer un proceso secuen­
cial de recogida de datos y u na a lterac ión del programa que
reduzca los efectos del sesgo en la selección . Vamos a exam i ­
nar brevemente cada u na de estas v ías.
Con respecto al perfeccionam iento de la metodolog ía, esta
cuestión del sesgo en la se lección dentro de l a ná l isis cuantita­
tivo en la ciencia socia l en genera l , así como en la evaluación
en particu lar, ha recibido recientemente una creciente aten­
ción. HECKMAN ( 1 976) y �DDALA y LEE ( 1 976) han des­
arrol lado técnicas estad ísticas forma les para estima r el grado
de selección y para e l i m inar e l sesgo en la selección . BARNow,
CAIN y GoLDBER GER ( 1 978) han sugerido su adaptación a la
i nvestigación eva luativa. ( Hemos comenzado a lgunos i ntentos
de emplear estas técnicas para volver a va lorar los resu ltados
de conclusión aportado en la anterior Sección C. Estas técni­
cas son apropiadas si n embargo para tratamientos bi partidos o
multi partidos y por ahora no está claro cómo extender estos
métodos a situaciones en las que e l trata m iento es a ltamente
mu ltidi me nsiona l ; as í sucede, por ejemplo, en la larga serie de
variables de la experiencia en el programa que figu ran en la
anterior sección D. ) Otro enfoque metodológico con el que
hemos estado experi mentando emplea medidas rápidas de
rendim iento -en nuestro caso, la asistencia- para obtener
sustitutos de caracter ísticas no medidas y las uti liza como
variables adiciona les de contro l en regresiones como las em­
pleadas en las secciones C y O ( H OLLISTER y otros, 1 978) .
Pero aún no está bien desarro l lada la base teórica para seme­
jante enfoque.
La segunda v ía para la reducción del sesgo potencia l en la
222 Métodos cual itativos y cuantitativos en investigación evaluativa

selección exige una interacción secuencial entre analistas y


técnicos del programa. Como ya se indicó al final de la sec­
ción D, los resultados del tipo de los que aparecen en las
secciones C y D deben ser considerados como el primer paso
en semejante proceso. Es preciso transmitir a los técnicos del
programa, y en calidad de retro información, los resultados de
esta primera etapa. El estudio de los resultados puede conducir
bien a una reformulación de las variables en el análisis o a unos
ajustes en los procesos del programa. Podr ía realizarse a conti­
nuación una segunda recogida de datos y comprobación de los
resultados. En donde se produzca un descubrimiento especial­
mente controvertible qu,izá sea posible convencer a los técnicos
para que comprueben la proposición mediante asignación al
azar entre los tratamientos en cuestión, al menos por un deter­
minado período de tiempo.
Aunque el sesgo en la selección sea un problema potencial es
importante mantener este asunto en perspectiva y no prescin­
dir de un análisis que puede resultar útil aunque sea impreciso
el grado de sesgo.

F . CONC LUSION

Creemos que establecer la conexión entre el análisis de pro­


ceso y el de impacto debe constituir un importante objetivo
de la investigación evaluativa. Los resultados aqu í brindados
ligan los tipos de análisis de un modo importante pero limita­
do. Los datos del proceso sobre la experiencia del programa
han sido cuantificados y relacionados con los datos de la pro­
ducción y se ha realizado un "análisis cuantitativo del proce­
so". Pero, como indicamos antes, éste es simplemente el pri ­
mer paso dentro de lo que hemos esbozado como una secuencia
ideal de interacción entre los realizadores del análisis y los del
programa.
Nuestra propia experiencia hasta la fecha con las tentativas
de seguir adelante en este análisis secuencial ideal, no nos per­
mite hacernos muchas ilusiones acerca de la facilidad con que
pueda realizarse en la práctica. Hemos recogido impresiones
cualitativas generales de técnicos de programa acerca del pro ­
ceso de selección y de asignación de partici pantes a los trata­
mientos. Se han cuantificado y "comprobado " algunas de las
percepciones de los gestores de programa acerca de importan-
Conex ión entre el análisis de proceso y el anál isis de i mpacto 223

tes caracter ísticas programáti cas (p. ej. , los efectos de las di­
mensiones del equipo y de la ·semejanza racial entre superviso­
res y participantes). Pero ha resultado dif ícil dirigir la interac­
ción mucho más allá de esta etapa inicial.
Las exigencias empíricas para la realización del ideal.son evi­
dentemente prodigiosas. Señalamos tan sólo algunas. El pro­
grama debe ser a escala y de duración suficientes para propor­
cionar muestras lo bastante grandes con las que poder realizar
comprobaciones de hipótesis estadísticas de poder adecuado.
( De hecho nos sorprendió que no fuéramos capaces de obtener
resultados significativos con una muestra de un poco más de
1 .000. ) Ha de existir un sistema interno de datos, con cuestio­
narios normalizados y un razonable control de calidad, que dé
cuenta de los datos individualizados regulares. Los datos han
de ser tratados rápidamente y convertidos en registros anal íti­
cos de tal manera que en u n per íodo relativamente corto de
tiempo pueda completarse él análisis y transmitirse en forma
de retroinformación a los técnicos del programa. 9 Los datos
de las entrevistas post-programa tienen que ser tratados y reu­
nidos con los aportados por el programa. Es probable que una
retroinformación rápida mejore la calidad de los datos cuando
los operadores adviertan los frutos de sus esfuerzos en su apor­
tación. Los analistas han de llegar a ser capaces de explicar as­
pectos básicos de sus análisis de datos a los técnicos del progra­
ma . Han de incrementar también su sensibilidad respecto de
formas de análisis que resultarían más útiles en la operación
mes tras mes del programa (en contraste con un nuevo diseño
más fundamental). Finalmente, los técnicos han de convencer­
se de que este tipo de análisis puede ser empleado no simple­
mente para formular juicios negativos sobre su rendimiento
sino para ayudarles a mejorar éste.
Por encima de todo, semejante interacción implica una vi­
sión del análisis cuantitativo del proceso que difiere del de
muchos analistas cuantitativos. En nuestra opinión los resul-

9 Probab lemente la razó n pr i ncipal de que no consigu iéramos l leva r más a l lá


las i nteracc iones con los técn icos d e l programa fuese e l hecho de que no fuéramos
capaces de proporcionar esa retroi nformación rápida . Creemos que nuestro fracaso
a l respecto se debió a q u e estábamos crea ndo proced i m ientos no i ntentados hasta
entonces pero puede que fal le cualquie r esfuerzo en tan gran escala , incluso cuan­
do haya sido mejor determ inada de antemano la trayectoria . Las demoras en la
obtención de datos de segu im iento de las entrev istas con los participantes hacen
i mposib le u na retro información rápida basada en datos de segu i m iento .
224 Métodos cu a l i tativos y cuant itativos an i nvestigación eva l uativa

tados no deben ser considerados como pruebas de modelos for­


males de conducta o como relaciones causales, sino más bien
como una descripción de lo que ha sucedido. La investigación
del proceso se acomete como un esfuerzo por entender cómo
funciona el programa . Semejante esfuerzo, aunque cuantitati­
vo en su metodolog ía, es necesariamente un proceso explorato­
rio e inductivo. Por esa razón los resultados estad ísticos son
más útiles si se los considera como descriptivos y si son inter­
pretados a la luz de la comprensión práctica de la forma en que
opera el programa, incluyendo las valoraciones cualitativas de
la eficacia de diferentes experiencias del programa. Cualesquie­
ra conclusiones basadas en semejante interpretación son nece­
sariamente de tanteo y cuestión de criterio. Pero en menor
proporción que las conclusiones basadas de modo exclusivo en
anécdotas y sospechas sin base en mediciones objetivas de los
resultados. Lo que sugerimos consiguientemente no es la susti­
tución del análisis estad ístico por una comprensión práctica del
programa, sino la interacción de los analistas cuantitativos, los
analistas cualitativos del proceso y los gestores del programa en
una búsqueda secuencial de maneras de mejorar el diseño y la
realización del programa.
Pero no conviene exagerar en lo que atañe a la unión del
análisis de proceso y el dé impacto. Hemos tratado de ofrecer
una reseña equilibrada aunque breve de sus beneficios poten­
ciales as í como de las dificultades y las trampas que en potencia
oculta. Las respuestas de los participantes a las experiencias
del programa son complejas y es serio el potencial de sesgos
en los datos. Sin embargo, una gestión y un diseño mejorados
de los programas públicos plantean un importante reto a quie­
nes se ocupan de la po i ítica social. Creemos que el enlace del
análisis de proceso y el de impacto puede significar una ayuda
en este esfuerzo .
Conex ión entre el análisis de proceso y el análisis de impacto 225

BIB LIOG R A F I A
B A L L , J . ( 1 977 ) l mplementi ng Supported Wo rk: Job Creation Strategies During
t he F i rst Y ear of the N ati onal D emonstration . N ueva York: Man power Re­
search and D emonstrati on .
B A R N OW , B., G . CA I N , y A. G O L D B E R G E R ( 1 97 8 ) "l asues i n the enalysis of
selection b ias ." U n ive rs id ed de W isconsin Departamento de Econom ía. Presenta­
do a la reun ión de la American E co nom ics Association , Apto .

CA I N , G. ( 1 975 1 "Regression and selection models to i mprove non -e xperimental


comparisons," en C . A . B ennett y A . A . Lumsdai ne (eds .l E valuation and E x pe ­
ri ment . N ueva York : Academic Presa .

HAN USH E K , E . "Con ceptual and empirical i ssues in the esti mation of educati onal
production functions ." Journal of H uman R esources .
H ECKMAN , J . ( 1 9761 "The common structure of statistical models of t runcetion ,
sample selecti on and limited d ependent variables and a sample esti mator of such
models ." An nals of E conomic and Social Measurement 5: 476-492 .
H O L L I STE R , R ., P. K EMPE R , V. L E ACH , y J . WOO LDR I DGE ( 1 978 1 A nalysis
of the Determ inants of Attendance and Termi nat ion R atas in the Supported
Work Demonstration. Barredor de i nforme presentado en le Manpower Demons­
tration and R esearch Corporation by Mathematica Policy Research , Princeton,
Junio.
MAD D A L A , G. S. y L . - F . LEE ( 1 9761 "Recu rs ive models with Q ualitative endoge­
nous var iables ." A nnals of E con om ic and Social Meaurement 5: 625 -645 .
Man power Demonstration and R eseerch Corporation ( 1 97 8 1 R esumen del Segun ­
do I nforme Anual de la National Supported Work Demonstration . Agosto, Nueva
York : M DR C .
226 Métodos cualitativos y cuantitativos en investigación evaluativa

RESEIQA B IOG RAF ICA SOB RE LOS AUTO R ES

BECKER . Howa rd S . : Es profesor de Sociolog ía en la Northwestern Uni ­


versity y autor de Outsiders y Sociological Work. Ha escrito sobre mé­
todos de investigación y sobre fotograf ía y ha enseñado esta rama en
el Visual Studies Worksh op del San Franci sco Art lnstitute.

CAMPBELL, Donald T.: Se doctoró en Psicolog ía por la Universidad de


Cal ifornia (Berkeley) en 1947 y ha s ido profesor de la Northwestem
University durante los ú ltimos 25 años . Fué Presidente de la Asoci a ­
ción Psicológica Americana y e s miembro d e la Academia Nacional de
Cienci as . Ha recibido el Distinguished Scientific Contribution Award
de la Asociación Psicológica Americana, el Kurt Lewin Mem orial
Award de la Sociedad para el Estudio Psicológico de las Cutistiones So­
ciales y el primer Premio Myrda l en Ciencia de la Evaluation Research
Society en 1 977. En la actual idad es profesor Albert Schweitzer de la
Maxwell School de l a Universidad de Siracusa .

COOK, Thomas D . : Es profesor de Psicolog ía en la Northwestem Univer ­


sity en donde desempeña también el cargo del D i rector del Programa de
Formación en Psicolog ía Social'. Es coautor de Sesame Street Revisi­
ted, Ouasi-Experimentation: Design and Analysis lssues for Field Set­
tings y Criminal Victimization of thfl Eldflrly. También h a d irigido.con
ayuda, el tercer volumen de Evaluation Studies Review Annual y per­
tenece al consejo editorial de Evaluation Quar terly, Evaluation Maga ­
zine, Knowledge: Creation, Dissemination, and Utilization .

FI LSTEAD , W i l l i am J . : Es profesor asociado de Psiquiat r ía y Ciencias


del Comportamiento en la North westem University en donde es coor­
dinador de investigación evaluativa tanto para el Instituto de Psiqui a­
tr ía como para el Northwestem Comm unity Mental Health Center . Se
doctoró en Sociolog ía en la Northwestem University en 1 973.Inició
su carrera en el Centro de Tratamiento del Alcoholismo del Hospital
General Luterano en 1 969, en donde fué fundamentalmente respon­
sable de las actividades de investigación y de evaluación de programas .
Sus á reas de interés corresponden a los si lótemas de información sobrti
gestión cl ínica, los métodos cual itativos y la eva luación y la investiga­
ción apl icada sobre el a lcoholismo . El D r . FILSTEAD es autor de nu­
merosos art ículos y libros, entre los cuales figuran Oualitative Metho­
dology; lntroduction to Deviance, con Jean R o ss 1 ; The Therapeutic
Resei'la biográfica sobre los au tores 227

Community, con J ean ROSSI y Mark K E L LER; Alcoh ol Problems:


New Thinking and New Directions y con John MAY E A , Adolescence
and Alcohol.
HOLL ISTE R , Robi nson G . , J r . : Es consejero de Mathematica Policy Re­
search y profesor de Econom ía e n el Swarthm ore College. H O LLISTER
es, en la actualid ad . i nvestigador pri ncipal del provecto del Trabaio ·
Asistido. Ha desempeñado u n papel básico en e l New Jersey Negative
lncome Tax Experiment y es u n experto de fama i nternacional sobre
l a pobreza y la evaluació n de programas de p rotección de los i ngresos.

I A N N I, F rancis A. J . : Es profesor y d i rector del Horace Mann-Lincoln


lnstitute, Teachers Co//ege Columbia University y consu ltor de Psico­
l og ía Médica en e l Centro de Psiquiatría del Hospital St . Luke . Antes
de i ngresar en Columbia fué Com isario Asociado de la Ofici na de Edu­
cación de los Estados Unidos y enseñó en la U niversdad de Vale y en
el University College de Add is Abeba , Et iop ía . Se doctoró en Antro­
polog ía en la U n i versidad del Estado de Pennsylvania y es graduado
de l I nstituto Psicoana l ítico de Nueva York .
K E M PER , Peter : Es econom ista en Mathematica Policy Research. E ntre
sus i nvestigaciones figuran estud ios sobre la eficacia de l a pol ítica de
adm i nistración local , servicios de recogida de bas uras y sobre decisio­
nes de i nsta lación de i nd ustrias en zonas i ntrametropol itanas . Participa
actua l mente en la evaluación de la experiencia nacional del Trabajo
Asistid o , con i nterés especial en e l análisis del beneficio-coste y del
proceso . Antes de ingresar en Mathematica Policy Research, K EMPER
fue profesor ayudante d e Econom ía en e l Swarthm ore College.
K N APP, M ichae l S . : P repara en la actua l idad su doctorado en el Program a
de Sociología de l a Educación en la E scuela de Educación de la U n i­
vers idad de Stanfo rd . H a s ido m iembro acti vo durante l os dos últimos
años del Stan forrl Evaluati on Consortium ,Y se ha formado también en
el NIMH sponsored Organizations and Mental Health Research Trai­
ning Program , rea li zado por un consorcio de facultades del Departa­
mento d e Sociología , la Business School y la E scuela de -Ed ucación de
la U n i versidad d e Stanford . Se i nteresa e!ipecia l me nte por las d imen­
siones de o rganización de la i nvestigación evaluativa, la apl icación de
metodolog ías alte rnati vas a los prnblemas del d iseño de evaluación y
la s íntesis de los enfoques cual itativos y cuantitativos de la evaluación .
TE R R Y O R A , Marga ret : Es en la actual idad investigadora asociada en e l
Horace Mann-L incoln lnstitute, del Teachers Col/ege de la U niversidad
de Co lumbia , en donde supervisa varios proyectos estatales y locales
228 Métodos cual itativos y cuantitativos en i nvestigac ión evaluativa

de i nvestigación y de eva l uación . Es además profesora ayudante adj u n ­


t a e n e l Departamento de Adm i nistraci ón Ed ucativa.
R E ICHAR DT, Cha rles S.: E s profesor ayudante de Ps icolog ía en la U n iver­
sidad de Denve r . Real izó su tesis de graduación en el Programa de Eva­
l uación y Metodo l og ía de l Departame nto de Psicolog ía de la North ­
westem University. Ha pub l icado a rt ículos en Evaluation Ouarterly,
Evaluation Magazine y Joumal of Educational Sta tistia; y es a utor de
un cap ítu lo sobre e l aná l isis estad ístico de datos de grupos no equiva­
lentes en Ouasi-Experimentation, de COOK y CAMPBE L L . H a actuado
también como asesor de muchas empresas de i nvestigación y de i nves­
tigadores de varias un iversidades .
T R EN O , M . G . : Es consejero an a l i sta de Abt Associates /ne., una fi rma
contratista de i nvestigaci ón en Cambridge , M assachusett:i . E n l a actua ­
l idad e s subd i rector del Minnesota Work Equity Research Project, u n a
experiencia de refo rma de l a be neficencia . H a t rabajado en proyectos
de viviend a , prestación de servicios j u r (d icos , educación rural y as is­
tenc i a d iari a . Antropólogo social por su formación , el doctor T R E N O
e s ed itor asociado de Human Organization, publ icación d e l a Sociedad
de Antropol og ía Apl icad a . También es ed itor col aborador de Practi­
cing Anthropol ogy, una publ icación de ori entación práctica para los
antro pól ogos no consagrados .ª la enseñ an za .
WOOLD R IDG E , Judith : Es una i nvestigadora de Mathematica Policy Re­
search que h a trabaj ado en esta entid ad p r i ncipalmente en p royectos
sanitarios y laborales, inclu yendo los Physician Capacity Utilization
Surveys y la Supp orted Work Demonstration Evaluation. E s en l a
act u a l idad i nvestigadora y gesto ra d e proyectos en l as Evaluation of
Health Manpower Shortage Areas y d i rectora en funciones del apoyo
a l a i nvestigaci ón. Antes de i ntegrarse en Mathematica Policy Resean:h
fué i nvestigadora asociada en e l Ce nt ro de E stud i os U rbanos y Regi o ­
na les de la U n i versidad de B i rm i ngham , en e l R e i no U n ido .

También podría gustarte