Documentos de Académico
Documentos de Profesional
Documentos de Cultura
COOK
y
CH. S. REICHARDT
EDICIONES MORATA, S. L.
Fundada por Javier Morata, Editor, en 1920
C/ Mejía Lequerica, 12. 28004 - MADRID
morata@edmorata.es - www.edmorata.es
Título original de la obra:
QUALITATIVE ANO QUANTITATIVE METHODS
IN EVALUATION RESEARCH
© Sage Publications, lnc., 1982.
Queda prohibida, salvo excepción prevista en la ley, cualquier forma de reproducción, dis
tribución, comunicación pública y transformación de esta obra sin contar con autorización de
los titulares de propiedad intelectual. La infracción de los derechos mencionados puede ser
constitutiva de delito contra la propiedad intelectual (arts. 270 y siguientes. Código Penal).
Derechos reservados
ISBN-13: 978-847112-310-7
ISBN- 10: 84-7112-310-X
Depósito legal: M-44.344-2005
Compuesto por: Artedita
Printed in Spain - Impreso en Espafía
Imprime: CLOSAS-ORCOYEN, S. L. Paracuellos de Jarama (Madrid)
Métodos cualitativos y cuantitativos
en investigación evaluativa
Por
T.D.COOK
y
CH. S. REICHARDT
Quinta edición
Traducido por
Guillermo SOLANA
CONTENIDO
Págs.
INTRODUCCION A LA EDICION ESPAI\IOLA: Investigación
cuantitativa/1 nvestigación cualitativa: ¿ Una falsa disyuntiva?,
por Juan Manuel ALVAREZ MENDEZ . . . . . . . . . . . . . . . . 9
CAPITULO PRIMERO: Hacia una superación del enfrentamien
to entre los nwtodos cualitativos y los cuantitativ01, por
T. 0. COOK y CH. S. REICHARDT . . . . . . . . . . . . . . . . . . 25
El lenguaje del debate actual, 27.- ¿Determinan lógicamente
los paradigmas la elección del método de investigación 7, 31.-
lEs preciso escoger entre los paradigmas?, 39.- lPor qué no
emplear tanto los métodos cualitativos como los cuantitati-
vos?, 41.- Conclusión, 50.- Perspectiva del volumen, 52.
Bibliografía, 56.
CAPITULO 11: Una experiencia necesaria en la investi gación
evaluativa, por W. J. flLSTEAD . . . . . . . . . . . . . . . . . . . . 59
Los paradigmas cualitativo y cuantitativo, 60.- El cambiante
clima de la investigación evaluativa, 67.- Lo que pueden
ofrecer los métodos cualitativos a la investigación evaluativa
71.- Conclusión, 75.- Bibliografía, 76.
CAPITULO 111: "Grados ele libertad'' y el estudio de casos, por
D. T. CAMPBELL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
El estudio de casos, 86.- Comentarios finales, 102.- Biblio-
grafía, 102.
CAPITULO IV: Sobre la recoociliación de los an61isis cualitati-
vos y cuantitativos: Un estudio de casos, por M. G. TRENO . . 105
Intr oducción, 105.- El contexto, 106.- Diseño de la investi-
8 Contenido
INVESTIGACION CUANTITATIVA/INVESTIGACION
CUALITATIVA: lUNA FALSA DISYUNTIVA?
Por Juan Manuel ALVAREZ MÉNDEZ
Profesor Titular de Did;Jctica
Universidad Complutense de Madrid
NOTAS
BIBLIOGRAFIA
A LVAR EZ M É N DEZ, Juan M . " La eval uación cual itativa. Del imitación conceptual
y caracterización global". En: Bol. de Acción Educ. Mavo. 1 985. n!> 3 1 ; oo. 9- 1 6.
___ Mihodos y t1!cn icas de eval uació n desde la perspectiva cualitati va e n : Teor(IJ y
prllctica de la e valuación en en,elfanz• medias, G ranada. I CE U n i ve rs idad de
G ranada, 1 986 . P p . 85 - 1 32 .
A LV I RA MARTÍN, F rancisco. " La i nvestigación evaluativa: u na perspectiva experi
mental ista". E n : Rev. E/I/J8ñola de Investigaciones SociolÓIJÍcas. E nero-Marzo,
1 985, n!> 29; pp. 1 29- 1 4 1 .
G A R D N E R , Don E. " F ive Evaluation Framework : l mpl ications for Decision Ma·
k i ng in H igher Educat ion". Journal of Higher Education, X LV I I I 1 1 977), 5; pp.
57 1 -593.
G U BA, Egon y L I N CO LN, Yvonna S. Effective Evaluation. San Francisco, Jossey
Bass, 1 982.
* N ota de los a u tores : El trabajo del que damos cuenta en este capítulo contó en
ar
gecate con la ayuda de una beca de investlgac/6n de la Universidad de Denver, una
de lnvestlgac/6n de la W. T. Grant Foundation y una beca (DA R 78.()9368} de
la Nationa/ Sclence Foundatlon. Los autores agradecen a Barbara Minton y a Dale
Sch ellenger sus valiosos comentarios a un an terior borrador de este texto.
26 Métodos cualitativos y cuantitativos en investigación evaluativa
Para entender a lgu nas d e las fa lacias d e las opi n iones actua
les que están cobrando popu laridad, es preciso apreciar más
p lena me nte la forma en que se desarrol la el debate entre los
dos ti pos de métodos. R ecientes comenta ristas, cr íticos y
defensores ( cf. G u eA , 1 978; PAA LETT y H A M I LTON , 1 97 6 ; PA
TTON, 1 97 5 , 1 978; R 1 sr , 1 977 y W1 LSON , 1 97 7 ) considera n e l
debate n o sólo como u n desacuerdo respecto a las ventajas y
de sv entajas re lativas de los métodos cua l i tativos y cuantitati
vo s, si n o ta mb ién como u n choque básico entre paradigmas
me todol ógi cos. Segú n esta concepción , cada ti po de método
se ha l la l i gado a u na perspectiva paradigmática d isti nta y ú n i ca
Y son estas dos perspectivas las que se e ncuentran en conf l icto.
28 Métodos cualitativos y cuantitativos en investigación eval uativa
Subjetivo. Objetivo.
Ho l i sta. Particularista .
La i mportancia de la situaci6n
todos cua lesqu iera . Reso lver las d i fe rencias entre el conoc i
m i e nto cual itativo y e l cuantitativo no debe ser e n princ i p io
más di f íc i l que la resolución de otros en igmas de la i nvestiga
ci ón , a u nque sospecha mos que qu izá pueda resu lta r a men u
do más i lustrativo .
3) Triangulación a través de operaciones convergentes. E l
e m p leo comp leme nta rio de métodos cualitati vos y cuantita
ti vos, o el uso conj u nto de cua lesq u iera métodos, contribuye
a corregi r los i nevitab les sesgos presentes en cualqu ier método.
Con só lo un método es i mp osi b le a islar e l sesgo del método de
la cantidad o de la cualidad subyacentes que se i ntenta med i r.
Pero cabe emp lea r conj u nta me nte varios métodos para tria n
g u l a r l a "verdad " subyacente , separando, por a s í decirlo, e l
grano de la paja ( c f . D ENZIN , 1 970; G A R N E R y otros, 1 956 y
Weee y otros, 1 966) . Aunque cabe uti l i zar para este fin dos
o más, los d i ferentes métodos que converjan en las m ismas
operaciones resu ltan mejores que los semejantes porque pro
bablemente comparti rá n me nos sesgos q ue estos ú lti mos. Con
frecuencia los métodos cual itativos y cuantitativos opera n bien
j u ntos porque son re lativa me nte d isti ntos.
Po r añad i d u ra , cada t i po de método puede en potencia ense
ñar a l otro n uevos modos de detectar y de dism i n u i r el sesgo .
Como estos dos ti pos de métodos han ex istido en tradiciones
disti ntas y en buena med ida a isladas, gra n parte de su técnica
propia ha permanec ido tamb ién ais lada . A l poner j u ntos los
métodos pueden forta lecerse estos dos dife rentes depósitos
de conocimientos y de experiencia . Es posib le i ncluso que a
través de su emp leo conj u nto se descubran n uevas fuentes de
sesgos y nuevos med ios pa ra d i smi n u i rlos, que hab ían perma
necido ignorados de cada u na de las dos trad ic iones a isladas.
Tradi c iona lmente la i nvestigac ión eva l uativa se ha concen
trado en los métodos cuantitati vos, destacando ta nto su em
pleo corno sus sesgos potencia les. Desde luego, el hecho de que
muchos · de los sesgos p robab les en los métodos cuantitativos
haya n sido tan abiertamente reconocidos ha sido en parte res
p onsab le de la creciente insatisfacc ión respecto de estos méto
dos y de la progresi va defensa de los métodos cualitativos en
a lgu nos sectores. Es i nd udable que la tradición cuantitativa
en eva luación pod r ía aprender mu cho de la experiencia acu
m u l ada e n l a e l i m i nación d e sesgos q u e s e ha desarro l lado den
tro de la tradi c ión cualitativa. Por ejemp lo , e l i nterés cual ita
t iv o p o r l a va l idez descriptiva y l o s sesgos de muestreos no
48 Métodos cual itativos y cuantitativos en investigación eval uativa
E l sigu iente aná l isis toma en considerac ión cuatro de tales obs
tá cu los.
En prime r lugar la comb i nación de métodos cualitativos y
cuantitativos puede resu l tar proh ibitiva mente cara . Conside
remos que en comp arac ión con un estudio de casos, un expe
rime nto a leatorio ofrece el gasto adic iona l de tener q ue recoger
datos de u n grupo de contro l que no ha sido objeto de trata
miento , m ientras q ue los costes de recogida de datos por cada
uno de los que responden y rea l izado por el agente etnográfi
co de campo son usu a l me nte mucho más e levados que el de l
cuestionario tradiciona l de los proced i m ientos cuantitativos.
La comb i nación de los dos métodos puede significar en defi
n itiva la concatenación de los e leme ntos re lativamente más
costosos de cada uno.
En segu ndo l ugar, el emp leo conj u nto de métodos cua l i
tativos y cuantitativos puede suponer demasiado tiempo. A
los partida rios de u no y otro g ru po en e l debate sobre los ti pos
de métodos les p reocupa que sus siste mas preferidos puedan
resu lta r demasiado lentos para cump l i r los p lazos pol íticame n
te fijados. Los experime ntos a leatorios, por ejemplo, requ ieren
un tiempo suficiente entre la atribució n de sujetos a las condi
ciones y la recogida de datos tras la p rueba para q ue e l trata
miento pueda segu ir su cu rso . De forma si m i lar, los etnógrafos
req u ieren tiempo basta nte para desarro l la r su com u n icación ,
exp lorar l i bremente aquel los aspectos de l programa que les
parezcan relevantes y segu ir las pistas q ue de a l l í parta n ; lue
go necesitarán u n tiempo pa recido para si ntetizar sus anotac io
nes de campo en un i nforme fina l . En cualq u ier caso esto pue
de ex igi r a ños. A no ser que las activ idades de los dos métodos
p uedan tener l uga r si mu ltáneame nte , en rea lidad es posi b le que
no haya tiempo suficiente para ambos.
En tercer luga r, cabe que los i nvestigadores carezcan de
ad iestramiento sufi ciente en ambos tipos de métodos para
uti l izar los dos. La mayo r ía de los estud ios que combi nan los
dos t i pos de métodos se basa n , por lo comú n , en eq u ipos inter
d isc i p l inares. Cuando l os miembros del equ i po p roceden de
las tradiciones d iferentes de los métodos cualitativos y cuanti
tativos la i nte racc ión entre los dos gru pos no es siemp re flu ida
(véase I AN N I y Ü A A , en este vo lumen ; y T R E N O , en este vo
l u me n ) .
F i n a l me nte queda l a cuestión d e l a moda y de l a adhesión
a l a forma dialéctica del debate . La evaluación, como en gene-
50 Métodos cual itativos y cuantitativos en i nvestigación evaluat iva
CONC LUSI ON
B I B L I OG RA F I A
TROW , M. ( 1 957 ) "Comment on 'Parti cipant obse rvation and i nte rviewing: a com
parison . " Human Organization, 1 6: 33-35 .
TVERS K Y , A. y 0 . K A H N EMAN I 1 9741 "J udgments unde r uncertai nty : he uris
tics and biases ." Science, 1 85 : 1 1 24-1 1 3 1 .
E l pape l de los métodos cua l i tati vos , bien solos o un i dos con
métodos cuantitati vos , ha l l amado la atención de púb l i cos di
versos re l aci onados con la admi nistraci ón y eva l uaci ón de pro
gramas de i nte rvención social . La l i terat ura en este sector tuvo
sus comienzos a fi nales de l os años sesenta cuando apa recieron
por vez p ri me ra ejemplos del emp leo de métodos cua l i tati vos
en la i nvesti gación eva l uati va ( cf . MEcH , 1 969; GLASEA , 1 969) .
Reciente mente han s u rgido otras p ub l i caci ones q ue proporci o
nan ma rcos conceptua les ( CAM PBELL, 1 974; BR ENN ER y otros ,
1 978; 8R ITAN , 1 978; PATTON , 1 978 y HAM ILTON y ot ros , 1 97 7 )
y s uge rencias d e procedi m i ento (T1KUNOFF y WAR D , 1 977 y So
BEL, 1 976) para el e m p leo de estos métodos en la i nvestigaci ón
eva luativa. En contraste, el papel de los mét9(fos cua l i tativos no
ha sido exami nado con un cierto deta l le por l os l i bros de te xto
Y l as antologías habitua les (véanse CARo , 1 97 1 ; Fbss1 y WILLIAMS,
1 972; ATTK ISSON y otros , 1 978; CouRSEY y ot ros , 1 97 7 ; STA UE
N IN G y GUTTENTAG , 1 97 5 y RIECK EN y 8oR UCH , 1 974) .
E l propósito de este cap ít u l o es tri ple : 1 ) compa rar y con
trastar los esti l os cua l itat i vo y cuantitati vo de i nvesti gació n ; 2 )
e xami n a r q ué factores han cond ucid o a u n i ncremento de l
i nte rés por l os métodos cua l i tati vos pa ra eva l ua r e l i mpacto de
l os programas de i nte rvenci ón social y 3 ) i ndi ca r cómo pueden
u ti l i za rse en la i nvesti gaci ón eva l uati va los métodos cua l i tati
vos . Aun q ue se toman e n consideración tanto e l paradigma
60 Métodos cual itativos y cuantitat ivos en i nvestigación eval uativa
E n i nvesti gac ión ed ucativa los tratami e ntos consisten norma lmente , en
algún n uevo ti po d e mate ri a l o en una i n novación del plan de estud i os es
pec ífi co , una variación e n e l tamaño de l a c l ase o e n a lgún t i po espec ífi co
de esti l o de enseñanza . Uno d e los p roblemas princi pa les en l a i nvestiga
ción ed ucat i va experi mental estri ba en una especi ficación clara de aquel l o
en q ue consiste rea l m ente e l tratamie nto , que s e ded uce del control de
todas las demás variables causales posib les y d e l problema correspondien
te de l a i nterfe rencia de t ratam iento m ú ltiple y de l os efectos i nteracti
vos . Las l i m itaciones i m puestas por el control del t ratam i ento espec ífico
sometido a estud io son las q ue req u i e ren una s i mpl i fi caci ón y un d esme
n uzam i e nto de la totalidad de la rea lidad en sus ínfi mas pa rtes com po
ne ntes . E n to rn o de este proceso de si mpi i fi cación de la rea l idad gira u n
considerable e m peño científi co.
CON C LUS I O N
B I B L IOG R A F I A
KO U R I LSKY , M. ( 1 97 3 ) "An adve rsary mode l far educational evaluat ion . " Educa
"' tion Comment, 3 : 3-6 .
K R A US E , M. y K. HOWARD ( 1 976) "P rogram evaluation in t he pub lic interest : a
new research met hodology . " Community Mental Health Joumal, 1 2 : 291 -300 .
K U H N , T. ( 1 970 ) The Structure of Scientific Revolutions. Chicago : U niversity of
Chicago Press .
- - - ( 1 962 ) The Structure o f Scientific Revolutions. Chi cago : Phoeni x .
78 Métodos cual itativos y cuantitativos en investigación evaluativa
Po r Donald T . CAM PB E L L*
Syracuse University
•Lo sección inicial de este artículo titulado "Quontitotive vs, quol/totlve metho
dology " (Metodología cuantitativa contra metodología cualitativa) procede (con
pequeñas alteraciones editoriales) de "Assesslng the /mpoct of Planned Socio/ Chon
ge " en G. M. lyons (ed.) { 1 9 75) de Soc i a l Research and Pu b l i c Po l i c ies, Honover,
New Hampshire : University Press of Ne w England. Uno versión completa de ese tra
bajo fue presen tada en el Congreso sobre Psicología So cial, celebrado del 5 al 1 0 de
moyo de 1 9 74 en Vlsegard, Hungría. la preparación del trabajo fue en porte posible
gracias a ayudas de la Russe/1 Soge Foundatlon y de lo Notional Science Founda
tion, beca SOC- 7 1 03704-03. El resto del artículo procede (con pequeños olteroc/o
nes editoriales) de "Degrees of Freedom and the Cose Study ", Co mparat iva Po l i tical
St u d i e s, 1 9 75, 8 : 1 78 : 7 93. Este trabajo estu vo basado en una presentación para lo
reunión del SSRC Workshop on Comparative Methodo/ogy que tuvo lugar en agosto
de 1 9 70 en lo Universidad de Horvord. Su preparación en esta forma contó con Jo
ayudo de la beco de lo Nationol Sclence Foundation SOC- 7 1 03 704-03.
" Grados de l ibertad" y el estudio de casos 81
F igura 1.
tif i cación de part ícu las ató m i cas cuan tificab les a l contrario de
la i ntuición atomista , todav ía m u y exte nd ida ( CAMPBE L L ,
1 966) . ·Se mejante epistemo log ía es errónea, más que clarividen
te , y destaca la presunta incli nación al error de se meja nte pau
ta de identi fi caci ón , más q ue l a perce pci ón como te rreno segu
ro de certeza. Pero tamb ién recon oce como único cam i no' a
esta percepción ord i naria, fal i b le, i ntu itiva y de presunción.
!; l l o n o sign i fi ca hacer las pe rcepciones l i bres de cr íti ca ( CAM P
B E L L , 1 969) sino ind icar que, como hemos v isto, sól o resu l
tan criticables basándose en mu chas otras percepciones del
m ismo nive l epistemo lóg ico .
S i ap licamos semejante ep istemo log ía a la i nvestigaci ón eva
l uativa, ésta inmediatamente legitima la pa rte de "historia na
rrat iva " de la ma yor ía de los i nformes e i nd ica q ue a esta
actividad debe otorgársele reconocimi ento formal en la planifi
cación y ejecución del estud io, e n vez de reci b i r só lo atención
como segu nda inte nción . Los estud i os de eva l u ación no son
interpretab les sin esa pa rte y la mayor ía resu lta r ía n mejor i n
terpretados si fuese más a m p l i a . E l hecho de que este conte n i
d o sea su bjetivo y cu lpab le de sesgos de perspectiva deber ía
i n d ucirn os a seleccionar mej or a aque l los a q u ienes se i nv ita a
registrar los hechos y a preparar proced imientos torma les me
d i ante los cuales todos los partici pantes interesados pueden
aportar añadidos y correcciones al re lato oficia l . H a de tomarse
en consideración el emp leo de h istoriadores, antropólogos y
soció logos cualitat ivos p rofesiona l me nte ad iestrados. La h i sto
ria narrat iva es u na parte i nd ispensab le de l informe f i na l y en
su preparación deber ían emp learse los mejores métodos cua l i
tativo s.
Tamb ién debemos reconocer que participantes y observado
res h an estad o eva l uando d u rante sig l os in novaciones de pro
g ramas sin contar con la cuantif icación o con un método cien
t íf i co . E ste es el conocim ie nto de sentido común sobre el q ue
deber ía basarse y a l que deber ía superar l a comp robación cien
t ífi ca pe ro sin sus.ti tui do . Pero, n ormalmente , éste -se desdeña
en las eva l u aciones cua ntitativas a no ser que se incluya n unas
cuantas a nécdotas favo rab les , obte n idas al azar. De acuerd o
con la epistemo log ía que defiendo, es preciso recoge r sistemáti
came nte todas las cr íticas y eval uaciones de l programa, cua l ita
tivas y de sentido com ú n , que se hayan gen erad o entre el
personal y los clientes del programa y sus fam i l ias y ent re los
observadores de la com u n idad . M i entras que, por razones de
" G rados de l ibertad" y el estu d io de casos 85
E L EST U D I O DE CASOS
Diseños preexperimentales
1. El estud io de un único caso
U na tercera presentación :
Visto bajo esta luz, el p roblema del "laboratorio " de las relaciones
internacionales reales estriba en que son demasiado pocos los actores,
* Véase MA L I NOWSK I , B. : la vida sexuai dt: los salvajes. Mad r i d , Morata ,
1 97 5 , J8 ed ic ión IN. del R . )
90 Métodos cual itat ivos y cuantitativos en i nvest igac ión eva l u a t iva
demasiado pocas las ocasio nes, d emasiado escasas las "repos iciones" e n
l a s que grupos d e actores, clas if i cabl es como comparab les, com i enzan a
actuar desde pu ntos com parab les d e partid a y h arto numerosas las con si
d eracio nes en teor ía obv iamente importantes. Los g rados d e l ibertad
para las declaraciones ulteriores, para probar la teo r ía en el cuerpo d e
d atos q ue la señalaban so n muy i nferiores a los ex istentes para las pred i.c
ciones o declaraciones p revias ( u n aspecto d e este rasgo está i n se rto en l a
d i sti nción entre e l test d e sign ificación u n ilateral o b i l ateral ) . Tales p ro
blem as resultan tan reales como frustrantes para los estud ios cual itat ivos
del i nvestigador en Ciencias Po l íticas o en H istoria, l o m i smo que p ara e l
ana l ista estad ístico. Para este último l a com u n icación d e l p rob lema p ued e
resu ltar m ás fac i l ( aunque a m enudo será m u y d if íc i l cuando a sp i re a
refe r i rse a todo u n u n iverso ) porq u e ha formu lado claramente e l n úmero
de variables, mie ntras que e l c ientíf ico pol ítico o el h istoriador cuentan
con un g ran número de "consid e raci ones" potenci a les no expl (ci tas a l as
q ue han de referi rse, o pueden h acerlo, en u n caso o en otro . ( Esto , m ás
q u e las caracter ísticas d e reconoc i m iento del model o, constituye e l quid
de los prob l emas d e l e nfoq ue de la com prensión ( Verstehen ) , u n a fue nte
de su adaptac ión esp léndidamente sati sfacto ria a casos concretos y de su
carácter insatisf actorio como p roceso de comprobació n d e l a real idad ) .
( R ASE R y otros , 1 970 : 1 86- 1 87 .)
Etnógrafos Etnógrafos
desde la desde la desde la desde la
cultura cultura cultura cultura
A B A B
- -
.. e
Etnograf ía Etnograf ía Etnograf ía Etnograf ía
., 1
1 2 .,
"O A 1 1 2
....
'e
::,
:'6
..
::,
(cultura
propia)
e e
Etnografía Etnograf ía Etnograf ía Etnograf ía
::,
(J D 3 4
::,
(J B 3 4
(cultura
propia)
dad de emplear d iferencias cuando éstas son tan predom inantes como
para hacer imposib le la acomodación de los aspectos correspond ientes de l
informe que esté siendo comparado. La necesidad de este denom inador
común proporciona una justificación a la defensa que hace HOCK ETT en
favor de inclu ir detal les cu ltu rales materiales y comportamentales inclu
so en etnograf ías centradas en la determinación de la fi losof ía de las cul
turas.
Otra versión del d iseño de etnógrafos y objetivos mú ltiples es aquella
en la que dos cu lturas se estud ian mutuamente, como aparece en el
d i agram a de la Figu ra 2(b) . Por lo común el foco se fija en las etnograf ías
2 y 3, el informe de A sobre B y el informe de B sobre A. Imp l íc itamen
te, sin embargo, la descripción de A por parte de A y la descripción de B
por parte de B están conten idas como bases de referencia. Cabe conseg uir
probab lemente algún valor cient ífico de tales informes, incluso en el nive l
de la serie de estereotipos recíprocos o el consenso de reputación entre
los pueb los próx imos. Una vez elim inado el elemento evaluativo (conside
rándose cada tribu a s í m isma como la mejor), tales ser ies de estereotipos
mutuos muestran una notab le co incidencia en la confirmación de la d i ·
rección de las d iferenc ias de grupo (CAMPB E L L , 1964: 331-333) .
CO M E NTAR I O S F I N A L ES
B I B L I OG RA F I A
B A CO N , F . ( 1 853) " Novum orgá n u m , " en J . Devey (trad . ) The PhysiCBI and Meta
physical Worb of L ord Bacon. Lo nd re s : H . G . Bo hn . ( p ub l i cad o origi nalme nte
en 1 620 .l
B E CK E R , H. ( 1 9 70 ) Sociological Work. Chi cago : Ald i na .
B O E S C H , E . E . y L . H . E C K E N S B E R G E R ( 1 969 ) "Methodi sche P robleme des
i n ! e r k u ltere l le n Vergleichs," pp . 5 1 5 -566 en C . F . Graumann ( ed . ) Socialf)6ycho•
logle, Got t i nge n : Verlag fu r Psych ologi e .
B O A I N G , E . G . ( 1 9541 "The natu re a nd h istory of expe r i mental control . " Ameri
can Joumal of 1'$ychology, 67 : 5 7 3 -589 .
--- ( 1 964) ''D isti nguishi ng d i ffe rences of percept i on from failu res of commun ica
tion i n cross-cultu ral stud ies ," págs . 308-336 en F .S .C . N orthrop y H . H . Li
vi ngston (eds .l Cross-Cultural Undentanding. Epistt1mology in Anthropology.
N ueva York : H arper & R ow .
--- 1 1 96 1 1 "The m utual methodologi cal relevance o f anth ropology and psycholo
gy , " págs . 333-352 en F .L .K . Hsu (ed .l Psychologicsl Anthropology: Appra11 -
ches to Cultun, and Ptlnonality. Homewood . 1 L: Dorsey .
--- ( 1 9691 "Systemati c error on the part of human li n ks i n comm u n i cati ons sys
tems . " lnformation and Control, 1 : 334-369 .
--- y J . C. STAN L E Y 1 1 966 1 Experimental and Ouasi-Experimental Design1 for
Rt111111rch. Chicago : R and McNally .
Un estudio de casos
Por M . G . TR EN O
Ab t. Associa tes /ne.
I NTRODUCC ION
• R ep rod ucido con perm iso de la Society for A p p l i ed Ant h ro po logy de Human
Orgonizotion, 37 : 345 -354 , r n 78 .
1 06 Métodos cual itativos y cuant itativos en i nvestigación evaluativa
E L CONT E XTO
D I S E !\1O D E LA I N VESTIGACION
EL CASO
O 6 10 26
Sede de la Agencia 1 1 1 1
contratante Escala en m i l las
\ 7 0 m i l las
f: , ,)Vhl A R E A D E L P R OG R A M A
Oficina d e la Agencia Administrativa
O Oficina pri ncipal , u rbana
e Sucursales rurales
leyeron con avidez. Siempre que los ocho observadores eran re
queridos en Cambridge para informar, se debatía durante largo
tiempo el caso del emplazamiento B .
El personal analista de Cambridge no se mostraba de modo
unánime acerca de la importancia del conflicto . Algunos afir
maban que correspond ía a la idiosincrasia del lugar y que por
eso ten ia escasa relevancia poi ítica . Otros consideraban que la
fricción pod ía responder a causas estructurales. Se aludió a la
posibilidad de dificultades en la gestión a larga distancia . El
observador estimaba que la falta de armon ía era un caso de
gestión incompetente a la que se un ía la existencia de fuertes
personalidades en ambas agencias .
Sólo uno de los analistas superiores se mostró susplcaz ante
las explicaciones del observador. Consideró que las operaciones
en el emplazamiento B parec ían "caóticas " y ello le confund ía .
Se ñaló que el programa llevaba trazas de atender a las 900 fa
milias , aunque fuese deficientemente, y que esa misma tarea
deb ía exigir una cierta capacidad y una determinada coordi
nación.
Las demoras en la clasificación y cribado de datos brutos
impidieron que se arrojara nueva luz sobre la calidad de las vi
viendas que obten ían los beneficiarios , sobre la demograf ía de
los que abandonaban el programa o sobre el coste de realiza
ción de éste . El observador fue enviado de nuevo al emplaza
miento con instrucciones de averiguar más acerca de la discor
dia . Y as í lo hizo, próximo ya a concluir el plazo de solicitud .
Informó que los conflictos pe rsonales en el emplazamiento
hab ían adquirido entonces matices raciales .
Como en la mayor ía de los programas de asistencia pública,
las minor ías hab ían acudido masivamente al proyecto de asigna
ciones en el emplazamiento B . La agencia contratante preten
d ía realizar un proyecto demográfica mente equilibrado que
atendiera a diferentes tipos de familias , conforme a su repre
sentación en la población elegible. El H U D hab ía exigido que
cada agencia realizara una estimación de la población de las
minor ías en el área del programa para asegurarse de que éstas
no estuvieran mínimamente representadas en el experimento .
La agencia contratante consideraba que la conservación de es
tos perfiles demográficos servir ía como medida de la eficacia
de sus esfuerzos . Por eso se dio orden de reducir el ingreso de
familias negras que ya estaban muy representadas entre los ad
mitidos .
1 14 Métodos cualitativos y cuantitativos en investigación evaluativa
R E DACC I O N
L A S I N T E S ! S3
4 La fó rm u l a de as i gn aci ón era :
H AP = C * - 0 ,25 Y ag
en donde
=
H A P as ignación mensual para vi vi e nd a .
C* = esti mación d e l promed io d e renta bruta d e u n a residenci a modesta para
un a fam i l i a de un determ inado vo l umen .
Ya g = i ngresos tot a les mensua les de la fam i li a , menos ci ertas d ed u cc i ones .
1 22 Métodos cualitativos y cuantitativos en investigación evaluativa
CONCLUSIONES
B I B L I OG R A F I A
M ET O D O S C U A L I T AT I V O S EN E V A LU A C I O N
R ES U M EN Y CONC L U S I ONES
B I B L I OG R A F I A
COO L E Y , W. W. 1 1 978 ) "E xplanato ry observational studies . " Educat i onal R esear
cher 7 , 9 .
A algunos de los lectores podrá parecerles extraño que haya s ido in
cl u ido en este volumen uno de los trabajos de Howard S.BECKER.. sobre
fotografía. Esta técnica no es habitual en evaluación y B ECKER, autoridad
notable en métodos de investigación cua litativa para las ciencias socia
les, no ha destacado por su contribución a la evaluación. Desde l uego la
palabra evaluación no aparece en este trabajo en ning uno de los sent idos
trad ic iona lmente empleados para caracteri zar los esf uerzos de estima
ción de los cambios debidos a proyectos o programas.
Hemos inclu ido el trabajo de BECKER por dos razones. En primer
lugar, la fotograf ía puede ser muy úti l en la evaluac ión. Los period istas
investigadores han demostrado una y otra vez la eficacia de fotograf ías
espectacu la res para l lamar la atención y, en cierto aspecto, "resumi r"
determinados p roblemas socia les y la adecuación de estrategas para mit i
garlos. Baste sólo con pensar en las imágenes d e conductores d e ambu lan
cias negándose a l levar a actores obesos que han f ingido ataques card íacos
en el tercer piso de un edif icio o en fotograf ías y pel ícu las de minusvál i
dos tratando de sa lvar el bordillo de una acera demasiado alta o en las no
ticias f i lm adas de la guerra del Vietnam. Como medio de comunicación,
la cámara posee un considerable potencial para determinar una acción y
pa ra d ramati zar las tentativas de intervenc ión.
Las fotograf ías (y las pel ícu las) pueden tambi én proporciona r un re
gistro más deta l lado y continuo de los procesos y transiciones que los
clientes experimentan en determinados programas. De esta forma, pue
den proporcionar un marco para entender y clasif icar algunos de los
acontecimientos importantes que trascienden en el curso de un programa.
Desde luego semejante emp leo se ha lla limitado por el gasto (aunque las
técnicas de muestreo de tiempo y personas puedan reduci r los costes) y
po r cualesqu iera maneras en que la presencia de la cámara pueda afec
tar a la persona que está siendo fotografiada (aunque tal es problemas
no son exclusivos de semejante procedimiento) .
La referencia a l a posibi lidad d e obstrucción i lustra una segunda ra·
zón, quizá más importante, para incluir el trabajo de BECKER. Su estud io
sobre la intepretación de las fotograf ías se basa considerablemente en
una prem i sa epistemológica que trasciende la d isti nción entre métodos
cual itativos y cuantitativos. BECK ER afirma que, incluso con las fotogra
f ías, el investigador tiene que determinar cúales son las interpretaciones
de la imagen que se hal lan j ustificadas v luego tratar de emplear la foto
graf ía, el conocimiento de las c ircunstancias que la rodean y cualquier
otro conocimiento relevante para descartar interp retaciones alternativas
de lo que la fotograf ía parece sugerir. Se trata de un marco de conf irma
ción (es decir, determ ina r qué interpretaciones son confi rmadas) y de
no-conf i rmación (es decir, determinar qué interpretaciones plausibles
q ueda n descartadas). Lo que nos parece importante es esta sucinta pre
sentación de un marco epistemológico común a la investigación cuanti
tativa y a la cual itativa.
CAPITU LO V I
lQU E ES LO V E R D AD E RO ?
B i l l Owens, de Suburb1a
l D icen la verdad l es fo tograf ías? 153
AM E N AZAS A LA VAL I D E Z
M ichael Lesy , de Real Lite: Louisvílle in the Twen ties. Por cortes ía de l os
arch ivos fotográficos d e l a Universidad d e Lou i sv i l l e .
CON C L U SI O N
B I B L IOG RA F I A
B E C K E R , H . S. ( 1 9751 "P hotography and sociology . ' ' Afta rimage (Mayo/Junio l .
• Agradezco los eficaces comentarios que form u l aron respecto de versiones p re
v i as de este cap ítu l o Lee J. C R O N BAC H , Woodrow W . C LA R K , R obert E . H E
R R IQT, Mitchell D. McCO R C LE y R obert B. T E X TO R.
172 Métodos cu a l i tativos y cu antitativos en i nvest igación eva l uativa
Investigación etnográfica
2 No t odos los agen tes de campo de l Proyecto R u ra l eran e tn ógrafos con creden
ciales ant ropo l ógicas; tres eran soc iólogos y u n o educador (véase H E R R I OTT ,
1 97 7 : 1 09) Todos poseían e l equ ivalente de u n adiestramiento etn ográfico.
Contribuciones etnográficas a la i nvestigación evaluativa 1 75
EN CONCLUSION
B I B L I OG RA F I A
*La Investigación sobre la que est6 basada este estudio es parte de una evalua
ción del programa de Trabajo Asistido para la Manpower Demonstratlon Research
Corporation, cuya cooperación aprecian los autores. El trabajo de la M. D. R.C. es
t6 siendo realizado merced a la beca No. 33-36-75-0 1 y los contratos Nos. 30-36-
750 1 y 30-34-75-02 de la A dministración de Empleo y Formación del Deoartamen
to de Trabajo de los Estados Unidos y a la beca No. 740-0537A de la Fundación
Ford. La A dministración de Empleo y Formación del Departamento de Trabajo
es la entidad principal en un consorcio federal de financiación que patrocina el
programa de Trabajo A sistido. Los puntos de vista expresados en este trabajo co
rresponden a los autores y no representan la posición oficial o las políticas de los or
ganismos patrocinadores.
Cone>Ci6n entre el anál isis de proceso y el análisis de impacto 203
'"La Investigación sobre la que está basada este estudio es parte de una evalua
ción del programa de Trabajo Asistido para la Manpower Demonstratlon Research
Corporation, cuya cooperación aprecian los autores. El trabajo de la M. D. R.C. es
tá siendo realizado merced a la beca No. 33-36-75-0 1 y los contratos Nos. 30-36-
750 1 y 30-34-75-02 de la A dministración de Empleo y Formación del Departamen·
to de Trabajo de los Estados Unidos y a la beca No. 740-053 7A de la Fundación
Ford. La A dministración de Empleo y Formación del Departamento de Trabajo
es la entidad principal en un consorcio federal de financiación que patrocina el
programa de Trabajo A sistido. Los puntos de vista expresados en este trabajo co
rresponden a los autores y no representan la posición oficial o las políticas de los or
ganismos patrocinadores.
Tabla 1 : Resu men de cuestionarios d e l Siste ma de I nformación de Gestión ( M I S ) n
o
diferida. !!!:
¡;;·
¡;;·
Asistencia Horas i nvertidas en provectos . servicios Semanal . Los funcionarios d e nómina. Se c.
auxiliares, enfermedad , vacaciones, fiestas, transcr i be parte de la información CD
a
suspensió n , inactividad , etc; también de la ficha semanal de asistencia "O
i ncluye d ías de asistencia. minutos de que rel lenan los capataces .
retraso o salidas anticipadas, i ndicación !xo
de primas y código de evaluación . <
Un miembro adecuado del persona l !!.
Cambio de categoría 1 nd ica fecha de comien zo , ascensos , Cuando resulte apropiado. o,
degradaciones , inactividad , reactivación , del programa. :,
suspensión , transferencia a otro equipo ; !!!:
¡;;·
conclusión ; i ncluye también las razones ¡;;·
de los diferentes ca mbios de catego r ía . "'
c.
Asignación a super I dentifica l a relació n e ntre e l supervisor Cuando resulte apropiado. Perso nal de operaciones . 3'
visión de equipo
Sumario de
y e l equipo.
Tipo de cliente , oferta competitiva o Cuando comience un Persona l de operaciones .
...
n
o
proyecto no, t ipo de superv isió n , codigos DOT proyecto .
y SIC de ocupación e i ndustria, tipo
de trabaj o ; tipo de reembo lso (si lo
hay ) por e l p royecto .
Perfil del supervisor I nf ormación sobre el supervisor i nclu U na vez , tras dos meses Supervisores .
yendo educación , edad , raza, expe de experiencia de
riencia de supervisión , formació n de supervis ió n .
destrezas, actitudes hacia la supervi IV
sión del T rabalº Asistido . �
2 10 Métodos cual itat ivos y cu antitat ivos en i nvestigación eva luati va
Para los resu ltados, son accesi bles las sigu ientes med idas:
• Asistencia
• T i po de conclusión y d u rac ió n de la permanencia en e l programa
• Categor ía e i ngresos d e l emp leo post-programa
• Otras med i c iones de los resu ltados
• Ca racterísticas i nd ividuales
• Cond i c iones del mercado local de trabajo 4
Tipo de conclusión ª
Positiva 237 * * * 208* * *
N egativa - 50* * - 46*
N eutra 5 30
Emplazamiento
Atlanta 1 02 * * 95
Chicago 86* * 86* *
Hartford 19 35
Je rsey C ity 45 68 * *
N ewark 9 - 10
Oakland 88* * 38
F iladelfia (omitido)
San F rancisco 1 07 * * * 43
Caracterlsticas individuales
G rupo étni co
Blanco 93* *
H ispano
N egro (omitido)
Edad ( Grupos estudiadoslh
Menos de 25 años - 21
2 6-30 años (omitido)
Más de 30 años -3
Mujeres ( Grupos estudiados que no son
de Ayuda a las F ami lias con N iños) c - 77**
Número de personas dependientes 4
Educación
T ítulo de enseñanza secundaria 66* *
Ha tenido formación profesional - 32
Experiencia laboral
H a te nido un emp leo a jornada completa 19
1 ngresos el año anterior ( 000) 6
Grupo estudiado
Ayuda a las Famil ias con N i ñosc - 19
E x -adi ctos - 45
E x-del incuentes
Jóvenesb - 64
El individuo es jefe de un equipo 1 87 * * *
Estadlsticas
R 2 ajustada 0,05 0 ,09
F estad ísti ca 6 ,20 5 .04
N ú mero de observaciones 1 .033 1 .033
Conexión entre el anál isis de proceso y el análisis de impacto 213
90¡
programa . Esta investigación supera los fines i lu strativos del presente trabajo .
Notas a l a Tab la 2
* EstacHsti camente sign i fi cativa en el nivel del con un test bilatera l .
• • Estad (sticamente signifi cati va e n e l n i ve l del 9 6 con un test bilateral .
n • Es tad (sticamente sign ifi cativa en el nivel del 99 con un test bi l ateral .
a. Las catego rías del t i po de conclusión se hallan defi nidas dei sigui ente modo :
O,nclusi6n positil/8: El parti cipante abandona con objeto de asumir un traba¡o
o de ir a la escue l a durante el período de estudio.
Conclusión negatil/8: E l parti ci pante futl desped ido, encarcelado o abando '! ó ,
insatisfecho con el programa d urante el per íodo d e est ud i o .
Conclusión neutra: El participante abandonó d urante un período de estudio
por razón de enfermed ad , para cuidar de la familia, por
q ue no exist ía trabajo dispon ible en el programa o porq ue
se vió obl i gado a graduarse .
b . j..as variables de edad abarcan só lo los grupos estudiados al margen de los jóvenes
(que t ienen 2 1 6 menos años ) . As í las vari ables de los jóvenes combinan el efec
to de la edad y del rango del grupo estudiado .
c. La vari able femenina abarca sólo los grupos est udiados al margen de las personas
de Ayuda a las F amilias con N i ños (que son todas mujwes) . De este !'lodo la
variable de Ayuda a l as Familias con N i l'los combina el efecto de ser mu¡er V ha
llarse en ese grupo est ud iado .
214 Métodos cualitativos y cuantitativos en investigación evaluativa
D. E XP E R I E N C I A DURANTE E L P R OGRAMA
E I N G R ESOS POST-PROGRAMA
Tipo de IUPflrvi1i6n
Por programa -68
Por jefe de eq uipo 70 . .
·sos infe riores. Por ai'ladidura, s i u n equ ipo de trabajo cuenta con un
jefe participante (además del habitu al supervisor de plantilla ) , el
proyecto está asociado a ingresos post-programa más elevados.
• IEI número de veces que un indiv iduo cambia de equ ipo está positi
vamente asociado con los ingresos post-programa, resultado un
tanto sorprendente . Las caracter ísticas del equ ipo no son, por lo
i:iene ral, si11nificativas ( aunque si otros miembros del equ ipo traba
jaban a jornada completa antes del Trabajo Asistido, los ingresos
post-programa eran inferiores; lo opuesto al efecto del grupo de
compai'leros, corno habr ía cabido esperar).
• El grado de los serv icios de asistencia proporcionados constituye
un aspecto importante del diseí'io del programa. La regresión reve
la una asociación positiva entre ingresos post-programa y adiestra
miento para búsqueda de empleo 7 y una asociación negativa con
la formación de destrezas del empleo .
7 Cab r ía esperar que ésta fuese u na correlac ión fa l sa : es más p roba b le que con si
gan un empleo qu ienes permanecen t iempo su ficiente en el proga m a para obtener
un ad iestram iento en la búsqueda de empleo (y a u nque no reciban e l adiestram ien
to ) . En regresiones de las que aqu í no se da cuenta se a í'ladieron a la ecuación e l
t i po y e l tiempo d e conc l u sión pero el coeficiente de adiestram iento e n la búsqueda
de emp leo sigu ió siendo significati vo y apro x i mada mente del m ismo vo l u men . Esto
sugiere la posi bil idad de que l a correlación no sea falsa.
220 Métodos cua l i tativos y cuantitativos en investigac ión evaluativa
F . CONC LUSION
tes caracter ísticas programáti cas (p. ej. , los efectos de las di
mensiones del equipo y de la ·semejanza racial entre superviso
res y participantes). Pero ha resultado dif ícil dirigir la interac
ción mucho más allá de esta etapa inicial.
Las exigencias empíricas para la realización del ideal.son evi
dentemente prodigiosas. Señalamos tan sólo algunas. El pro
grama debe ser a escala y de duración suficientes para propor
cionar muestras lo bastante grandes con las que poder realizar
comprobaciones de hipótesis estadísticas de poder adecuado.
( De hecho nos sorprendió que no fuéramos capaces de obtener
resultados significativos con una muestra de un poco más de
1 .000. ) Ha de existir un sistema interno de datos, con cuestio
narios normalizados y un razonable control de calidad, que dé
cuenta de los datos individualizados regulares. Los datos han
de ser tratados rápidamente y convertidos en registros anal íti
cos de tal manera que en u n per íodo relativamente corto de
tiempo pueda completarse él análisis y transmitirse en forma
de retroinformación a los técnicos del programa. 9 Los datos
de las entrevistas post-programa tienen que ser tratados y reu
nidos con los aportados por el programa. Es probable que una
retroinformación rápida mejore la calidad de los datos cuando
los operadores adviertan los frutos de sus esfuerzos en su apor
tación. Los analistas han de llegar a ser capaces de explicar as
pectos básicos de sus análisis de datos a los técnicos del progra
ma . Han de incrementar también su sensibilidad respecto de
formas de análisis que resultarían más útiles en la operación
mes tras mes del programa (en contraste con un nuevo diseño
más fundamental). Finalmente, los técnicos han de convencer
se de que este tipo de análisis puede ser empleado no simple
mente para formular juicios negativos sobre su rendimiento
sino para ayudarles a mejorar éste.
Por encima de todo, semejante interacción implica una vi
sión del análisis cuantitativo del proceso que difiere del de
muchos analistas cuantitativos. En nuestra opinión los resul-
BIB LIOG R A F I A
B A L L , J . ( 1 977 ) l mplementi ng Supported Wo rk: Job Creation Strategies During
t he F i rst Y ear of the N ati onal D emonstration . N ueva York: Man power Re
search and D emonstrati on .
B A R N OW , B., G . CA I N , y A. G O L D B E R G E R ( 1 97 8 ) "l asues i n the enalysis of
selection b ias ." U n ive rs id ed de W isconsin Departamento de Econom ía. Presenta
do a la reun ión de la American E co nom ics Association , Apto .
HAN USH E K , E . "Con ceptual and empirical i ssues in the esti mation of educati onal
production functions ." Journal of H uman R esources .
H ECKMAN , J . ( 1 9761 "The common structure of statistical models of t runcetion ,
sample selecti on and limited d ependent variables and a sample esti mator of such
models ." An nals of E conomic and Social Measurement 5: 476-492 .
H O L L I STE R , R ., P. K EMPE R , V. L E ACH , y J . WOO LDR I DGE ( 1 978 1 A nalysis
of the Determ inants of Attendance and Termi nat ion R atas in the Supported
Work Demonstration. Barredor de i nforme presentado en le Manpower Demons
tration and R esearch Corporation by Mathematica Policy Research , Princeton,
Junio.
MAD D A L A , G. S. y L . - F . LEE ( 1 9761 "Recu rs ive models with Q ualitative endoge
nous var iables ." A nnals of E con om ic and Social Meaurement 5: 625 -645 .
Man power Demonstration and R eseerch Corporation ( 1 97 8 1 R esumen del Segun
do I nforme Anual de la National Supported Work Demonstration . Agosto, Nueva
York : M DR C .
226 Métodos cualitativos y cuantitativos en investigación evaluativa