Metodologia de Investigacion Evaluativa Esperanza Bausela Herreras Resumen En este articulo profundizamos en unt metodologia, la investigacién evahiati- va. Esta metodologia queda delimita- da por, una ferminologia propia, un Conjunto de herramientos conceptuc- les, Y unos procesos y fasos también espectiicos, En este articulo tras 61 and lisis histérico, oftecemos un sucinto Tesumen de los enfoques evaluativos més relevantes, de los dislintos mode- los y paradigmas que, con mayor o menor fuerza, vienen acotar lo que es hoy en dia a Investigacion evaluctiva fen educacién, EI arliculo finatiza con unos estudios que han seguido esta metodotogia, Palabras Clave Investigacién evaluativa, evaluacién de programas, paracigmas y modelos de investigacién evatuativa, cucntitat- Vo, interpretative - cualitativo, valor, mérito, Abstract In this article we develop a methodo- logy, the evaiative research, This met. hodology is defined for; an own termi- nology, a group of conceptual tools, and some process and phases ako specific, In this article after the historical analysis, wo offer a succinct summery of the approach more important ‘actually and the cifferent macels and poradigrns what delimit is tory in day the evaluative research in education, This article conclucies with some studies that have followed this methodology. Key words Evaluative research, programs evalua- five, paradigms and models of Evaltialive research, quantitative, inter pretative - qualitative, value, merit Evolucién histérica Ningunai introduceién a ta evaluacién entendida como una préctica profe- sional estar compieta si no presta ta debidia atencién a la evolucin histort- ca del tema. $e dlice, aciemas, que los que no conocen su propia historla estén condenados a repetitia Son alversos Jos autores (Sanz, 1996). que aborcian la evolucion histérica de era de tne ale eb srt io pf “ete ine pen yO Da Me a Indivisa, Bol. Bstud. Invest, 2004, n° $, pp. 182-191 ISSN: 1879-3141 183Esperanza Bausela Herreras Ia evaluacion. La pretensién de eva- luacién de la intervencion psicolégica lone una historia relativamente reclen- Ye, aunque algunos autores la remon- ton al siglo diecisteto (Rossi y Freeman, 1988). Segin Cook (1988) hay que remonterss a 1965 para encontrar sus ‘origenes cuando Ia evoluacién clean- 26 una alta exigencia de objetivad y, {que le lev6 a la tare de investigactin de la eficacia de Ia Intervencién sobte todo en el contexto de_accién social Tal pretension culminé en ia fraso sigulento “Todo puede ser evaluado, Incluso la evakiacién" (Cook y Grudes, 1978). Con este lemat ha ido surglendo sstemGticamente una fuerte tenden- cia a evaluar far acctén de interven ci8n social que se plasma fundamen- almonte en la evaluacién de progia- mas de todo orden y naturcleza, Probaiblemente uno de los elementos que influyé en el desarrollo de ta eva- luaelén de programas fue la puesta en marcha a comienzos de los afios sesenta del programa Guerra contici la pobreza de la administracién Kenne- oy. Segtin Freeman (1977), alrededor cle 1930, diversos clenfificos sociales detienden Ia aplicacién de métodos figurosos de investigacién social para: evaluat los programas de intervencién. social. Durante Ia Segunda Guerra Mundial, Stouffer y sus colaboradores 949) trabajan con la Armada norted- mericana controlando y evaluando un programa para elevar la moral de los sokdados. Pero es propiamente el per ode inmediatamente siguiente a la ter minacion de fa guerra ef que presen- cia los primeros programas a gran escola de educaclén cultural, de entrenamiento ocupacional y de acti- vidades preventivas que estan en el corigen cle fa investigacién evaluative, Hacia finales de los 50 es frecuente la evaluacién de programas de gran escala en campos relacionados con ef nuestio, como Ia evaluacién de pro gramas preventives para delincuentes © los proyectos sobre [os tratamientos psicoterapéutices en Estados Unidos y en Europa. Durante fos afios 60 so publican algu- has obras sobre la préictioal de la inves- figacién evatuativa, tal como, la de Hayes (1959) sobre su grado de optica- ci6n en los pafies menos desarollades, €@l ya Clasico libro de Schuman (1967) revisondo los métocios principales emplecicos en ka evaluacién de pro- gramas y el de Campbell (1969) resal tando ka necesidad de la experimen: tacién social Ya en el comienzo de los 70 aparecen iversos lioros sobre el tema, unos de textos como el le Weis (1972) y otros, que recogen una coleccién de lectt- fais Como el de Rossi y Willams (1972). Las enficas sobre fa calidad! metodoks- Gica dle 10s estudios y las discusiones sobre fa organleacion y kas imttaciones de Io evaluacién de programas, se presentan en las obras de Berstein y Fieeman (1978) y las de Riecken y Bough (1974) En 1974, aparecen por primera vez en. 21 Education index junto con ottes pro- gramas de accién social. A partir de 1973 comienzan a publicarse revistas especializadias entre las que merecen citars2 Evaluations news, Evaluations aan the Health professions, el Journal of Evaluation and Program Planning y New Directions for Program Evalua- tions. En 1978 se publican los dos pi- Indlivisa, Bol. Estud, Invest, 2004, n°, pp. 183-191 ISSN: 1579.3141Metodologta de investigacién evaluativa meros tomos tan divulgados de Struening y Guttentang denominads, Handbook of evaluation Review. Como sefiala Conner y otras (1984), ka evaluuacién de programas de fos arios 80 eslé en la transicién de la adoles- cencla a la edad adulta por la Institu- cionaiizacién del mecanismo evaluat vo. Conceptualizacién Fl concepto de evaluacién, segin seftala Anguera (1989). no es monotit- 0, ¥ las diversas posturas aloptadas ‘oscilan entre la construccién de un corpus de conocimionto que puciera: garontizare ef cardcler de discipina baxica, y la mera recogida de informa- clén que trata de dar cuenta de la ele cucién de ciertas actividades realiza das_previamente, como un servicio, dedicade a...(Cordaray, Bloom y Light, 1987), pasando por ol anéiiss de los efectos netos de los programas o por la primacia de razones poiiticas - y no tecnices - tespecto a la oportunidad ‘de algunos programas. Olras definiciones de evaluacién, ampiiamente aceptadas, han sido tealzadas por Alkin, (1969), Cronbach (1963), Pérez Juste (1991), y Toimage (1982), destacandlo fai definicién pro- Puesta por Stuffiemeam et ol (1971: 40) quien define la evaluacién como". ol proceso de dlsefiar, obtener y propor Cionar informacién util para Juzgar aliemativas de decisién" ya que para estos autores, Stutflembam y colabora- ores “el propésito més importante de la evaluacién no es demasirar sino per- feccionor (Slutflembeam y shinkfield, 1987: 175). Por limo, quisiéramos resurnir tas caracteristicas més televantes de la WestigaciSn evaluativa en la orienta: cin educativa y formularsu cefinicién, segiin Reppetio (1987), son cinco los Fasgos bésicos de ia investigacién ova- uativa offentaciora: (a) su objetividad entendicia como “intersubjetividad* entfe los evaiuacores, (b) el predomi To de 10s juicios de valor en focias sus foxes, (¢) ia orlentacién hacia fa inme- dlatez de su utlicdad préctica, (a) ta aplicackin de los mélodos cuantital Vos y cuclitatives segin el tipo cle pro- grama a evaluar y las fases del mismo, ¥ ©) a dificultad para su repiicacién y, or fanio, el que sus resultados s6lo sean genoralzabies a sujetos 0 grupos sirnilores, Paradigmas y modelos de investigacion evaluativa Con relacién alos paraxtigmas evalia- tivos, Medina y Villar (1995) entiencien por el téimino paradigma como el marco de referencia ideolSgico 0 con: foxlo conceptual que ullizcimes para interpretar und realidad. 1 paracigma, por tanto, no se ofienta "per se" a una: incidencia sobre Ia realidad, sino mas bien a lar interpretacién de la misma: ajo un prisma conceptual determina do. En cuanto @ modaticiad interpreta- liva, ef trmino paradigma esta mds Proxim al de enfoque. Garcia (1992: 471) realiza un estudio comparative de las caracteristicas diferenciales de ‘ambos enfoques, desde los objetivos a las técnicas y recursos metodolégicos (wer figura 1). Indivisa, Bol. Bstud, Invest, 2004, n° 5, pp. 183-191 ISSN: 1579-3141 ibsEsperanza Bausela Herreras ENFOOURSO PARADIGNAS Pesiva = mnie Taterpeiatve- cual [adjevos 0 caractertkas| > Liga + Pesomenolgieo que bo defines + Ceedo + Abie + Experimenta + Naturaiticn + Condastuat + Homanistico + Mecanicit + Organistico + Panictsea + Generate = Bovtico = _Dinkico ~~ Exper + Deserpive + Wipoiticn =] = tivo deat + Catto + Rasioml ‘Mereo ara Soca Orentaciin ATO AT race Tiel de ands lisiotia sjeive Oijeivos dela ealaacloa ie > Cannan licioncia + Imgenes sociales + Liege + Caniextor Bceoncia = _Catr eabio dewifcneia d= relacones| Desspsiagineral del! cousles programa y dente | erspeotivn metodoégica "Tipas de deo estan ~Diator Batalios | experimentales de anogritces ‘sango Oberracion + Disetos parcipate ‘cnsionprenenta + Triangulacioa o + Batudlo do casos + Disetos pet Antlsis —— de| compat ‘interac + Disaios + Bsulios oe Jesiequcos neopotegis + Modelos ceases copsitiva + Betedios + Redes Tongisudinales| sisematcas | + Boologla escolar + Exo ae] pobtaciones arabe Detnidas y operacionaaatas| Emergoiies eo el ows de Ta] previamente evalscion Figura 1 Caractersticas y disefos utiizades por los enfoques o paradigmas principa- les (extremes) que abordan la investigacién evaluativa (Garcia, 192: 471). Indivisa, Bok Bstud. Invest, 2004, n°S, pp. 183-191 ISSN: 1579-3141 186Metodologia de investigaci6n evaluativa Como sefiala de ia Orden (1985: 136) ‘Las tipologias de modiolos, que en conjunto son ol resultade de variar eb Enfasis de los propésitos, los métodos y components del proceso evaiuador, en Iq prdctica se convierten con tre- ‘cuencla en fuente de confusién y con tlicto entre posiciones distintas, como 98 ol caso enti ofos, do la ostéril polé- mica entre modelos cuantitatives y cualitativos, Lo que realmente propor clonan los modelos es una guia © heu- iistica para pensar acerca de cémno Puede desarrollarse una evaluacisn’. Segtin Boruch y Worlman (1979), no existe un modelo generalizado de Investigacion evaluative. Clasticar los distintos modelos de evaluacién segun una pocas categorias no es nada sen- illo, dada a diversicdod dle approxima nes y propuestas de modelos que ‘en los tltimos veinte aifios hemos visto omerger. Exsten, por tanto, miitiples puntos de isla, si no paradigmas (Cordaray y Lipsey, 1987) acerca de cémo debe conducise la evaluacién, con induda- bles aplicaciones metodolégices, des- tacando, por ejemplo. fa reforma de Cronbac, Hambrén, Dornbusch, Hess. Homik, Philips, Waker y Weiner (1980), a evaiuacién naturalsta (Guba y Uncoln, 1981), la evaluacion focaliza- da (Patton, 1978), la evaluacién de meta libre Geriven, 1973), ja evalua ci6n responsiva (Stake, 1975), el mode- fo CIPP Gtuffiebeam et al. 1971) y la ‘evaluacién sobre Ia base del adverso- fio (Wol, 1979), por citar s6lo las pers- pectivas més conocidas. Conclusiones Hasta aqui hemos presentado y discu- tido una definicién bésica de la eva- luacién. cescrito algunos de fos mode. los y paraidigmas releicionades con el trabajo evaluative, y propercionado un panorama histérico, siende divarsos los ejomplos do evaluacién do progra: mas de los que disponemos (ver Bartua @ Imbert, 1990; Pozo y Gutiérrez, 1990: Alvarez, 1997; Cruz, 1996; Escudero, 1998; Rodriguez, 1997; Repetto, Beltran, ‘Manzano y Téllez, 2001). Pora finallzar este articulo resumimos una serie de orientaciones metodolo- gfas propuestas por Schindele (1985) que pueden servir de guia para realizar una mejor investigacién en. este campo: @ Aplicacién de disefios de Investigacién més adecucidos, es con frecuencia la causa de que 10s resuit dos soan poco relevantes y significat vos. (i) Uillizacién de a metodologia de investigaicién tanto cuantitativa como cuaitativa. Gi) Apicacién més adecuada y més stemética de la metodologia —cuaiitativa. (Wy) Aplicacién cteciente de ios principios, do a Investigacion - acci6n; La investi: gacién accién en este campo parece muy adecuada para la evaluaci6n de métocdios instructive, materiales y ppro- gramas, Esta aproximacién, implica Una Sptima posibilidad para Ia aplica. én de los resuitacios de Investigacion porque elimina ta distancia entre el investigador y el profesor, En este pais nos hace falta en muchos mbites una verdadera ‘cultura de evaluacién', lo que podria ocasionar que algunos se sintieran incémodos ante el hecho de la sociedad evaie a acclén de las escuela (Garcto, 1997). De la Orclen (1999) considera: que Ia evaluectén actuaré como el més poderosos factor © palanca de la calidad educative. $i, por el contrario, no se da esta coherencia, Ia evalua- ci6n seré el mayor obstaculo para ka calidad educativa, Indivisa, Bol. Estud. Invest 2004, n° 5, pp. 183-191 ISSN: 1579-3141 18 ijFsperanca Bausela Herreras Diteccién de contacto: Experanzo Bausela Herreros Universiciad de Leén Departamento de Filosofia y Cioncias de la Educacién Area de Métoclos le Investigaci6n y Diagnéstico en Educacién (M.LDE), Area de Personalidad, Evaluacion y Tratamiento Psicolégico PETRA. Campus de Vegazana s/n 24071 Lon Espario) @-mat dfcebh@unileon.es Indivisa, Bol. Estud, Invest, 2004, n°5, pp. 183-191 ISSN: 1879-3141 188‘Metodologta de inyestigacién evaluativa ALVAREZ ROJO, V. (1997). "fengo que decidlirme". Programa para el aprendzaje de toma de decisiones sobre el futuro académico y profesional, Comunidad ¢ Educative, 20, 27-29, ALKIN, M, (1969), Evaluation theory development. Evaluation Comment, 2.1. | ANGUERA ARGILAGA, M"I. (1989). Innovaciones en la metoclologia de evalua- | § clon de programas. Anales de pslcologia, 5, 1-2, 13 - 42. © BARTUA ROJAS, |: IMBERT ASAIIER, C. (1990). Aplicacién y evaluacton del pro- | grama de intervenci6n familar PE.C.£.S. de Dinkmeyer y McKay en el Pais Vasco. | Gstudiio piloto previo al proyecto de tess doctoral, Revista de Investigacién | Educattiva, 816, 333 - 360. | BERSTEIN, IN, FREEMAN, HE. (1975). Academic and Entrepreneurial Research. __ Russel Sage, New York. i BOROUCH, R. | for evaluat Education. 7 WORTMAN, PM. (1979). Implications of educational evaluation ‘policy. En D.C. Belliner (pp. 309 - 361). Review of Research in CAMPBELL, DLT (1969). Reforms os experiments. American Psychologist, 24, 409 - | 4. CONNER, RF. ¥ otf0s (1984). Evaiuattion Studies. Annual Review. vol. 9. Sage publi: cations, London, 680 - 691. : COOK, TH. ; GRUDER, C.L. (1978), Metaevalution ressarch, Evaluation Quarterly, 21.5-51 | COOK, TH. D, (1988). Theories of Program Evaluation, A Short Histor. Evaluacion psicolégica, 4, 1, 3-30. CORDRAY, DS. LIPSEY, MW, (1987). Evaluation siudies for 1986: Program evalua- tion and program research. In DS. Cordray & MAW. Lipsey (Eds.): Evaluation stu: dies review annual, vol. 1, (pp. 17 - 44). Sage. Beverly Hil. CORDRAY, DS, BLOOM, H.S;, LIGHT, RJ. (Eds) (1987), Evaluation Practice in Review. Josey ~ Bas. San Francisco. CRONBACH, L. J.; HAMBRON, S. R DORNBUSCH, S. M.: HESS, R, D.: HORNICK. R, Gy: PHILLIPS, D.C.: WALKER, D.R: WEINER, S.S. (1980). Towards refoirn in program ‘evaluation: Aims, methods and institutional anangements. Jossey-Bass. San Francisco. Indivisa, Bol. Estud. Invest, 2004, ISSN: 1879-3141 1s) 5, pp. 183-191Esperanza Bausela Herreras iacién "Tengo que decidir. CRUZ, J. M, (19%). Evakracién del programa de me’, Revista de Orlentacién Educativa y Vocacional, 7.11, 27 - 42. | DE LA ORDEN HOZ. A. (1999), Evcluacién y calidad en educacién. Revista de | | Invesligacién Educativa, 17, 2, 577 -§79, ESCUDERO, T. (193). Enfoques modélicos en ia evakiaci6n de la ensefianza unk versitaria, Actas de las Ill Jomadas Nacionales de Diddctica Universitaria “Evaluacién y Desarrollo Profesional (pp. 5-59). Servicio de Publicaciones, Universidad dle Las Palmas. Las Palmas i | FREEMAN, H. E. (1977). The present Slalus of Evoluation Research, En M. Guttentang y 8. Saar (eds), Evaluation Studies Review Annual, Vol.2. Sage Publications, Beverly His, C.A, GARCIA GARRIDO, J. L. (1997), Entrevista ci José Luis Garcia Garrido, Comunidad Educativa, 240, 34 - 36. | GARCIA RAMOS, .|. M. (1992), Recursos metodolégicos en la evaiuacion de pro- © gramas, Bord6n, 43, 4, 461 - 476, CUBA, EG. Y LINCOLN, YS. (1981). Effective evaluation: Improving the usefulness of evaluation results through responsive and naturalistic qoproaches. Jossey - Bass. San Francisco, HAYES, 5. P. JR, (1959). Evaiuation Development Project. UNESCO. Paris, MEDINA, A. ¥ VILLAR, LM. (1995). Evaluacién de programas educativos, centros y protesores. Editorial Universitas. $.A. Madiid. PATION, M.Q, (1978), Utitzation - focused evaiation. Sage. Beverly His PEREZ JUSTE, R. (1991). Evaluacién de programas. Primer symposium Nacional sobre Programas de Ensefiar a Pensay Granade. POZO LLORENTE, M, Ts GUTIERREZ PEREZ, J, (1990). Evaluacién do un programma de infervencién en eciucacién ambiental, Lainvestigacion aecién como estrategia cde conservacién del ecto natal. Revsta de Investigacion Educative 8, 16. 30-316 REPETTO, E, (1987). Evaluacién de programas de orientacién. En Alvarez, V. (ed): | Metodolagia de la orieniacién educativa. Afar. Sevila. REPETTO, E.: BELTRAN, S. G.; MANZANO, Ni TELLEZ, J. A. (2001). Evaluacion del pro- giama comprender y aprender en el aula, Revisia Electrénica de Investigacion y Evaluacion Educative, 7, 2-4 RIECKEN, H.IN: BORUCH, RF. (1974), Social Experimentation: A method for planing {and Evaiuating Social intervention. Academia. New York Indivsa, Bok, Bstud, Invest 2004, WS, pp. 183-191 ISSN: 1579-3141 rlyMetodologta de investigacién evaluativa | RODRIGUEZ ESPINAR, 8. (1997). Orlentaci6n universttarla y evaluacién de la cal | dad. En P. Apocada y C. Lobato (Ed.), Calidad en fa Universidad: Orlentacion y | evaluacién (pp. 112-136). Laeries. Barcelona, ROSSI, Pi FREEMAN, HE. (1988). Evaluation. A systematic approach. Sage Publications, Beverly Hils, C.A. ql | ROSSI, PH. WILUAMS, W. (1972). Evaluating Social Programs. Seminal, New York, | SANZ ORO, R. (1996). Evaltiacién cle programas en orientacién educative, + Psicologia Pirémide, Maciid, SCRIVEN, M, (1973), Goat-free evaluation. En E.R. House (Ect): School evaluation: The politics and process.(pp. 319-328). McCutchan, Berkeley, CA : SCRIVEN, M. (1980). the logic of evaluation. Edgepress. invemess, Ca. SCHIDELE, R.A, (1985). Research Methodology in Special Education: A Framework Approach to Special Problems and Solutions, En S. Hegarly y ® Evans (Eds): Research and Evaluation Methods in Special Education, (pp. 8 - 24, Windsor, | NFER - NELSON, : SCHUMAN, E. (1967), Evaitiative Research. Russell Sage. New York STAKE, R. E. (1976), Program evaluation: particulatly responsive evaluation | Occosional Pape, 5. Univensly of Westem Michigan. / __ STOUFFER, S.A Y OTROS (1949), The American Soldier: Combat and its Aftermath. | Manhattan, KS.: Miliary Affais/Aerspace Historian, __ SIUFFLEBEAM, D, Lz SHINKFIELD, A. J. (1987), Evaluaci6n sittemdtica, Guia tedrica y prdctica, Poides/MEC. Barcelona. | STUFFLEBEAM, D.L.Y OTROS (1971, Eelucational Evaluation and Decision Making, Peacock. Hasca, ions. | TAUMAGE, J.L. (1982). Evaluation of Programs. En Mitzel, H.E, (ed. Xpp. 692 - 611): _ Encyclopedia of Educational Research, vol. 2, MacMillan, New York | OCAR MARTINEZ, X, (2000). Lo evaluacién dle actividades y proyectos de anima- | cidn featral, RELIEVE, 6, 1-3, \WE'S, C.H. (1972). Evaluating educational and social action programs: A tree - full of ows. En CW. Weiss: Evaluating Social Action Programs: Reading in Social | Action and Evaluation. Allyn & Bacon, Boston, i WOLF, RL. (1979). The use of judicial evatuation methods in the formulation of ., educational policy. Educational Evaluation and Policy Analysis, 1, 19 - 20. i Indivisa, Bol. Bstud. Invest, 2004, n°S, pp. 189-191 ISSN: 15793141