Centro De Estudios Superiores La Salle, A. C.

Maestra en Planeacin y Desarrollo Institucional

LA EVALUACI ! U P"#CES# DE DI$L#%#, C#MP"E SI & ME'#"A

Mi(uel $n(el Santos %uerra

Documento de apoyo para la materia de Planeacin y Evaluacin Editado por: Javier Baln - FSC

LA EVALUACI ! U ME'#"A

P"#CES# DE DI$L#%#, C#MP"E SI

&

(Miguel Angel Santos. Profesor de la Universidad de Mlaga) Ponencia presentada en XIII Jornadas de Ensean as con !itanos. Madrid" #" )" $ % & de septie'(re de )**+)). Miguel ,ngel Santos centra su ponencia en el concepto % naturale a de la evaluaci-n" a las .ue e/ige las caracter0sticas de ser independiente % co'pro'etida" cualitativa %" no s-lo cuantifica(le" prctica" de'ocrtica" procesal" participativa" colegiada % no individualista % e/tre'a aun.ue de iniciativa interna. 1efine la evaluaci-n co'o un proceso de dilogo" co'prensi-n % 'e2ora. 1e dilogo co'o 3discusi-n % refle/i-n co'partida de todos los .ue estn i'plicados en la actividad evaluada. El dilogo 4a de reali arse en condiciones .ue garanticen la li(ertad de opini-n. 1esde la apertura" la fle/i(ilidad" la li(ertad % la actitud participativa .ue sustenta un dilogo de calidad" se constru%e el conoci'iento so(re la realidad educativa evaluada.

). 5a naturale a de la evaluaci-n. 6. Un proceso de dilogo" co'prensi-n % 'e2ora. 6.). 5a evaluaci-n co'o dilogo. 6.6. 5a evaluaci-n co'o co'prensi-n. 6.+. 5a evaluaci-n co'o 'e2ora. +. 5a via(ilidad de la educaci-n

*. LA

A+U"ALE,A DE LA EVALUACI

5a evaluaci-n educativa es un fen-'eno 4a(itual'ente circunscrito al aula" referido a los alu'nos % li'itado al control de los conoci'ientos ad.uiridos a trav7s de prue(as de diverso tipo. En otro lugar (Santos !uerra" )*&&) plante7 algunas cuestiones so(re la patolog0a de la evaluaci-n educativa" 4aciendo patentes los pro(le'as de las li'itaciones" las desviaciones % las 'anipulaciones de las .ue puede ser o(2eto. Planteada de for'a negativa" reali ada en 'alas condiciones % utili ada de for'a 2err.uica" la evaluaci-n per'ite sa(er pocas cosas de c-'o se produce el aprendi a2e %" pocas veces" sirven para 'e2orar la prctica de los profesores %" desde luego" el conte/to % el funciona'iento de las escuelas.
1

http://www.pangea.org/aecgit/boletines/boletin7_2a.htm

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina 2

A.u0 'e vo% a referir a la evaluaci-n de progra'as educativos" no necesaria'ente circunscritos al 'arco de la escuela. 5a educaci-n tiene innu'era(les conte/tos % se desarrolla intencional'ente en 'uc4os '(itos. la evaluaci-n de la .ue 4a(lo se interroga por el valor educativo de los progra'as % se plantea co'o un 'edio de entenderlos % de 'e2orarlos. 5a evaluaci-n es una parte integrante de los pro%ectos" no algo aadido al final de los 'is'os" co'o un co'ple'ento o un adorno .ue se pondr en funciona'iento si .ueda tie'po % si se tiene a (ien. Se pregunta por el valor de los progra'as % de las acciones. Es" pues" sustancial al 4ec4o 'is'o de poner en 'arc4a una e/periencia. Por.ue si se disea" planifica % pone en funciona'iento ser i'prescindi(le conocer .u7 es lo .ue consigue por el 4ec4o 'is'o de poner la iniciativa en acci-n" por .u7 esa % no otra" por .u7 de ese 'odo % para esos fines. 5a evaluaci-n producir dilogo" co'prensi-n % 'e2ora de los progra'as .ue se pongan al servicio de los usuarios. 8o por el 4ec4o 'is'o de .ue est7n funcionando son (uenos" no por.ue 4a%an sido i'plantados con la 'e2or intenci-n producen los 'e2ores efectos. 9a(lar7 a.u0 de la evaluaci-n de e/periencias o de progra'as. Pero s-lo de un tipo de evaluaci-n" no de la evaluaci-n en general ni de otros 'odelos o concepciones. 1igo esto por.ue la confusi-n se'ntica .ue se esconde (a2o el concepto aparente'ente un0voco de evaluaci-n es 'u% grande. Se 4a(la de evaluaci-n refiri7ndose a procesos de carcter co'parativo aplicados a 'ediciones de resultados" se lla'a evaluaci-n a fen-'enos de rendi'iento de cuentas i'puestos por la autoridad" se deno'ina evaluaci-n al anlisis diagn-stico reali ado 'ediante instru'entos .ue per'iten cuantificar los datos" se 4a(la de evaluaci-n cuando se reali a la co'pro(aci-n del aprendi a2e de los alun'os... Plantear7 a.u0 algunas cuestiones so(re un deter'inado tipo de evaluaci-n. 8o es .ue sean inacepta(les otros enfo.ues o '7todos" sino .ue 4e preferido cerrar el arco conceptual para sa(er a .u7 'e esto% refiriendo. 9a(lar7 de una evaluaci-n .ue tiene las siguientes caracter0sticas: ; Independiente % por ello co'pro'etida. <uando digo independiente 'e refiero a una evaluaci-n .ue no est7 so'etida" so2u gada" vendida o si'ple'ente al.uilada por el poder" el dinero o la tecnolog0a. = 4a(lo de una evaluaci-n no as7ptica" no neutral" Sino co'pro'etida con unos principios" con unos valores. El evaluador de(e ser i'parcial" pero eso no significa .ue sea as7ptico. Una postura desinteresada" no co'pro'etida" distanciada del 'undo cotidiano % de sus valores es 3'oral'ente deficiente> (9ouse" )**?). <ualitativa % no 'era'ente cuantifica(le. Por.ue los procesos .ue pretende valorar" cuando se trata de progra'as educativos" son enor'e'ente co'ple2os % la reducci-n a n@'eros suele si'plificar % desvirtuar la parte 's sustantiva de los 'is'os.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina 3

Prctica % no 'era'ente especulativa. Auiero decir .ue la evaluaci-n de la .ue vo% a 4a(lar no tiene por finalidad producir conoci'iento acad7'ico" reali ar infor'es para pu(licaciones especiali adas % ni si.uiera ela(orar un conoci'iento te-rico so(re las e/periencias. Biene por finalidad la 'e2ora de los progra'as a trav7s de su co'prensi-n" a trav7s del conoci'iento de su naturale a" funciona'iento % resultados. 1e'ocrtica % no autocrtica. 5a evaluaci-n de la .ue 4a(lo se pone al servicio de los usuarios" no del poder. Por.ue la evaluaci-n" cuando es utili ada torcida'ente produce efectos 'u% negativos. 5os evaluadores se ponen al servicio del poder o del dinero. =" a trav7s de la evaluaci-n" se consigue cortar un progra'a por.ue no es renta(le pol0tica'ente o por.ue no favorece de for'a clara a los 's pudientes o por.ue produce lateral'ente 'olestias o cr0ticas para el poder. En ese caso" ser0a desea(le no poner en 'arc4a las evaluaciones. <onseguir pu(licidad o control" alcan ar una 'e2ora de progra'as e/clusiva'ente destinados a los 's favorecidos" poner la evaluaci-n al servicio de la in2usticia" 4acer de la evaluaci-n un instru'ento % un proceso de perversi-n. Procesual" no 'era'ente final. 5a evaluaci-n .ue propongo se reali a durante el proceso % no una ve deter'inado el progra'a. Por.ue es durante el 'is'o cuando se puede conocer lo .ue en 7l sucede. = por.ue durante su desarrollo se puede 'odificar % 'e2orar. Ceali ada al final del 'is'o" co'o una apostilla" co'o un ap7ndice pierde la capacidad de generar co'prensi-n de lo .ue real'ente va sucediendo. = aun.ue al final se analice todo el proceso" la perspectiva est adulterada por el gradiente de la 'eta. Participativa" no 'ecanicista. 5a evaluaci-n de la .ue 4a(lo da vo a los participantes" no se reali a a trav7s de prue(as e/ternas % de anlisis a2enos a la opini-n de los protagonistas. Son ellos los .ue e'iten su valoraci-n so(re el progra'a" aun.ue no sea 7sta la @nica vo % la @nica perspectiva .ue se tiene en cuenta. <olegiada" no individualista. Es un tipo de evaluaci-n .ue asu'e un e.uipo % no s-lo un individuo. 8o por.ue la .ue se reali a (a2o la responsa(ilidad @nica de una persona sea deficiente" sino por.ue la reali ada por un e.uipo go a del aval del contraste" de la pluralidad de los enfo.ues" de una 'a%or garant0a de rigor" de una diversificaci-n estrat7gica de acceso % actuaci-n. E/terna" aun.ue de iniciativa interna. Es decir" son los propios participantes % usuarios los .ue la de'andan. = para reali arla re.uieren la cola(oraci-n e/terior" por considerar .ue desde fuera puede to'arse una perspectiva co'ple'entaria % puede tra(a2arse en unas condiciones favora(les para conseguir una infor'aci-n vera .

<uando no se dispone de evaluadores e/ternos puede reali arse una autoevaluaci-n .ue est7 asentada so(re los pilares ideol-gicos % 'etodol-gicos .ue a.u0 se plantean.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina 4

9a(lar7 de la evaluaci-n no co'o de una tasaci-n o de una co'paraci-n o de un proceso de rendi'iento de cuentas" sino de la evaluaci-n co'o un proceso de indagaci-n so(re el valor educativo de un progra'a" de su i'portancia" e/igencias % significados. Para evaluar 4a% .ue co'prender" dice ta/ativa'ente Sten4ouse ()*&D). 8o 4a% .ue olvidar .ue lo 's i'portante no es el 4ec4o de reali ar la evaluaci-n" ni si.uiera el 'odo de 4acerla" sino al servicio de .ui7n se pone. 5a evaluaci-n puede ser utili ada de for'a negativa o inutili ada a trav7s de interpretaciones capric4osas e interesadas. Se puede atri(uir la (uena valoraci-n de los protagonistas a su falta de (uen criterio o de poca e/igencia" se puede ac4acar la 'ala valoraci-n a deseos 'al7volos de per2udicar a los responsa(les... Esa interpretaci-n .ue preside el uso de la evaluaci-n no sie'pre puede estar controlada por el evaluador" sino .ue" en parte" es responsa(ilidad del patrocinador o destinatario de los infor'es. E/isten diversos 'odos de 4acer in@til o per2udicial una evaluaci-n. Incluso una evaluaci-n .ue 4a sido solicitada por los protagonistas de un progra'a: a) Esperar .ue los resultados de la evaluaci-n sean elogiosos para los responsa(les de un progra'a .ue de'anda voluntaria'ente una evaluaci-n. 8o es fcil .ue" so(re todo en los 'o'entos iniciales" el infor'e resulte asi'ila(le en sus vertientes cr0ticas. Atri(uir las infor'aciones % las e/plicaciones poco gratas a la su(2etividad del evaluador o a la naturale a cualitativa de la evaluaci-n. () Esta(lecer procesos atri(utivos .ue 2ustifi.uen cual.uier tipo de co'porta'iento % de 2uicio so(re el 'is'o (si los participantes critican negativa'ente una acci-n se atri(uir a .ue su elevado nivel la 4ace rec4a a(le por los torpes" si consideran in@til una acci-n se dir .ue no loa sa(en valorar...). c) 1e'andar de la evaluaci-n los 2uicios de valor .ue per'itan sa(er a los destinatarios % responsa(les el progra'a .u7 es lo .ue est (ien o lo .ue est 'al 4ec4o. d) E/igir a lso evaluadores las orientaciones precisas para la 'e2ora del progra'a" las instrucciones concretas .ue provo.uen un ca'(io o las soluciones a los pro(le'as o conflictos e/istentes. e) Poner los resultados de la evaluaci-n al servicio de intereses (pol0ticos" econ-'icos" personales...)" encontrando en los evaluadores una e/celente e/cusa para to'ar decisiones sin el co'pro'iso de su 2ustificaci-n aut7ntica. f) Utili ar la evaluaci-n co'o un ar'a arro2adi a contra .uienes piensan o act@an de for'a distinta o contraria" principal'ente en el caso de .ue e/istan grupos enfrentados en el seno del grupo .ue desarrolla el progra'a. El evaluador puede poner algunos 'edios para a'inorar los peligros del a(uso de la valuaci-n. En parte en (eneficio de los usuarios de los progra'as" en parte por el inter7s de la 'is'a evaluaci-n co'o un proceso potencial'ente rico .ue puede ser desvirtuado por su 'al uso. Uno de los 'odos de esta(lecer esa garant0a es

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina 5

4acer entrega resu'ida del infor'e a los usuarios" de tal 'odo .ue el patrocinador de la evaluaci-n no pueda utili arla i'pune'ente en su provec4o. 9acer p@(licos los infor'es es un 'odo de garanti ar la de'ocrati aci-n de la evaluaci-n. El evaluador evitar de esta 'anera el ser utili ado al servicio de intereses (astardos. 1e no to'ar estas precauciones" el patrocinador podr usar los servicios profesionales del evaluador para 2ustificar decisiones .ue de otro 'odo no se atrever0a a to'ar o para 4acerse pu(licidad 'anipulando los contenidos de la evaluaci-n. 5a servidu'(re de los evaluadores 4acia el poder .ue encarga o paga la evaluaci-n es uno de los riesgos 's graves de este tipo de evaluaci-n. Si va a ser utili ada en (eneficio del dinero" del poder o de la in2usticia" ser0a 'e2or .ue no se 4iciese. -. U P"#CES# DE DI$L#%#, C#MP"E SI & ME'#"A

Algunas de estas ideas 4an sido e/puestas anterior'ente en un tra(a2o con2unto (Angulo % otros" )**)) .ue es o(ligado citar a.u0. 5a 'etfora del tringulo" parcial % discuti(le co'o toda 'etfora" nos sirve para resear las cone/iones .ue el proceso de evaluaci-n" a 'i 2uicio" de(e 'antener. 5a evaluaci-n supone una platafor'a de dilogo entre los evaluadores % los evaluados" entre diversos esta'entos de los evaluados" entre los evaluadores % las diversas audiencias" entre 7stas % los evaluados" etc. Pero el dilogo tiene una do(le finalidad: por una parte" trata de generar co'prensi-n del progra'a %" por otra" de 'e2orar la calidad del 'is'o. 5a cone/i-n entre las tres di'ensiones" .ue se reali a en diferentes direcciones % sentidos" potencia cada una de las vertientes .ue a.u0 aisla'os para facilitar el anlisis. 8o son" pues" tres co'parti'entos estancos % diacr-nica'ente secuenciados" sino partes de un 'is'o proceso .ue s-lo para el anlisis diferencia'os % aisla'os. Mientras se reali a el dilogo" % por.u7 se reali a" se produce la co'prensi-n. <uando se produce la co'prensi-n es 's fcil % enri.uecedor el dilogo. El dilogo fecundo es una parte de la 'e2ora del progra'a. 2.1. La evaluacin como dilogo El 2uicio de valor .ue la evaluaci-n reali a se (asa % se nutre del dilogo" la discusi-n % la refle/i-n co'partida de todos los .ue estn i'plicados directa o indirecta'ente en la actividad evaluada. El dilogo 4a de reali arse en condiciones .ue garanticen la li(ertad de opini-n" .ue se ci'enta en la garant0a del anoni'ato de los infor'es % en la seguridad de .ue la infor'aci-n va a ser tenida en cuenta % utili ada conveniente'ente. El dilogo se convierte as0 en el ca'ino por el .ue los distintos participantes en el proceso de evaluaci-n se 'ueven en (usca de la verdad % del valor del progra'a. 1esde la apertura" la fle/i(ilidad" la li(ertad % la actitud participativa .ue sustenta

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina 6

un dilogo de calidad se constru%e el conoci'iento so(re la realidad educativa evaluada. 5a evaluaci-n as0 entendida se (asa en la concepci-n de'ocrtica de la acci-n social. 5os destinatarios del progra'a dan opini-n % e'iten 2uicios so(re el valor del 'is'o: 3Al dar la pala(ra % adaptar su 'etodolog0a a la vida diaria de los progra'as" el evaluador reconoce .ue su realidad est activa'ente construida por los su2etos .ue en ella participan" % .ue" por lo tanto" ellos 'is'os pueden ca'(iar cr0tica'ente sus condiciones de vida actuales. > (Angulo" )*&&) 8i la verdad ni la valoraci-n correcta estn en posesi-n de personas o grupos privilegiados. 8i de los evaluadores" ni de los i'plicados en el progra'a" ni de los usuarios del 'is'o ni" por supuesto" de los patrocinadores de la evaluaci-n. Es precisa'ente la con2unci-n de todas estas perspectivas % opiniones lo .ue per'ite profundi ar % e/tender el conoci'iento so(re el valor del progra'a. 5os evaluadoresEas no 2u gan el progra'a ni" 'uc4o 'enos" a los responsa(les del 'is'o. Facilitan" a trav7s de los datos recogidos" de su interpretaci-n % valoraci-n .ue sean los propios participantes los .ue e'itan un 2uicio de valor 's funda'entado % significativo. 5a evaluaci-n" a trav7s del dilogo .ue genera entre todos los participantes" se 4ace preguntas so(re" al 'enos" los siguientes aspectos: a) El sentido % el valor de las realidades .ue son o(2eto de la evaluaci-n. G(via'ente" no e/iste una e/clusiva visi-n so(re lo .ue es valioso desde el punto de vista educativo. 1e a40 la conveniencia de ali'entar el dilogo so(re la cuesti-n. () El 'odo de recoger las evidencias .ue per'iten desarrollar la co'prensi-n. <o'o los datos e/tra0dos de la realidad son la fuente de la valoraci-n es preciso anali ar si los 'anantiales .ue dan agua a esa fuente estn conta'inados en su origen. 1e datos recogidos de for'a parcial" defectuosa" ar(itraria" superficial o tendenciosa" no pueden surgir anlisis rigurosos. c) El rigor de las interpretaciones % e/plicaciones te-ricas .ue se for'ulan so(re los datos. 5a realidad puede ser reconstruida cr0tica'ente de for'a rigurosa o (ien le0da de 'anera ar(itraria al servicio de intereses o de teor0as previas. d) El valor de la evaluaci-n co'o un proceso de 'e2ora de la prctica. Es decir" so(re las cone/iones .ue e/isten entre la evaluaci-n % el perfecciona'iento de los profesionales por una parte (9olt" )*&)H Si'ons" )*&&) %" por otra" entre ese perfecciona'iento % la transfor'aci-n de la prctica.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina 7

5a finalidad del tra(a2o de los evaluadores es orientar la selecci-n de infor'aciones % puntos de vista .ue per'iten a los interesados a'pliar % 'ati ar la co'prensi-n % la refle/i-n" dialogar con ellos" a trav7s de la negociaci-n inicial" de las negociaciones posteriores" de las entrevistas e/ploratorias % de la discusi-n de infor'es % propiciar la interrogaci-n so(re lo .ue 4a de 'e2orarse a la lu de lo .ue se 4a descu(ierto. As0" pues" el dilogo se ali'enta desde niveles estrat7gicos del proceso: a) En la negociaci-n inicial .ue se pregunta por el sentido de la evaluaci-n" por la naturale a de sus fines" por los focos del anlisis" por los '7todos de e/ploraci-n" por los procesos de discusi-n" por las condiciones 7ticas" etc7tera. () En la e/ploraci-n .ue tiene lugar a trav7s de conversaciones infor'ales % de entrevistas for'ali adas .ue facilitan % potencian el interca'(io % la opini-n. 9acer preguntas es un 'odo de avivar el dilogo. c) En la negociaci-n de infor'es .ue da lugar a la valoraci-n de los puntos de vista so(re el progra'a % so(re los '7todos .ue 4an facilitado la reali aci-n de esos 2uicios. El dilogo se potencia discutiendo los criterios del valor de las acciones educativas" de los resultados .ue se alcan an" tanto de los pretendidos co'o de los secundarios" de la proporci-n o desproporci-n de los esfuer os reali ados" del tipo % a'plitud del grupo al .ue va destinado el progra'a" del anlisis de las condiciones en .ue ese progra'a se desarrolla" etc7tera. El dilogo se aviva e/plicitando los criterios 7ticos de la evaluaci-n. <on la aplicaci-n de esos criterios se pretende asegurar una aplicaci-n de'ocrtica de la evaluaci-n % de sus resultados" 'antener el e.uili(rio entre el derec4o a la privacidad de las acciones % de las infor'aciones % la necesidad de conoci'iento % responsa(ilidad social" 'antener el nivel de 2usticia de'ocrtica en la actividad evaluada. 5os evaluadores 4an de 4acer via(le el dilogo desde actitudes a(iertas" sencillas" tolerantes % co'prensivas. Asi'is'o" 4an de (uscar las condiciones (tie'po" espacio" e/plicaciones" garant0as...) en .ue ese dilogo pueda desarrollarse adecuada'ente % 4an de cu'plir unos re.uisitos 7ticos .ue garanticen el respeto a las personas" los intereses sociales % el cu'pli'iento de las o(ligaciones asu'idas en el 'arco de la negociaci-n. <o'o ani'adores del dilogo entre destinatarios del progra'a % entre 7stos % los propios evaluadores" 7stos 4an de 'ostrarse 4(iles en la for'ulaci-n de preguntas" atentos en la captaci-n de las respuestas e inteligentes en la interpretaci-n de la infor'aci-n reci(ida. Infor'aci-n .ue no llega sola'ente a trav7s de los contenidos ver(ales" sino de otras 'uc4as fuentes: la for'a de llegar a la entrevista" el papel .ue 2uega una persona en el desarrollo del progra'a" el trato .ue 'antiene con el evaluador" el 'odo de e/presarse" etc7tera.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina

A lo largo del proceso pueden aparecer conflictos entre los evaluadores % los evaluados o entre diversos grupos de 7stos. El conflicto puede convertirse en una situaci-n propicia para el anlisis si se consigue o(tener de 7l no c4ispas" sino lu . 5os conflictos son in4erentes a la vida de las instituciones % de las e/periencias. Silenciarlos" destruirlos o negarlos i'pide aprovec4arlos co'o fuente de conoci'iento. Algunas situaciones de dilogo estn for'ali adas % se registran de for'a in'ediata a trav7s de gra(aciones 'agnetof-nicas o de registros 'anuales" pero otras tienen un carcter infor'al % per'iten reca(ar una infor'aci-n 's espontnea aun.ue 's desestructurada. 8o se de(e prescindir de este tipo de co'unicaci-n .ue (rinda valoraciones pro(a(le'ente 'enos teidas por el recelo % 'enos encorsetadas por la disciplina de lo for'al. Son '@ltiples las platafor'as en las .ue se esta(lece el dilogo % nu'erosos los niveles en los .ue tiene lugar % se desarrolla: a) Entre evaluadores % evaluados" .ue per'anecen en un continuo dilogo a trav7s de las entrevistas" de la discusi-n de los infor'es" de la interpelaci-n .ue a'(os 4acen a la realidad" etc7tera. () Entre los diferentes evaluados" .ue pueden contrastar sus opiniones a trav7s del evaluador o directa'ente entre s0. Es fcil .ue la evaluaci-n d7 lugar a conversaciones so(re el progra'a % so(re la for'a en .ue est siendo evaluado. c) Entre la sociedad % las instancias educativas cuando se difunden los infor'es de la evaluaci-n. El infor'e" una ve pu(licado" se convierte en una palestra so(re la .ue se discute acerca del valor de los progra'as educativos. En efecto" la discusi-n de infor'es constitu%e una platafor'a para el dilogo. 1e a40 .ue sea preciso rec4a ar cual.uier tipo de i'posici-n para 'antenerlos secretos o para 4urtar una parte de la infor'aci-n. 5a pu(licidad de los infor'es conduce a un conoci'iento 's infor'ado % 'enos de'ag-gico. 1a pie a .ue se 4a(le del valor educativo de los progra'as no desde la ar(itrariedad % el inter7s" sino desde el rigor de los datos. 5a sociedad tiene derec4o a conocer el valor educativo de las instituciones % de los progra'as" so(re todo cuando se reali an a cargo de fondos p@(licos. Aceptar % alentar infor'es privados" secretos o sesgados favorece el engao" el (eneficio privado % la ar(itrariedad autoritaria. Es preciso convertir la evaluaci-n % los infor'es en estructuras sociales de participaci-n % de relaci-n. Un infor'e no es una conclusi-n inapela(le % ta/ativa" sino un cauce para generar procesos % din'icas sociales de refle/i-n. 5os evaluadores" a trav7s de los infor'es" introducen procesos % de'andas de'ocrticas de conoci'iento % refle/i-n. 2.2. La evaluacin como comprensin

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina !

5a evaluaci-n pretende alcan ar un nivel de co'prensi-n so(re el funciona'iento el progra'a en su conte/to" so(re su racionalidad % su sentido educativo" so(re las intenciones educativas .ue lo 4an puesto en 'arc4a % so(re los efectos .ue est generando. 35os participantes en el progra'a act@an de for'a ra ona(le seg@n sus circunstancias % oportunidades. 5a tarea de una evaluaci-n es ilu'inar el raciocinio .ue dirige el desarrollo de un progra'a % su evoluci-n" identificar factores 4ist-ricos % conte/tuales .ue lo influencian % facilitar el e/a'en cr0tico de estos aspectos dentro % fuera de la co'unidad so(re la cual act@a el progra'a. > (Ie''is" )*&J) 5a evaluaci-n est guiada por el i'pulso de la co'prensi-n. Se plantea co'o finalidad entender por .u7 las cosas 4an llegado a ser co'o son. 5o cual 4ace necesario sa(er c-'o son real'ente. 35as verdades .ue 4a% .ue decir acerca de los progra'as educativos son verdades sociales... 5as pretensiones so(re el progra'a son defendidas % discutidas en un proceso de de(ate cr0tico. 5o .ue se consideran KverdadesK acerca del progra'a depender de la calidad del de(ate. El de(ate racional consiste en dar ra ones % defender ra ona'ientos con infor'aci-n % argu'entos. Una evaluaci-n puede aportar una contri(uci-n su(stancial a este proceso de cr0tica. Puede reunir infor'aci-n relevante para el progra'a" sus o(2etivos % aspiraciones" % puede so'eterla a un e/a'en profundo. Puede o(tener" articular % co'partir la co'prensi-n de por .u7 el proceso es co'o es por referencia a los o(2etivos de .uienes en 7l participan" los condiciona'ientos circunstanciales % las oportunidades disponi(les" % refle/ionar so(re esta co'prensi-n a la lu del conte/to 's a'plio % de la e/periencia deEprogra'a co'o un todo. > (Ie''is" )*&J). 5a co'prensi-n puede estar referida a diferentes aspectos del progra'a. ). Pretensiones educativas. Aui7n las pone en 'arc4a % por .u7. Au7 finalidades ocultas o 'anifiestas de otro tipo estn vinculadas a las directa'ente educativas. 6. Necesidad del programa. 8o s-lo considera en s0 'is'a" sino en contraste con otras posi(les necesidades de la sociedad. +. Relacin entre oferta y demanda . Es interesante sa(er .u7 tipo de ofertas se reali an % por parte de .ui7n en la organi aci-n de progra'as % .ui7nes % por .u7 de'andan ese tipo de acciones educativas.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina "#

D. Destinatarios. A .ui7nes va dirigido % .u7 'odos e/isten de acceder a 7l. Banto en lo .ue respecta a la infor'aci-n co'o a los canales por los .ue se llega a 7l. #. Contexto sincrnico y diacrnico . El progra'a se reali a en un lugar % en un 'o'ento deter'inado" con unos 'edios concretos. = tiene una 4istoria .ue per'ite co'prender c-'o son las cosas en 7l actual'ente. J. Procesos ue pone en marc!a. Au7 tipo de actividades desarrolla % .u7 actitudes" conoci'ientos o destre as pro'ueve en los destinatarios. $. Resultados durante el mismo programa . Au7 es lo .ue el desarrollo del progra'a est consiguiendo en los destinatarios" en los responsa(les o" de for'a indirecta" en otras personas. &. Resultados a largo pla"o. Aun.ue durante el desarrollo del progra'a estos efectos no puedan verse 4a(r .ue pensar en lo .ue previsi(le'ente suceder a largo pla o con ese plantea'iento. *. #fectos secundarios. Au7 repercusiones de carcter no (uscado est produciendo el progra'a" tanto en los participantes co'o en otras personas" .ui potenciales usuarias del 'is'o. )?. Renta$ilidad de los costes. 9a% .ue preguntarse por la proporci-n entre el esfuer o % el costo del progra'a % su renta(ilidad" %a .ue los recursos son li'itados. )). Renta$ilidad social. El (eneficio del progra'a" desde un punto de vista de'ocrtico" no 4a de verse sola'ente en los actuales destinatarios" sino en las posi(ilidades de (eneficio en cascada. )6. Continuidad en el futuro . Au7 tipo de desarrollo posterior tiene el progra'a" .u7 posi(ilidades de continuidad % de profundi aci-n encierra en el futuro. 5a respuesta a estas cuestiones depender del punto de vista % del cuadro de valores desde el .ue se parta. Me refiero a4ora al evaluador. 5a respuesta de los participantes depender ta'(i7n de su particular visi-n %" en ocasiones" de los intereses .ue estn en 2uego dentro del progra'a. En el desarrollo de la evaluaci-n es posi(le encontrar participantes: a) Sin opini-n definida respecto a lagunas cuestiones o a todo el progra'a" sea por.ue no disponen de datos suficientes" sea por.ue se contraponen los ele'entos de 2uicio. () 1etractores del progra'a .ue (uscan datos % desarrollan interpretaciones enca'inadas a la for'ulaci-n de 2uicios negativos. c) 1efensores del valor del progra'a" unas veces de for'a incondicional % poco refle/iva % otras con el apo%o de argu'entaciones s-lidas % consistentes. 35os evaluadores de(en tener en perspectivas acerca de un progra'a" los produ can" su conte/to % su 4istoria. posici-n de conglo'erar % refinar las cuenta las distintas 2uicios de valor .ue se Entonces estarn en opiniones p@(licas %

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina ""

privadas por las cuales se 4ace inteligi(le el progra'a % se deter'ina definitiva'ente su valor. 5a calidad de la evaluaci-n puede ser 2u gada seg@n la calidad de su contri(uci-n al de(ate cr0tico" infor'ndolo % 'e2orndolo. > (Ie''is" )*&J) 8o se puede conseguir la co'prensi-n profunda del valor educativo de un progra'a convirtiendo las co'ple2idades naturales del 'is'o en si'plificaciones .ue no s-lo la e'po(recen" sino .ue la distorsionan con la e/cusa de .ue si'plificando es 's fcil esta(lecer conclusiones o e'itir 2uicios. 5a si'plificaci-n 4ace .ue la valoraci-n sea 's fcil" pero ta'(i7n 's in2usta % 's err-nea. 8o puede alcan arse la co'prensi-n a trav7s de la si'plificaci-n de los n@'eros o de las estad0sticas. 5a asignaci-n de n@'eros a realidades tan co'ple2as encierra el peligro de la apariencia de cientificidad. Puesto .ue 4a% f-r'ulas 4a% rigor. Puesto .ue 4a% 'ediciones" 4a% o(2etividad. Puesto .ue 4a% cuantificaci-n 4a% claridad. Se pueden utili ar 'ediciones % procedi'ientos estad0sticos en la evaluaci-n" se pueden aplicar cuestionarios .ue reco2an infor'aci-n cuantifica(le" pero todos sus resultados 4an de pasar por el ta'i del anlisis" por el contraste con otros 'odos de e/ploraci-n" por la cri(a de las interpretaciones. Para conseguir esa co'prensi-n en profundidad es preciso utili ar instru'entos variados % sensi(les a la ri.ue a % co'ple2idad estructural % diversidad de interrelaciones .ue se producen en la realidad educativa. Es necesario tra(a2ar con instru'entos capaces de captar las valoraciones" aspiraciones" 'otivaciones" intereses" interpretaciones" etc." de los protagonistas. 8o se consigue una infor'aci-n id7ntica a trav7s de diferentes '7todos. Unas veces por.ue los interesados defor'an las perspectivas 'ovidos por el inter7s" por el papel .ue 2uegan en el progra'a o por cual.uier otra causa" otras veces por.ue la naturale a 'is'a del '7todo de e/ploraci-n a trav7s de la entrevista a un responsa(le del progra'a .ue o(servar directa'ente el desarrollo de la acci-n. En su e/celente tra(a2o" anterior'ente citado" Ie''is ()*&J) plantea la necesidad de solicitar la opini-n de todos los .ue tienen diferentes tipos de valores en un progra'a: 3Seg@n el principio de la pluralidad de siste'a de valores" los evaluadores de(ern reconocer % tener en cuenta todos los siste'as de valores en 2uego" %a .ue todos son relevantes a la 4ora de e'itir 2uicios so(re el progra'a. > Esto e/ige la reali aci-n de e/'enes cru ados de los diferentes '7todos. Al contrastar la infor'aci-n reci(ida a trav7s de dos o 's '7todos" se depura la co'prensi-n. E/ige ta'(i7n el contraste de las opiniones de diferentes usuarios" %a .ue las valoraciones .ue 4acen unos no necesaria'ente coinciden con las .ue 4acen otros.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina "2

5a (@s.ueda de la co'prensi-n tiene co'o finalidad preguntarse por los procesos % los resultados de los progra'as" tanto de los .ue tienen un carcter e/pl0cito co'o de los .ue tienen una condici-n su(repticia" tanto de los directa'ente pretendidos co'o de los .ue aparecen de for'a derivada o secundaria" tanto de los relativos a cada uno de los destinatarios co'o de los de carcter general" tanto de los relativos al conoci'iento co'o a otras esferas del desarrollo personal % social. 5a co'prensi-n se reali a a trav7s de un lengua2e accesi(le" no s-lo para los directa'ente i'plicados" sino para cual.uier otro ciudadano interesado en la realidad .ue se eval@a. 8o facilitan la co'prensi-n ni el lengua2e tecnicista" ni la a(undancia de f-r'ulas co'ple2as ni las conceptuali aciones acade'icistas .ue" por otra parte" suponen un nivel de codificaci-n .ue ca'(ia el registro de las infor'aciones e'itidas por los participantes. 5la'a la atenci-n .ue las opiniones de los infor'antes sean inteligi(les cuando se e'iten pero" cuando pasan por el ta'i del evaluador" ad.uieran un carcter cr0ptico. As0 no se facilita la co'prensi-n. 2.%. La evaluacin como me&ora 5a evaluaci-n no se cierra so(re s0 'is'a" sino .ue pretende una 'e2ora no s-lo de los resultados" sino de la racionalidad % de la 2usticia de las prcticas educativas. 8o se eval@a para estar entretenidos evaluando" para decir .ue se est reali ando una evaluaci-n" para controlar los progra'as" para 4acer pu(licidad o para crear conoci'iento" etc. Funda'ental'ente se 4ace la evaluaci-n para conseguir la 'e2ora de los progra'as: del .ue est en curso % de otros .ue se pongan en 'arc4a. 3Si la evaluaci-n educativa es una refle/i-n siste'tica so(re la acci-n docenteEdiscente % organi ativoEfuncional tiene .ue ser la (ase de las innovaciones .ue se introdu can. > (<asanova" )**6) 5a 'e2ora puede consistir" pues" en diversos fen-'enos referidos al progra'a. a) Por una parte tiene .ue ver con la introducci-n de innovaciones .ue" desde la co'prensi-n .ue se 4a generado" se consideran positivas para la calidad. () 5a pregunta 'is'a por la calidad se convierte en una 'e2ora real. Es decir" .ue la preocupaci-n por conocer .u7 se entiende por 'e2ora es %a un (eneficio .ue enri.uece el progra'a. c) 5a participaci-n de los destinatarios en la valoraci-n del progra'a lleva consigo un factor educativo i'portante" con tal de .ue no se convierta en un si'ple entreteni'iento o" lo .ue es peor" en una (urla. Au'entar la

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina "3

participaci-n de los destinatarios del progra'a en su desarrollo % valoraci-n es" a 'i 2uicio" un 'odo de 'e2orarlo. 5a 'e2ora 4a(r0a de ser definida no tanto a trav7s de unos par'etros esta(lecidos a priori" sino en la propia din'ica de la acci-n conte/tuali ada en la .ue aparece un fuerte 2uego de e/pectativas" 'otivaciones" intereses" deseos" senti'ientos % valores. 1e cual.uier for'a" 4a(r0a .ue superar un plantea'iento si'plista .ue s-lo atiende la valoraci-n en la o(tenci-n de rendi'ientos ter'inales" so(re todo cuando se 'iden a trav7s de prue(as estandari adas. 8o es fcil prescindir del resultado final co'o uno de los ingredientes del 7/ito del progra'a. Pero 4a% .ue superar esa visi-n si'plificada. 1if0cil'ente podr considerar un 7/ito el progra'a a.uella persona .ue no supera las prue(as" si las 4u(iere. Pero no (astar0a" a 'i 2uicio" superarlas para decir .ue el progra'a 4a resultado positivo. <onsecuente'ente" la 'e2ora no consistir sola'ente en la consecuci-n de 'e2ores resultados finales. E/isten otras cuestiones so(re las .ue 4a(rn de interrogarse .uienes piensen en la 'e2ora de un progra'a: a) 5a 2usticia de sus plantea'ientos desde el punto de vista social % educativo. () 5a racionalidad de sus prcticas en cuanto a los fines perseguidos % a los '7todos elegidos para su logro. c) 5a (ondad de las relaciones entre los organi adores % los participantes % las de 7stos entre s0. 8o todo ca'(io es" por el 4ec4o de serlo" una 'e2ora. 5o .ue sucede con la evaluaci-n es .ue per'ite descu(rir" a trav7s de la co'prensi-n" en .u7 consiste la aut7ntica 'e2ora de los progra'as. 35a evaluaci-n educativa es un proceso .ue" en parte" nos a%uda a deter'inar silo .ue 4ace'os en las escuelas contri(u%e a conseguir fines valiosos o si es antit7tico con estos fines. Aue 4a% diversas versiones de valor es induda(le'ente verdad. Este es uno de los factores .ue 4ace a la educaci-n 's co'ple2a .ue la 'edicina... Esto 4ace de la evaluaci-n educativa una tarea dif0cil % co'ple2a" sin e'(argo a fin de cuentas algunos valores 4an de (uscarse" algunos 2uicios de(en ser for'ulados acerca de lo .ue se 4ace o lo .ue ocurre. 8o tene'os otro 'odo de conocer si esta'os educando o deseducando. > (Eisner" )*&#) 5a evaluaci-n facilita la 'e2ora al preguntar por el valor educativo del progra'a" al facilitar la co'prensi-n de lo .ue sucede en el 'is'o" al provocar la refle/i-n % el de(ate de los i'plicados" al urgir las respuestas so(re los posi(les ca'(ios. 5a 'e2ora de los progra'as puede tener un carcter in'ediato o (ien diferido. En el tie'po se encuentra a veces un o(stculo cuando se (uscan efectos rpidos .ue no pueden darse con in'ediate o cuando se difieren tanto los infor'es .ue

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina "4

%a no pueden aprovec4arse para la 'e2ora del progra'a" %a .ue los protagonistas son diferentes o no es posi(le intervenir adecuada'ente. 35a alternativa 'etodol-gica .ue supone el estudio de caso en el ca'po de la evaluaci-n viene dada por la ri.ue a de posi(ilidades .ue presenta su capacidad de anali ar la realidad educativa en t7r'inos de su utilidad. Utilidad in'ediata para la acci-n institucional % para la prctica docente" engar adas en la variedad de situaciones .ue generan % en la diversidad de conte/tos con los .ue interact@an. Utilidad diferida en cuanto la progresiva sucesi-n de los 'is'os % su paulatina acu'ulaci-n. > (Lre nes % <arretero" )**?) Gtra cosa son las estrategias .ue 4an de ponerse en 'arc4a para conseguir esa 'e2ora. 5os evaluadores no tienen" a 'i 2uicio" la responsa(ilidad de poner en 'arc4a esas estrategias" pero s0 4an de preocuparse por.ue la evaluaci-n no est7 a(ocada a la esterilidad. 5a evaluaci-n facilita el perfecciona'iento de los profesionales" al 4acer .ue" desde la independencia de las preguntas % de los 2uicios e/ternos" se interroguen" dialoguen % entiendan lo .ue sucede con el progra'a. 5a 'e2ora se 4ace posi(le no s-lo en el progra'a evaluado" sino en otros de carcter si'ilar .ue %a est7n reali ndose o .ue se preparen en el futuro. 5a transferi(ilidad per'ite aprender diverso tipo de cuestiones so(re la naturale a % ri.ue a educativa de deter'inadas estrategias de intervenci-n. 5a cone/i-n de la evaluaci-n con la 'e2ora puede potenciarse si e/isten unas condiciones deter'inadas" a sa(er: a) Si la iniciativa de reali ar la evaluaci-n es a'plia'ente de'ocrtica % no est sola'ente pro'ovida desde el e/terior o por s-lo una parte de los participantes en el progra'a. () Si el proceso de e/ploraci-n 4a sido intenso % 4a per'itido poner so(re el tapete cuestiones i'portantes so(re el desarrollo % la valoraci-n del 'is'o. c) Si estn s-lida'ente fundados los 2uicios .ue se e/presan en la evaluaci-n % rigurosa'ente argu'entadas las interpretaciones. d) Si los evaluadores aportan sugerencias so(re la 'e2ora % la via(ilidad de las 'is'as" en el (uen entendido de .ue son los responsa(les del progra'a % los participantes en el 'is'o .uienes 4an de 4acer efectivos los ca'(ios. 5a evaluaci-n .ue propongo se siente co'pro'etida no s-lo con la 'e2ora del progra'a" sino con la sociedad en general. 8o tiene una perspectiva neutral" sino .ue to'a partido por unos deter'inados valores. Se interesa por a.uellos .ue no son usuarios del progra'a % .ue ni si.uiera podr0an serlo por su condici-n social"

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina "5

por la carencia de 'edios o por ser v0cti'as de un capric4oso reparto de los (ienes p@(licos. .. LA VIA/ILIDAD DE LA EVALUACI E/isten dificultades para .ue estos procesos se pongan en 'arc4a en el 'arco de nuestras instituciones. 8o es el 'enor el 4ec4o de .ue falte sensi(ilidad % convenci'iento respecto a la conveniencia o (ondad de estos 'ecanis'os de co'prensi-n % de 'e2ora. G 's a@n" de .ue 4a%a 'otivos para reali ar ese esfuer o co'ple'entario para refle/ionar" entender % ca'(iar. Es decir" los profesionales tendr0an .ue sentir la necesidad % for'ular consiguiente'ente la de'anda de poner en 'arc4a estos procesos. En las instituciones p@(licas" en las .ue los profesionales go an de la condici-n de funcionarios se 4ace 's dif0cil el est0'ulo % el inter7s. Se aade a este 4ec4o el .ue algunas personas entienden la evaluaci-n co'o una a'ena a" no co'o una a%uda. 5os evaluadores e/ternos pueden ser considerados por algunas personas no s-lo co'o intrusos" sino co'o 2ueces .ue accionan el co'porta'iento calificndolo de positivo o negativo. Poner en acci-n procesos evaluadores de esta naturale a resulta econ-'ica'ente costoso %a .ue e/ige tie'pos % dedicaci-n intensiva de profesionales especiali ados. 5a sensi(ilidad de los responsa(les pol0ticos % sociales ante estas cuestiones relativas a la calidad 4a(r0a de ser 'uc4o 'a%or para .ue se dedicase un i'portante caudal de recursos a preguntarse por el valor educativo de los progra'as" tanto de los institucionales co'o de los situados en otros '(itos de acci-n social. 5a for'aci-n de evaluadores es otra cuesti-n deter'inante en el tipo de evaluaci-n de la .ue 4a(la'os. 5o cual no significa .ue" 4asta .ue no e/istan profesionales dedicados a este tipo de tra(a2o" no se puedan poner en 'arc4a procesos de evaluaci-n de progra'as. 5os procesos de autoevaluaci-n" aun.ue co'ple2os por.ue 4ace .ue los propios participantes se interroguen so(re sus ideas" valores % prcticas" tienen un interesante papel en el ca'(io % la 'e2ora: 3!eneral'ente la puesta en 'arc4a del proceso de autoevaluaci-n pone en evidencia las distintas perspectivas .ue su(%acen en las categor0as usual'ente consideradas un0vocas % .ue su(%acen en la vida escolar... > (Mart0n Codr0gue " )*&&) 1ifundir los infor'es" crear platafor'as de discusi-n % de(ate so(re los 'is'os" avivar0a la preocupaci-n" el dilogo % la co'prensi-n de las realidades educativas. Poner en 'arc4a 'uc4as iniciativas" seguir desarrollando las %a e/istentes sin esta(lecer unos procesos de refle/i-n rigurosa" siste'tica % co'partida so(re ellos" encierra el peligro del e'po(reci'iento" la rutina % la esterilidad.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina "6

!enerar teor0a so(re la evaluaci-n sin atender a las condiciones .ue la 4agan via(le" desarrollar un discurso ela(orado so(re la i'portancia de la evaluaci-n sin preocuparse de las estrategias .ue la 4agan desea(le % posi(le" esta(lecer desde instancias p@(licas prescripciones so(re la evaluaci-n sin atender las e/igencias de su i'plantaci-n % difusi-n" crea un do(le" % a veces contradictorio" discurso .ue desorienta % .ue irrita a los profesionales .ue estn co'pro'etidos en los progra'as. Referencias bibliogrficas A8!U5G CAS<G" F. ()*&&): Evaluaci-n de progra'as sociales. Cevista de Educaci-n" n.M 6&J. A8!U5G CAS<G" F.H <G8BCECAS 1GMI8!G" J. % SA8BGS !UECCA" M.A. ()**)): Evaluaci-n educativa % participaci-n de'ocrtica. En <uadernos de Pedagog0a" n.M )*#. <ASA8GNA" M.A. ()**6): 5a evaluaci-n. !arant0a de calidad en el centro educativo. Edelvives. Madrid. EIS8EC" E. O. ()*&#): B4e art of educational evaluation. B4e Fal'er Press. 5ondon. 9G5B" M. ()*&)): Evaluating t4e Evaluators. 9older and Stoug4ton. 5ondon. 9GUSE" E. ()*&?): Evaluating Pit4 validit%. SA!E. Leveri% 9ilIs. <alifornia. IEMMIS" S. ()*&J): Seven principies for Progra''e Evaiuation in <urriculu' 1evelop'ent and Innovation. En 9GUSE" E. C.: 8eP 1irections in Educational Evaluation. B4e Fal'er Press. 5ondon. MACBQ8 CG1CQ!UER" E. ()*&&): Profesi-n docente % autoevaluaci-n institucional. En Cevista de Educaci-n" n.M 6&#. SAER LCER8ES" M.J. % <ACCEBECG" A. ()**?): Por una visi-n caleidosc-pica de la realidad: Una apro/i'aci-n al estudio de caso. En SAER LCER8ES" M.J.: Evaluaci-n de progra'as" pro%ectos e instituciones en educaci-n. I<E. Universidad de Alcal. SA8BGS !UECCA" M.A. ()*&&): Patolog0a general del siste'a educativo. En Infancia % Aprendi a2e" n.M D). SA8BGS !UECCA" M.A. ()*??): 9acer visi(le lo cotidiano. Beor0a % prctica de la evaluaci-n cualitativa de <entros Escolares. Ed. ASal. Madrid. SIMG8S" 9. ()*&&): !etting to SnoP Sc4ools in a de'ocrac%. Fal'er Press. 5ondon. SBE89GUSE" 5. ()*&D): Investigaci-n % desarrollo del curr0culu'. Ed. Morata. Madrid.

La Evaluacin: un proceso de dilogo, comprensin y mejora

Pgina "7