Q~~

ol

SOlN3WVONn~l !M) V)

VAISN3~dNW,OIJOJVnlVA3

Ttulo original: Standards-basedand responsiveevaluation

2004, Robert E.Stake Published byarrangement with Sage Publications, Ine. (United States, London and New Delhi)

Coleccin

Crtica

y fundamentos

Serie Teora

y sociologa de la educacin

Directores de la coleccin Gra: Rosario Cubero, Jos Escao, Miquel Essomba, Juan Fernndez Sierra, Juan Bautista Martnez Rodrguez, Caries Monereo, Lourdes Montero, Javier Onrubia, Miguel ngel Santos Guerra, Jaume Trilla Director de este ttulo: Juan Bautista Martnez Rodrguez
de esta edicin: Editorial GRA,de IRIF,S.I..

CI Francesc Trrcga, 32-34.08027 Barcelona www.grao.com de latraduccin: Albino Santos

l.' edicin: febrero 2006
ISBN 10:84-7827-418-9
ISBN 13: 978-84-7827-418-5
D.L.: 8-2.219-2006

Diseo: Impresin: Impreso

Maria

Tortajada

Imprimeix en Espaa

Quedan

rigurosamente

prohibidas,

bajo total

las sanciones de

establecidas la presente de

en

las leyes,

la

reproduccin yendo de sus el diseo medios de

o almacenamiento de tanto la portada,

o parcial

publicacin, por de

inclu-

as como como

la transmisin qumico, escrita de

la misma ptico, del

cualquiera grabacin

si es elctrico, sin

mecnico, los titulares

o bien

fotocopia,

la autorizacin

wpyright.

~,.

:!r'

l.
:i;::...
.~.

f'

{i
.,.~.
.~

J
~

.-[

Evaluacin

basado

en

cri

evaluacin interpretativa
y rbol que dafruto, segn su gnero. cuya semilla est en l, Y vio Dios que era bueno.
(Gnesis 1, 12)

Produjo,

pues,

la tierra hierba verde, hierba que da semilla segn

su naturaleza,

yDios,
deljardn,

elSeor,

ledio

este mandato:

"Puedes comer de todos los rboles del bien y del mal no debers comer. morirs".
2,16-17) (Gnesis

pero del rbol del conocimiento

El da que de l comas, ciertamente

As

pues,

la evaluacin por pero venir. aqu

nos

acompaa

ya desde Dios alguna

hace saba de

mucho

tiempo.

Yan entre el Si

queda bien vio en

mucho y el mal,

Evidentemente, no dio indicacin sera qued qu

la diferencia cmo algn

distinguirlos. tipo de criterios

que mente, Dios

la vegetacin pero quiso ninguno que

era

buena, de no ellos

porque recogido era

tena en

las Escrituras. o el mal, pero de lo expuEva y la

Adn de

supiera

el bien que,

so a la oportunidad serpiente, do de Adn

saberlo,

oportunidad es un

con

la ayuda que se ha

aprovech. en buenos

Y se

conocimiento siendo

transmitipero no

!{cneracin

~eneraci{n. evaluadores. para poner este

Nacemos Yaunque nos libro en

ya evaluadores, conocemos

necesariamente y el mal, Usted En contextos eso no no

tambin del

el bien

basta est

el lado

primero. evaluacin evaluacin

presente

leyendo

para

aprender el trmino

informal.
implica libro. Pero intuitiexhaustivaun la

acadmicos
deliberativo

y organizativos,
y formal. muestra As que nos la podra (homo
o,

procedimiento evaluacin vos. mente La formal

Somos los que los
110

De

eso

trata

el

formal

siempre

tambin corresponde

aspectos

informales, reflexionar

casuales, sobre

interesados. cmo se

relacionan

evaluacin esgrimir
hemos

formal cierta

y la

informal. sobre
como adaptados
la tomar suerte, en cuestin su

evaluacin porque
mejor

informal nosotros
adaptados.

superioridad

la

sapiens
al menos,

sobrevivido mejor
intervino implic Y elegir apenas es

especie. que
pero no es

estamos

sobrevivieron. afirmar que

l'robablemeute la supervivencia

descabellado muchas cin. de Puesto las

momento de evalua(tal y

elecciones antes de

apropiadas. 1950 no haba

una

que

evaluacin

formal

42

EVALUACiN COMPRENSIVA

43

EVALUACiN ENCRITERIOS BASADA YEVALUACiN INlfRPRE1Al1VA

como hoy laconocemos) eincluso losjuzgados, los hospitales, los consejos sacerdotales ylas ciencias son inventos modernos, podramos concluir sin temor aequivocamos que lo que nos llev tan lejos fue laevaluacin informal yno la formal. Para que la segunda sea mejor que la primera, necesitamos que nos ayude de forma efectiva (ysin que implique un coste excesivo) a reconocer mejor la bondad. Qu pasa sila evaluacin formal nos hace cambiar de opinin acerca de lo que es bueno o no? sa es una pregunta que pla-

ni siquiera losvemos sipueden ponemos en evidencia, como en el caso de la habilidad de un rival o de la falta de lgica de nuestra propia argumentacin. Pero nos mostramos constantemente sensibles a las miles de maneras en que lascosas pueden ir mal. Nuestra supervivencia ha dependido de que las cosas fuesen bien. Somos mecanismos autocorrectores, diseados internamente para corregir lo que hacemos. En el actual mundo de lascomunicaciones, dependemos de buenos receptores, descodificadorcs ymecanismos de revisin para evaluar los mensajes entrantes y salientes. Muchos de esos mensajes son sumamente complejos. La mayora forman

near a lo largo yancho de este libro. parte del mbito de la evaluacin informal. Pero incluso si nos convencemos a nosotros mismos de que lo mejor En el mundo de lasobligaciones, los contratos, los encargos ylasupersera, muchas veces, evaluar nuestros programas informal yno formalmenvisin, existe una gran necesidad de evaluacin formal, Iloy en da, la te, gran parte de este mundo espera que la evaluacin formal sea ms supervisin esexplcita, seasignan calificaciones, seutilizan cdigos d h1Cfidedigna, ms dada aproporcionar pruebas fiables de lacalidad. Suele ser turacin. En ocasiones, una poltica, una decisin o un problema requiebuena idea pensar detenidamente. cul de los dos tipos de evaluacin se renlo de procedimientos formales de examen que pueden ser tan hreves ajusta mejor, pero cuando se dice que se necesita evaluar un programa, como un simple vistazo o durar aos. La evaluacin informal es parte ms probable es que se est hablando de una evaluacin formal. La mayor importante de la vida primitiva yde la moderna; la evaluacin formal slo parte de loescrito en este libro serefiere alaevaluacin formal, pero tambin lo es de la moderna, especialmente de la vida empresarial e institucional. dedicaremos tiempo aconsiderar la informal. La diferencia entre formal e informal es importante, pero an Tenemos que puntuar lo es mucho ms para el pensamiento estratgico en materia de evaluacin laque Escena dernestOlson. matutina, seestablece entre laevaluacin basada en criterios ylainterpretativa. La priReproducida delartista. conpermiso mera consiste en determinar y representar la calidad mediante el uso de nmeros yescalas, es decir, mediante criterios. Esla evaluacin cuantitativa: ms objetiva, analtica ybasada en estndares. La evaluacin interpretativa, por su parte, consiste en determinar y representar la calidad a travs de la experiencia subjetiva, utilizando la descripcin verbal yla experiencia indirecta de mritos y deficiencias. Se trata de una evaluacin cualitativa: ms episdica yholstica. El adolescente que describe un mate en baloncesto como un diez est empleando una evaluacin apartir de criterios; elque lo describe como uno de MichaeIJordan est usando laevaluacin interpretativa. En el captulo 3, que tiene por ttulo Evaluacin basada en estndares, nos adentraremos en las profundidades de los significados, los procedimientos yelmrito de laevaluacin apartir de criterios. En elcaptulo siguiente, titulado Evaluacin comprensiva, haremos lomismo con los significados, los procedimientos ylos mritos de la evaluacin interpretativa. Y aunque estableceremos una estrecha conexin entre la evaluacin interpretativa yla comprensiva, la una ylaotra no son lamisma cosa.
el evaluando.

Loomnipresente delocalidad bsqueda

Todo el tiempo estamos buscando mritos ydeficiencias, consciente e inconscientemente. Logramos ignorados cuando resultan triviales. Aveces,

No puedo evitar usar la palabra evaluando. No es precisamente bonita, pero resulta incmodo hablar de evaluacin sin ella. Lo que se mide es el evaluando. Sievaluamos un prog'3ma de formacin, el evaluando esel programa en cuestin. Si evaluamos un champ, ste es el evaluando. Si eva-

,. :',."-

'1i W 'Jf ' '1Il

'I~f' -~ 'r; .I ~
~,~

;,~

~;

"

44

EVALUACJOH COMPRENSIVA

luamos un candidato para un puesto de trabajo, el candidato esel evaluando. En la vieta incluida ms arriba, hay tres evaluandos. Puede que haya
n Comparacin
o del rendi-

uacin:

a situacin de algo o ms

quien se irrite de que hablemos con esta clase de jerga, pero mientras hablemos entre nosotros, lo haremos haciendo referencia al evaluando.

en funcin estndares.

uno

me

en el que se

mparacin.

Una de lasdefiniciones de nuestra actividad sera algo as como la definicin de diccionario que aqu recoge se da. El estndar indica lo bueno que debera ser. Son las personas las que han de ruar el estndar. No existe otra fuente de donde extraerlos que no sean las propias ideas que las personas tienen sobre lacalidad. Aveces, elevaluador o la evaluadora es quien establece el estn dar. A menudo ocurre que personas diferentes tienen estndares tambin distintos. En ocasiones, resulta til tratar de hacer" que se pongan de acuerdo sobre un nico estndar, pero los evaluadores no tienen otra alternativa que no sea la de trabajar con multitud de ellos.

Para evaluar un programa de formacin, tendramos que examinar los procedimientos formativos yel rendimiento o la actuacin de los formadores, ypuede que hasta el de las personas receptoras de la formacin durante y despus de la misma. Para cada una de esas comparaciones necesitamos un estndar separado. La evaluacin podra ser una actividad bastante simple si contramos con estndares sobre los que todos y todas estuviramos de acuerdo. Pero, a menudo, nos es imposible hallar estndares sobre los que una misma persona contine estando de acuerdo incluso despus de que las condiciones cambien. Fijar estndares es, pues, una labor sumamente difcil.

Cuando empec a teorizar acerca de laevaluacin", recomendaba que e recogieran datos que mostrasen cules eran los estndares que la gente onsideraba relevantes para nuestros evaluandos, Pero luego me he dado uenta de que resulta casi imposible extraer esa clase de informacin aparr de fuentes fiables. Adems, rara vez obtena respuestas tiles de los iembros del personal o de otros agentes implicados a las preguntas que sformulaba apropsito de tales estndares". Afin de cuentas, qu me resonderan ustedes siles pidiese que me diesen un estndar de lo que sera

En

1967,

escrib

un

artculo

titulado
en el Para
pero

The

Countenanee
propona algunos
no era

of
muchas aquel
un
modelo

Educational
clases modelo
para

Evaluation
distintas pasara
la

El de

educativa) de
del

que

programas.
aspecto,

a
rcalil.acin

ser
de eva-

tos

para

la

evaluacin

que

propuse

aparecen

recogidas

en

el

keholders)

son

las

personas

que

han

invertido

en

el

programa

las

que

lo

patrocinan,

las

que

trabajan

en

l,

las

beneficiarias

del

hasta

los

contribuyentes.

16

EVAlUACiN COMPRINSIVA

EVALUACIBAlADAINCRlHiIOI yIVALUAClOINliPI AlYA N

4/

cualida es de la msica, empleamos califcativos tales como lrica, sonora, des nfadada oconvencional. Par describ r las cualidades de un estilo docente, recur imos aadjetivos como creativo, convencional, centrado en elnio o carentede nfoque. He aqu una frase deJohn Dewey (1939): inters propio ycompasin, cualidades opuestas son. En esta acepcin, la pal bra cualidad hace ref rencia al naturaleza oal contenido de algo, pero no asu bondad. . La calidad, por el contra io, s que tiene que ver con la bondad de algo. La calidad de una interpretacin musical es su grado de excel ncia. ~a calidad de un episodio formativo depende de sus mritos ysus def ctos. Ese es el trmino en el que usamos habitualmente en la labor evaluad ora. Buscamos la calidad de un programa, entendiendo por el o sus mritos y su valor. Pero eso es lo una pequea parte. POI' lo general, cuesta mucho determinar yponerse de acuerdo sobre qu es la calidad, el mrito ola excelencia", Los estndares que fijamos verbalmente omediante mediciones suelen ser ms simples ymenos complejos que lo que experimentamos personalmente. Cuando decimos que lacalidad de laredac in de un estudiante esmediocre, estamos reac ionando avarios aspectos: su coherencia, ~uactualidad, su gramtica, su creatividad, su caligrafa, su oportunidad, sus Juegos de palabras, su fidelidad ala tarea encargada, incluso, aciertas cualidades en las que no habamos pensado de antemano. Pero no tenemos en cuenta todas el as en todos los casos ni les otorgamos el mismo peso acada una en todas las ocasiones. Elpensamiento basado en criterios es importante, pero tambin lo es la interpretacin. Yo, como evaluador, no creo que sea necesario ser muy explcito en cuanto alacualidad que busco. Algunos cvaluadores yevaluadoras se sfuerzan por serIo, pero yo recelo de emplear un nico criterio (o unos pocos), porque quiero famil arizarme experiencialmente con los diversos aspectos del programa. Hay evaluadores que prefieren dedicar sus recursos alamed~in ?el mejor criterio (o del conjunto de mejores criterios) que puedan l~e~tificar . Nosotros examinaremos ambas estrategias en los captulos ~lgUlentes ,:~culando los criterios ala evaluacin basada en estndares, yla mterpretacn, alaevaluacin comprensiva, pero no de manera exclusiva en ninguno de esos dos casos. Otro aspecto que nos diferencia aalgunos evaluadores de otros es la percepcin epistemolgica que tenemos de lacalidad. Cuando usted piensaen lacalidad del meln que se est comiendo, esposible que piense en la bondad entendida como una propiedad del meln. Pero puede tambin que

piense en la calidad como algo definido por la respuesta que en usted est produciendo el hecho de comer ese meln. Pertenece entonces lacalidad alafruta en cuestin oala experiencia? Fijmonos en que esto ltimo obliga aprestar ms atencin aquin esel comensal. Los evaluado res discrepan apropsito de laimportancia que hay que conceder aquin experimenta el evaluando. Alahora de examinar el rendimiento de una actuacin determinada, cuando usted piensa en lacalidad de dicha actuacin, puede concebir esa calidad como una propiedad de quien realiza la actuacin ocomo una especie de interac in entre esa persona (o personas) ysusjueces. No tienen ustedes por qu estar de acuerdo conmigo, pero am me gusta pensar que el origen de la calidad se hal a en la experiencia humana. Para m, el concept.o de calidad resulta de muy poca utilidad sin esa experiencia. Hay calidad porque las personas experimentan la calidad. Y, a travs de los tiempos, las experiencias posit vas que ms se han valorado han sido la comodidad, la satisfac in yla felic dad, ylas negativas, la incomodidad, el enfado yel miedo. Lo que reconocemos de inmediato como una docencia oun meln de buena calidad es algo que tiene su raz, ami entender, en experiencias actuales opasadas con el os. Puede que, en la actualidad, hayamos desar ol ado yaestndares, convenciones otradic ones, formales oinformales, para poner nota alos melones yal enseanza, pero las races del signif cado de lacalidad se ncuentran en laexperiencia ernocioual que-esta ltima ha evocado alo largo del tiempo. Un reloj es ~ buena calidad, en parte, porque no se atrasa ni se adelanta ysus piezas son muy buena manufactura, pero tambin porque laspersonas se sienten muy satisfechas con l ylo consideran superior aotros relojes que hayan conocdo. Esto hace que los cvaluadorcs ylas cvaluadoras seamos mx rec ptivos en nuestra activdad evaluativa areconocer que la calidad depende en gran medi a de quin la haya experimentado.

losetndares
Una chi a dice que no quier salir con un chi o que sea ms bajo que la. Su objetivo es er la ms baj de los dos. El criterio al que se refi re es la altura. Su estndar es 1,70 metros, su propia estaura. Un estndar es cmo tien que ser de bueno un chi o, un libro cualquier otra cosa. Cmo tien que ser el ibro de legible par ser satisfactorio? Cmo tien que estar de actualizado? Pued un nico libro ser bueno par tod s us lectores ylectoras? sta son preguntas difcles. No
6.Robert Persig (1974) escrib Zen and theArt o/Mot rcyle Mainte ance amod de xamen de lasdifcultades filosficas yprcti as que conleva definr lac lida . Endicha obra secom esa cualid es. Deb ra ser un exp rto en libros el que decides ? par , en concreto. lac lida de,la experi ncia que supone rodar por una caret ra desp ja- Deb ra decidr el valu dor o la evalu dora? Deb ra ste o sta de icar dacon lac hda delaclibrajn que permite que lmot r ronroie como un galo. gran parte del presup esto de la evalu cin a tr a de conseguir que los

nos pondramos necsariment de acuerdo acera de cmo medir todas

iW;

;;

so

SI
[VALUCINERfl EVALUACiCOMPRENSIVA N

'

~'
~
~;f

15 Equilbrado,e ,~-14. saborpnucid f,~Blue

ycremos,n ~jHomead aromsdevinla li~ autnicos: ",, h~ '. 'o 'Msdenoqula ;&1Turkey HIl i! mayor. ~" Vanila Bean :o}~,~, .,'.\ 18 Equilbrado,e ~\('I; saborpnucid l~\*/::. ycremos,n li,:. aromsdevinla l~Pnvate autnicos. t;~Selcion Msdenoqula Pre~ium ,mayor. \~VanilBe (Kroge) 16.'Equilbrado,e ,~: \'saborpnucid Lactid ~.ycremos,n Premiu aromsdevinl Clasic autnicos. Msdenoqula :~" ,.1 mlr,!'a. '

~.,

28

8 Sabeponch

varible.

dehuvo.Cali

180

mayor.

Msdenoqula

confaild.

cuharptin

sayenlqu

ligeramnto-

huevo.Cnsitca

270 18 Sabeponchd

Cuad2ro.ComparaceinotrdesiferenmatesrcodseheladreoalizadposrConsuRmeprorts

I"~. ~
Kirkland Signature "0Su.per1 Premiu (Coste)

EVALUCINBlDR!Oy

25*

24

patincofld.

laquechr

mentgosay

Consitecalgr-

140

8 Saborsuve.

31

t~

t~

';<

patincofld.

laquechr

mentgosay

Consitecalgr-

160

9 Saborsuve.

38

,~;

.v:

'9 Sab6reslcto

~;,
I

~'A

! 'j-]

"If-:\.

'equilbradosye 0;'1Amencas .,:vanil'utnicos. <'l~Choice :'.Surexta dehilo Premiu ., )er.~spunto. ~1"PflVa(nilBebeci ~\;letaCI-

~r4".

20

ifM

mentgosa

Consitecalgr-

defrscua.

intesoyfal

140

8 Saborespc

lactos.

facild.Bjoen

cuharptino

sayenlqu

ligeramnto-

Consiteca

160

9 Saborsuve.

7Saboreslt
'eqilbrados

,1'!rmentos
'o

yenlaquc-

i;'A&P)
,I l;J~
I

yde
Xf;:

~1.
v'.: ';:l'

Sutexra.dhilo

.vainlutcos ~PrestI 4~Premiun

17

lerstapuno.

~t(W'D") 'ln!

Suminstrahel

sa.Conitec

160

9 Dulzraempgo-

facild.

charptino

:fl,mn-ixe
iWl
~:'.l
~;.)

'tripledcaoqu los'dem., confaild. cuharptin yenlaqu

~I,

,.8Aceptabl:Cir "'(.texuradhilo

ligeramntos

~ 'd
Id'.\!

/:~

~.,If;:~'1 .;'iL.J~,:c
,;'

,~&t:

i 1 i Ill -"
52
[VAIUACIN lVA COMPml

53

[VAIUA(IBAlADANCilIEI OIyEVAIUA(IHNIEIPRElATlVA N E

.~

I~~
"
"

21 150 9 Sabot lcteo apagado. Consistencia ligeramente gomosa yen laque lacuchara patina con facilidad.

27 130 7 Susabor avainil a

no esun sabor limpio, sino que tiene un cierto deje de chocolate ydauna impresin artificial. Consistencia ligeramente gomosa yen laque lacuchara patina con facilidad. Blue Bunny Premium Homemade
,;i,~

28 160 8 Dauna fuerte sensacin de imitacin devainil a, con un sabor empalagoso, de edulcorante comercial. Consistencia ligeramente gomosa yen laque lacuchara patina con facilidad.

Dreyer's/ Edy'sGrand Light

33* 10 3,5 Suave,con un

sabor lcteo menos intenso que lamayora. Consistencia ligeramente gomo- ,Pre~ti~~:!~;~ ~;.i ;':"3~', ;."; sa yen laque lacu- Premium';' ' ~ chara patina con (Winn-Dix'j; facil dad.

Breyer's Light

28 1 0 3 Sensacin de leche
en polvo desnatada, con un suave sabor avainil a. Textura de hielo.

.' , ~;: j~:'; ~

,.

EVAlUACiN ENCRIHRIOS INIERfRHAIIVA BASADA yEVALUACIN EvALUACCIONMPRENSIVA

55

. ~.- '~it~(',

Sa1J?;~'batido de chocolate helado k. cOl;:l~$e malteada. ",Teltlraide hielo.

','

28 100 3 Sabor achocolate Dreyer's/ poco intenso que Edy'sLight' no mejoran unos NoSugar trozos yunas voluAdded : '"~ "' Triple . Chocolate_

,'4,: }~,:"-"'~"",' .

I
8

tasque dan una sensacin de imitacin de chocolate.

' ~'~;." ~;-"' ' ~~~~'

Healthy

26
. Premium ~. Low-Fat .' Chocolate . Choice \

120. 2
elde lamayora, con sabores que no son de chocolate. Troz s que

',"1'- -. ,.

Sabor achocolate menos intenso que

Chocolate bsico . ,. tpi~ njgeramen~ g~o_so:,

8 Chocolate bsico
" ,,,:~,"
"'

-.=,"'-

I
"

Chunk

'l

parec n de cera.
m"~ +;'~,'~ ,'

tip}.S~ perta .textUra:'dehielo,

r~./:~r:~;'!-

...(.-;7.:::7

-r ':...-

RI~t; '~r:~frit]!~'mk~,r;"'i\~\~
",4", . '
'~,,:i"~ j,',o(.

"o

~l.).

':~::'''~~.\''::

.;.1

'.

_'

'

,-

.!ti..m

~!:~~.,;~~J~:

' ';" Saboi:-chocolate aIll~Qcori ~ dejfspero. '. Lige~;n~e,

Hagen-Dazs

80

310

23

:" g9W~~:'';!}
:.'?~:"~~,i.~"r/!~.~;:p"~I':-:~~"'_ e-~

l' ~,

.'

~X
c_

Vainillade gran ealidad con nueces, pero sinsertpicamente buuerpecan. Msdenso que la
~ ~
mayora.

8)";,:':'-':; S~@x:~s'ligeramen-

./h.teafrutados.y

;'~

y"

mai~ados pero . " 'podo dems, chocoli~.bsico.Lige~~~J1fC gomoso.

',.' ' , ,

Ire~n

26 170 12

Vainil asuavecon grandes, sabrosas-e-eycrujientes nueces, pero sin ser tpicamen te butter

-{""Y">:," ;.

9 Mediocre, pero
coii~1Jnosacepta-

m~~e; gomoso.
,., "~C"):'~..

Dreyer's/ bles':trozos de chocolate, Ligera-

pecan.

26
',: Edy's

160

10

Un butterpecan respetable con sabor ajarabe de arce yunas nueces aceptables. Ligeramente
-'

9
fl'

Sabiipoco intenso.Cierta textura

r
'" '!1

gomoso.

de hielo yligeramep.teg~moso.

Turkey Hill

23

170

11
de azcar y mantequilla

Sabor acaramelo

<~~&1:'~~: "
Se~cin dechocolateTde"imitacin consabores que no sonde chocolate, Dulzura empalago-

~ ~

"1'

(iJUt erscotch)
con nueces un poco blandas. , Ligeramente gomoso.

#e

saypersistente. Gomoso.

..

56

.('.1

':J

1lQ,

~,
,.!.-I.,~

',: '1

, .'

Blue BeIl

FOO!.CI1oen:suRenerxIJc1e5m Ro1iRJesxhtp,:/w w.amsumerepurts.org!stoic/02 7icel.mi Notals:comentadroinsetolcserdolsbor,texuyrlodensiNau.tproedlcarosfeinl tenfoijdsuxpectanivosrdu(cfetmyhogn,sblacrtedfi(OIquo elcosdh Vtnu)xpraifmqg,e seotrD.lhdcpbn,quviamg

:;;'.{Blue Bunny7 170 10 Sens~ in de imita2 cin de mantequi: '},:/'1Prermur. n '.;\ l aypocas nueces. ".>, Gomoso. Lacucharapatina. 'O",

EVALUACIN COMPRENSIVA

18028
l i Dejede frutas tropicales ydulzura empalagosa. Texturade hielo yligeramente gomosa.

demorci, persoinlh.dmatqucb~1 losprducteanjximf,.E depintosbag,rlcmvhu( -473mIenlcosdprutaxhqiHg

yeldmgaion(,89

simplentcoad.Afru,- quenporsmlticjdayoejmpl:crit. bienosvmlgadturp,cq -Parevlumstdcigfo

enuabtloprs estndar): palocnequsmr bienvsloatdu
1/(.Estandre)Objo

blecrunojtdsafi,mhq lasecgrdu.Ponpmqtdistnaeruoy Standr vecs,dubriqlapntom toalfindeprgmcqusbv.A Pordesgaci,

senogralcmd da,lcostumbrenEstndar.)Algo establcidopruma).2.(

ciaresotnd,yplmgu- nuevamstrpodilg

Reconrstdauilv.P- califdsquenorv.A,

elvoumndtrabjsic. de!air,pomstblcuny

macindetorlbuqsgpf, quevalrdictmnso.

decomparinst,buyf- equivalnts)rdgbcocoletiva(spmn,

encotrausdx.Pqvlgpi menos,quhayvripgdftunpuntodecrai

mosaberi!ndtlvuc.Nf Tambinesroquxtpgl(y,

unamispoblc.Serg,tdvq- doresanpctblqu.

caquesodgrpnbimt e!lmit,ydxsronucva-1.

resultadicmngfv.L- exist!jmplodunrgaq "estandr.o

otrmen,yalguscidf lactuinmresfo.Rvz(traducibleom

siquerald.Lomcnt

casinuhyprogmelqx seconvirtlda.Oqump-

portdslem,xchavinKkSgu

ral,condesf.Egquhitmvy

segundopramqivctl,-

noelsivtgadr.Lcu

recanquislvbopgmyd,

losprgameductivyn,

asigncetrlodupvb;

Enlaevucidpots,mr9

lanicdfertuoys!mpg.

exprimntalsydco,bvguq

pruebafmcti,losgn

contrl.Euexpimdba

empladoscnfirtv.Pgu Amenudo,xistrva"pgfcq

enuosptbadcrim.

rioment:suydfcl(pax)

encritosupa.Elbm,gyd-

oelrndimtvaupcsb

mospuntaciedrvlyb

conlsqueptarvd.Pibm,fj-

lidaeprotmsbncuj Loqueslmhacr,ntid-

podemsvalurtic.

noexistalmbdpury,

DaIS,
1)

(de1goln) conelrdimtgupv.Lsa coestnhprmdufabi;lqv. Otrodisehabulcnmp sepag.loinfrmcutdqAb- nucaoxit. (*)quierdcsflpoeldoctiVan(urg).Es

EVALUCINBSDRTOYiHrl

.~
f

EVALUACiN COMPRENSIVA

59

EVALUACiN ENCRITERIOSEVALUACiN BASADA Y INTERmlAJlVA

cin. Podemos utilizar los estndares implcitos que las personas tienen ya en su cabeza. Podemos medir ydescribir. Podemos exponer el rendimiento o la situacin del evaluando ante individuos o ante paneles, ante otros agentes implicados no especializados oante expertos, para que stos nos den sus calificaciones. Podemos interpretar y ratificar las puntuaciones y las valoraciones realizadas. De este modo, podemos llegar aindicar, de un modo bastante digno, los mritos ylas deficiencias del programa. Nos basamos en los estndares, pero, sobre todo, en aqullos que se han ido construyendo en la mente de las personas a partir de toda la experiencia que aportan a la tarea evaluadora. Recapitulemos: el concepto central de laevaluacin eslacomparacin del rendimiento del programa con un estndar" o con varios de ellos (como pueden ser puntuaciones de! tipo apenas aceptable, aceptable en lneas generales y tan aceptable que ms nos vale trabajar duro para protegerlo). Sila escala de aceptabilidad es multidimensional, puede que necesitemos varias escalas para describir todo aquello que sea de importancia para sintetizarlas luego en una nica puntuacin que recoja los mritos del programa en cuestin. Puede que una lista que recoja todo lo que de verdad importa acabe siendo muy larga. En cualquier caso, entre los ejemplos de caractersticas de un programa que suele valer la pena tomar en consideracin encontramos la productividad, la facilidad de uso, el coste, lademanda de recursos especiales, laclaridad de sus objetivos, el clima que lo rodea, su comunicabilidad, su imagen pblica, la ausencia de efectos secundarios negativos ysu adaptacin alascondiciones locales. Cada caracterstica (posiblemente, tambin, con sus correspondientes subcaractersticas) debe ser conceptualizada como parte de una escala comn de aceptabilidad. La puntuacin ponderada resultante podr entonces considerarse corta o suficiente con respecto a cualquiera de los estndares fijados por el personal, sus clientes yotros agentes implicados. Si utilizamos una puntuacin ponderada de ese modo, estaremos empleando lo que se denomina un modelo compensatorio: permitiremos que un punto dbil en un determinado aspecto (como puede ser una puntuacin ms baja en fortaleza fisica en el caso de unos candidatos al puesto de agentes de seguridad) se compense con un punto fuerte en otro (como, por ejemplo, una puntuacin ms elevada en un test de aptitud acadmica). Tambin podemos permitir que se tolere la ineficacia en la

comunicacin de un programa a cambio de su fortaleza en otros aspectos, como el hecho de que pueda estar casi libre por completo de una publicidad negativa sumado a un coste muy reducido. Un enfoque distinto ese!llamado modelo de mltiples niveles de corte, en el que sedebe cumplir un estn dar para cada uno de varios criterios concretos sin excepcin o el evaluando en su conjunto no supera la prueba. Podemos fijar uno de esos estndares diciendo, por ejemplo, que ningn programa que precise cubrir unos costes de personal superiores a50.000 dlares o que no logre obtener el apoyo unnime de los miembros del consejo de administracin de la institucin responsable ser considerado aceptable. Cada caracteristiea puede tener su propio estn dar o puntuacin de corte. Estas comparaciones pueden realizarse de manera formal (a partir de una medicin bastante precisa) o pueden reducirse simplemente a un modo de pensar: en lo ms hondo de nuestro pensamiento, podemos considerar las diferentes caractersticas (separadamente o en su conjunto) como aceptables o excelentes. Podemos revisar los puntos fuertes ydbiles del progl'ama intuitivamente y conversando con otras personas, pero sin guardar registro alguno del funcionamiento interno. O podemos utilizar una lista de control: para cada una de las caractersticas, marcaramos una casilla dentro de una escala de aceptabilidad; luego utilizaramos la lista resultante como diagnstico definitivo de los mritos o como contribucin para un anlisis adicional de la bondad del programa. Casi todo el mundo cree que, para comparar la calidad, hace falta comparar e!rendimiento observado con un determinado-estndar:-Y-as--esc-. --Pero hay muchos modos de observar el evaluando para valorar su calidad. Yalgunos funcionan mejor que otros en segn qu momento".

Pensamiebasadoncriterioypensamientosdico nto e s epi

El diccionario no impone ese significado, pero en el mbito de la investigacin -como probablemente ya habrn apreciado en el apartado anterior- solemos considerar que un criterio es un descriptor del evaluando, como lo son la eficacia, la durabilidad, el coste o el valor esttico del mismo. Ypara nosotros un estndar es la cantidad de dicho criterio qllc marca ladiferencia entre laaceptabilidad yla no aceptabilidad del evaluando, o que establece alguna otra clase de lmites discriminatorios o de motivos para laaccin. Es un vocabulario dejerga, pero resulta muy til.

8. El venerable estudioso de la evaluacin Michael Scriven (l994b) atribuy a los estndares explicados un papel central en la evaluacin -a pesar de lo que yo expongo en el captulo 3-, diciendo que la sntesis que conduce a los enunciados la medicin del rendimiento estndares. 9. Me pregunto sies lO les est aburriendo. Espero que 110. Slas SOI1, a mijuicio, ("osasirnporde valor requiere de dos tareas bsicas: tantes en las que hay que pensar. Pero soy consciente de que al(lInos de SlIScompaeros y del programa yla comparacin de dicho rendimiento con unos compaeras lectores slo quieren que les diga qu tienen que hacer para llevar a cabo una evaluacin .

.;:~ ,o:-r:

.;i 1 -' - ~ . ~ .
!j
,:. ,

lit

if

60

EVAlUACINOMmNIIVA C

EVALUACiBAlNADAN(IHiIOS y EVALUACINiTNEiPETATlVA E

Ilace cuarenta y ocho aos, yo era estudiante de doctorado en un c1eparLamenLO de Psicologa. Un da, sentado en mi mesa, me di cuenta de pronto de que siexiste una ciencia social de laeducacin, esporque lospsiclogos y socilogos educativos fueron capaces en algn momento de transformar los fenmenos en variables. Haban inventado los constructos de laeducacin, los materiales con losque edificar un modo disciplinado de pensar sobre la educacin, ylos llamaron variables. Aesos mismos constructos descriptivos se les llam tambin atributos, propiedades, rasgos, caractersticas, facetas ydimensiones. Muchas veces se los denominaba criierios. La reduccin de los fenmenos complejos del aula, la sala de profesores, la historia y las aspiraciones de la comunidad a unas determinadas variables haca posible manejar lascosas. La traduccin de sucesos en variables se denomina pensamiento basado en criterios. Una variable es un atributo que adopta ms de un valor. Puede variar de Ior rrtas diversas, pero los cientficos sociales decidieron poner el nfasis en variables que varen en cantidad: las cifras varan hacia arriba o hacia abajo en una escala. As que, en cuanto concebamos el construc1.0 en Iorrna de escala, lo importante era medir la cantidad. Podemos luego emplear esas cantidades para describir, distribuir, comparar, incluso, hacer como si estuviramos buscando causas e interpretadas como bases de control, de mejora o de reforma. Para m aquello era como el dominio del tomo. Gracias alos criterios yal pensamiento que se basa en criterios, podamos medir, y gracias a las escalas de medicin, podamos mover montaas. Con el pensamiento basado en criterios y el muestreo como platos fuertes, el estudio de la educacin poda pasar aser preciso, generalizador y til. Todas mis dudas se haban disipado. Me alist en la ciencia de las pruebas y los tests. Me dediqu a ser un hombre-medicin. Mi trabajo es la evaluacin de programas. Trato de medir la cantidad yla calidad de laeducacin (ode laformacin, odel servicio social), losmritos ylasdeficiencias, los esquivos criterios de la enseanza y el aprendizaje, Mipsicologa me dice que laalternativa al pensamiento basado en criterios es el pensamiento episdico. Los fenmenos educativos llegan a ser conocidos a travs de episodios, sucesos, actividades, acontecimientos. Los fenmenos tienen un perodo de tiempo y un contexto. Estn poblados de personas con personalidades, historias, aspiraciones, flaquezas. A veces, hablamos de personalidad ydebilidad, de contextos yepisodios, en trminos de variables. Cuanto ms importante es el episodio como acontecimienLO vital, ms se mantienen los criterios en un segundo plano. Casi todo puede ser convertido en variables. El problema radica en que la conversin suele simplificar e infrarrepresentar en exceso. Puede que gracias aella obtengamos un nuevo asidero con el que dar cuenta de la situacin, pero tambin puede que nos sea ms dificil mantenemos asidos al.

El pensamiento bas do en criterios y el episdico convi en, codo con codo, en nuestra comunica in yen nuestro cer bro, Gracias a una especie de visn binocular, fundimos inconscientemente la disparida en una unida no ab rcable desde ni guno de eso dos modos de pensar en solitario. En el captulo 9considera emos este fenmeno como una dialctica.

Roleystilodeavlucin
Laevlucin osite nlabsqueda lconimeto sbre lvaorde algo.Buenaprted icho ncimeto prvien d laexprinca personaly,menudo enustrapoi cneia. YosquelAopurinl esunmdicaento quemvabienporqu,sinlemforanpiedrs enlri y,conl .Loquemdigaelmdicoesmportane ypudo aprend cosa breloscu renals TheWlnsEcylopedia (19),perotambinprestounagr tenci amiproaexprinca. Nosiempr uedo pnder la,perolautizocnregulaid (yno sloam,sinotambnlaexprinca delsprona queconz yla exprinca, losraznmietos ylainvestgaciones directas dgent alquenoc z).Renotd esoy-cntosqueda, protambinco precisn- obteg unvalor.P cierto, ambin yudabermucha g. Laevlucinsempr consite unadetrminac delosmrit y losdefct.Avecs, mucho s,peroufnci esncialesd tablecr mitodealgo.seufinald primea.se udfinc. saelcondi snequa on.Uavezocm unamjerqu stab enlas despraledca unco idasuyqeravludora: Y quesloquhaces?.Ayudoalsperona perd so.Yporqu dicesqu resvaludor? Lagent idemsahcer loque digos voyde aludor quesivoydeitsa.Lodietsa ontambi evaludores,posietamujersdicab primodalent ayudralspersonac suprdia epso,lainduc alengohacindose par o evaludor. Acasonpued ca uno cadun lamrsecom quiera? S,porsueto. Pr noscmuniareos mejorsi,p evaludor evaluador,entdmos alguienq,dentro unciertombi deactiv d, investga informa sbrelomritsyladeficnas deunval do.En elprximocaptulo,desarol agunsidea cr delospae ylas pref ncias delavucin. Elvaordetminao pued sremplado cnmltipesfn disttos,cm puedn srmejoa unproces, oncedr unpemio,asgnr CUl'SO de nsaz compensatri o ecn r elcumpi ento d un contra. Ysto nsloagunsdelanumerosia funcioes parls ques alevuacin.

62

EVAlUAClONOMPRENSIVA C

63
dar adecidir cmo l evar acabo la formacin la prxima vez. Tanto un maestro como un reparador de fotocopiadoras evalan lo que hacen porque necesitan saber los resultados, pero, casi al mismo tiempo, ya estn considerando la posibil dad de modif car su prximo trabajo. La evaluacin formativa ylasumativa pueden tener lugar al mismo tiempo, pero conviene mantener separadas lasfunciones de mirar hacia delante con acti ud formativa ymirar hacia atrs con acti ud sumativa.

EVALUAC/ON EN(1/1(110\ YEVAlUWONINPiflAIIV! BASAOA

Evaluaciformatiyevvaluacisunmativa n
Una de las distinciones clave entre los distintos roles de la evaluacin es la que seproduce entre laevaluacin formativa ylasumativa. Michael Scriven l am la atencin de todo el mundo sobre una yotra en un artculo de 1967 ti ulado The Methodology of Evaluation, La mayora de lectores interpretan que tal distincin diferencia laslabores intermedias de las finales en laevaluacin de un programa, pero tiene ms valor hablar de ladiferencia entre la evaluacin que sirve para el desar ol o de nuevos programas y laque ayuda alfuncionamiento diario de stos. Tal ycomo yo interpreto la dicotoma, cuando el cocinero prueba la sopa, est haciendo evaluacin formativa, pero cuando es el invitado quien la prueba, la suya es una evaluacin sumativa. Tanto e! diseador del programa como su gestor tienen preguntas, como son demasiado .complicadas las explicaciories? oest actualizado e! material?. Pero el primero de el os, siempre re laborando programas, busca informacin que le ayude acrear otros an mejores. As que se pregunta cosas como durante cunto tiempo debera aplicarse esta fase? odeberamos obligar alos participantes atener ac eso ala web?. Un evaluador ouna evaluadora estudia fases de duracin alternativa yusos basados en la web frente aotros sin web para averiguar los mritos de las diversas alternativas. El evaluador formativo concibe la evaluacin como parte de un proceso de cambio que aporta informacin que contribuye a cambiar el evaluando, todava en proceso de desar ol o. La mayora de evaluadoras yevaluadores internos dedican ms tiempo alaevaluacin formativa que ala sumativa. Noobstante, cuando la pregunta es qu tal funcion el evaluando en esta situacin concreta?, la evaluacin es sumativa. El evaluador ola evaluadora no buscan en este caso modos de modif car el paquete en su conjunto, sino que tratan de averiguar su calidad, su productividad, sus defectos, sus costes, ete., dados un personal del programa, unos recipientes de! mismo yotros agentes implicados determinados. Muy probablemente, la evaluadora oel evaluador sumativo medir losefectos del evaluando. La evaluacin de producto en la que el consumidor ola consumidora tratan de decidir qu programa informtico ocortacsped rotatorio adquir es una evaluacin sumativa. El consumidor elige entre varios modelos alternativos, cada uno de los cuales l ega atener, aveces, sus propios formatos, materiales, personal yacuerdos de servicio, yquiere conocer los mritos relativos de los diversos paquetes. Noes raro que un estudio de evaluacin contenga componentes formativos ysumativos. Unprograma de desar ol o de! profesorado se evala para medir el cambio en la concienciacin yla disposicin de los instructores ylas instructoras autil zar nuevas directrices, pero tambin para ayu-

Elevaluando
Anteriormente, en este mismo captulo, definmos el evaluando como aquelo que se vala. Pero ha legado el momento de ampliar esa definicn. Los programas que hay que evaluar estn poc defindos en el sentido de que no suel ser fcil ponerse de acuerdo en torno a lo que queda dentro o fuera de los lmites del evaluando. Si ste es la Iormacin que recibe el personal de un det rminado organismo par que escriba mejor la cor espondencia, pued que nec sitemos antes decidr si eso incluye una construc in ms eficaz de los mensajes de cor eo el ctrnico, los memorandos y hasta las conversaciones orales. Ten mos que decidr siah se incluye tambin la formacin que los mcn torcs proporciona posteriomente asu ase orados. Pued que incluso tengamos que decidr siel programa promuev la omisn de informacin rel vante a fin de reducir la confusin del ector. La defincin exacta del evaluando no suel estar casi nu ca descrita de un mod adecuado en su cart fundacional ni en su presup esto ni en su manuales tcnicos ni en el contrao de valuacin. Una parte del trab jo conti uado de laevaluacin consi te, precisamente, en logra una mejor comprensin de lo que es el evaluando. Los psiclog s utilzan un concepto que laman er or de stmulo. Si quien s realizan el experimento cre n que aquelo con lo que estn estimulando alsujeto (a una persona) es un osito de peluche vulgar ycor iente, pel'o el sujeto, al ver es estmulo, rememora un trauma personal, es muy posible que se malinterp et n las respuestas de ste sujeto. Siel cliente de la evaluacin (quien la encarga) cre que el evaluando es X y el evaluador estudia Xsin ten r en cuenta la parte de Xque se lama especficamente X, la evaluacin puede cor er un serio riesgo. Si un lector del informe de evaluacin asume que el hecho de que no se mencione la responsabildad fiscal de los gestores del programa signifca que el programa es lido desde elpunto de vistafiscal, puede que tengamos un problema. Esimportante concretar bien quin oqu es l evaluando, pero puede que sea nec sario dar paso adiconales encaminados aminmizar las posiblidades de un er or de estmulo.

= -;. or:-~ 'f

~4

; ."~~1f"'" ,; 64

i
EVALUACiBNASADAENCRITERIOYSEVALUACiINTERPRElATlVA

EVALUAClNCOMPmSIVA

65

Muchas veces, slo se evala una parte de un programa, por lo que el evaluando no es necesariamente el programa en su conjunto. Aun as, es posible que el evaluador o la evaluadora tengan que investigar tambin el resto del mismo para comprender el mrito del evaluando. El evaluando puede ser, asimismo, una familia de programas. O puede tratarse de una intervencin concreta que se ha hecho de un modo distinto en lugares distintos (y las cualidades y la calidad de cada uno de esos modos y lugares pueden ser diferentes entre s). El informe del evaluador debera, pues, contener una definicin yuna descripcin de! evaluando.

divulgan. Los libros ylas publicaciones peridicas se Cultura: n 1. Cultivo del revisan con demasiada lentitud como para que pue- suelo. 2.Las ideas, costumdan ejercer un efecto corrector fuerte sobre el modo bres, habilidades, en que l evamos a cabo nuestras evaluaciones. Si los puntos fuertes y dbiles no se examinan en el momento mismo en que se realiza la evaluacin, suelen pasar inadvertidas. Esta evaluacin continuada es,

artes,

etc., de un pueblo o grupo, que se transfieren, se comunican o se pasan a las generaciones sucesivas.

en parte, l evada acabo por los miembros de un equipo o por visitantes que hacen lo suyo de un modo distinto. Son pocos los evaluadores y evaluadoras que estn solos; la mayora trabajan para una organizacin. Sujefe tiene, a su vez, un jefe que trabaja para otro jefe. Aunque son mltiples las decisiones que hay que tomar cuando se realiza una evaluacin, como e!evaluador o la evaluadora tiene que adaptarse tambin a la decisin de otra persona. Existen despachos, empresas, asesoras y consultas de evaluacin (grandes y pequeas). La mayora de compaas investigadoras que se dedican a la evaluacin de programas, como la Rand Corporation, SR! International, el Banco Mundial yKPMG Peat Marwick, tienen en plantilla a un gran nmero de especialistas tcnicos que realizan tareas yrutinas rara vez decididas por e! evaluador o laevaluadora individual. Una de lasmejores consultoras de evaluacin durante los aos noventa era la divisin de evaluaciones de la Oficina de Contabilidad General de los Estados Unidos, encabezada por Eleanor Chelimsky. Aunque la plantilla era amplia, muchos de sus estudios de evaluacin fueron diseados por slo una o dos personas yrealizados por una o dos ms. Hasta cierto punto (y,a veces, en gran medida), el evaluador opera desde fuera de la cultura. Las culturas tienen sus propias tradiciones, lenguajes, valores, estructuras organizativas, esttica y peculiaridades. El evaluador pertenece a una o a ms c.ulturas, tanto tnicas como de un departamento ode un Crculo oprofesin determinados. Elpersonal ydems agentes implicados asociados a un evaluando comparten ciertas culturas, pero stas sesubdividen, asu vez, en subculturas yen sub-subculturas. La cultura del campus esdistinta de lacultura empresarial, lacual, por su parte, difiere de la cultura de laAdministracin pblica. Dentro de cada una de estas tres, existen subculturas que varan, incluso, a lo largo del tiempo ydel espacio. Los evaluadores, incluso los internos, casi nunca tienen un conocimiento exhaustivo de las costumbres y los valores de las culturas del evaluando. Quien ejerce labores de consultora de evaluacin para otro pas puede estar casi seguro de que ser insensible ante muchas de las expectativas que all tengan. Elinstructor en un curso sobre evaluacin tendr muy probablemente estudiantes extranjeros que se manifestarn escpticos ante la posibilidad de que los procedimientos recomendados y los infor-

lapersonaueevala q
No existe un nico tipo de personalidad o un conjunto de habilidades o una inclinacin metodolgica que haga que un evaluador o una evaluadora sea el mejor o la mejor: los hay mayores ymsjvenes, hombres ymujeres, urbaniias yresidentes en un entorno rural, especialistas en mediciones e intrpretes de experiencias. Obviamente, en lamayora de tareas siempre ayuda ser inteligente, lgico e instruido (y,en algunas labores, hasta genial y tozudo, adems de con sentido de! humor). Tambin es evidente que existen muchas formas distintas de realizar un buen trabajo yla profesin mejora precisamente porque cuenta con una diversidad de enfoques yde modelos de conducta. La diversidad es buena no slo porque las situaciones que precisan de evaluacin son de mltiples tipos, sino tambin porque aprendemos a hacer mejor las cosas cuando vemos que otros u otras las hacen de manera diferente. En tiempos mucho ms remotos, las virtudes y los defectos de un campo cientfico (por ejemplo, la psicometra) o de una especializacin profesional (por ejemplo, la radiologa) eran evaluados por los propios colegas de disciplina o de profesin. Slo un puado de personas se reuna en pequeos encuentros cientficos ypublicaba sus obras en un reducido nmero de publicaciones. Actualmente, son miles las personas que se renen en convenciones diversas!" y las publicaciones estn ya altamente especializadas. A pesar del incesante aumento de las facilidades para la comunicacin que est acortando lasdistancias en el mundo, el nmero de profesionales ha crecido tanto que la mayora slo estn en contacto con linos pocos de Sl15colegas. La mayora de informes de evaluacin no se

10. La American Evaluation Association (Asociacin Estadounidense

de Evaluacin) cuenta

con 3.000 miembros afiliados (profesionales y administradores de la evaluacin) de todo el mundo. Su reunin anual de 2001 se celebr en San Luis y tuvo 1.200 participantes registranos. Su sitio en Internet es llnuw.eval.org

66

EVALUACIN COMPRENSIVA

EVALUACIN ENCRITERIOS INIIRPRIIAIIVA BASAOA YEVALUACIN

67

mes utilizados como ejemplo resulten aceptables en sus lugares de origen. Lo mismo puede que suceda con cualquier estudiante que se considere no incluido en la cultura actual del curso. Una de las partes de un trabajo de evaluacin es el examen de las expectativas culturales existentes en el evaluando yen torno a l. Un conflicto cultural habitual esel que se produce cuando elevaluador o la evaluadora tiene la intencin de examinar un problema en un sentido amplio pero el gestor del programa considera que ese examen general est fuera de los lmites del territorio que ha de ser evaluado, o cuando el cvaluador espera poder informar auna serie de pblicos pero elgestor considera que esa informacin ha de ser restringida. Aveces, el evaluador espera tener un mayor acceso areuniones, personal yarchivos del que autoriza la organizacin en cuestin. Puede que el evaluador cuente ya con antecedentes investigadores previos ycontemple entre sus propias expectativas el hecho de que el conocimiento ha de ser abierto ydirecto. Pero, ms all de la mera proteccin de los conocimientos privados, muchas organizaciones (incluidas las familias y los ministerios) desalientan aquellas averiguaciones que sequieran realizar acerca de aquello que no han querido hacer pblico. Entre otras cosas, en la negociacin de un contrato, en la recogida de datos yen la elaboracin de informes preliminares, el evaluador o la evaluadora ha de tratar de ser sensible alos lmites informales de lo que se considera una conducta aceptable. Auna evaluadora de Singapur seleha encargado laevaluacin de un programa de la UNESCO en la India. Entre los requisitos del programa est la realiza-

Latica ylasexpectativas de laprofesin. Lanecesidad de ayudar alosresponsables del programa. Sudeseo de tener oportunidades de nuevos encargos de evaluaciones en el futuro. Estasfuerzas incidirn ensuactuacin amedida que vayansurgiendo cuestiones de gnero, clase yetnia. Siel a siguiera sus instrucciones iniciales al pie de la letra, acabara recogiendo pocos datos ysu labor resultara, por tanto, de escasa ayuda para lasautoridades ylosreceptores del programa. Ellanecesita adaptarsealasexpectativas de susanfitriones, pero no por completo: tendr que alcanzar compromisos yhallar ciertas Vascrticas (y,amenudo, muy reducidas) de progresar por lasenda de laideologa de su profesin.

Eso no significa que el evaluador tenga que cumplir con todas lasnormas yexpectativas. Su labor esayudar aque el pblico comprenda lacalidad del programa que se evala". Cada evaluador necesita alcanzar compromisos sin imponer su criterio por completo ni camuflarse como un miembro ms de otro grupo o cultura". En cuanto alos conocimientos tcnicos, algunos evaluadores seespecializan en las labores de evaluacin, pero se dedican a un elenco de temas, programas, contenidos y campos. ~_sJ-Uos l amamos evaluadores independientes o externos: independientes si no tienen afiliacin alguna con el evaluando; externos si son de fuera de la organizacin. Otros evaluadores son internos o especializados en un terna: internos porque estn dentro de la organizacin; especializados en un terna si afirman ser expertos slo en aquello que se est evaluando. Tienden acir-

cin de una evaluacin objetiva externa, pero ellaseda cuenta de que elpersonal semuestra reacio afacilitarle e!acceso aciertas actividades yregistros del programa. Sussolicitudes para que losreceptores proporcionen supropia informacin evaluadora tambin son acogidas con objeciones. Laevaluadora haestudiado la evaluacin tanto en Holanda como en su propio pas de origen. 11. Eso ocurre normalmente cuando, en primer lugar, el evaluador logra entender la Aunque aellalegustan lasexpectativas que suscolegas holandeses siempre han calidad del programa y. a continuacin. informa a otras personas. Pero los diversos tenido respecto aloque han de serlaapertura ylaaccesibilidad de un prograpblicos aprenden cosas tambin acerca de la calidad del programa l partir de lo quc ma, ellasehasentido muchas vecesconstreida en lasexperiencias que havivihace el propio evaluado!" o evaluadora que son demasiado sutiles o con textuales como do a lo largo de los aos, como, por ejemplo, durante su quenciaelen evaluador las entienda. El evaluador consumado trata de hallar modos de el para esta Ministerio de Servicios Socialesde Singapur. Pero, desde ayudaro devistquesli- esos pblicos mejoren su propia comprensin de los hechos. Ms sobre supunt a a,la esto, en el captulo 4. mitaciones que experimenta en estai12.ti uciLa en laIndia sonan mayores. As nst n observacin participante es una tcnica de estudio de campo que utilizan especialmenpues, alahora de decidir loque tiete que estudietngrafos nformar, ne- estudian culturas remotas. Lo que intentan con ella es investigar ne los ar yde qu vaai que mediante e fuerzas: cesita adoptar una posicin intermedia entre lassiguientels desempeo de un papel activo en las comunidades que estudian, adoptando la lengua, las actividades y las convenciones locales del mejor modo que les es posible. Se trata Lapercepcin que tenga de smisma como evaluadora. de un artificio al servicio de la investigacin y no de una introduccin real en la cultura. Se Lapercepcin que tengan de ellalaspersonassupone que ylelsfuncionade!programa o investigador o la investigadora ha de entender que continuar interpretando principalmente los significados de las cosas en trminos de su propia cultura de origen. riosindios. Algunos evaluadores }'evaluadoras profesionales emplean la observacin participante en sus Lascostumbres ylamanera de funcionar de susanfitriones.
estudios sobre el terreno, pero casi nunca tienen el tiempo y los dems recursos que se necesitan para hacer que sta llegue muy lejos .

'~

l'lltllll

rlt'.I:.11

69

programa

se

est

apartando

de

su

curso

est

poniendo

en

usuarios.

La

persona

que

evala

no

puede

fiarse

exclusiva-

sibilidad

personal

ni

de

la

de

otros

miembros

del

equipo

que

necesita

establecer

mecanismos

de

revisin

para

validar

reanalizar

los

datos,

cuestionar

las

interpretaciones.

Las

de

la

calidad

de

un

programa

han

de

ser

examinadas

una

jefferson

dijo:

el

precio

de

la

libertad

es

la

eterna

vigi-

dice:

el

precio

de

una

evaluacin

vlida

es

la

eterna

amamos

veces

metaevaluacin

(la

evaluacin

de

la

evalua-

se

concibe

como

un

estudio

externo

suplementario

car

el

proceso

el

producto

de

la

evaluacin.

Es

eso,

es

toda

la

revisin

informal

e,

incluso,

la

supervisin

autoco-

ntrola

los

errores

que

se

van

produciendo

lo

largo

de

la

aremos

la

metaevaluacin

como

constructo

en

el

cap-

ya

por

delante

el

reconocimiento

de

que

el

precio

de

la

ncia

eterna.

no,

un

evaluador

una

evaluadora

suele

trabajar

en

contratos

la

vez.

Dispone

de

demasiado

poco

tiem-

el

trabajo

tal

como

ella

le

gustara

hacerlo.

No

tiempo

para

pilotar

correctamente

los

instrumentos.

Son

sitios

que

hay

que

visitar.

Las

reacciones

obtenidas

par-

de

verificacin

con

los

participantes

de

revisin

lle-

lentitud.

Es

probable

que

el

propio

proyecto

no

con

presupuesto

suficiente

para

ser

llevado

cabo

Las

propuestas

suelen

estar

infradotadas

econ-

ser

competitivas

frente

otras

pujas.

Los

jefes

los

saben

cmo

protegerse

del

apretn

econmico.

del

evaluador

consiste

en

llegar

conocer

bien

las

que

se

producen

cuando

se

descuida

la

validacin

la

documentos

interpretativos,

ser

capaces

de

proponer

una

prrroga.

La

mayora

de

nosotros

no

disfruta-

algo

as,

pero

se

es

el

mundo

real

para

la

mayora

de

los

de

las

evaluadoras.

satisfacciones

de

la

labor

evaluadora

pueden

ser

hondas

el

programa

sus

complejidades

es

profundamente

tambin

lo

es

preparar

un

informe

que

pueda

ser

exa-

gullo

durante

aos.

Familiarizarse

con

lo

que

los

buenos

programas

reconocen

como

calidad

proporciona

una

sen-

logro

personal.

Estamos

ante

una

lnea

de

trabajo

que

pre-

retos

grandes

recompensas.

No

hay

lmite

alguno

la

conocimiento

la

que

se

puede

aspirar

incluso

en

la

eva-

bastante

normales

corrientes.

70

EVALUCiBNAlDENCRIlf OyEVALUCiINHRPfTA1V EVALUACIN COMPRENSIVA

71

RElATO

SAGREDO:esunab pregunta.So quegranptdoienqu verconlamti. PHYLUS:usaeordVivnmecoar lgdetoscuandelbor

(El Sr. Sagredo llama a Phyllis a su despacho.) elprogam? SAGREDO:Estaba pensando en asignarte un encargo durante una temporada. SAGREDO:,nosaegur qlosmateri fovsaumentr lcoPodras hacer una evaluacin de nuestra Formacin en Mentorizacin para cienadlmportanci demuncars bieonlsuv.Peroli el Personal Snior? preocualtmdeaciuprsonal.Ac oeslamrizcnua PHYLLlS:Puede. Conozco un poco ese programa, pero me ayudara que me lo excuestin rpoal ntesqudcnismodelargnizc? plicaras algo ms. PHYLUS:Combiensa,oyunespcialt ndesrol ganiztvo SAGREDO:Pues, vers, para hacer ms efectiva lamentorizacin de nuestro personal enhabildsemntorizac.Puedqlrsutedmay elnsnior,encargamos aVivani Associates el diseo de unos programas informtilisdetarqulevacin,proes algqunestdio valucos de autoaprendizaje que incluyeran tambin alguna actividad en grupo. El cinpodrayu!cdeir,Estuedaifchon<ut:elp'Ogr;I1a mdulo total dura unas seis horas, administradas preferiblemente en tres sesiofuesdiaopresgudpronas? nes. La idea principal esayudar almentor aque sepa qu hacer yqu no hacer. SAGREDO:Nosabrem cundoveamslincrtoelacid os Los receptores de la formacin bromean sobre ello ydicen: ,,no podamos consejqudalospriments? haber aprendido algunos de esos errores por nuestra cuenta?". PIY.lS:Bueno,dbramsecuilobnmaquepdntralpnPHYLLIS:Osea, que piensan que la formacin que reciben es trivial. sonaluevybinomalquertosnerad.Pose SAGREDO:Pues no lo s. Tienen muchsimo trabajo con lo suyo y puede que quelmtodfraivuesxclnt,proquesmladnoetucrean que sa no es la formacin que ms les puede ayudar. viesnadcumtpreados licr.Ytambnpodserqu PHYLLlS:As que la evaluacin tendr que tener en cuenta no slo siel programa elprsona{~Jijcedmntorudqesirvalmfunciona, sino tambin si supone un buen empleo del tiempo de nuestro ravilspcumCOJlospazeShcidprogJlO'atd personal. dems.Sinofjaelsrutdo afmcins,podram SAGREDO:No haba pensado en ello. Lo que queremos saber, sobre todo, es sise estarpndo lquestdramnecitsbr. les est aconsejando bien. La evaluacin debera mostrar lo buena o mala SACREIlO:Yharquenosdig,amsietoarnlfmcie que es esa formacin. PHYLLIS:Puede qU(~lo que nos proporcione el mayor graclo de <:<:rle/.asea 111IexI'YlJ.S:,esoagqudbrmospcguntal.Pedq:,sgnlacirperimento aleatorio. Desea principalmente averiguar si este enfoque forcunstai,oedltsincro.Pe,ausconvipreguta. mativo funciona bien en general? SAGRf.oO:npersaxclt.Porqunibasecr? SAGREDO:No vamos a gastar nuestro dinero para saber si el enfoque puede funI'Y.lS:Puedqsproceu,algndsecotuiam l cionar en otro sitio. pesnucotralhdebnruasco.Opedquiran PHYLLIS:Podramos circunscribir la medicin de efectos positivos ynegativos a ahorselpn videcalgun.Yopresgqutnya unos pocos criterios? predisutoangrs.Simplent,qurospdent. SAGREDO:Yoquiero conocer todos los beneficios ytodos los problemas. SAGREDO:ntiedlosbjv? PHYLLlS:Quin recibe la formacin? PHYLUS:robalemnt,drosmialquetdcraopesit, SAGREDO:Todos los profesionales senior, incluidos los directivos, pero no el perperotambindsupoerqcadsnverlfiads sonal de apoyo. En el departamento de Servicio al Cliente se espera que proyectdfmaineuod tanifer.Ostabrcfitodos los empleados acten como mentores de los empleados nuevos. En teoriendoustalbjeivod alucn? ra, les corresponde enviar un correo electrnico a cada participante al SAGRUJ:,clarohybjetivspacdoy,enstambicdperson menos una vez a la semana, pero la mayora de ellos cortan ypegan prratendrxpcaivstn.oserapnbildsuya,eponr fos enteros de informacin tcnica o adaptan circulares estn dar. sas son porescitlbjvdealucin' las personas a las que va destinada la formacin. PIYL.lS:,podrae unbordy,legustpodranelgus PHYLLIS:Cree que ya saban cmo ser mentores pero que les faltaba tiempo o indcaoesbrmcailos. ganas?
s('ri)~

(i;'

'W" ~ ;:) ~.? ,.l~

., -e

~ ~

72

EVAlUAlION (OMPilNIIVA

S\CRElJO:Cmo podr enterarrne mejor de cmo piensa usted llevaracabo la evaluacin? PHYLLlS: Yoloque hara sera preparar una propuesta, un diseo. Como, aveces, hayque cambiar lasevaluaciones sobre lamarcha, puede que leresulte til echar unvistazoaalgunos informes de evaluacin preparados en elpasado. Estoledar una idea de cmo abordan losevaluadores losproblemas amedida que stos vansurgiendo. SACREDO: Podramos contar de antemano con sudisposicin favorable alosobjetivos de laformacin? PHYLLIS: lepuedo decir en estemomento esque estoyafavorde esaclase Loque de formacin en general, pero tendr que considerar lascircunstancias actuales. Creo que usted podr deducir de mi propuesta losque, amijuicio, son losriesgos ylaspromesas deesaformacin. Esde esperar que tengamos que negociar algunas cosas. En cuanto nos hayamos puesto de acuerdo sobre lapropuesta, staservir como una especie deencargo -ms omenos, un contrato- alque tendr que ceirme hasta que sehaga necesario renegociarlo. (Continuar)