Q~~ ol SOlN3WVONn~

Á V)l !M)

VAISN3~dNW,OIJOJVnlVA3
Título original: Standards-basedand responsiveevaluation
© 2004, Robert E.Stake
Published byarrangement with Sage Publications, Ine.
(United States, London and New Delhi)

Colección Crítica y fundamentos

Serie Teoría y sociología de la educación

Directores de la colección Graó: Rosario Cubero, José Escaño, Miquel

Essomba, Juan Fernández Sierra, Juan Bautista Martínez Rodríguez,
Caries Monereo, Lourdes Montero, Javier Onrubia, Miguel Ángel Santos
Guerra, Jaume Trilla

Director de este título: Juan Bautista Martínez Rodríguez

© de esta edición: Editorial GRAÓ,de IRIF,S.I..

CI Francesc Tárrcga, 32-34.08027 Barcelona
www.grao.com
© de latraducción: Albino Santos

l.' edición: febrero 2006

ISBN 10:84-7827-418-9
ISBN 13: 978-84-7827-418-5
D.L.: 8-2.219-2006

Diseño: Maria Tortajada

Impresión: Imprimeix
Impreso en España

Quedan rigurosamente prohibidas, bajo las sanciones establecidas en las leyes, la

reproducción o almacenamiento total o parcial de la presente publicación, inclu-
yendo el diseño de la portada, así como la transmisión de la misma por cualquiera
de sus medios tanto si es eléctrico, como químico, mecánico, óptico, de grabación
o bien de fotocopia, sin la autorización escrita de los titulares del wpyright.

~,.

,
! l.
:i;::...
:!r'
íf'
{i J¡ .-[

.~¿. .,.~.
.~
~
 I , ~

Evaluación basado en cri

y evaluación
interpretativa

Produjo, pues, la tierra hierba verde, hierba que da semilla según

su naturaleza, y árbol que dafruto, cuya semilla está en él,
según su género. Y vio Dios que era bueno.
(Génesis 1, 12)

yDios, elSeñor, ledio este mandato: "Puedes comer de todos los árboles
deljardín, pero del árbol del conocimiento del bien y del mal no deberás comer.
El día que de él comas, ciertamente morirás".
(Génesis 2,16-17)

Así pues, la evaluación nos acompaña ya desde hace mucho tiempo. Yaún
queda mucho por venir. Evidentemente, Dios sabía la diferencia entre el
bien y el mal, pero aquí no dio indicación alguna de cómo distinguirlos. Si
vio que la vegetación era buena, sería porque tenía algún tipo de criterios
en mente, pero ninguno de ellos quedó recogido en las Escrituras.
Dios quiso que Adán no supiera qué era el bien o el mal, pero lo expu-
so a la oportunidad de saberlo, oportunidad que, con la ayuda de Eva y la
serpiente, Adán aprovechó. Y ése es un conocimiento que se ha transmiti-
do de !{cneración en ~eneraci{¡n. Nacemos siendo ya evaluadores, pero no
necesariamente buenos evaluadores. Yaunque también conocemos el bien
y el mal, eso no basta para poner nos en el lado del primero.
Usted no está leyendo este libro para aprender evaluación informal.
En contextos académicos y organizativos, el término evaluación implica un
procedimiento deliberativo y formal. De eso trata el presente libro. Pero la
evaluación formal siempre muestra también aspectos informales, intuiti-
vos. casuales, interesados. Así que nos corresponde reflexionar exhaustiva-
mente sobre cómo se relacionan la evaluación formal y la informal.
La evaluación informal podría esgrimir cierta superioridad sobre la
formal porque nosotros (homo sapiens¡ hemos sobrevivido como especie.

Somos los mejor adaptados. o, al menos, estamos mejor adaptados que

los que 110 sobrevivieron. l'robablemeute intervino la suerte, pero no es

descabellado afirmar que la supervivencia implicó tomar en su momento

muchas de las elecciones apropiadas. Y elegir es una cuestión de evalua-

ción. Puesto que antes de 1950 no había apenas evaluación formal (tal y
42 EVALUACiÓN
COMPRENSIVA
43 EVALUACiÓN
BASADAENCRITERIOS
YEVALUACiÓN
INlfRPRE1Al1VA

como hoy laconocemos) eincluso losjuzgados, los hospitales, los consejos ni siquiera losvemos sipueden ponemos en evidencia, como en el caso de
sacerdotales ylas ciencias son inventos modernos, podríamos concluir sin la habilidad de un rival o de la falta de lógica de nuestra propia argumen-
temor aequivocamos que lo que nos llevó tan lejos fue laevaluación infor- tación. Pero nos mostramos constantemente sensibles a las miles de mane-
mal yno la formal. ras en que lascosas pueden ir mal. Nuestra supervivencia ha dependido de
Para que la segunda sea mejor que la primera, necesitamos que nos que las cosas fuesen bien. Somos mecanismos autocorrectores, diseñados
ayude de forma efectiva (ysin que implique un coste excesivo) a recono- internamente para corregir lo que hacemos. En el actual mundo de lasco-
cer mejor la bondad. ¿Qué pasa sila evaluación formal nos hace cambiar municaciones, dependemos de buenos receptores, descodificadorcs yme-
de opinión acerca de lo que es bueno o no? Ésa es una pregunta que pla- canismos de revisión para evaluar los mensajes entrantes y salientes.
neará a lo largo yancho de este libro. Muchos de esos mensajes son sumamente complejos. La mayoría forman
Pero incluso si nos convencemos a nosotros mismos de que lo mejor parte del ámbito de la evaluación informal.
sería, muchas veces, evaluar nuestros programas informal yno formalmen- En el mundo de lasobligaciones, los contratos, los encargos ylasuper-
te, gran parte de este mundo espera que la evaluación formal sea más visión, existe una gran necesidad de evaluación formal, Iloy en día, la
fidedigna, más dada aproporcionar pruebas fiables de lacalidad. Suele ser supervisión esexplícita, seasignan calificaciones, seutilizan códigos dé h1C-
buena idea pensar detenidamente. cuál de los dos tipos de evaluación se turación. En ocasiones, una política, una decisión o un problema requie-
ren
ajusta mejor, pero cuando se dice que se necesita evaluar un programa, lo de procedimientos formales de examen que pueden ser tan hreves
más probable es que se esté hablando de una evaluación formal. La mayor como un simple vistazo o durar años. La evaluación informal es parte
importante
parte de loescrito en este libro serefiere alaevaluación formal, pero también de la vida primitiva yde la moderna; la evaluación formal sólo
dedicaremos tiempo aconsiderar la informal. lo es de la moderna, especialmente de la vida empresarial e institucional.
La diferencia entre formal e informal es importante, pero aún Tenemos
lo es que puntuar el evaluando.
mucho más para el pensamiento estratégico en materia de evaluación laque
seestablece entre laevaluación basada en criterios ylainterpretativa. LaEscena
pri-matutina, deírnestOlson.
Reproducida
conpermisodelartista.
mera consiste en determinar y representar la calidad mediante el uso de
números yescalas, es decir, mediante criterios. Esla evaluación cuantitativa:
más objetiva, analítica ybasada en estándares. La evaluación interpretativa,
por su parte, consiste en determinar y representar la calidad a través de la
experiencia subjetiva, utilizando la descripción verbal yla experiencia indi-
recta de méritos y deficiencias. Se trata de una evaluación cualitativa: más
episódica yholística. El adolescente que describe un «mate» en baloncesto
como «un diez» está empleando una evaluación apartir de criterios; elque
lo describe «como uno de MichaeIJordan» está usando laevaluación inter-
pretativa. En el capítulo 3, que tiene por título «Evaluación basada en es-
tándares», nos adentraremos en las profundidades de los significados, los
procedimientos yelmérito de laevaluación apartir de criterios. En elcapítulo
siguiente, titulado «Evaluación comprensiva», haremos lomismo con los sig-
nificados, los procedimientos ylos méritos de la evaluación interpretativa. Y
aunque estableceremos una estrecha conexión entre la evaluación interpre-
tativa yla comprensiva, la una ylaotra no son lamisma cosa.

Loomnipresentbúsqueda
e delocalidad
Todo el tiempo estamos buscando méritos ydeficiencias, consciente e in-
conscientemente. Logramos ignorados cuando resultan triviales. Aveces,
No puedo evitar usar la palabra evaluando. No es precisamente bonita,
pero resulta incómodo hablar de evaluación sin ella. Lo que se mide es el
evaluando. Sievaluamos un prog¡'3ma de formación, el evaluando esel pro-
grama en cuestión. Si evaluamos un champú, éste es el evaluando. Si eva-

K ,. :',.¡"-
'1i W 'Jf ' '1Il 'I~f' ·-~ 'r; .I ~
;,~
~;
~,~¡
 "

44 EVALUACJOH
COMPRENSIVA

luamos un candidato para un puesto de trabajo, el candidato esel evaluan-

do. En la viñeta incluida más arriba, hay tres evaluandos. Puede que haya
quien se irrite de que hablemos con esta clase de
uación: n Comparación
jerga, pero mientras hablemos entre nosotros, lo ha-
a situación o del rendi- remos haciendo referencia al evaluando.
o de algo en función
Una de lasdefiniciones de nuestra actividad sería
uno o más estándares.
algo así como la definición «de diccionario» que aquí
me en el que se recoge
se da. El estándar indica lo bueno que debería ser.
mparación.
Son las personas las que han de ruar el estándar. No
existe otra fuente de donde extraerlos que no sean las
propias ideas que las personas tienen sobre lacalidad. Aveces, elevaluador
o la evaluadora es quien establece el están dar. A menudo ocurre que per-
sonas diferentes tienen estándares también distintos. En ocasiones, resulta
útil tratar de hacer" que se pongan de acuerdo sobre un único estándar,
pero los evaluadores no tienen otra alternativa que no sea la de trabajar
con multitud de ellos.
Para evaluar un programa de formación, tendríamos que examinar
los procedimientos formativos yel rendimiento o la actuación de los for-
madores, ypuede que hasta el de las personas receptoras de la formación
durante y después de la misma. Para cada una de esas comparaciones
necesitamos un estándar separado. La evaluación podría ser una actividad
bastante simple si contáramos con estándares sobre los que todos y todas
estuviéramos de acuerdo. Pero, a menudo, nos es imposible hallar están-
dares sobre los que una misma persona continúe estando de acuerdo inclu-
so después de que las condiciones cambien. Fijar estándares es, pues, una
labor sumamente difícil.
Cuando empecé a teorizar acerca de laevaluación", recomendaba que
e recogieran datos que mostrasen cuáles eran los estándares que la gente
onsideraba relevantes para nuestros evaluandos, Pero luego me he dado
uenta de que resulta casi imposible extraer esa clase de información apar-
r de fuentes fiables. Además, rara vez obtenía respuestas útiles de los
iembros del personal o de otros agentes implicados a las preguntas que
sformulaba apropósito de tales estándares". Afin de cuentas, ¿qué me res-
onderían ustedes siles pidiese que me diesen un estándar de lo que sería

En 1967, escribí un artículo titulado « The Countenanee of Educational Evaluation» ( « El

educativa») en el que proponía muchas clases distintas de

de programas. Para algunos aquel modelo pasaría a ser

del aspecto», pero no era un modelo para la rcalil.ación de eva-

tos para la evaluación que propuse aparecen recogidas en el

keholders) son las personas que han invertido en el programa o

las que lo patrocinan, las que trabajan en él, las beneficiarias del

hasta los contribuyentes.

16 EVAlUACiÓN
COMPRINSIVA
cualida es de la música, empleamos califcativos tales como lírica, sonora,
des nfadada oconvencional. Par describ r las cualidades de un estilo docen-
te, recur imos aadjetivos como creativo, convencional, centrado en elniño o
carentede nfoque. He aquí una frase deJohn Dewey (1939): «interés propio
ycompasión, cualidades opuestas son». En esta acepción, la pal bra «cua-
lidad» hace ref rencia al naturaleza oal contenido de algo, pero no asu
bondad. .
La calidad, por el contra io, sí que tiene que ver con la bondad de
algo. La calidad de una interpretación musical es su grado de excel ncia.
~a calidad de un episodio formativo depende de sus méritos ysus def ctos.
Ese es el término en el que usamos habitualmente en la labor evaluad ora.
Buscamos la calidad de un programa, entendiendo por el o sus méritos y
su valor. Pero eso es ólo una pequeña parte. POI' lo general, cuesta mucho
determinar yponerse de acuerdo sobre qué es la calidad, el mérito ola
excelencia", Los estándares que fijamos verbalmente omediante medicio-
nes suelen ser más simples ymenos complejos que lo que experimentamos
personalmente. Cuando decimos que lacalidad de laredac ión de un estu-
diante esmediocre, estamos reac ionando avarios aspectos: su coherencia,
~uactualidad, su gramática, su creatividad, su caligrafía, su oportunidad, sus
Juegos de palabras, su fidelidad ala tarea encargada, incluso, aciertas cua-
lidades en las que no habíamos pensado de antemano. Pero no tenemos en
cuenta todas el as en todos los casos ni les otorgamos el mismo peso acada
una en todas las ocasiones. Elpensamiento basado en criterios es impor-
tante, pero también lo es la interpretación.
Yo, como evaluador, no creo que sea necesario ser muy explícito en
cuanto alacualidad que busco. Algunos cvaluadores yevaluadoras se sfuer-
zan por serIo, pero yo recelo de emplear un único criterio (o unos pocos),
porque quiero famil arizarme experiencialmente con los diversos aspectos
del programa. Hay evaluadores que prefieren dedicar sus recursos alamedí-
~ión ?el mejor criterio (o del conjunto de mejores criterios) que puedan
l~e~tificar . Nosotros examinaremos ambas estrategias en los capítulos
~lgUlentes ,:~culando los criterios ala evaluación basada en estándares, yla
mterpretacíón, alaevaluación comprensiva, pero no de manera exclusiva en
ninguno de esos dos casos.
Otro aspecto que nos diferencia aalgunos evaluadores de otros es la
percepción «epistemológica» que tenemos de lacalidad. Cuando usted pien-
saen lacalidad del melón que se está comiendo, esposible que piense en la
bondad entendida como una propiedad del melón. Pero puede también que
EVALUACIÓBAlN ADAINCRlHiIOI yIVALUAClOINliPI AlYA 4/
piense en la calidad como algo definido por la respuesta que en usted está
produciendo el hecho de comer ese melón. ¿Pertenece entonces lacalidad
alafruta en cuestión oala experiencia? Fijémonos en que esto último obli-
ga aprestar más atención aquién esel comensal. Los evaluado res discrepan
apropósito de laimportancia que hay que conceder aquién experimenta el
evaluando. Alahora de examinar el rendimiento de una actuación determi-
nada, cuando usted piensa en lacalidad de dicha actuación, puede concebir
esa calidad como una propiedad de quien realiza la actuación ocomo
una especie de interac ión entre esa persona (o personas) ysusjueces.
No tienen ustedes por qué estar de acuerdo conmigo, pero amí me
gusta pensar que el origen de la calidad se hal a en la experiencia humana.
Para mí, el concept.o de calidad resulta de muy poca utilidad sin esa expe-
riencia. Hay calidad porque las personas experimentan la calidad. Y, a tra-
vés de los tiempos, las experiencias posit vas que más se han valorado han
sido la comodidad, la satisfac ión yla felic dad, ylas negativas, la incomo-
didad, el enfado yel miedo. Lo que reconocemos de inmediato como una
docencia oun melón de buena calidad es algo que tiene su raíz, ami
entender, en experiencias actuales opasadas con el os. Puede que, en la
actualidad, hayamos desar ol ado yaestándares, convenciones otradic ones,
formales oinformales, para poner nota alos melones yal enseñanza, pero
las raíces del signif cado de lacalidad se ncuentran en laexperiencia erno-
cioual que-esta última ha evocado alo largo del tiempo. Un reloj es ~
buena calidad, en parte, porque no se atrasa ni se adelanta ysus piezas son
muy buena manufactura, pero también porque laspersonas se sienten muy
satisfechas con él ylo consideran superior aotros relojes que hayan conocí-
do. Esto hace que los cvaluadorcs ylas cvaluadoras seamos máx rec ptivos
en nuestra activdad evaluativa areconocer que la calidad depende en gran
medi a de quién la haya experimentado.
losetándares
Una chi a dice que no quier salir con un chi o que sea más bajo que la.
Su objetivo es er la más baj de los dos. El criterio al que se refi re es la
altura. Su estándar es 1,70 metros, su propia estaura.
Un estándar es cómo tien que ser de bueno un chi o, un libro cual-
quier otra cosa. ¿Cómo tien que ser el ibro de legible par ser satisfacto-
rio? ¿Cómo tien que estar de actualizado? ¿Pued un único libro ser
bueno par tod s us lectores ylectoras? Ésta son preguntas difcles. No
nos pondríamos necsariment de acuerdo acera de cómo medir todas
6.Robert Persig (1974) escribó Zen and theArt o/Mot rcyle Mainte ance amod de xamen
de lasdifcultades filosóficas yprácti as que conleva definr lac lida . Endicha obra secom esa cualid es. ¿Deb ría ser un exp rto en libros el que decides ?
par , en concreto. lac lida de,la experi ncia que supone rodar por una caret ra desp ja- ¿Deb ría decidr el valu dor o la evalu dora? ¿Deb ría éste o ésta de icar
dacon lac hda delaclibrajón que permite que lmot r ronroie como un galo. gran parte del presup esto de la evalu ción a tr a de conseguir que los
~ ¡ iW; . ;;
so

SI
[VALUCIÓNERfl
EVALUCIÓNBlDR!Oy
EVALUACiÓCOMPRENSI
N VA

Cuad2ro.ComparaceinotrdesiferenmatesrcodseheladreoalizadposrConsuRmeprorts

I"~.· ~·
Kirkland 25*

702 18 Sabeponchd
.
Signature

huevo.Cnsitca
'
"0Su.per1

ligeramnto-
~' Premiu

sayenlqu
(Coste)

cuharptin
~

confaild.
~;f

Másdenoqula
~.,

mayorí.
·15 Equilbrado,e ,~-14.
saborpnucid f,~Blue 28

8 Sabeponch
180
ycremos,n ~jHomead

dehuvo.Cali
aromsdevinla li~
auténicos: ",¡,

varible.
h~ '.
¡'o
'Másdenoqula ;&1Turkey HIl 24

8 Saborsuve.
140
i¡!
mayorí. ~" Vanila Bean

Consitecalgr-
:o}~,~,

mentgosay
.,'.\•
18 Equilbrado,e ~\('I;

laquechr
·saborpnucid íl~\*/::.

patincofld.
ycremos,n l¡i,:.
aromsdevinla l~Pnvate 31

9 Saborsuve.
160
auténicos. t;~Selcion

Consitecalgr-
Másdenoqula Pre~ium t~

mentgosay
,mayorí. \~VanilBe

laquechr
(Kroge) t§~

patincofld.
16.'Equilbrado,e ,~:
';<
\'saborpnucid Lactid 38

9 Saborsuve.
~.ycremos,n Premiu

160
Consiteca
aromsdevinl Clasic

ligeramnto-
auténicos.

sayenlqu
Másdenoqula
:¡¿~"

cuharptino
,.1 mlr,°!'Ía. ' .•

facild.Bjoen
,~;
~;,

lactos.
.v: ·'9 Sab6reslácto ~'A
! 'j-]
'equilbradosye 0;'1Amencas ~·r4". I
20
8 Saborespc
.,:vanil'uténicos. <'l~Choice
140
¡"If-:\. intesoyfal
:'.Surexta dehilo Premiu ifíM
defrscua.

., )er.~spunto. ~1"Pf¡lVa(nilBebeci
Consitecalgr-

~\;letaCI-
mentgosa

7Saboreslá¡t ,1'!rmentos
yenlaquc-

'eqúilbrados •'o¡ i¡;'A&P)

charptino
yde

,I
l;J~
facild.
.vainlutécos

Xf;:
j I
~í1.
Sutexra.dhilo

~PrestI 17
9 Dulzraempgo-

v'.:
160
lerstapuno.

4~Premiun
sa.Conitec
Suminstrahel

';:¡¡l'
~té(W'D") :fl,¡mn-ixe
ligeramntos
'tripledcaoqu

'ln!
yenlaqu
los'demá.,

iWl
cuharptin

~;.)

,.8Aceptabl:Cir ~·:'.l
confaild.

~ 'd
"'(.·texuradhilo
~I,

/:~
Id'.\!

~.,If;:~'1
.;'iL.J~,:c
,¡;'
,~&t: f
 i 1 i Ill -"

52 [VAIUACIÓN
COMPmllVA 53 [VAIUA(IÓBAlN ADAENCilIEI OIyEVAIUA(IÓHNIEIPRElATlVA

¡.~

I~~
~
"
"

21 150 9 Sabot lácteo apaga-

do. Consistencia
ligeramente
gomosa yen laque
lacuchara patina
con facilidad.

27 130 7 Susabor avainil a

no esun sabor
limpio, sino que
tiene un cierto
deje de chocolate
ydauna impresión
artificial. Consis-
tencia ligeramente
gomosa yen laque
lacuchara patina
con facilidad.

Blue Bunny 28 160 8 Dauna fuerte sen-

Premium sación de imitación
Homemade devainil a, con un
sabor empalagoso,
de edulcorante
,;i,~
comercial. Consis-
tencia ligeramente
gomosa yen laque
lacuchara patina
con facilidad.

Dreyer's/ 33* 10 3,5 Suave,con un

Edy'sGrand sabor lácteo menos
Light intenso que lama-
yoría. Consistencia
ligeramente gomo- ,Pre~ti~~:!~;~ ~;.i· ;':"3é~', ;.";·¡
sa yen laque lacu- Premium';' ' ~
chara patina con (Winn-Dix¡'éj;
facil dad.

Breyer's 28 1 0 3 Sensación de leche

.' , ~;: j~:'; ¡~
Light en polvo desnata-
da, con un suave
sabor avainil a.
Textura de hielo.
,.
 EVAlUACiÓN
BASADAENCRIHRIOSyEVALUACIÓN
INIERfRHAIIVA 55
4 EvALUACCIÓONMPRENSIVA

- 28 100 3 Sabor achocolate

Dreyer's/
Edy'sLight' poco intenso que
NoSugar no mejoran unos
trozos yunas volu-
Added : '"~
I tasque dan una

I
. ~.- '~it~('·, "'
Triple
Sa1J?¡;~'batido de . Chocolate_ sensación de imita-
chocolate helado ción de chocolate.
k. cOl;:l~$e malteada.
",Teíltílraide hielo. 26 120. 2 Sabor achocolate
,'4,: }~,:"-"'~"",' .
',' Healthy menos intenso que
' ~'~;." • ~;-"' ' ~~~~' ',"1'-• -. ,. . Choice \
8 Chocolate básico . . Premium elde lamayoría,
,. típi~ njgeramen- ~. Low-Fat con sabores que no

8 Chocolate básico
tip}.S~ perta
~ g~o_so:,
-.=,"'- I .' Chocolate
'l
Chunk
parec n de cera.
Troz s que
son de chocolate.

RI~t; '~r:~f¡rit]!~'mk~,r;"'iü\~\~
" ,¡,,:~,"
"' ¡ r~./:~r:~;'!-

...•(.-;7.:::7 -r ':...-
.textUra:'dehielo,
I m"~ •+;'~,'~ ¡,' ",4", .•• ' '~,,:i"~ j,'¡¡,o(. "o ~l.).• ':~:·:'''~~.\''::
.;.1 . '. _' . ¡' ,- .!ti..m ~!:~~.,;~~J~:

8 ' ';" Saboi:-áchocolate Háagen-Dazs 80 310 23 Vainillade gran ea-

aIll~Qcori ~ lidad con nueces,
dejfáspero. '. pero sinsertípica-
Lige~;n~e, mente buuerpecan.
:" g9W~~:'·';!·} "
l' ~X Másdenso que la
:.'?~:"~~,ie-~.~"r/!~.~;¡:p"~I':-:~~"'_ ~, .' . c_ , ~ ~ mayoría.

8)";,:':'-':;
S~@x:~s'ligeramen-
./h.·teafrutados.y
I·re~n 26 170 12 Vainil asuavecon
y"
;'~
mai~ados pero
',.' ó' , ,
grandes, sabrosas-e-e-
. " 'podo demás, cho- ycrujientes nue-
col¡i~.básico.Lige- ces, pero sin ser tí-
~~~J1fCgomoso. picamen te butter
pecan.

I
-{""Y">:," ;.

9 Mediocre, pero
coii~1Jnosacepta- 26 160 10 Un butterpecan
Dreyer's/
bles':trozos de ',: Edy's respetable con
chocolate, Ligera- sabor ajarabe de

r
m~~e;gomoso. arce yunas nueces
,., "~C"):'~•.. aceptables.
9 Sabíiipoco inten- Ligeramente
fl'
so.Cierta textura -' gomoso.
de hielo yligera-
mep.teg~moso. Turkey Hill 23 170 11 Sabor acaramelo
<~~&1¿:" '~~: ¡. de azúcar y
mantequilla
Se~ción dechoco-
7 ~ (iJUt erscotch)
lateTde"imitación con nueces un
consabores que no ~
#e poco blandas.
¡
sonde chocolate, , Ligeramente
"1'

Dulzura empalago- gomoso.

saypersistente.
Gomoso.
.. {

~ '" '!1
 56

seotrD.lhdcpbn,quviamg
elcosdh Vtnu)xpraifmqg,e
tenífoijdsuxpectanivosrdu(cfetmyhogén,sblóacrtedfi(OIquo
Notals:comentadroinsetolcserdolsbor,texuyrlodensiNau.tproedlcarosfeinl
.('.1
1lQ,
O'",
~,
'.;\
,
':J

".>,¡
',: '1
.'
,.!.-I.,~

Blue BeIl
: '},:/'1Prermur. n
EVALUACIÚN

FOO!.CI1oen:suRener¡xIJc1eú5m Ro1iRJes¡xht»p,:/w w.amsumerepurts.org!stoic/02 7icel.úmi

18028
COMPRENSIVA

rapatina.
ción de mantequi-
l aypocas nueces.
Gomoso. Lacucha-
:;;'.{Blue Bunny27 170 10 Sens~ ión de imita-

l i Dejede frutas

mente gomosa.
tropicales ydulzura

rade hielo yligera-

empalagosa. Textu-

depintosóbag,rlcmvñáhu(
persoinólh.dmatqucbíá~1

-473mIenlcosdprutaxáhqiHg
losprducteíanjxñimf,.Eó
demorci,

yeldmgaóion(,89

simplentcoad.Afru,- quenporsmúlticjdayoejmpl:crit. blecrunojtdsafi,mháq lasecgrdu.Ponpmqt- ciaresotánd,yplmógu- nuevamstrpodáilgú Reconrstádauilvó.P- califdsquenorv.Aí, elvoumndtrabjsicó. de!air,pomstblcuny bienosvmlgadturp,cq Parevlumstdcigfío- macióndetorlbuqsgpf, quevalrdictmnso. decompariónstá,buyf- equivalnts)rdágbcocoletiva(spmn, encotrausádx.Pqvlgpi menos,quhayvripgdftunpuntodecraió mosaberi!ndtlvuc.Nfá Tambiénesroquxtpgl(y,ú unamispoblcó.Serg,tdvq- doresíanpctblquá. caquesodgrpnbíimt e!límit,ydxsronucva-1. resultaádíicmngfv.Ló- exist!jmplodunrgaqé "estandr•.o otrmen,yalguscidf lactuión«míresfo».Rvz(traducibleom siquerald.Lomcntó casinuhyprogmelqx (de1golón)y portdslemó,xchavinKkSgu
enuabtloprs palocnequsmr bienvsloatdu (.Estandre•)Objo1/ «estándar•): distnaeruoy Standr vecs,dubriáqlapntom oalfindeprgmcqusbv.At Pordesgaci, seconvirtláda.Oñqump- ral,condesf.Egquhitmvy segundopramqivctl,- noelsivtgadr.Lcóu recanquislvbopgmyd, losprgameductivyn,ó asigncóetrlodupvb; Enlaevuciódpoíts,mr9 laúnicdfertuoys!mpgó. exprimntalsydco,bvguq pruebafmcéti,losgn contrl.Euexpimdbaóí empladoscnfirtv.Pgu Amenudo,xistráva"pgfc»qí enuosptbadcrim. rioment:suydfícl(pax) encritosupa.Elbm,gyd- oelrndimtvaupcásb mospuntaciedrvlybó conlsqueptarvd.Pibm,fj- lidaeprotmásbncóuj Loqueslmhacr,ntidú- podemsvalurticá. noexistalmáíbdpóury,
DaIS,

ma).2.(
conelrdimtgupv.Lsañ o»estónhcprmdufabi;lqv. trodiseñhabulcnmpóO epagó.loinfrmcutdsqA«b- uncaoéxit. *)quierdcésflpo(ldeoctiVan(urgó).Es .~
da,lcostumbren- establcidopru- Estándar•.)Algo EVALUCIÓNBSDRTOYiHrl 5
senogralcmd 1)
f
y
 EVALUACiÓN
COMPRENSIVA 59
ción. Podemos utilizar los estándares implícitos que las personas tienen ya
en su cabeza. Podemos medir ydescribir. Podemos exponer el rendimien-
to o la situación del evaluando ante individuos o ante paneles, ante otros
agentes implicados no especializados oante expertos, para que éstos nos den
sus calificaciones. Podemos interpretar y ratificar las puntuaciones y las
valoraciones realizadas. De este modo, podemos llegar aindicar, de un modo
bastante digno, los méritos ylas deficiencias del programa. Nos basamos en
los estándares, pero, sobre todo, en aquéllos que se han ido construyendo
en la mente de las personas a partir de toda la experiencia que aportan a
la tarea evaluadora.
Recapitulemos: el concepto central de laevaluación eslacomparación
del rendimiento del programa con un estándar" o con varios de ellos
(como pueden ser puntuaciones de! tipo «apenas aceptable», «aceptable
en líneas generales» y «tan aceptable que más nos vale trabajar duro para
protegerlo»). Sila escala de aceptabilidad es multidimensional, puede que
necesitemos varias escalas para describir todo aquello que sea de importan-
cia para sintetizarlas luego en una única puntuación que recoja los méritos
del programa en cuestión. Puede que una lista que recoja todo lo que de
verdad importa acabe siendo muy larga. En cualquier caso, entre los ejem-
plos de características de un programa que suele valer la pena tomar en
consideración encontramos la productividad, la facilidad de uso, el coste,
lademanda de recursos especiales, laclaridad de sus objetivos, el clima que
lo rodea, su comunicabilidad, su imagen pública, la ausencia de efectos
secundarios negativos ysu adaptación alascondiciones locales. Cada carac-
terística (posiblemente, también, con sus correspondientes subcaracterísti-
cas) debe ser conceptualizada como parte de una escala común de acepta-
bilidad. La puntuación ponderada resultante podrá entonces considerarse
corta o suficiente con respecto a cualquiera de los estándares fijados por
el personal, sus clientes yotros agentes implicados.
Si utilizamos una puntuación ponderada de ese modo, estaremos
empleando lo que se denomina un modelo compensatorio: permitire-
mos que un punto débil en un determinado aspecto (como puede ser
una puntuación más baja en fortaleza fisica en el caso de unos candidatos al
puesto de agentes de seguridad) se compense con un punto fuerte en otro
(como, por ejemplo, una puntuación más elevada en un test de aptitud
académica). También podemos permitir que se tolere la ineficacia en la
8. El venerable estudioso de la evaluación Michael Scriven (l994b) atribuyó a los estándares
explicados un papel central en la evaluación -a pesar de lo que yo expongo en el capítulo 3-,
diciendo que la síntesis que conduce a los enunciados de valor requiere de dos tareas básicas: tantes en las que hay que pensar. Pero soy consciente de que al¡(lInos de SlIScompañeros y
la medición del rendimiento del programa yla comparación de dicho rendimiento con unos
estándares.
.;:~ ,o:-r: ~ .;i • ·1 -' - ~ . ~ .
!j ,:. ,
·lit
«
EVALUACiÓN
BASADAENCRITERIOSYEVALUACiÓN
INTERmlAJlVA
comunicación de un programa a cambio de su fortaleza en otros aspec-
tos, como el hecho de que pueda estar casi libre por completo de una
publicidad negativa sumado a un coste muy reducido. Un enfoque distinto
ese!llamado modelo de múltiples niveles de corte, en el que sedebe cum-
plir un están dar para cada uno de varios criterios concretos sin excepción
o el evaluando en su conjunto no supera la prueba. Podemos fijar uno de
esos estándares diciendo, por ejemplo, que ningún programa que preci-
se cubrir unos costes de personal superiores a50.000 dólares o que no logre
obtener el apoyo unánime de los miembros del consejo de administración
de la institución responsable será considerado aceptable. Cada caracteristi-
ea puede tener su propio están dar o puntuación de corte.
Estas comparaciones pueden realizarse de manera formal (a partir de
una medición bastante precisa) o pueden reducirse simplemente a un
modo de pensar: en lo más hondo de nuestro pensamiento, podemos con-
siderar las diferentes características (separadamente o en su conjunto)
como aceptables o excelentes. Podemos revisar los puntos fuertes ydébiles
del progl'ama intuitivamente y conversando con otras personas, pero sin
guardar registro alguno del funcionamiento interno. O podemos utilizar
una lista de control: para cada una de las características, marcaríamos una
casilla dentro de una escala de aceptabilidad; luego utilizaríamos la lista
resultante como diagnóstico definitivo de los méritos o como contribución
para un análisis adicional de la bondad del programa.
Casi todo el mundo cree que, para comparar la calidad, hace falta
comparar e!rendimiento observado con un determinado-estándar:-Y-asÍ--esc-. ---
Pero hay muchos modos de observar el evaluando para valorar su calidad.
Yalgunos funcionan mejor que otros en según qué momento".
Pensamiebasado
nto encriterioypensami
s ento episódico
El diccionario no impone ese significado, pero en el ámbito de la investi-
gación -como probablemente ya habrán apreciado en el apartado ante-
rior- solemos considerar que un criterio es un descriptor del evaluando,
como lo son la eficacia, la durabilidad, el coste o el valor estético del
mismo. Ypara nosotros un estándar es la cantidad de dicho criterio qllc
marca ladiferencia entre laaceptabilidad yla no aceptabilidad del evaluan-
do, o que establece alguna otra clase de límites discriminatorios o de mo-
tivos para laacción. Es un vocabulario dejerga, pero resulta muy útil.
9. Me pregunto sies lO les está aburriendo. Espero que 110. ÉSlas SOI1, a mijuicio, ("osasirnpor-
compañeras lectores sólo quieren que les diga qué tienen que hacer para llevar a cabo una
evaluación .
 if
t
60 EVAlUACIÓNCOMmNIIVA
Ilace cuarenta y ocho años, yo era estudiante de doctorado en un
c1eparLamenLO de Psicología. Un día, sentado en mi mesa, me di cuenta de
pronto de que siexiste una ciencia social de laeducación, esporque lospsi-
cólogos y sociólogos educativos fueron capaces en algún momento de
transformar los fenómenos en variables. Habían inventado los construc-
tos de laeducación, los materiales con losque edificar un modo disciplinado
de pensar sobre la educación, ylos llamaron variables. Aesos mismos cons-
tructos descriptivos se les llamó también atributos, propiedades, rasgos,
características, facetas ydimensiones. Muchas veces se los denominaba cri-
ierios. La reducción de los fenómenos complejos del aula, la sala de profe-
sores, la historia y las aspiraciones de la comunidad a unas determinadas
variables hacía posible manejar lascosas. La traducción de sucesos en varia-
bles se denomina pensamiento basado en criterios.
Una variable es un atributo que adopta más de un valor. Puede variar
de Ior rrtas diversas, pero los científicos sociales decidieron poner el énfa-
sis en variables que varíen en cantidad: las cifras varían hacia arriba o
hacia abajo en una escala. Así que, en cuanto concebíamos el construc-
1.0 en Iorrna de escala, lo importante era medir la cantidad. Podemos
luego emplear esas cantidades para describir, distribuir, comparar, inclu-
so, hacer como si estuviéramos buscando causas e interpretadas como
bases de control, de mejora o de reforma. Para mí aquello era como el
dominio del átomo. Gracias alos criterios yal pensamiento que se basa en
criterios, podíamos medir, y gracias a las escalas de medición, podíamos
mover montañas.
Con el pensamiento basado en criterios y el muestreo como platos
fuertes, el estudio de la educación podía pasar aser preciso, generalizador
y útil. Todas mis dudas se habían disipado. Me alisté en la ciencia de las
pruebas y los tests. Me dediqué a ser un hombre-medición. Mi trabajo
es la evaluación de programas. Trato de medir la cantidad yla calidad de
laeducación (ode laformación, odel servicio social), losméritos ylasdeficien-
cias, los esquivos criterios de la enseñanza y el aprendizaje,
Mipsicología me dice que laalternativa al pensamiento basado en cri-
terios es el pensamiento episódico. Los fenómenos educativos llegan a ser
conocidos a través de episodios, sucesos, actividades, acontecimientos. Los
fenómenos tienen un período de tiempo y un contexto. Están poblados de
personas con personalidades, historias, aspiraciones, flaquezas. A veces,
hablamos de personalidad ydebilidad, de contextos yepisodios, en térmi-
nos de variables. Cuanto más importante es el episodio como aconteci-
mienLO vital, más se mantienen los criterios en un segundo plano. Casi
todo puede ser convertido en variables. El problema radica en que la con-
versión suele simplificar e infrarrepresentar en exceso. Puede que gracias
aella obtengamos un nuevo asidero con el que dar cuenta de la situación,
pero también puede que nos sea más dificil mantenemos asidos aél.
6
EVALUACiBAlÓNADAEN(¡IHiIOS y EVALUACINiÓTNEiPETATlVA
El pensamiento bas do en criterios y el episódico convi en, codo
con codo, en nuestra comunica ión yen nuestro cer bro, Gracias a una
especie de visón binocular, fundimos inconscientemente la disparida
en una unida no ab rcable desde ni guno de eso dos modos de pen-
sar en solitario. En el capítulo 9considera emos este fenómeno como
una dialéctica.
Roleystilodeavlución
Laevlución osite nlabúsqueda lconimeto sbre lvaorde
algo.Buenaprted icho ncimeto prvien d laexprinca per-
sonaly,menudo enustrapoi cneia. YoséquelAopurinl
esunmdicaento quemvabienporqu,sinélemforanpiedrs
enlriñó y,conél .Loquemdigaelmédicoesmportane ypudo
aprend cosa breloscáu renals TheWlnsEcylopedia
(19),perotambiénprestounagr tenció amiproaexprinca.
Nosiempr uedo pnder la,perolautizocnregulaid (yno
sóloamí,sinotambénlaexprinca delsprona queconz yla
exprinca, losraznmietos ylainvestgaciones directas dgent
alquenoc z).Reúnotd esoy-cntosqueda, protambiénco
precisón- obteg unvalor.P cierto, ambién yudabermucha g.
Laevluciónsempr consite unadetrminacó delosmérit y
losdefct.Avecs, mucho ás,peroufnció esncialesd ta-
blecr méitodealgo.Éseufinald primea.Ése udfincó.
Ésaelcondió snequa on.Uavezoícóm unamjerqu stab
enlas despraledcía unco idasuyqeravludora: «¿Y
quéesloquhaces?».«Ayudoalsperona perd so.»«¿Yporqué
dicesqu resvaludor?» «Lagent idemásahcer loque digos
voyde aludor quesivoydeitsa.»Lodietsa ontambié evalu-
dores,posietamujersdicab primodalent ayudralsper-
sonac supérdia epso,lainducí alengñohaciéndose par o
evaludor. ¿Acasonpued ca uno cadun lamrsecom quiera?
Sí,porsueto. Pr noscmuniareos mejorsi,p evaludor eva-
luador,entdmos alguienq,dentro unciertoámbi deactiv d,
investga informa sbreloméritsyladeficnas deunval do.En
elpróximocapítulo,desarolé agunsidea cr delospae ylas
pref ncias delavución.
Elvaordetminao pued sremplado cnmúltipesfn dist-
tos,cm puedn srmejoa unproces, oncedr unpemio,asgnr
CUl'SO de nsñaz compensatri o ecn r elcumpi ento d un
contra. Yésto nsóloagunsdelanumerosíia funcioes parls
ques alevuación.
62 EVAlUAClONCOMPRENSIVA
Evaluaciformati
ón yevvaluacisóunmativa
Una de las distinciones clave entre los distintos roles de la evaluación es la
que seproduce entre laevaluación formativa ylasumativa. Michael Scriven
l amó la atención de todo el mundo sobre una yotra en un artículo de
1967 ti ulado «The Methodology of Evaluation», La mayoría de lectores in-
terpretan que tal distinción diferencia laslabores intermedias de las finales
en laevaluación de un programa, pero tiene más valor hablar de ladiferen-
cia entre la evaluación que sirve para el desar ol o de nuevos programas y
laque ayuda alfuncionamiento diario de éstos. Tal ycomo yo interpreto la
dicotomía, cuando el cocinero prueba la sopa, está haciendo evaluación
formativa, pero cuando es el invitado quien la prueba, la suya es una eva-
luación sumativa.
Tanto e! diseñador del programa como su gestor tienen preguntas,
como «¿son demasiado .complicadas las explicaciories?» o«¿está actualiza-
do e! material?». Pero el primero de el os, siempre re laborando progra-
mas, busca información que le ayude acrear otros aún mejores. Así que se
pregunta cosas como «¿durante cuánto tiempo debería aplicarse esta fase?»
o«¿deberíamos obligar alos participantes atener ac eso ala web?». Un
evaluador ouna evaluadora estudia fases de duración alternativa yusos
basados en la web frente aotros sin web para averiguar los méritos de las
diversas alternativas. El evaluador formativo concibe la evaluación como
parte de un proceso de cambio que aporta información que contribuye a
cambiar el evaluando, todavía en proceso de desar ol o. La mayoría de eva-
luadoras yevaluadores internos dedican más tiempo alaevaluación forma-
tiva que ala sumativa.
Noobstante, cuando la pregunta es «¿qué tal funcionó el evaluando
en esta situación concreta?», la evaluación es sumativa. El evaluador ola
evaluadora no buscan en este caso modos de modif car el paquete en su
conjunto, sino que tratan de averiguar su calidad, su productividad, sus defec-
tos, sus costes, ete., dados un personal del programa, unos recipientes de!
mismo yotros agentes implicados determinados. Muy probablemente, la
evaluadora oel evaluador sumativo medirá losefectos del evaluando. La eva-
luación de producto en la que el consumidor ola consumidora tratan de
decidir qué programa informático ocortacésped rotatorio adquir es una
evaluación sumativa. El consumidor elige entre varios modelos alternati-
vos, cada uno de los cuales l ega atener, aveces, sus propios formatos, mate-
riales, personal yacuerdos de servicio, yquiere conocer los méritos relativos
de los diversos paquetes.
Noes raro que un estudio de evaluación contenga componentes for-
mativos ysumativos. Unprograma de desar ol o de! profesorado se evalúa
para medir el cambio en la concienciación yla disposición de los instruc-
tores ylas instructoras autil zar nuevas directrices, pero también para ayu-
= -;. or:-~ 'f
~4 i
63 EVALUAC/ON
BASAOAEN(1/1(110\ YEVAlUWONIN¡¡¡PiflAIIV!
dar adecidir cómo l evar acabo la formación la próxima vez. Tanto un
maestro como un reparador de fotocopiadoras evalúan lo que hacen por-
que necesitan saber los resultados, pero, casi al mismo tiempo, ya están
considerando la posibil dad de modif car su próximo trabajo. La evalua-
ción formativa ylasumativa pueden tener lugar al mismo tiempo, pero con-
viene mantener separadas lasfunciones de mirar hacia delante con acti ud
formativa ymirar hacia atrás con acti ud sumativa.
Elevaluando
Anteriormente, en este mismo capítulo, definmos el evaluando como
aquelo que se valúa. Pero ha legado el momento de ampliar esa defi-
nicón. Los programas que hay que evaluar están poc defindos en el
sentido de que no suel ser fácil ponerse de acuerdo en torno a lo que
queda dentro o fuera de los límites del evaluando. Si éste es la Iorma-
ción que recibe el personal de un det rminado organismo par que es-
criba mejor la cor espondencia, pued que nec sitemos antes decidr si
eso incluye una construc ión más eficaz de los mensajes de cor eo el c-
trónico, los memorandos y hasta las conversaciones orales. Ten mos
que decidr siahí se incluye también la formación que los mcn torcs pro-
porciona posteriomente asu ase orados. Pued que incluso tengamos
que decidr siel programa promuev la omisón de información rel van-
te a fin de reducir la confusión del ector. La definción exacta del eva-
luando no suel estar casi nu ca descrita de un mod adecuado en su
cart fundacional ni en su presup esto ni en su manuales técnicos ni en
el contrao de valuación. Una parte del trab jo conti uado de laevalua-
ción consi te, precisamente, en logra una mejor comprensión de lo que
es el evaluando.
Los psicólog s utilzan un concepto que laman er or de stímulo. Si
quien s realizan el experimento cre n que aquelo con lo que están esti-
mulando alsujeto (a una persona) es un osito de peluche vulgar ycor ien-
te, pel'o el sujeto, al ver es estímulo, rememora un trauma personal, es
muy posible que se malinterp et n las respuestas de ste sujeto. Siel clien-
te de la evaluación (quien la encarga) cre que el evaluando es X y el
evaluador estudia Xsin ten r en cuenta la parte de Xque se lama especí-
ficamente X, la evaluación puede cor er un serio riesgo. Si un lector del
informe de evaluación asume que el hecho de que no se mencione la
responsabildad fiscal de los gestores del programa signifca que el progra-
ma es ólido desde elpunto de vistafiscal, puede que tengamos un problema.
Esimportante concretar bien quién oqué es l evaluando, pero puede que
sea nec sario dar paso adiconales encaminados aminmizar las posibli-
dades de un er or de estímulo.

64 EVALUAClóNCOMPmSIVA
Muchas veces, sólo se evalúa una parte de un programa, por lo que el
evaluando no es necesariamente el programa en su conjunto. Aun así, es
posible que el evaluador o la evaluadora tengan que investigar también el
resto del mismo para comprender el mérito del evaluando. El evaluando
puede ser, asimismo, una familia de programas. O puede tratarse de una
intervención concreta que se ha hecho de un modo distinto en lugares dis-
tintos (y las cualidades y la calidad de cada uno de esos modos y lugares
pueden ser diferentes entre sí). El informe del evaluador debería, pues,
contener una definición yuna descripción de! evaluando.
lapersonaqueevalúa
No existe un único tipo de personalidad o un conjunto de habilidades o
una inclinación metodológica que haga que un evaluador o una evaluado-
ra sea el mejor o la mejor: los hay mayores ymásjóvenes, hombres ymuje-
res, urbaniias yresidentes en un entorno rural, especialistas en mediciones
e intérpretes de experiencias. Obviamente, en lamayoría de tareas siempre
ayuda ser inteligente, lógico e instruido (y,en algunas labores, hasta genial
y tozudo, además de con sentido de! humor). También es evidente que
existen muchas formas distintas de realizar un buen trabajo yla profesión
mejora precisamente porque cuenta con una diversidad de enfoques yde
modelos de conducta. La diversidad es buena no sólo porque las situacio-
nes que precisan de evaluación son de múltiples tipos, sino también por-
que aprendemos a hacer mejor las cosas cuando vemos que otros u otras
las hacen de manera diferente.
En tiempos mucho más remotos, las virtudes y los defectos de un
campo científico (por ejemplo, la psicometría) o de una especialización
profesional (por ejemplo, la radiología) eran evaluados por los propios
colegas de disciplina o de profesión. Sólo un puñado de personas se reu-
nía en pequeños encuentros científicos ypublicaba sus obras en un redu-
cido número de publicaciones. Actualmente, son miles las personas que se
reúnen en convenciones diversas!" y las publicaciones están ya altamente
especializadas. A pesar del incesante aumento de las facilidades para la
comunicación que está acortando lasdistancias en el mundo, el número de
profesionales ha crecido tanto que la mayoría sólo están en contacto con
linos pocos de Sl15colegas. La mayoría de informes de evaluación no se
10. La American Evaluation Association (Asociación Estadounidense de Evaluación) cuenta
con 3.000 miembros afiliados (profesionales y administradores de la evaluación) de todo el
mundo. Su reunión anual de 2001 se celebró en San Luis y tuvo 1.200 participantes registra-
nos. Su sitio en Internet es llnuw.eval.org
.
; ."~,; ~1f"'" ! i
EVALUACiÓBNASADAENCRITERIOYSEVALUACiÓINTERPRElATlVA 65
divulgan. Los libros ylas publicaciones periódicas se Cultura: n 1. Cultivo del
revisan con demasiada lentitud como para que pue- suelo. 2.Las ideas, costum-
dan ejercer un efecto corrector fuerte sobre el modo bres, habilidades, artes,
en que l evamos a cabo nuestras evaluaciones. Si los etc., de un pueblo o grupo,
puntos fuertes y débiles no se examinan en el que se transfieren, se comu-
momento mismo en que se realiza la evaluación, sue- nican o se pasan a las gene-
len pasar inadvertidas. Esta evaluación continuada es, raciones sucesivas.
en parte, l evada acabo por los miembros de un equi-
po o por visitantes que hacen «lo suyo» de un modo distinto.
Son pocos los evaluadores y evaluadoras que están solos; la mayoría
trabajan para una organización. Sujefe tiene, a su vez, un jefe que trabaja
para otro jefe. Aunque son múltiples las decisiones que hay que tomar
cuando se realiza una evaluación, como e!evaluador o la evaluadora tiene
que adaptarse también a la decisión de otra persona. Existen despachos,
empresas, asesorías y consultas de evaluación (grandes y pequeñas). La
mayoría de compañías investigadoras que se dedican a la evaluación de
programas, como la Rand Corporation, SR! International, el Banco
Mundial yKPMG Peat Marwick, tienen en plantilla a un gran número de
especialistas técnicos que realizan tareas yrutinas rara vez decididas por e!
evaluador o laevaluadora individual. Una de lasmejores consultorías de eva-
luación durante los años noventa era la división de evaluaciones de la
Oficina de Contabilidad General de los Estados Unidos, encabezada por
Eleanor Chelimsky. Aunque la plantilla era amplia, muchos de sus estu-
dios de evaluación fueron diseñados por sólo una o dos personas yreali-
zados por una o dos más.
Hasta cierto punto (y,a veces, en gran medida), el evaluador opera
desde fuera de la cultura. Las culturas tienen sus propias tradiciones, len-
guajes, valores, estructuras organizativas, estética y peculiaridades. El
evaluador pertenece a una o a más c.ulturas, tanto étnicas como de un
departamento ode un CÍrculo oprofesión determinados. Elpersonal ydemás
agentes implicados asociados a un evaluando comparten ciertas cultu-
ras, pero éstas sesubdividen, asu vez, en subculturas yen sub-subculturas.
La cultura del campus esdistinta de lacultura empresarial, lacual, por
su parte, difiere de la cultura de laAdministración pública. Dentro de cada
una de estas tres, existen subculturas que varían, incluso, a lo largo del
tiempo ydel espacio.
Los evaluadores, incluso los internos, casi nunca tienen un conoci-
miento exhaustivo de las costumbres y los valores de las culturas del eva-
luando. Quien ejerce labores de consultoría de evaluación para otro país
puede estar casi seguro de que será insensible ante muchas de las expecta-
tivas que allí tengan. Elinstructor en un curso sobre evaluación tendrá muy
probablemente «estudiantes extranjeros» que se manifestarán escépticos
ante la posibilidad de que los procedimientos recomendados y los infor-
 66 EVALUACIÓN
COMPRENSIVA EVALUACIÓN
BASAOAENCRITERIOS
YEVALUACIÓN
INIIRPRIIAIIVA 67

mes utilizados como ejemplo resulten aceptables en sus lugares de origen. Laética ylasexpectativas de laprofesión.
Lo mismo puede que suceda con cualquier estudiante que se considere no Lanecesidad de ayudar alosresponsables del programa.
incluido en la cultura actual del curso. Una de las partes de un trabajo de Sudeseo de tener oportunidades de nuevos encargos de evaluaciones en el
evaluación es el examen de las expectativas culturales existentes en el eva- futuro.
luando yen torno a él.
Un conflicto cultural habitual esel que se produce cuando elevaluador Estasfuerzas incidirán ensuactuación amedida que vayansurgiendo cuestiones
o la evaluadora tiene la intención de examinar un problema en un sentido de género, clase yetnia. Siel a siguiera sus instrucciones iniciales al pie de la
amplio pero el gestor del programa considera que ese examen general está letra, acabaría recogiendo pocos datos ysu labor resultaría, por tanto, de escasa
fuera de los límites del territorio que ha de ser evaluado, o cuando el cva- ayuda para lasautoridades ylosreceptores del programa. Ellanecesita adaptar-
luador espera poder informar auna serie de públicos pero elgestor conside- sealasexpectativas de susanfitriones, pero no por completo: tendrá que alcan-
ra que esa información ha de ser restringida. Aveces, el evaluador espera zar compromisos yhallar ciertas VÍascríticas (y,amenudo, muy reducidas) de
tener un mayor acceso areuniones, personal yarchivos del que autoriza la progresar por lasenda de laideología de su profesión.
organización en cuestión. Puede que el evaluador cuente ya con antece-
dentes investigadores previos ycontemple entre sus propias expectativas el
hecho de que el conocimiento ha de ser abierto ydirecto. Pero, más allá Eso no significa que el evaluador tenga que cumplir con todas lasnor-
de la mera protección de los conocimientos privados, muchas organizacio- mas yexpectativas. Su labor esayudar aque el público comprenda lacalidad
nes (incluidas las familias y los ministerios) desalientan aquellas averigua- del programa que se evalúa". Cada evaluador necesita alcanzar compromi-
ciones que sequieran realizar acerca de aquello que no han querido hacer sos sin imponer su criterio por completo ni camuflarse como un miembro
público. Entre otras cosas, en la negociación de un contrato, en la recogi- más de otro grupo o cultura".
da de datos yen la elaboración de informes preliminares, el evaluador o la En cuanto alos conocimientos técnicos, algunos evaluadores seespe-
evaluadora ha de tratar de ser sensible alos límites informales de lo que se cializan en las labores de evaluación, pero se dedican a un elenco de
considera una conducta aceptable. temas, programas, contenidos y campos. ~é_sJº-Uos l amamos evaluado-
res independientes o externos: independientes si no tienen afiliación
Auna evaluadora de Singapur seleha encargado laevaluación de un programa alguna con el evaluando; externos si son de fuera de la organización.
de la UNESCO en la India. Entre los requisitos del programa está la realiza- Otros evaluadores son internos o especializados en un terna: internos
ción de una evaluación objetiva externa, pero ellaseda cuenta de que elperso- porque están dentro de la organización; especializados en un terna si
nal semuestra reacio afacilitarle e!acceso aciertas actividades yregistros del afirman ser expertos sólo en aquello que se está evaluando. Tienden acir-
programa. Sussolicitudes para que losreceptores proporcionen supropia infor-
mación evaluadora también son acogidas con objeciones. Laevaluadora haestu-
diado la evaluación tanto en Holanda como en su propio país de origen.
Aunque aellalegustan lasexpectativas que suscolegas holandeses siempre han 11. Eso ocurre normalmente cuando, en primer lugar, el evaluador logra entender la
calidad del programa y. a continuación. informa a otras personas. Pero los diversos
tenido respecto aloque han de serlaapertura ylaaccesibilidad de un progra-
públicos aprenden cosas también acerca de la calidad del programa él partir de lo quc
ma, ellasehasentido muchas vecesconstreñida en lasexperiencias que havivi- hace el propio evaluado!" o evaluadora que son demasiado sutiles o con textuales como
do a lo largo de los años, como, por ejemplo, durantparae su que estanciaelen evaluador
el las entienda. El evaluador consumado trata de hallar modos de
Ministerio de Servicios Socialesde Singapur. Pero, desde ayudar
supunto devia stque
a,lasli- esos públicos mejoren su propia comprensión de los hechos. Más sobre
esto, en el capítulo 4.
mitaciones que experimenta en estai12.
nstituciLaón enobservación
laIndia sonaún mayores. Así
participante es una técnica de estudio de campo que utilizan especialmen-
pues, alahora de decidir loque tietene quelosestudietnógrafos
ar yde qué vaainformarque , ne- estudian culturas remotas. Lo que intentan con ella es investigar
cesita adoptar una posición intermedimediante
a entre lassiguienteles desempeño
fuerzas: de un papel activo en las comunidades que estudian, adoptando la
lengua, las actividades y las convenciones locales del mejor modo que les es posible. Se trata
• Lapercepción que tenga de símisma como evaluadora.
de un artificio al servicio de la investigación y no de una introducción real en la cultura. Se
Lapercepción que tengan de ellalaspersonassupone de!programaque ylelosfunciinvestigador
ona- o la investigadora ha de entender que continuará interpretando
riosindios. principalmente los significados de las cosas en términos de su propia cultura de origen.

Lascostumbres ylamanera de funcionar deAlgunos susanfitriones.evaluadores }'evaluadoras profesionales emplean la observación participante en sus
estudios sobre el terreno, pero casi nunca tienen el tiempo y los demás recursos que se nece-
sitan para hacer que ésta llegue muy lejos .

. '~
 l'lltllll rlt'.I:.11

69

programa se está apartando de su curso o está poniendo en

usuarios. La persona que evalúa no puede fiarse exclusiva-

sibilidad personal ni de la de otros miembros del equipo

que necesita establecer mecanismos de revisión para validar

reanalizar los datos, cuestionar las interpretaciones. Las

de la calidad de un programa han de ser examinadas una

jefferson dijo: «el precio de la libertad es la eterna vigi-

dice: «el precio de una evaluación válida es la eterna

amamos a veces metaevaluación (la evaluación de la evalua-

se concibe como un estudio externo suplementario

car el proceso o el producto de la evaluación. Es eso,

es toda la revisión informal e, incluso, la supervisión autoco-

ntrola los errores que se van produciendo a lo largo de la

aremos la metaevaluación como constructo en el capí-

ya por delante el reconocimiento de que el precio de la

ncia eterna.

o no, un evaluador o una evaluadora suele trabajar en

o contratos a la vez. Dispone de demasiado poco tiem-

el trabajo tal y como a él o a ella le gustaría hacerlo. No

tiempo para pilotar correctamente los instrumentos. Son

sitios que hay que visitar. Las reacciones obtenidas a par-

de verificación con los participantes y de revisión lle-

lentitud. Es probable que el propio proyecto no

con presupuesto suficiente para ser llevado a cabo

Las propuestas suelen estar infradotadas econó-

ser competitivas frente a otras pujas. Los jefes o los

saben cómo protegerse del apretón económico.

del evaluador consiste en llegar a conocer bien las

que se producen cuando se descuida la validación y la

documentos interpretativos, y ser capaces de proponer

una prórroga. La mayoría de nosotros no disfruta-

algo así, pero ése es el mundo real para la mayoría de los

de las evaluadoras.

satisfacciones de la labor evaluadora pueden ser hondas y

el programa y sus complejidades es profundamente

o también lo es preparar un informe que pueda ser exa-

gullo durante años. Familiarizarse con lo que los buenos

programas reconocen como calidad proporciona una sen-

logro personal. Estamos ante una línea de trabajo que pre-

retos y grandes recompensas. No hay límite alguno a la

conocimiento a la que se puede aspirar incluso en la eva-

s bastante normales y corrientes.

 71
EVALUCiÓBNAlDENCRIlf OyEVALUCiÓINHRPfTA1V
70 EVALUACIÓN
COMPRENSIVA

SAGREDO:esunab pregunta.So quegranptdoienqu

RElATO
verconlamtió.
PHYLUS:¿usaeordVivnmecoar lgdetoscuandelbor
(El Sr. Sagredo llama a Phyllis a su despacho.)
elprogam?
SAGREDO:Estaba pensando en asignarte un encargo durante una temporada.
SAGREDO:í,nosaegur qlosmateri fovsaumentrí lco-
¿Podrías hacer una evaluación de nuestra Formación en Mentorización para
cienadlmportanci demuncars bieonlsuv.Peroli
el Personal Sénior?
preocualtmdeaciuprsonal.¿Ac oeslamrizcónua
PHYLLlS:Puede. Conozco un poco ese programa, pero me ayudaría que me lo ex-
cuestión rpoal ntesqudcnismodelargnizcú?
plicaras algo más.
PHYLUS:Combiensa,oyunespcialt ndesrol ganiztvo
SAGREDO:Pues, verás, para hacer más efectiva lamentorización de nuestro personal
enhabildsemntorizacó.Puedqlrsutedmáay eln-
sénior,encargamos aVivani Associates el diseño de unos programas informáti-
lisdetarqulevación,proes algqunestdio valu-
cos de autoaprendizaje que incluyeran también alguna actividad en grupo. El
ciónpodríayu!cdeir,¿Estáuedaifchon<¡ut:elp'Ogr;I1a
módulo total dura unas seis horas, administradas preferiblemente en tres sesio-
fuesdiñaopresgudpronas?
nes. La idea principal esayudar almentor aque sepa qué hacer yqué no hacer.
SAGREDO:¿Nosabrem cundoveamslincrtoelacid os
Los receptores de la formación bromean sobre ello ydicen: ,,¿no podíamos
consejqudalospriments?
haber aprendido algunos de esos errores por nuestra cuenta?".
PIY.lS:Bueno,dbríamsecuilobnmaquepdntralpn-
PHYLLIS:Osea, que piensan que la formación que reciben es trivial.
sonaluevybinomalquertosánerad.Poíse
SAGREDO:Pues no lo sé. Tienen muchísimo trabajo con lo suyo y puede que
quelmétodfraivuesxclnt,proquesmladnoetu-
crean que ésa no es la formación que más les puede ayudar.
viesnadcumtpreados licr.Ytambénpodíserqu
PHYLLlS:Así que la evaluación tendrá que tener en cuenta no sólo siel programa
elprsona{~Jijcedmntorudqesirvalm-
funciona, sino también si supone un buen empleo del tiempo de nuestro
ravilspcumCOJlospazeShcidprogJlO'atd
personal.
demás.Sinofjaelsrutdo afmciónsá,podríam
SAGREDO:No había pensado en ello. Lo que queremos saber, sobre todo, es sise
estarpndo lquestdramnecitsbr.
les está aconsejando bien. La evaluación debería mostrar lo buena o mala
SACREIlO:¿Yharáquenosdig,aímásietoarnlfmcióe
que es esa formación.
s('ri)~
PHYLLIS:Puede qU(~lo que nos proporcione el mayor graclo de <:<:rle/.asea 111Iex-
I'YlJ.S:í,esoagqudbrímospcguntal.Pedq:,sgúnlacir-
perimento aleatorio. ¿Desea principalmente averiguar si este enfoque for-
cunstai,oedltsincro.Pe,ausíconvipreguta.
mativo funciona bien en general?
SAGRf.oO:npersaxclt.¿Porquénibasecr?
SAGREDO:No vamos a gastar nuestro dinero para saber si el enfoque puede fun-
I'Y.lS:Puedqsproceu,algúndísecotuiam l
cionar en otro sitio.
pesnucotralhdebnruasco.Opedquiran
PHYLLIS:¿Podríamos circunscribir la medición de efectos positivos ynegativos a
ahorselpn videcalgun.Yopresgquténya
unos pocos criterios?
predisutoangñrs.Simplent,qurospdent.
SAGREDO:Yoquiero conocer todos los beneficios ytodos los problemas.
SAGREDO:¿ntiedlosbjv?
PHYLLlS:¿Quién recibe la formación?
PHYLUS:robalemnt,dríosmialquetádcraopesit,
SAGREDO:Todos los profesionales senior, incluidos los directivos, pero no el per-
perotambiéndísupoerqcadsnverálfiads
sonal de apoyo. En el departamento de Servicio al Cliente se espera que
proyectdfmaióneuod tanifer.¿Ostabrcfi-
todos los empleados actúen como mentores de los empleados nuevos. En teo-
riendoustalbjeivod alucón?
ría, les corresponde enviar un correo electrónico a cada participante al
SAGRUJü:í,clarohybjetivspacdoy,enstambiécdperson
menos una vez a la semana, pero la mayoría de ellos cortan ypegan párra-
tendráxpcaivstn.¿Éoseríapnbildsuya,eponr
fos enteros de información técnica o adaptan circulares están dar. Ésas son
porescitlbjvdealución'
las personas a las que va destinada la formación.
PIYL.lS:í,podrae unbordy,legustpodríanelgus
PHYLLIS:¿Cree que ya sabían cómo ser mentores pero que les faltaba tiempo o
indcaoesbrómcailos.
ganas?

., -e
(i;'
¡f¿ 'W" ~ ;:) ~.? ,¡.l~
 ~
~

72 EVAlUAlION(OMPilNIIVA

S¡\CRElJO:¿Cómo podré enterarrne mejor de cómo piensa usted llevaracabo la

evaluación?
PHYLLlS:Yoloque haría sería preparar una propuesta, un diseño. Como, aveces,
hayque cambiar lasevaluaciones sobre lamarcha, puede que leresulte útil
echar unvistazoaalgunos informes de evaluación preparados en elpasado.
Estoledará una idea de cómo abordan losevaluadores losproblemas ame-
dida que éstos vansurgiendo.
SACREDO:¿Podríamos contar de antemano con sudisposición favorable alosob-
jetivos de laformación?
PHYLLIS:Loque lepuedo decir en estemomento esque estoyafavorde esaclase
de formación en general, pero tendré que considerar lascircunstancias ac-
tuales. Creo que usted podrá deducir de mi propuesta losque, amijuicio,
son losriesgos ylaspromesas deesaformación. Esde esperar que tengamos
que negociar algunas cosas. En cuanto nos hayamos puesto de acuerdo
sobre lapropuesta, éstaservirá como una especie deencargo -más omenos,
un contrato- alque tendré que ceúirme hasta que sehaga necesario rene-
gociarlo.
(Continuará)