Está en la página 1de 7

Ernest R.

HOUSE

Evaluación, ética y poder

Segunda edición

EDICIONES MORATA, S. L.
Fundada por Javier Morata, Editor, en 1920
C/ Mejía Lequerica, 12
28004 - MADRID
CAPÍTULO PRIMERO

El evaluador en la sociedad

Separar lo malo de lo bueno es, desde muy antiguo, una actividad


humana, esencial para la misma sociedad. Aunque a menudo se ha conce-
dido autoridad a las instituciones para hacer juicios de valor, sólo en los
últimos tiempos se ha formalizado la evaluación de los programas públicos
de manera que constituya una actividad independiente como tal e incluso
una nueva disciplina.
En los últimos veinte años, la evaluación se ha convertido en una actividad
importante al surgir los programas de bienestar a gran escala. Cada año, se
llevan a cabo decenas de miles de evaluaciones de programas públicos,
sólo en los Estados Unidos. Miles de personas están empleadas en estas
evaluaciones y cientos de universidades y empresas compiten para conseguir
contratos de evaluación. La mayor parte de las evaluaciones están patroci-
nadas por el gobierno federal; otras lo están por los gobiernos de los
estados y los ayuntamientos. La evaluación de los programas públicos se
ha convertido en una actividad exigida por la legislación y cada año se in-
vierten en ella cientos de millones de dólares.
Tanto por su omnipresencia, como por el papel que desempeña, la
evaluación tiene gran relieve social, y transforma, justifica o desacredita los
programas públicos, La enorme cantidad de las actividades de evaluación
hacen difícil la supervisión. No siempre las evaluaciones de los programas
públicos son de buena calidad. Con excesiva frecuencia, los evaluadores
se limitan a hacer lo que quieren sus patrocinadores. Demasiado a menudo
confunden el carácter de su trabajo y no hacen justicia a los programas
sociales que evalúan. No se trata de que los evaluadores sean más incom-
petentes o avariciosos que las personas que se dedican a otras ocupaciones,
sino de que las posibilidades de causar daños suelen ser más amplias,
menos evidentes y más perdurables.
Este libro pretende fomentar la reflexión en la evaluación. Parece nece-
sario basar la evaluación en alguna forma de responsabilidad moral, de

© Ediciones Morata, S. L.
18 Evaluación, ética y poder

manera que las reflexiones sobre su justicia, veracidad e, incluso, belleza


configuren su práctica. Deben existir consideraciones morales que tras-
ciendan el marco de los cientos de organizaciones y miles de evaluadores
que tratan de atraer la atención de unos pocos patrocinadores. Sin embargo,
estas consideraciones no pueden derivarse o imponerse de forma arbitraria,
sino desarrollarse a partir de un análisis racional de lo que es la evaluación
y de lo que parece razonable a los que la realizan como fundamento de
una práctica consciente.

Evaluación privada y evaluación pública

_La evaluación moderna es descendiente directa del modernismo. La


modernización era la liberación de la tradición, el paso de una realidad
incontrovertida ofrecida por la tradición, a un contexto social en el que todo
es controvertible y mutable; era el paso de "lo dado" a "la opción" (BERGER,
1974). En el mundo moderno, podían escogerse más cosas. Se suponía
que esto traería una vida material mejor y un desarrollo personal más
profundo. En realidad, la modernización ha llegado a tal extremo que la
misma opción se ha convertido en un problema. La evaluación aparece
como elemento de ayuda para poder elegir.
En época más reciente, la realización de evaluaciones formales a escala
masiva, el patrocinio brindado por los gobiernos a las evaluaciones y la
proliferación de organismos que las efectúan han planteado problemas
nunca vistos antes. Pensemos en una mujer que elige por su cuenta y
riesgo. Acude a una tienda de automóviles para comprar un coche nuevo.
Visita los concesionarios cuyos vehículos puede adquirir y mira los coches
disponibles. Tras un regateo con el vendedor respecto del precio, escoge el
coche pequeño más barato. Le gustan los coches pequeños y no quiere
tener que esperar un par de meses hasta que se lo entreguen. Para ella
son importantes el precio de compra, el tamaño y la posibilidad de entrega
inmediata. No le preocupan demasiado ni el color ni los accesorios. Lleva a
cabo su propia evaluación para su satisfacción particular.
Pensemos ahora en una situación en la que el exceso de opciones po-
sibles abruma a la persona en cuestión. Hay tal cantidad de vehículos
disponibles que no sabe ni por dónde empezar y, además, el comprador no
es experto en mecánica. Una organización, como la Consumers' Union', le
ofrece sus servicios: evalúa en su nombre los coches y le dice cuál le con-
viene más. El interesado puede conseguir sus informes de evaluación de
automóviles. Ahora bien, en este caso, el evaluador es distinto de la persona
que decide. Ambas situaciones difieren en varios aspectos.
¿Cómo debe proceder el evaluador? Para que la evaluación sea útil, ha

* El equivalente en España sería la Organización de Consumidores y Usuarios (OCU).


(N. del E.}

© Ediciones Morata, S. L.
El evaluador en la sociedad 19

de seleccionar normas de valoración adaptadas a los gustos y necesida-


des de la interesada. Si no lá conoce, es difícil que adivine sus preferencias
personales. Pasará por alto la forma externa; la interesada puede hacer tal
elección sin ayuda. La entrega inmediata es un problema circunstancial. El
evaluador también lo dejará de lado, salvo como factor limitador. Por su-
puesto, a todo el mundo le interesa el precio de compra. Además, el eva-
luador tendrá en cuenta en su valoración la economía de consumo de
combustible y otros aspectos por el estilo, dejando de lado la velocidad
máxima como criterio.
El evaluador tiene que tomar otras decisiones importantes también. ¿Qué
coches ha de evaluar? Cuando la mujer efectuaba la evaluación por su
cuenta, definía el conjunto de vehículos que le serviría de base para elegir.
Para el evaluador no es una cuestión sin importancia, porque los resultados
variarán de modo espectacular según los coches que incluya en su compa-
ración. Tiene que seleccionar un conjunto que evaluar. Aplicará las normas
por él elegidas al conjunto de coches. En la medida en que se ajusten
mejor o peor a las normas, los calificará como buenos o malos (lo que
supone una comparación con todos o con el "coche medio") o clasificará
los automóviles del mejor al peor, dependiendo de cómo haga la comparación
en el conjunto seleccionado. Por último, elaborará su informe.
En ese momento, la consumidora tiene que optar de nuevo: debe decidir
si acepta o no la evaluación. Ha de cumplir determinados requisitos: ¿tomaría
ella como punto de partida los vehículos preseleccionados? ¿Las normas
utilizadas son pertinentes respecto a su decisión? Al emitir sus juicios finales,
¿el evaluador sopesa las normas empleadas como lo hubiera hecho ella
misma? Y todavía más importante: ¿es veraz la evaluación?, ¿puede fiarse
de ella?, ¿es fiable el evaluador?, ¿le paga alguna de las empresas auto-
movilísticas?, ¿tiene credibilidad la evaluación? La consumidora sigue te-
niendo libertad para aceptar o rechazar los resultados y consejos de la
evaluación. Aunque la evaluación se haya convertido en un proceso social
que establece un vínculo entre el evaluador y la consumidora, la elección
final le compete a ésta.
Pensemos ahora en una tercera situación. El gobierno financia a un
evaluador para que valore un programa de acción social. En este caso,
¿para quién se realiza la evaluación?: ¿para el gobierno?, ¿para el públic"()?,
¿para los beneficiarios del programa?, ¿para los administradores del mismo?
La respuesta no es sencilla porque los resultados afectan a todos estos
grupos. Sin embargo, aquí no existe un individuo concreto, como en el caso
de la compradora de coches, a quien pueda dirigirse la evaluación. Hay
muchas personas interesadas, porque las decisiones sobre un programa
basadas en la evaluación afectarán a todos. La evaluación forma parte, de
manera fundamental e inextricable, de una situación pública: una decisión
colectiva.
A diferencia del contexto privado, el consumidor insatisfecho no puede
conformarse con dejar de lado la evaluación después de encontrarla ina-
ceptable porque ésta le afectará de alguna manera. El carácter público de

© Ediciones Morata, S. L.
20 Evaluación, ética y poder

la situación impone ciertas limitaciones a la evaluación. Al cabo del tiempo,


quedan magnificados todos los problemas relacionados con la selección de
normas apropiadas y la elección de comparaciones adecuadas. Sin embargo,
los evaluadores tienen que escoger y han descubierto distintos modos de
habérselas con este problema. Los enfoques adoptados por ellos -de ahí
el moderno predicamento del· evaluador- constituyen el tema inicial de
este libro. La mayor o menor adecuación de estos enfoques es su final.
Entretanto, trataré de establecer las normas de evaluación que conduzcan
a estos juicios de adecuación.

El proceso de evaluación

En su sentido más sencillo, la evaluación conduce a una opinión fundada


de que algo es de un cierto modo. No tiene por qué llevar a una decisión
respecto a una determinada forma de actuar, aunque hoy día a menu-
do pretende tal cosa. Podemos valorar a César cómo un gran general sin
que de ello se derive ninguna decisión. La evaluación aboca a un juicio
acerca del valor de algo.
Con frecuencia, se llega a tal juicio mediante la calificación o clasifica-
ción de algo según cumpla mejor o peor un conjunto de normas o crite-
rios. La evaluación es comparativa por naturaleza, y suele presentarse ex-
plícitamente como tal. Esto significa que ha de existir un conjunto de normas
y una clase con la que comparar el objeto. Si éste se califica como "bueno"
o "malo", la clase de comparación está constituida por toda la clase de
objetos o por el objeto promedio de la clase. Si el objeto recibe la clasificación
de "mejor" o "peor", se le compara directamente con un subconjunto concre-
to de objetos similares; por ejemplo, un coche se compara con otros cuatro
en cuanto a su precio. Los coches se clasifican por orden, indicando el
nivel relativo de cada uno, en relación con esta norma y en comparación
con los otros cuatro, aunque sin necesidad de asignar una valoración al
grupo de coches como tal. El mero hecho de seleccionar una clase de
comparación puede provocar una diferencia espectacular en la evaluación,
aunque las normas utilizadas sean las mismas (TAYLOR, 1961).
Por tanto, la evaluación supone, por naturaleza, adoptar un conjunto de
normas, definirlas, especificar la clase de comparación y deducir en qué
grado el objeto satisface las normas. Cumplimentadas estas etapas, el eva-
luador debe poder llegar a establecer un juicio -sobre el valor del objeto
evaluado (TAYLOR, 1961 ). Muchos enfoques, como los de los estudios de
casos, presentan las normas, comparaciones y juicios de forma más implícita
e intuitiva. Algunos tienden más a la comprensión que al juicio.
Es frecuente que el juicio de valor se exprese como "bueno" o "malo'', o
mediante otras fórmulas valorativas, pero no hace falta que así sea. En
determinados contextos, pueden utilizarse expresiones descriptivas ordinarias
para expresar juicios de valor. Los ejemplos y anécdotas pueden transmitir

© Ediciones Morata, S. L.
El evaluador en la sociedad 21

mensajes de evaluación. El juicio de valor estriba en la forma de utilizar las


expresiones más que en estas mismas.
Los juicios de valor que se desprenden de las evaluaciones no equivalen
a directrices. Sólo podemos orientar a alguien de manera razonable para
que haga algo si está en sus manos hacerlo. Podemos hacer juicios de
valor sobre cosas cuya modificación se nos escapa. Sin embargo, en la
práctica moderna de la evaluación, se pide a menudo al evaluador que
ayude al responsable de las decisiones cuando trata de decidir entre distintos
cursos generales de acción. Éstos se transforman en los objetos evaluados.
Los juicios de valor pueden convertirse en recomendaciones, pero, aun en
ese caso, el responsable de la decisión goza de libertad para dejar de lado
el consejo del evaluador. _
En el caso más sencillo de evaruación, en el que evaluador y responsable
de la decisión es la misma persona, es más fácil seleccionar la clase de
comparación y adoptar un conjunto de normas. Sin embargo, el proceso
real de evaluación es más complejo de lo que parece. Las personas no
sólo evalúan mediante la aplicación de normas, sino comprobando también
sus juicios en situaciones particulares cuyos resultados creen conocer. El
razonamiento real de evaluación se desarrolla como un proceso dialéctico
entre principios abstractos y casos concretos más que como una deducción
directa a partir de las normas (BARRY, 1965). ·
Es más, en una evaluación real, las normas pueden ser contradictorias. /
Queremos ün coche amplio y también un automóvil que consuma poca
gasolina. No podemos conseguir el máximo respecto de ambas caracterís-
ticas de manera simultánea. En estos casos, nos_ inclinamos al equilibrio
entre ellas, planteándonos cuánta amplitud queremos en relación con el
consumo que deseamos. En vez de dar una preferencia absoluta a una
u otra norma, optamos por determinar la inclinación por normas contra-
dictorias mediante consideraciones intuitivas de las proporciones de ambas.
¿Qué amplitud estamos dispuestos a sacrificar en beneficio de cuánta eco-
nomía de consumo? Estas proporciones relativas varían de una persona a
otra. La evaluación es un proceso complejo aun cuando se concibe como
una operación personal.
Cuando evaluador y responsable de las decisiones son personas distintas,
se añade otra dimensión. Está en juego la credibilidad del evaluador y,
además, en ese caso ha de comunicarse _de alguna manera la evaluación
al responsable de fa decisión. Existe una mayor incertidumbre respecto a la
clase de comparación y las normas que emplear y a las proporciones
relativas que asignar a las normas. El respoosable de la decisión no sólo ha -
de preocuparse de que los datos sean_ correctos, sino también de si el
evaluador los presenta de forma veraz. En las sociedades liberales moder-
nas, esta relación se concibe aún _como un acto privado, aunque interper-
sonal. -
Por último, en'-la tercera situación, el objeto sometioo- a evaluación es un
programa público. El evaluac;lor debe preocuparse de que la evaluación
satisfaga las normas de los procedimientos de decisión previstas en aras

© Ediciones Morata, S. L.
22 Evaluación, ética y poder

del interés público. La evaluación no sólo es ya un asunto interpersonal,


sino colectivo. Debe tenerse en cuenta una comunidad más amplia de
intereses pertinentes. Éste es el problema fundamental del evaluador moderno
y es lo que echa sobre sus espaldas la carga más pesada de todas. Su
evaluación no sólo debe ser veraz y creíble, también debe ser justa.
Los evaluadores han enfocado la solución de su moderno problema de
diversos modos. Sus soluciones han evolucionado a partir de sus convic-
ciones filosóficas, profesionales y personales. Su preparación y práctica
habitual constituyen influencias significativas. En el próximo capítulo pre-
sentamos los principales enfoques de la evaluación y, en el siguiente, los
ponemos en relación con los sistemas de creencias.

' .

© Ediciones Morata, S. L.