EVALUACIÓN Y RESPONSABILIDAD 215
Y desacuerdos nunca pueden eliminarse del todo mejoran-
VIII. EVALUACIÓN Y RESPONSABILIDAD
EL DEBATE para establecer los criterios de evaluación y las
normas de responsabilidad forma parte esencial del proceso
de desarrollo de las políticas. En efecto, el diálogo entre legis-
ladores, gobernantes y electorado del que surgen las políticas
en un sistema de gobierno mediante la discusión se refiere
siempre, en forma directa o indirecta, a los problemas de la
evaluación. Los analistas han contribuido a este debate en di-
versas formas, pero sobre todo mediante la nueva disciplina
de la investigación para la evaluación.
Esta nueva disciplina es un área amplia y creciente de aná-
lisis de políticas que se ocupa de recolectar, verificar e in-
terpretar la información sobre la ejecución y eficacia de las
políticas y los programas públicos. Como vimos antes, la im-
portancia alcanzada por la investigación para la evaluación
en el campo del análisis profesional de políticas revela que los
analistas han advertido, finalmente, que la prestación efectiva
de los servicios públicos requiere algo más que el diseño de un
programa óptimo desde punto de vista teórico: es más impor-
tante la forma como se aplica efectivamente el programa,
quién se beneficia y quién sale perjudicado con él; si el progra-
ma está logrando lo que se quería y, en caso contrario, cómo
podrá mejorarse o abandonarse.
Al parecer, muchos evaluadores suponen que éstas son de-
terminaciones puramente empíricas que no implican elec-
ciones de valor ni opiniones personales. Sin embargo, valores
y opiniones cuentan mucho en la evaluación, no sólo por la
ambigüedad de los resultados prácticos -la dificultad de asig-
nar causas específicas a efectos particulares, de medir produc-
tos y evaluar consecuencias inesperadas, de distinguir entre
concepciones erróneas y fallas en la ejecución-, sino sobr_e
todo por los inevitables desacuerdos acerca de la clase de cn-
terios de evaluación que son significativos, justos o política-
mente aceptables en una situación dada. Tales ambigüedades
214
do las técnicas de medición y verificación, pero pueden ser
expuestos y aclarados mediante el debate y la persuasión
mutua. Para entender el papel de la argumentación en la eva-
luación, resulta esencial distinguir entre el establecimiento y
el uso de los criterios.
En el capítulo II tracé una distinción paralela entre el esta-
blecimiento y el empleo de las normas, entre la definición de
los crite:ios sobre u1: problema de políticas y la búsqueda
de soluc10nes que satisfagan tales criterios. La distinción en-
tre el establecimiento y uso de los criterios es igualmente im-
portante en la evaluación. En la etapa de establecimiento 0
reforma de los crit~rios de evaluación todos pueden proponer
los_ s~yos Y persuadir a los demás de que los acepten. El análisis
º~}et1vo -por ~jemplo, a_clarar las consecuencias de la adop-
~10n d~ un c~nJu,11~º particular de criterios, o señalar algunas
mc~nsiste~~ias logicas entre diferentes criterios- puede apor-
tar ~~eas utiles para el debate, pero no desempeña un papel
decisivo en esta ~tapa. La~ determinaciones empíricas que de-
muestren que ciertos criterios se satisfacen efectivamente
adqui_ere~ importancia sólo después de que se han obtenido
los cntenos de evaluación apropiados. En virtud de lo difícil
que ~s ponerse de acuerdo sobre los criterios cuando dife-
rencian entre valores e intereses, gran parte del análisis de la
evaluación se ocupa ~ás ~e la capacidad de diversas propues-
tas ~ara establecer cntenos que de la aplicación de criterios
particulares a un programa dado.
LA EVALUACIÓN MÚLTIPLE
La evaluaci~n profesional es sólo una parte pequeña del pro-
ceso de c_rí~1ca Y enjuiciamiento de las políticas públicas, en el
que part1c1pan todos los miembros políticamente activos de
una comunidad democrática en formas diferentes pero igual-
1:1:en~~ útiles._ Lo_s argumentos acerca de las pr~puestas de
fiJacwn de cntenos desempeñan en la crítica de las políticas
un papel mayor aún que en la evaluación profesional de los pro-
gramas. Las políticas y sus instrumentos son constantemente
216 EVALUACIÓN Y RESPONSABILIDAD
EVALUACIÓN Y RESPONSABILIDAD 217
evaluados, antes y después de la ejecución, desde las divers~s
La evaluación múltiple se inicia con dos interrogantes bási-
perspectivas críticas de legisladores, jueces, gobe~antes, admi-
cos: "¿quién evalúa?" y "¿qué se evalúa?" La primera destaca
nistradores de programas, burócratas que los aplican, grupos
la importancia de que se tenga en cuenta la presencia de dife-
de interés, expertos independientes, medios de difusión y ciu-
rentes papeles de evaluación, mientras que la segunda llama
dadanos comunes.
nuestra atención sobre sus tres modos básicos: evaluación de
Estas perspectivas de evaluación son diferentes porque los
insumos, de resultados y de procesos.
criterios varían según el papel y la situación del evaluador, y
porque los distintos evaluadores tienden a concentrar s~ ,aten-
ción en diferentes aspectos del proceso de la elaborac10n de
Los PAPELES DE LA EVALUACIÓN
políticas. Los criterios generales de a~lica~i~n ~como la l~-
galidad, legitimidad, economía, eficacia, eficienci~ o la sensi-
La evaluación de políticas o programas tiene gran cantidad
bilidad a las necesidades públicas- suelen relac10narse con
de usos y usuarios. No es malo en sí mismo que los diferentes
los distintos papeles de jueces, políticos, funcionarios del pre-
criterios sean compartidos por personas que desempeñan pa-
supuesto, contadores públicos y usuarios de los servicio~ pú~li-
peles diferentes. Ello sólo refleja la diversidad de necesidades,
cos o sus representantes políticos. Además, algunos entenas,
intereses y preocupaciones de los actores e interesados. Mien-
como los de eficiencia y eficacia, se aplican primordialmente
tras los juicios expresados desde la perspectiva de un papel
a los productos o resultados de la administración pública,
particular no se presenten o interpreten como juicios perti-
mientras que otros (como el de la economía) se aplican a los
nentes para todos los papeles posibles, o como representa-
insumos y algunos más (legalidad, legitimidad) al proceso
tivos de sus posiciones, tendremos un estado saludable de
que transforma los insumos en producto_s; . , evaluación múltiple o plural.
Esta diversidad de criterios de evaluac10n y perspectivas cn-
Las dificultades empiezan cuando no es posible separar
ticas refleja la complejidad de la elaboración de políticas en
nítidamente los papeles y la crítica derivada de ellos. Por des-
una sociedad plural. La experiencia demuestra que el deb~t~
gracia, tales situaciones parecen en la práctica más la regla que
entre los defensores de criterios diferentes es a menudo util
la excepción. Es posible que el problema más común ocurra
para llegar a un acuerdo y permite un entendimiento más pro-
cuando se supone que las conclusiones de una evaluación
fundo de la política pública que el que podría obteners~ desde
realizada para ser utilizada en un papel particular son igual-
una sola perspectiva. Incluso los evaluadores profes10nales
mente pertinentes desde la perspectiva de otros papeles con
reconocen ahora que su trabajo adquiere importancia sól_o en
diferentes criterios de evaluación. Cuando los papeles no co-
un contexto amplio donde diversos actores y grupos de m~e-
rresponden a los criterios, las conclusiones de la evaluación
rés aportan sus propios criterios y pruebas. El nuevo ~1:u1:oa- serán casi inevitablemente deficientes.
do es el de "evaluación múltiple", que reconoce la legitimidad
Tales dificultades surgen, por ejemplo, cuando se reúnen
de diferentes criterios y perspectivas, pero sugiere tam b', ien la
los ecólogos académicos como evaluadores únicos del impac-
necesidad de llegar a un nivel de entendimiento que sea algo
to ambiental, que por ley debe determinarse en los proyectos
más que la mera suma de las diversas evaluaciones. Como se
federales de los Estados Unidos. Desde la perspectiva de un
indicó antes, la evaluación múltiple no trata de combinar t_?~os
administrador de proyectos o de un juez de derecho adminis-
los criterios parciales en un criterio general de buena pohtic~,
· · trativo, los criterios de evaluación pertinentes podrían ser la
sino de contribuir a un entendimiento compartl'd o d e las di-1
oportunidad de la evaluación, la probabilidad de que se hayan
versas perspectivas críticas y de sus diferentes funciones en e
advertido ciertos impactos potencialmente graves y, quizá, si
proceso de la deliberación pública. se han sugerido alternativas prácticas para el proyecto. Sin
218 EVALUACIÓN Y RESPONSABILIDAD
embargo, desde el punto de vista de los ecólogos, tales crite-
rios son apenas vagamente comprendidos en el mejor de los
casos y sólo se les da una atención secundaria. Su evaluación
se basaría probablemente en criterios tales como la idoneidad
del diseño muestral, el empleo de una teoría apropiada y la
caracterización y cuantificación correcta de las incertidum-
bres. En consecuencia, los ecólogos podrían aceptar o recha-
zar las evaluaciones por razones en gran medida irrelevantes
para quienes finalmente deben resolver los problemas prácti-
cos de la gestión ambiental. 1
En la evaluación profesional de los programas públicos
abundan los ejemplos de criterios inadecuados. Muchas eva-
luaciones de programas tienen un enfoque de estricta geren-
cia, ya que se ocupan del logro de metas y el control adminis-
trativo y no de la adaptabilidad del programa a los valores
divergentes de diferentes individuos y grupos. Tal perspectiva
no admite un análisis más estructural de los cambios en los
valores sociales y de la capacidad de la burocracia para adap-
tarse a ellos, lo cual podría ser la información más importante
para los altos niveles del gobierno.
Por su parte, los burócratas creen a menudo que el énfasis
de muchos estudios de evaluación en la eficacia y eficiencia
está en conflicto con valores básicos como la participación de
los empleados, el desarrollo personal y la alta moral. Otros
insisten en que la racionalidad económica debe equilibrarse
con los criterios profesionales. De igual modo, la evaluación
que se hace sobre las operaciones de un programa y sus efec-
tos -una tarea importante para la asignación de recursos Y la
elaboración de nuevas directrices- podría ser poco satisfac-
.<.,ta como instrumento de control de la agencia ejecutora.
'"'<l::y alguna forma de remediar las tendencias comunes
• ~r los papeles de la evaluación o a utilizar criterios
90 Quizá no. Sin embargo, por lo menos debería-
·"1;.esfuerzos para crear una capacidad de críti-
~rticulares o políticas enteras reconozcan
"'ncia de varios papeles, cada uno de
;co Majone, "The Critical Appraisal º}
.plications", en Science, Technology, an
,o de 1985), p. 8.
EVALUACIÓN Y RESPONSABILIDAD 219
ellos con facultades legítimas para fijar criterios de evalua-
ción. Además, tales esfuerzos deberían apreciar las complejas
presiones que los distintos modos de evaluación ejercen sobre
la evaluación misma.
Los MODOS DE EVALUACIÓN
Sin embargo, tener en cuenta los distintos papeles no basta
para entender los criterios con los que pueden evaluarse críti-
camente los programas y las políticas. Los analistas han des-
cubierto también que es útil distinguir entre tres modos gene-
rales de evaluación. En el modo del resultado, la evaluación
se concentra en los productos o consecuencias de una acti-
vidad particular. En el modo del insumo, se hace hincapié en
los recursos, habilidades y personas que participan en la acti-
vidad. Por último, en el modo del proceso se consideran los mé-
todos empleados para transformar los insumos políticos, eco-
nómicos y de otra clase en productos o resultados. En este
contexto también importan las reglas procesales que gobier-
nan la participación en el programa y su administración. En
seguida examinaremos por separado cada uno de estos modos
teniendo siempre presente que por lo común aparecen mez~
dados en la práctica de evaluación de programas y políticas.
La evaluación por productos o resultados se considera co-
múnmente como el procedimiento obligado para la estima-
ción del valor de cualquier actividad deliberada. Consiste en
comparar las metas u objetivos con los resultados. En el caso
de un programa educativo, por ejemplo, evaluaríamos la dife-
rencia entre las pruebas previas y las posteriores, o entre el
grupo experimental y el de control, de acuerdo con diferentes
criterios. En los programas sanitarios, los resultados son cam-
bios en la incidencia y las tasas de las enfermedades· en los
programas de mano de obra, los resultados son tasas'de em-
pleo, y así sucesivamente.
Este modo de evaluación ejerce una fuerte atracción intui-
tiva. En efecto, podríamos preguntarnos para qué se necesita
cualquier forma de evaluación. Lo que pasa por alto el sentido
común es que la evaluación de los resultados puede realizarse
220 EVALUACIÓN Y RESPONSABILIDAD
con éxito sólo en condiciones muy limitadas. Una muy obvia
es que debe ser posible la medición, con precisión razonable,
del nivel y calidad del producto o consecuencia que se desea.
Si el indicador se expresa por la distancia entre metas y resul-
tados, las metas tendrán que definirse con claridad, los resulta-
dos deberán ser medibles sin ambigüedad y el instrumento de
medición deberá ser confiable.
Estas condiciones no se satisfacen a menudo en la prácti-
ca, ni siquiera aproximadamente. Cuando así ocurre, deben
emplearse otros modos de evaluación. La evaluación por los
insumos se centra en la cantidad y calidad de los recursos dis-
ponibles para la realización de cierta tarea: el número y ca-
lidad técnica del personal, la información disponible, el nivel de
financiamiento, el apoyo político, etc. Pero se trata, a lo sumo,
de indicadores indirectos de la actuación. A menos que pueda
suponerse una relación definida entre los insumos y los pro-
ductos o resultados -una función de producción bien defini-
da en el lenguaje de los economistas-, las variables de insu-
mos serán una mediocre aproximación a lo que realmente
queremos saber: ¿qué tan eficaz es un programa dado o cuán
adecuada es una política en particular?
Sin embargo, en algunas situaciones, las variables de insu-
mos constituyen toda la información que el evaluador tiene a
la mano; así ocuffe, por ejemplo, cuando el problema consiste
en estimar los resultados probables o la viabilidad de un pro-
yecto nuevo. Además, para los fines de control, las variables de
insumos son a menudo más importantes que los productos
desde el punto de vista estratégico. Las detalladas reglas de la
contabilidad pública, que restringen severamente la libertad
de los administradores para sustituir un insumo por otro en res-
puesta al cambio de circunstancias y al surgimiento de nue-
vas oportunidades, constituyen un ejemplo histórico impor-
tante de la evaluación y el control por los insumos.
La mensurabilidad no es el único problema, ni siquiera el
más grave, de la evaluación por los resultados. El problema
principal es que muchas veces este tipo de evaluación da a
gobernantes, administradores de programas y ciudadanos
interesados muy escasa información para actuar. El mero
conocimiento de que los resultados son o no satisfactorios
EVALUACIÓN Y RESPONSABILIDAD 221
dice poco a los tomadores de decisiones y a los críticos acerca
de lo que debe hacerse. Cuando los resultados se evalúan sin
una defini~ión_ raz,onablemente correcta y coherente del pro-
g:ama, Y sm nmgun conocimiento de la forma como se está
eJecut_a,ndo, los resultados casi nunca aportan una guía para
la acc10n porque el que toma las decisiones carece de infor-
mación acerca de lo que produjo los resultados observados
La ev~luación por los puros resultados es el enfoque de "caj~
negra .2
Quizás el ejemplo más conocido de este enfoque sea el de
las _pru~bas estandarizadas de conocimientos que se aplican
rutmanamente en las escuelas públicas estadunidenses. Consi-
~~rad~,s _Pºr ,~uc,?os evaluadores como el epítome de lo obje-
11 va Y c1entifico en la evaluación educativa, las pruebas es-
tandariz_adas sirven de poco a padres y maestros, y no dicen a
los fu?c10_narios es~olares lo que deben hacer para mejorar la
expenencia educ~t1va ~e los estudiantes. A fin de mejorar las
escuelas, los func10nanos necesitan información acerca de lo
que_ oc:1ffe en el sal?i:1 de -~lases -contenido de los cursos, pro-
c~~1m1entos de cahficac10n, métodos de enseñanza, interac-
c10n entre estudiantes y maestros-, y las pruebas estandari-
zadas no proporcionan tal información.3
El contenido de los cursos, los procedimientos de califi-
c~ción, los métodos de enseñanza y la interacción entre estu-
diantes Y maest~os son ejemplos de las variables de proceso.
En muchos sentidos, la evaluación del proceso es el modo de
eva11:1~ción más sutil e informativo, ya que brinda una infor-
mac10n que 1,as medidas de insumos y productos casi segura-
mente pasaran por alto. Incluso en las actividades comercia-
les, ~o~de los resultados pueden cuantificarse fácilmente, los
admm1stradores cuidadosos tratan de evitar una concentra-
ción demasiado estrecha en los resultados. Hacen esto por-
que saben que las mejores mediciones de los resultados no
~aptan más que una pequeña fracción del campo total que es
importante para la organización. Por ejemplo, el volumen de
ventas es una medida clara e ilustrativa de los resultados, pero
. 2 Mic~ael Quinn Patton, Utilization-Focused Evaluation, Sage, Beverly
H1lls, Cahf., 1978, pp. 155-158.
3 !bid., pp. 155-157.
222 EVALUACIÓN Y RESPONSABILIDAD
tiende a hacer que los vendedores se concentren demasiado
en vender lo más posible en el corto plazo, de modo que des-
cuidan otras funciones importantes para las ventas futuras:
quienes venden a comisión no tienen ningún incentivo para
ordenar las existencias, hacer inventarios o adiestrar a nue-
vos vendedores que se convertirán en sus competidores, y su
supervisor no puede afectar su sueldo con base en aquellas
otras metas que no se miden.
Por tanto, como descubrió Willian G. Ouchi en un estudio
de 78 compañías de tiendas de departamentos, las ventas a
comisión tienden a prevalecer en áreas (como cosméticos,
aparatos especiales y muebles) que requieren un grado de co-
nocimientos particulares relativamente grande y donde los
vendedores desarrollan por consiguiente una especie de nor-
mas profesionales, o donde los clientes conocedores y con ini-
ciativa pueden sustituir a las normas profesionales como otra
fuente de evaluación y control. Incluso, algunas compañías
prohíben que se lleven registros de lo que vende cada persona
en lo particular. 4
LA EVALUACIÓN Y EL CONTROL
Entre los muchos propósitos a los que podría servir la evalua-
ción en forma directa o indirecta, el control es ciertamente uno
de los más importantes. En efecto, existe una relación muy
estrecha entre la evaluación y el control. Por una parte, para
controlar cualquier actividad u organización hay necesidad de
vigilar y evaluar su actuación según diversos criterios. Por
otra parte, los modos y criterios de evaluación tienen conse-
cuencias prácticas para el desempeño de las instituciones Y
los individuos: si estos últimos saben que ciertos aspectos de
su trabajo son muy apreciados por los evaluadores, tenderán
a cambiar su comportamiento en consecuencia.
En su clásico estudio de una agencia pública de empleos,
Peter Blau da algunos ejemplos instructivos de la estrecha re-
4 "The Relationship between Organizational Structure and Organiza-
tional Control", en Administrative Science Quarterly, 22 (marzo de 1977),
p. 95-113.
EVALUACIÓN Y RESPONSABILIDAD 223
lación entre la actuación y los criterios de evaluación. Por
ejemplo, cuando el número de entrevistas realizadas por un
empleado era el único criterio de evaluación a disposición del
supervisor,
el interés del entrevistador en lograr una buena calificación lo
llevaba a efectuar la máxima-cantidad posible de entrevistas, de
modo que no podía dedicar mucho tiempo a buscar los empleos
para los solicitantes. Este rudimentario registro estadístico inter-
fería con el objetivo de la agencia de encontrar empleos en una
época en que éstos escaseaban. s
Incluso un más amplio sistema de supervisión introducido
más tarde produjo graves desviaciones de las metas de la
agencia:
Creados como instrumento para mejorar el logro de los objetivos
de la organización, los registros estadísticos llevaban a los entre-
vistadores a pensar en maximizar los índices como su meta prin-
cipal, a veces a expensas de los mismos objetivos. Así, eludían
aquellas operaciones que los mantenían ocupados sin mejorar su
registro, como las entrevistas a clientes para quienes deberían
llenarse solicitudes, y gastaban su propio tiempo y el del público
en actividades que sólo trataban de elevar dichos índices. Su con-
centración en esta meta, aunque era importante para sus califica-
ciones, los volvía insensibles a aquellas peticiones de los clientes
que interfirieran con tal realización. La preocupación por la pro-
ductividad también afectaba las relaciones personales entre los
entrevistados, y esto constituía la disfunción más grave de los re-
gistros estadísticos.6
De igual modo, hay pruebas de que cuando se paga a los
maestros sobre la base de su producción y ésta es medida por
las calificaciones de los estudiantes, aquéllos concentran su
tiempo en los alumnos cuyas notas rondan el promedio del
grupo, y descuidan tanto a los más brillantes, que progresa-
rían por sí solos, como a los más atrasados, cuyas califica-
ciones no mejorarían aunque les dedicaran algo más de tiem-
5 The Dynarnics of Bureaucracy, University of Chicago Press, Chicago,
1955, p. 38.
6 Ibid., p. 46.
224 EVALUACIÓN Y RESPONSABILIDAD
po. Cuando el pago del maestro depende del número de estu-
diantes que adquieren un conjunto de habilidades definidas
con precisión como ocurría, por ejemplo, con los planes de
pago por resultados empleados en las escuelas primarias de In-
glaterra a mediados del siglo XIX, existe también una tenden-
cia a reducir el programa académico para excluir las materias
para las que no se aplican exámenes, incluidas muchas que se
consideran generalmente importantes pero en las que es difí-
cil realizar pruebas. 7
Como lo sugieren estos ejemplos, un análisis cuidadoso de
la actividad de producción relevante es esencial para la elec-
ción de un método apropiado de evaluación y control, porque
el conocimiento de la actividad proporciona las mejores pis-
tas para las respuestas que favorecerá un modo particular de
evaluación. Para expresarlo más precisamente, hay dos pará-
metros vitales para determinar las condiciones en las cuales
son apropiados diferentes modos de evaluación y control: la
mensurabilidad de los resultados y el conocimiento del proceso
que los genera.8 Si para simplificar imponemos_un_a dicoto-
mía a estos parámetros, obtendremos el cuadro s1gmente:
CONOCIMIENTO IJEL PROCESO
Completo Incompleto
rJJ
~ 8 -------------------------
8 ~ Alta Evaluación por el Evaluación por
P4 ;::, proceso o el resultado el resultado
~~ Evaluación por
~ o,_¡B. Evaluación por
rJJ
el insumo
~ rii a¡a el proceso
A
Las cuatro celdillas representan las situaciones en que J? 0 -
drían aplicarse los diferentes modos de evaluación. La meJor
es obviamente aquella en que hay gran mensurabilidad de los
resultados y el proceso de transformación se conoce por com-
1 Rrºchard J Murnane y David K. Cohen, "Merit Pay and the Evaluationd
· · " Harvar
Problem: Why Most Merit Pay Plans Fail and a Few Survrve , en
EducationalReview, 56, núm. 1 (febrero de 1986~, PJ:· 1-17. ,,
s Ouchi, "Organizational Structure and Orgamzat10nal Control , PP·
EVALUACIÓN Y RESPONSABILIDAD 225
pleto. Aquí la elección entre la evaluación por proceso o por
resultados dependerá del costo y de la conveniencia econó-
mica. Un ejemplo habitual es la producción de bienes estan-
darizados con el empleo de una tecnología muy conocida. En
el otro extremo encontramos actividades como la enseñanza,
cuyo resultado -la educación- resulta difícil de medir y
en la que el proceso es tan peculiar que resulta imposible ca-
racterizar la enseñanza eficaz como el empleo consistente de
técnicas estandarizadas. Por tanto, se evalúa a los maestros
principalmente según criterios de insumos tales como sus
antecedentes profesionales y los años de experiencia, y este
método de evaluación se refleja en escalas de sueldos uni-
formes.
Las actividades que caen entre estos dos extremos suelen
evaluarse mediante una mezcla de los tres métodos básicos.
En las empresas con fines lucrativos, por ejemplo, se paga a
los administradores, por lo menos en parte, por sus resul-
tados -ventas y beneficios-, pero las actividades técnicas
internas, como la de investigación y desarrollo experimental,
la contabilidad o administración de personal, se evalúan con
combinación de criterios de insumos y procesos. Por otra
parte, los métodos tradicionales de evaluación y control de
los programas públicos se basan en gran medida en los insu-
mos, aunque algunos analistas creen que los recientes avan-
ces de la medición de resultados en áreas como la atención
médica y los servicios sociales conducirán finalmente a un
cambio en el interés de las políticas, de los insumos a los
resultados. Si así ocurre, este desarrollo tendría consecuen-
cias importantes para la responsabilidad pública.
LA RESPONSABILIDAD
Nuestro análisis de los diferentes papeles y modos de evalua-
ción, y de la relación existente entre la evaluación y el con-
trol, se relaciona directamente con el problema de la respon-
sabilidad pública. En una democracia es de esperar que los
administradores y prestadores de servicios públicos sean res-
97 _99.
ponsables ante quienes los consumen y quienes los pagan, o

226 EVALUACIÓN Y RESPONSABILIDAD
ante sus representantes políticos. La responsabilidad no
puede exigirse sin contar con criterios de actuación adecuados;
pero tales criterios son a menudo difíciles de definir, como
hemos visto. Los criterios de insumos tradicionales, tales co-
mo las reglas presupuestarias, las directrices administrativas
o lo numeroso del personal, podrían bastar para los fines de
supervisión, pero no podrán satisfacer la demanda crecien-
te de una responsabilidad estatal en términos de resultados y
de una recompensa para quienes los alcancen eficiente-
mente.
Los defensores de la responsabilidad por resultados sostie-
nen que, mientras logren sus metas específicas, los admi-
nistradores públicos deben quedar en libertad de escoger la
forma como asignarán los recursos. Este procedimiento los
dejaría a salvo de los controles embrollados e ineficaces de
los insumos y les daría incentivos para mejorar los resultados,
así como los administradores privados tienen libertad para
variar sus métodos de producción pero se les recompensa de
acuerdo con las ventas y las ganancias.
Al igual que en la evaluación por resultados, la idea de la res-
ponsabilidad por resultados ejerce una fuerte atracción intui-
tiva. Esto parece simple y razonable, pero su aplicación es
difícil. La renuencia congénita de las democracias liberales a
otorgar una discrecionalidad excesiva a los administradores
públicos es sólo una parte del problema. Otra razón más inme-
diata es el hecho de que la mayoría de los programas públicos
tienen metas vagas y diversas, de modo que resulta difícil lle-
gar a un acuerdo acerca de si se ha tenido éxito.
No siempre se entiende con claridad la naturaleza de la di-
ficultad. Por ejemplo, algunos analistas sostienen que ahora
es posible medir objetivamente el desempeño, lo cual es nece-
sario para aplicar el concepto de responsabilidad por resulta-
dos. A. J. Culyer, un economista británico, ha escrito recien-
temente que
en los campos de la atención médica, la educación y los servicios
sociales personales hoy se puede medir y vigilar el resultado. Por
ejemplo, podemos medir la salud. Podemos medir la dependencia
de los jóvenes y los ancianos. Podemos medir la incapacidad.
EVALUACIÓN Y RESPONSABILIDAD 227
Pode~os medir_ la indigencia. Podemos medir las habilidades
educativa~ Y sociales obtenidas en la escuela. Podemos relacionar
los camb10s de estas medidas con la forma de la atención qu
proveemos.9 e
Sostiene Culyer que la existencia de tales medidas repre-
s~nta un gran cambio -de hecho un cambio revoluciona-
r~º-:- en 1~ forma como administramos y financiamos los ser-
v1c10s soc1~les y como esperamos que los profesionales que
los proporc10nan respondan al conjunto de la sociedad.
}Pero qu~ s_ignifi~a la mensurabilidad en el presente contex-
to. Con suficiente mgenio, siempre se podrán inventar medi-
das escalares de aspectos particulares del desempeño. Sin
e_mbargo, las met~s de la mayoría de los programas públicos
tienen ~uchas anstas. Se supone, por ejemplo, que las escue-
l~s i:ne3oran la ~':pacidad cognoscitiva, pero también que so-
cializan a los nmos y les enseñan los valores democráticos
Por tanto, se ~ecesitan varias medidas para reflejar las distin~
tas met~s Y evitar la distorsión de la actividad educativa.
Aun s1 suponemos que el grado en que se alcanza cada meta
puede ser medido en forma clara y objetiva, todavía tendría-
mos que resolver el problema de alcanzar un consenso acerca
del peso que se asignará a cada objetivo. Mientras no se tenga
ese _consen~o, no habrá ninguna medida del desempeño en
con3unto. Sm embargo, es de esperarse el desacuerdo acerca de
los pesos, porque esta cuestión es fundamentalmente un de-
bate. acerca de la manera como debe organizarse la actividad
Y acerca _de cuáles intereses son más importantes.
Ademas, sabemos que el funcionamiento del sector público
rara vez puede expresarse exclusivamente por medio de medi-
d~s d~ productos. En general se requiere una combinación de
c~'!tenos d~ insumos, procesos y productos, y diferentes grupos
discor~aran también acerca de los pesos que deben asignarse
a los diferentes elementos de la combinación. En el caso de la
educac10n,
·' por e3emp
· 1o, 1os smd1catos
· · de maestros prefieren
criterios de insumos tales como los años de experiencia en la
9 The Withering of,the Welfare State? Whither the Welfare State? Depar-
tamento de Economrn de la Universidad de la Columbia Británica Van-
couver, 1986, p. 25. '
 EVALUACIÓN Y RESPONSABILIDAD
228
enseñanza, el tamaño de los grupos y las horas de trabajo,
mientras que los padres se interesan más por diversos aspec-
tos del resultado y el proceso.
En virtud de que la cuestión de los pesos es tan polémica,
la mayoría de los debates sobre las políticas de salud, edu-
cación o servicios sociales eluden el problema. En lugar de
discutir abiertamente lo que deberían ser los pesos, se obser-
va una tendencia a delegar en los prestadores del servicio las
decisiones referentes a la asignación de los recursos. Pero
tal delegación no es consistente con la idea de la responsabili-
dad por resultados, porque las diferentes decisiones acerca de
los pesos de prestadores individuales significan que cada uno
de ellos está tratando de aportar una mezcla de servicios algo
diferente.10 Así pues, no se requiere tanto el desarrollo de me-
didas "objetivas" de resultados (aunque una mejor medición
sería ciertamente una ayuda) como iniciar y sostener un diá-
logo amplio acerca del significado y la implicació:1 de dife-
rentes conjuntos de pesos entre prestadores y usuarios de ser-
vicios públicos.
Las dificultades de la evaluación por resultados son mayo-
res aún en los debates acerca de la responsabilidad del go-
bierno ante la legislatura y el electorado. Es posible que e~ el
pasado se haya llegado a un acuerdo sobre unos cuantos ente-
ríos estables -el mantenimiento de la ley y el orden y de una
moneda estable en el interior, y de la paz en el exterior- para
la evaluación de las actividades gubernamentales. Pero en vir-
tud de la gran expansión de estas actividades y del alarga-
miento del periodo en el que deben basarse los juicios razo-
nados del desempeño, la actuación de cualquier gobierno es
mucho menos clara y los criterios de evaluación son por con-
siguiente más controversiales. 11 .
En tales condiciones, sería difícil que la confianza que su-
puestamente genera la rendición de cuentas pueda depe:nder
de la relación entre algún resultado que pueda ser medido ,Y
un criterio de éxito predeterminado. Más bien depende de me-
, · f ·, que
todos de evaluación capaces de aportar mas m ormac10n
Mumane y Cohen, op. cit., p. 5.
10 d s
Geoffrey Vickers, The Art of Judgment, Chapman and Hall, Lon re '
11
1965, p. 149.
EVALUACIÓN Y RESPONSABILIDAD 229
un simple juicio de éxito o fracaso. La utilización exclusiva de
medidas de resultados a corto plazo conduce a menudo a la
conclusión de que la mayoría de las políticas públicas son ine-
ficaces. El fenómeno aparentemente ubicuo del "poco efecto"
preocupa a los evaluadores profesionales. Como escribe Carol
Weiss, uno de los principales obstáculos para el empleo de la
evaluación por resultados es precisamente su decepcionante
tendencia a mostrar que el programa ha tenido escaso efecto.12
A las organizaciones no les va mejor: "Medidas contra las altu-
ras olímpicas de la meta, la mayoría de las organizaciones se
califican igual: una eficacia muy baja. Las diferencias entre
una organización y otra tienen escasa importancia"_ 13 Los pro-
gramas y organizaciones, como las teorías científicas, pare-
cen haber nacido para ser refutados; y la evaluación, tal corno
se concibe y practica de ordinario, no puede desempeñar un
papel vital en su desarrollo.
El fenómeno del "poco efecto" resulta menos sorprendente
cuando reconocernos que la evaluación que se hace exclusi-
vamente en términos de los resultados a corto plazo tendrá
que ser poco concluyente en circunstancias normales. Primero,
a fin de realizar su trabajo, los evaluadores deben suponer
que sus modelos y técnicas de medición no tienen proble-
mas, o por lo menos no tantos como las hipótesis de trabajo
incorporadas en el programa que evalúan. Así, una conclu-
sión de poco o nulo efecto podría interpretarse corno un fra-
caso del modelo del evaluador tanto corno un fracaso del pro-
grama.
Segundo, toda descripción razonablemente correcta y cohe-
rente de un programa en particular deberá tener en cuenta el
marco de las políticas en el que se da. En particular, su posi-
ción respecto del núcleo de la política tenderá a influir de
manera significativa sobre la manera corno se aplica el pro-
grama, el nivel de apoyo que disfruta y su significado para
diferentes actores de las políticas. Incluso las medidas más
12 "Evaluation Research in the Political Context", en E. L. Struening Y
M. Guttentag (comps.), Handbook of Evaluation Research, vol. 2, Sage, Lon-
dres, 1975, pp. 13-25.
13 Amitai Etzioni, "Two Approaches to Organizational Analysis: A Critique
anda Suggestion", en Administrative Science Quarterly, 5, núm. 2 (1960),
p. 258.
230 EVALUACIÓN Y RESPONSABILIDAD
refinadas de productos y resultados pasarán por alto casi
seguramente estos aspectos del programa, de modo que pue-
den subestimar sus efectos.
Por último, cuando se evalúan los esfuerzos para cambiar
significativamente el comportamiento de gran número de per-
sonas, un marco temporal será poco apropiado porque no ten-
drá en cuenta la severidad de los problemas administrativos
iniciales y la posibilidad del aprendizaje en la práctica. Por
ejemplo, en el caso de la educación compensatoria en los tér-
minos del Título I de la Ley de Educación Primaria y Secun-
daria de los Estados Unidos, los estudios de evaluación realiza-
dos pocos años después de la promulgación de la legislación de
1965 demostraron ampliamente que los estudiantes atrasados
no estaban mejorando en sus habilidades básicas. Pero los es-
tudios realizados tras un decenio de aplicación revelaron gran-
des avances en la administración del programa y otros tam-
bién importantes en los resultados educativos. Los nuevos
hallazgos sugieren la existencia de un patrón de aprendizaje
de los administradores de programas y sus partidarios en el
Congreso, a medida que identificaban obstáculos y luego ela-
boraban diversas estrategias para atacarlos. 14
En resumen, los grandes problemas de la responsabilidad
pública y la evaluación de políticas se asocian a la elección de
criterios para la medición del éxito. Expertos y ciudadanos
por igual deben afrontar el conflicto inevitable entre los crite-
rios rudimentarios pero intuitivamente atractivos, por una
parte, y los criterios más refinados pero también más contro-
versiales por la otra. Es posible que anteriormente este conflic-
to no haya sido grave. Como ha observado Geoffrey Vickers, en
un pasado no muy distante hubo épocas en que las expectativas
populares eran más o menos claras, realistas y verificables: el
mantenimiento de la ley y el orden, la protección contra la
agresión extranjera, una moneda y un nivel de tributación es-
tables, el alivio de la pobreza extrema. En la actualidad espe-
ramos mucho más de nuestro gobierno, pero no sabemos pre-
h?"
14 Paul A. Sabatier, "What ~an We Leam fr~m Impl~mentation Researc ·.)'
en Franz-Xavier Kaufmann, Giandomemco MaJone y Vmcent Ostrom (comps '
Guidance, Control, and Evaluation in the Public Sector, Walter de Gruyter,
Berlín, 1986, pp. 313-326.
EVALUACIÓN Y RESPONSABILIDAD 231
cisamente cómo cualquier gobierno podría satisfacer nuestras
expectativas.
Al mismo tiempo, el cambio -en gran medida autoinduci-
do, como vimos en el capítulo anterior- se ha vuelto tan rá-
pido que el pasado se convierte en una guía cada vez menos
confiable para el futuro. Por tanto, los resultados de las políti-
cas se vuelven cada vez más elusivos, porque estamos menos
seguros acerca de los límites de lo posible en la administra-
ción pública y porque sospechamos que posiblemente aún no
sea tiempo de que se obtengan los resultados más importan-
tes. En estas condiciones, la mera comparación de los resulta-
dos inmediatos con las expectativas tenderá a ser poco infor-
mativa y poco concluyente.
De acuerdo con los psicólogos sociales, el aprendizaje es la
forma dominante en que la racionalidad se muestra en situa-
cio1:1es d~ gran complejidad cognoscitiva. Esto sugiere que la
rac10nahdad de la elaboración de políticas depende más del
mejoramiento de la capacidad de aprendizaje de los diversos
órganos de deliberación pública que de maximizar el logro de
metas particulares.
No es tarea de los analistas la resolución de desacuerdos
fundamentales acerca de los criterios de evaluación y los crite-
rios de responsabilidad; sólo el proceso político puede hacer
tal cosa. Sin embargo, los analistas pueden contribuir al apren-
dizaje social refinando los criterios de evaluación de los pro-
gramas públicos y estimulando un entendimiento más amplio
de las políticas públicas que el que se puede obtener desde una
sola perspectiva. No se necesita ahora tanto desarrollar medi-
das "objetivas" de los resultados -la vieja meta de la investiga-
ción para la evaluación- como facilitar un diálogo profundo
entre quienes defienden criterios distintos.