EPISTEMOLOGÍA Y METODOLOGÍA DE LA EVALUACIÓN

Francisco Alvira Martín

Universidad Complutense de Madrid

La evaluación tal y como la practicamos en la actualidad tiene un origen

inequívocamente norteamericano, surgió en EE.UU. en los años 60 del pasado siglo,
como resultado, tal y como aparece en los manuales de evaluación, del lanzamiento del
Sputnik por parte de la entonces Unión Soviética. La opinión pública americana
contempló aquella hazaña como un atraso educativo, técnico... de la sociedad de
EE.UU. y demandó al gobierno mayores inversiones en esos campos y sobre todo
inversiones más eficaces y eficientes. Había que gastar más pero controlando ese gasto
para asegurar que se realizaba bien, había por tanto que propulsar las evaluaciones en
todos los campos. Pero tiene también un claro origen político puesto que el objetivo de
la evaluación, en la sociedad americana y en ese periodo, es esencialmente el diseño e
implementación de mejores políticas y programas sociales. Es precisamente la
preocupación de los políticos por lograr efectos y resultados en sus intervenciones (y
por poderlo demostrar o sustanciar así ante la opinión pública y sus “ constituencies”) lo
que pone en marcha la evaluación.

Al igual que sucedió más tarde en España en los 80/90, en EE.UU. este
componente político de la evaluación queda aun más claramente reflejado en el hecho
de que la financiación para llevar a cabo las evaluaciones proviene ante todo de las
diferentes instancias políticas: federal, estatal y local. Es esta masiva financiación
pública lo que permite a la vez la generalización de las evaluaciones y el surgimiento de
la nueva profesión de evaluadores.

El carácter político de la evaluación queda puesto de relieve entre otros por

Carol Weiss, que dirigió el General Accounting Office durante algún tiempo, al señalar
que la evaluación es “la racionalización de la política”. Claro está que se trata de un
tipo concreto de racionalización inserto en el modelo lineal de solución de problemas
que se comenta más adelante.
 La consecuencia más evidente de esta relevancia de la política en el surgimiento
de la evaluación es la necesidad inicial sentida por los profesionales de la evaluación de
subrayar los aspectos “objetivos” y “neutros” de la práctica evaluadora igualando
evaluación con investigación y también con el método experimental (la sociedad
experimentadora de D. Campbell). Había que alejar a la evaluación del subjetivismo, de
los valores, y de la política, en suma, y trasformarla en una práctica científica.
El desarrollo, la historia de la evaluación en los últimos 40 años, ha visto
desaparecer el dominio de esta perspectiva objetivista y experimentalista aparentemente
neutra y basada en un modelo lineal de solución de problemas:

Identificación del problema que se quiere corregir o paliar.

Generación e implementación de intervenciones alternativas para acabar con o
paliar el problema.
Evaluación de las alternativas.
Adopción de aquellas que son mejores, es decir, que realmente acaban, palian o
corrigen el problema.

Y ha contemplado así mismo la aparición de muy diferentes y variopintos

enfoques:

La investigación/acción participativa de la mano entre otros de Patton.

Diferentes tipos de metodología cualitativa basada en observación, estudio de
casos, entrevistas...
La perspectiva de Cronbach de poner el énfasis en la generalización y en la
interpretación de los modelos causales.
La evaluación “respondiente” de Stake centrada en satisfacer las necesidades de
información de las personas que financian dicha evaluación.
La perspectiva centrada en maximizar la probabilidad de uso y utilización de lo
obtenido en las evaluaciones.

Y así muchas más perspectivas. De hecho, la metodología de la evaluación ha

incorporado plenamente las diferentes perspectivas metodológicas de investigación
existentes así como los diferentes dilemas de la filosofía de la ciencia:
 ⇒ Constructivismo frente a realismo.
⇒ La indeterminación de la medición (principio de Heisenberg).
⇒ Metodología cualitativa/cuantitativa.
⇒ Evaluación participativa/evaluación objetiva, a distancia.

El panorama es en estos momentos muy plural y heterogéneo y abierto, de modo

que la sensación es peligrosa: parece que todo vale al estilo Feyerabend cuando
realmente ésto no es así.

Así mismo, y ésta es otra trampa, la mayor y mejor educación evaluativa

existente en la sociedad, pero sobre todo en las organizaciones, ha hecho que en muchos
casos (por ejemplo, en la Unión Europea, en la Administración Pública Española...) las
instituciones marquen e impongan los valores/criterios de valor a utilizar en la
evaluación así como los métodos y los tiempos para llevarla a cabo. Como luego se
comentará, esta práctica no plantearía problemas si no fuera porque con estas
imposiciones sólo se refleja la perspectiva tecnocrática y/o la perspectiva de los
políticos. Los técnicos y los políticos que impulsan las evaluaciones no suelen recoger
la perspectiva de la población destinataria de los programas y políticas ni la de la
sociedad en general.

El esquema de Shadish, Cook y Levitton

El excelente libro de W. R. Shadish, T. D. Cook y L. C. Levitton “Foundations

of Program Evaluation” ofrece una visión muy completa de los retos existentes en la
actualidad para la evaluación y su metodología.

Shadish y colaboradores argumentan que cualquier evaluador en su práctica de

evaluación tiene implícita o explícitamente una teoría que incluye tomar posturas ante
las preguntas que se pueden plantear en una serie de dimensiones que concretan en
cinco:
 1. La dimensión relativa a las características de los programas y políticas sociales,
que tiene que ver con las teorías y conocimientos sobre cómo se originan, se
ponen en marcha y terminan los programas y las políticas.
2. La identificación, selección y características de los valores a utilizar en la
evaluación.
3. La dimensión relativa a los aspectos epistemológicos y metodológicos, es decir,
las perspectivas sobre la realidad objeto de estudio, las características de los
procedimientos de adquisición de conocimientos, metodologías a utilizar...
4. Todo lo que concierne al uso de los resultados de la evaluación, incluyendo los
procedimientos para maximizar la probabilidad de uso.
5. Por último, las características relativas a la práctica de la evaluación, es decir, la
dimensión pragmática.

Los autores señalados plantean estas dimensiones tanto desde un punto de vista
prescriptivo como de un punto de vista descriptivo. Toda teoría de la evaluación tiene
que responder y adoptar determinadas posturas ante las preguntas que surgen en
relación con estas cinco dimensiones y esa toma de posición es lo que define el tipo de
teoría de la evaluación que se utiliza y su adecuación o bondad. Marca también, como
es lógico, las limitaciones de la misma. Naturalmente estas dimensiones (y las preguntas
y respuestas relativas a las mismas) también pueden utilizarse, y es como lo hacen los
autores, para conocer de un modo más profundo los presupuestos teóricos, muchas
veces no expuestos de manera formal, de los evaluadores y de las evaluaciones.

De estas cinco dimensiones me interesa, para esta ponencia, destacar dos:

I. La dimensión relativa a los aspectos epistemológicos y metodológicos

y
II. La que se centra en los valores a utilizar en la evaluación.

La dimensión metodológica y epistemológica

 El rol del evaluador ha cambiado radicalmente en estos 40 años y en paralelo
han cambiado también los métodos utilizados en las evaluaciones. Las evaluaciones y
los evaluadores se han convertido en ayudas imprescindibles, para los políticos y los
técnicos, para diseñar e implementar mejor los programas y las políticas sociales,
incluyendo la identificación y mejora de los modelos de intervención y acción. Llegar a
esta situación ha sido consecuencia de una serie de factores:

a) La importancia creciente del uso/utilización de los resultados obtenidos

en las evaluaciones. Aunque no se siga a rajatabla hoy parece estar
asumida la recomendación de diferentes asociaciones de evaluadores de
no llevar a cabo una evaluación si ésta no va a ser utilizada en la mejora
de la intervención.
b) La necesidad que tienen los clientes de las evaluaciones de resolver sus
problemas de intervención (implementación adecuada, modelos de
acción adecuados...). similar a la que existe en la investigación social
aplicada pero que va más allá. 1

Para cumplir de forma adecuada su nuevo papel, el evaluador ha tenido que

cambiar de práctica utilizando nuevas y variadas metodologías. El abandono de la
experimentación como metodología ideal ha sido sustituida por nuevas metodologías
más participativas y cualitativas que permiten desarrollar y validar modelos de acción y
de intervención efectivos. Así, han resurgido metodologías inductivistas que permiten
generar ideas y teorías, como la metodología del estudio de casos y las metodologías
basadas en entrevistas y grupos.

Pero en paralelo se han ido abandonando las metodologías deductivistas,

centradas en la contrastación de teorías e hipótesis, al ir tomando conciencia de que no
existía gran cosa que contrastar porque las intervenciones muchas veces no son
coherentes, no son fruto de la teoría ni se sustentan en ella. Son, en muchos casos, fruto
de la experiencia de intervención en áreas sociales especificas con una mínima
apoyatura teórica.

1
Mi experiencia con la Agencia Antidroga de Madrid es buena prueba de ello.
 De la misma manera, el ideal de utilización de muestreo aleatorio para
maximizar la posibilidad de generalización, se ha sustituido por la utilización de
muestras heterogéneas y muestras modales. Por ultimo, la inclusión de las diferentes
perspectivas de los actores sociales implicados en los programas y políticas
(investigación acción y participación de las “partes interesadas”) permite clarificar y
descubrir mejor aun si cabe las teorías sustentadoras de las intervenciones y de los
programas.

El resultado final es la aceptación generalizada de una metodología múltiple

adaptada a objetos y objetivos diferentes.
Ha sido la interacción entre los diferentes aspectos o dimensiones señalados por
Shadish y colaboradores como constitutivos de cualquier teoría de la evaluación –
programa, uso, valor, metodología y practica - durante estos últimos 40 años de práctica
evaluadora lo que ha llevado a la pluralidad metodológica existente hoy, que se
corresponde con las demandas que políticos y técnicos dirigen a los evaluadores y las
evaluaciones.

La evaluación tiene un carácter esencialmente instrumental aun cuando pueda

tener otras funciones de desarrollo de teorías de intervención,... La práctica evaluadora
ha insistido primero en el uso/utilización de lo obtenido en las evaluaciones con el
desarrollo de metodologías participativas para incrementar la probabilidad de lograr
dicho uso. Luego la práctica evaluadora ha tenido que trasladar su objeto de interés, sin
perder totalmente el anterior, de los resultados de los programas de intervención al
proceso/implementación, en un primer momento y más tarde, al propio diseño de los
programas de intervención. La existencia sistemática de problemas de implementación y
de diseño ha hecho necesario este cambio de atención y el correlativo cambio hacia
metodologías cualitativistas y participativas. Una buena implementación debe
contemplar las diferentes perspectivas de los actores implicados y así mismo debe
identificar los factores que impiden una adecuada implementación para lo que de nuevo
es imprescindible contar con todos los actores implicados.

Por otra parte, la identificación de los modelos teóricos subyacentes a los

modelos de acción y de intervención y la valoración de los mismos (véase Cronbach)
han vuelto a hacer necesario poner el énfasis de las evaluaciones en la identificación y
generación de hipótesis y modelos causales, lo que lleva de nuevo a métodos de estudio
de casos y metodología cualitativa.

El resultado final es la existencia de un pluralismo metodológico que no

significa que cualquier metodología vale, sino todo lo contrario, hay que utilizar la
metodología más apropiada para cada tipo de evaluación y de valor, y también, que toda
metodología tiene fallos y problemas, resultando muchas veces complementarias.

La dimensión del valor a utilizar

El elemento de valor es esencial para la práctica y teoría de la evaluación porque

es lo que radicalmente distingue la evaluación de la investigación. Al comienzo de la
práctica de la evaluación en los años 60 del pasado siglo, los valores y criterios de valor
a utilizar no se mencionaban ni explícita ni implícitamente. Al contrario, la sensación
que se ofrecía era que la evaluación no tenia nada que ver con valores, como tratando de
evitar que no se considerase a la evaluación dentro de las prácticas objetivas y por tanto
científicas. Como ya he mencionado, el origen político de la evaluación ayudó
probablemente a este ocultamiento que carece de fundamento porque, ante todo, evaluar
es valorar tomando como referencia uno o varios valores.

El desarrollo de la evaluación en los últimos 40 años ha seguido una línea

sinuosa y torcida en el tema de los valores. En los primeros años, la evaluación se
llevaba a cabo sin “valores”, puesto que no se explicitaban y se daba por supuesto que
existía un consenso sobre ellos o quizás también que no era necesario hablar de ellos
porque eran objetivables. En esos momentos predominan como valores a utilizar los
objetivos de los programas, la efectividad, la eficacia y la eficiencia.

En los años 80/90 se explicitan de forma clara los valores y se toma conciencia
de que ésta es la característica esencial de toda evaluación, estableciéndose la existencia
de muy diferentes valores que se conjugan metodológicamente con los diferentes tipos
de evaluación, las preguntas de la misma y los momentos en que ésta se realiza.
 Así (véase Maria José Aguilar o Peter Rossi o Francisco Alvira) parece
razonable que en una primera fase de la aplicación de una política o programa, el énfasis
se ponga en la implementación, proceso o cobertura, es decir en utilizar valores en la
evaluación relacionados con estos tres tipos de evaluación. Cada tipo de evaluación va a
su vez relacionado con un tipo de metodología, existiendo un cierto consenso al
respecto entre los evaluadores sobre qué metodologías son más apropiadas para cada
tipo. Una vez el programa está asentado y lleva tiempo funcionando, parece lógico
también centrar la evaluación en los resultados y el impacto, utilizando los
correspondientes valores y metodologías asociadas.

La elección de los valores a utilizar en la evaluación recae cada vez más en los
“clientes”, es decir, en aquellos que financian y encargan la evaluación. De este modo, y
siguiendo muy de cerca las practicas establecidas en EE.UU., cada vez es más habitual
en España y en Europa que el “cliente” especifique con todo detalle el o los tipos de
evaluación a realizar, los momentos de la evaluación y las metodologías.

Así, en la UE. es habitual plantear una evaluación al inicio, que suele utilizar
análisis documental y entrevistas como metodología básica; una evaluación intermedia
centrada en el proceso, con metodologías similares de entrevistas y análisis documental
y una evaluación final orientada a los resultados/impacto, con metodología cuantitativa
y a veces cualitativa complementaria.

El papel del evaluador es de mero ejecutor y de aceptación de los valores a

utilizar que viene impuestos por los financiadores de la evaluación, que suelen ser
también los que financian y llevan a cabo los programas y políticas que se quieren
evaluar. Cada vez más por tanto los valores (tanto en la definición del problema a
resolver como en la evaluación a realizar de las intervenciones llevadas a cabo para
resolver el problema) vienen predeterminados, empujando al evaluador a un papel
pasivo y reactivo. Esta predeterminación proviene además siempre de los mismos
actores: los políticos y los técnicos o profesionales. Estos utilizan, lógicamente ante
todo, su propia perspectiva de tipo tecnocrático.

Aquí hay que recordar la insistencia de M. Scriven en que el valor último con el
que enjuiciar cualquier programa o política debe ser la satisfacción de las necesidades
de los clientes, usuarios o ciudadanos. Y también conviene recordar que los problemas
sobre los que se actúa en programas y políticas no están objetivados, sino que una
situación o hecho social sólo se trasforma en problema social cuando intervienen los
valores de las personas o grupos que así lo definen.

Algunos dilemas y escollos metodológicos

Quiero aquí comentar y enumerar algunos de los problemas metodológicos y

epistemológicos con los que me he ido encontrando como evaluador, en los últimos
años, dentro de la situación plurimetodológica existente que he descrito antes.
1. Confusión entre tipos de evaluación y tipos de valores

Se está confundiendo resultados con impacto y, lo que es más peligroso, con

proceso, por parte de los clientes que encargan y financian las evaluaciones. Se
habla, por ejemplo, de que “los resultados han sido: 1000 usuarios atendidos,
200 mediadores formados...” o “se han distribuido 1000 folletos explicativos” o
“se han modificado las siguientes normas”.

Se confunde actividades con objetivos y objetivos de proceso con objetivos de

resultados; del mismo modo se confunden los efectos de las intervenciones
sobre la población destinataria con los efectos sobre la sociedad o la población
no destinataria (resultados/impacto).

Naturalmente esta confusión no es inocente. Es más fácil comprobar y presentar

información que avale que se han llevado a cabo determinadas actividades que
comprobar de un modo concluyente que el conjunto de actividades y actuaciones
realizadas ha tenido los efectos perseguidos sobre la población destinataria o ha
tenido efectos aunque no estuvieran previstos.

De nuevo hay que recordar con Scriven que la satisfacción de las necesidades de
la población destinataria es el valor último a utilizar y que centrarse en proceso,
enmascarándolo como resultados, sirve probablemente para una justificación
política pero no necesariamente se cumple con el valor señalado como valor
último a utilizar.
2. Confusión entre metodologías, valores y tipos de evaluación

En correspondencia con lo anterior, a veces se exige en los pliegos de

condiciones o términos de referencia, el empleo de metodologías que no se
corresponden con los valores ni los tipos de evaluación previstos o indicados en
esos mismos pliegos.

Es habitual en la Unión Europea pedir la utilización de entrevistas y análisis

documental para llevar a cabo evaluación de resultados o de impacto. Y además,
pedir que la información se recoja después de terminado el programa o proyecto
sin que exista la posibilidad de mediciones antes y después, ni de comparar con
otros segmentos de población que no reciben el programa o de comparar entre
diferentes alternativas. Aquí el problema no es la exigencia de utilizar
entrevistas sino las constricciones temporales y de comparación implícitas en las
condiciones de los pliegos.

3. Matar moscas a cañonazos

Si existen “clientes” que quieren utilizar metodologías “débiles” para conseguir

resultados “hard”, también existe, aunque sea menos frecuente, lo contrario. Es
decir, “clientes” que no confían en los resultados de una evaluación porque ésta
no utiliza metodologías experimentales, por ejemplo.

En los últimos tres años hemos estado elaborando, para el Instituto Nacional de
Administración Pública, tres modelos metodológicos para evaluar la Formación
Continua en las Administraciones Publicas: evaluación de necesidades
formativas, de resultados y de impacto. En el último modelo de evaluación
(impacto) nuestra propuesta, en concreto, no incluye diseños experimentales o
cuasi-experimentales con medición antes y después y grupos de comparación.
Siendo realistas y prácticos propusimos un modelo más fácil de implementar,
basado en los procedimientos que sigue el Banco Mundial en sus evaluaciones.
Se trata de utilizar el modelo causal de la formación de Kirkpatrick y hacer
mediciones antes y después, pero utilizando entrevistas, análisis documental y
 observación. La comparación se hace utilizando la idea de recoger información
de 360 grados, es decir, recoger información mediante entrevistas a la persona
que ha recibido la formación, sus compañeros, sus jefes y sus subordinados.

Pues bien, esta propuesta se contrastó con diferentes promotores de planes de

formación para incorporar mejoras y una de las críticas realizadas se centró
precisamente en que el modelo no utilizaba diseños experimentales o cuasi-
experimentales y por tanto no controlaba posibles variables perturbadoras.
Nuestra propuesta era para estos promotores poco fiable y válida por esta razón.

También es verdad, que algún promotor señaló que no veía la necesidad de

realizar evaluación de resultados o de impacto de la formación. En opinión de
este promotor simplemente había que preparar bien los planes y actividades de
formación y asegurarse de que se implementaban adecuadamente. Los efectos
positivos de la formación sobre el formado y la organización se debían de dar
por descontados.

4. El talón de Aquiles sigue siendo el uso de lo obtenido en la evaluación

Las evaluaciones realizadas en nuestro país y probablemente también en el resto

de nuestro entorno, no suelen tener un efecto claro en los programas y políticas
que evalúan. Es decir, los resultados de las evaluaciones apenas se tienen en
cuenta ni para mejorar los programas, ni para replantearlos ni para ampliarlos ni
terminarlos.

Es difícil, por no decir imposible, conocer con exactitud el número de

evaluaciones cuyos resultados no se utilizan pero probablemente esté cercano al
50%.

Con seguridad, la probabilidad de uso es mayor si:

La evaluación ha sido encargada internamente por existir un problema
determinado o dificultades en el funcionamiento de un programa. Esto suele
suceder sobre todo en las Administraciones locales, ONG y Asociaciones.
 La metodología utilizada implica una alta participación de los “clientes”,
tanto en el planteamiento como en el desarrollo de la evaluación.

En cambio, en las evaluaciones encargadas por Instituciones públicas

(normalmente Autonomías o Administración Central) con la finalidad explícita o
no de justificar una política o un programa, lo habitual es que el uso de los
resultados sea inexistente o sea parcial o se demore mucho en el tiempo.

También es cierto que una de las vías para la utilización de las evaluaciones es
lograr que éstas se publiquen, se difundan y se divulguen de cuantas más
maneras mejor. Esta debe ser una de las prioridades de los evaluadores: lograr la
publicación y divulgación de las evaluaciones.

5. Los mecanismos políticos subyacentes a las intervenciones.

Entender el funcionamiento de los programas o políticas es vital para realizar

buenas evaluaciones. Condiciona la metodología, la elección de los valores y el
uso de los resultados obtenidos.

Aunque normalmente esta comprensión o entendimiento no forme parte del

encargo de evaluación, todo evaluador debería incluirlo en la misma.

Conocer o entender el funcionamiento significa, entre otras cosas, conocer el

origen del programa o política, conocer quién la ha apoyado y quién no la apoya
y los conflictos que existen entre las instituciones que la aplican; conocer la
finalidad y objetivos reales tanto de la política o programa como de la
evaluación.

En España, en la actualidad, se realizan evaluaciones de políticas o programas,

encargadas por la administración central, que se implementan en el ámbito
autonómico o local porque las competencias sobre el tema en cuestión están
transferidas, por lo que tanto en el planteamiento como en el desarrollo de la
evaluación estos ámbitos deberían ser tenidos en cuenta si se quiere que se
utilicen los resultados.
 Por otra parte, el juego políticamente existente puede dar lugar a una utilización
de la evaluación - no de los resultados – instrumental, dentro de dicho juego
político. No deja de ser paradójico que una estructura política que favorece el
desarrollo de los procedimientos de evaluación como la española (cuasi federal
como EE.UU. o Alemania) favorezca así mismo la no-utilización de los
resultados o una utilización sesgada o parcial por la misma razón.

6. El rechazo y huída de la evaluación de resultados

De la misma manera que se llama evaluación de resultados (y de objetivos) a lo

que no es más que evaluación de proceso y se confunden objetivos de resultado
con objetivos de proceso e incluso con actividades, existe un rechazo y huida de
la evaluación de resultados.

Existen varias razones para ello pero la principal es el triple sentimiento difuso
de que:

i. Realizar una evaluación de resultados es muy complicado, lleva

mucho tiempo y nunca es concluyente.
ii. La propia intervención se justifica por sí misma sin necesidad de
demostrar que los efectos perseguidos se producen y en el grado
deseado.
iii. Y la carencia de confianza en las propias intervenciones. La sensación
es que hay que hacer algo ante un problema social y lo que se haga
debe ser políticamente correcto, pero demostrar que lo que se hace
sirve realmente para acabar o mitigar el problema eso no es tan
importante.

El ejemplo de las campañas publicitarias de la Dirección General de Trafico es

un buen ejemplo de lo que aquí se comenta. Se da por supuesto que tiene un
efecto positivo en la disminución de los accidentes y no se realizan evaluaciones
de resultados de estas campañas.

Pero hay muchos más ejemplos. Así, hasta hace cuatro años, los programas de
prevención del consumo y abuso de drogas no se sometían a evaluación de
resultados y por supuesto los programas y proyectos llevados a cabo dentro del
área de servicios sociales rara vez son evaluados desde la perspectiva de sus
efectos o resultados.
Bibliografía

Aguilar Maria, José y Ander-Egg, Ezequiel (1991): La evaluación de programas

y servicios sociales, Madrid, Ed. Siglo XXI.
Alvira Martín, Francisco (1991): Metodología de la evaluación de programas,
Madrid, Centro de Investigaciones sociológicas.
Rossi, P., y Freeman, H (1989): Evaluation: a systematic approach, Beberly
Hill, Sage Pub.
Shadish, W., Cook, T.; y Leviton, L. (1991): Foundations of Program
evaluation, Beverly Hill, Sage Pub.