CAPÍTULO IV: EVALUACIÓN DE POLÍTICAS PÚBLICAS

Eliseo R. López Sánchez

Finalizábamos la lección anterior mencionando que el seguimiento, o monitoreo, es un

proceso de la implementación que sirve para un control no burocrático de la ejecución de
la política formulada. Esta lección la dedicaremos a la evaluación, pero antes debemos de
señalar la distinción entre evaluación y el seguimiento, así como de otros instrumentos de
control de la implementación.

Siguiendo el marco conceptual de la Comisión Europea (2004), la auditoría en el sector

público cubre un amplio rango de actividades de la implementación, que van desde la
auditoría financiera a la del rendimiento de las políticas públicas. Si bien la auditoría
puede acompañar a las evaluaciones y ser una fuente principal de datos, su característica
diferencial es que tiene un enfoque contable, esto es, su foco se concentra en las
“entradas” y “salidas”, y el análisis de las evaluaciones va más allá.

Respecto al seguimiento, la Comisión Europea (2004) lo considera “un proceso continuo

y sistemático llevado a cabo durante una intervención, lo que genera datos cuantitativos
sobre la implementación de la intervención, pero no sobre sus efectos. La intención del
seguimiento es corregir cualquier desviación de los objetivos operacionales, y así
mejorar el rendimiento del programa así como facilitar la subsecuente evaluación.”

Básicamente, el seguimiento consiste en la demanda de información y en el control

ejercido por el político responsable de la iniciativa, lo que debe realizar de manera
simultánea a la ejecución.

Teniendo en cuenta lo anterior, por evaluación de un programa ha de entenderse la

valoración del conjunto del proceso, en todas las fases de la política pública. Recordemos
que originalmente, en el ciclo de las políticas públicas, la evaluación era en realidad la
última fase, y analizaba sólo los resultados. Hoy se considera más bien un proceso, o un
ciclo, paralelo que analiza el resto de las fases: formulación, implementación y ejecución.

Por otro lado, el proceso de evaluación es una investigación y análisis, que nos permite
establecer valoraciones sobre los procesos de las políticas públicas en todas o alguna de
sus fases.

1
  Es una investigación que aplica las metodologías cuantitativas y cualitativas de la
sociología y las ciencias políticas.

 Se puede realizar sobre cada una las fases, o el conjunto, de una política pública,
pero se enfoca principalmente a la formulación e implementación de la política,
esto es, desde la toma de la decisión en adelante, aunque en el análisis de la
formulación se incluyan los resultados de las fases anteriores.

 En la evaluación se analizan resultados de una política desde una perspectiva

profunda, más allá del seguimiento o comprobación del cumplimiento de la
ejecución.

Siguiendo a Domingo Comas (2008) podemos establecer que la evaluación apareció en

Estados Unidos en la década de los años 30 del siglo XX, al igual que la práctica de las
políticas públicas. La idea de evaluar los programas sociales apareció como consecuencia
de la implantación de la New Deal, intentando adaptar el método que había desarrollado
el psico-pedagogo conductista Ralph W. Tyler para evaluar los métodos y resultados
educativos. Tyler estableció la idea de que el sistema educativo se debía fijar objetivos y
“evaluar” si se habían alcanzado, e insistió en que lo importante era “medir el cambio
obtenido”. Consiguió que le encargaran la evaluación de los resultados obtenidos por
diversos proyectos de renovación pedagógica, con lo que fue difundiendo su método.

La evaluación de las políticas y programas públicos continuó evolucionando en EE.UU.,

en donde en los años 50 u 60 se comenzaron a aplicar técnicas estadísticas más avanzadas
que la simple estadística descriptiva para avanzar en el conocimiento de los programas y,
sobre todo, compararlos cuantitativamente con el fin de conocer los mejores (Comas,
2008). Se pretendía una dimensión prospectiva, anticipatoria, a partir del análisis de
evaluación. No obstante, en seguida se constató que los resultados de un programa no
eran siempre extrapolables a otros contextos.

A partir de los años 70 y 80 la evaluación comenzó a hacer hincapié en la gestión de los

recursos públicos a la hora de conseguir los objetivos, la eficiencia, aunque se constató
que la satisfacción de los ciudadanos en sus preferencias tenía consecuencias en el éxito
de las políticas.

2
Es en este momento en el que se incorporan a la evaluación los países de Europa
occidental, buscando fundamentalmente contener la crisis del Estado de Bienestar
(Comas, 2008). A esta corriente de “accountability” (rendición de cuentas), como se
expondrá en el Reino unido, que prioriza el análisis del control del gasto en la evaluación,
se sumó EE.UU. en los años 90.

La necesidad de que las evaluaciones se enfocaran a la rendición de cuentas para controlar

el gasto facilitó la entrada de economistas como Michael Scriven quien planteó que
primero hay que tratar de averiguar cuáles son las características esenciales y reales de
un programa o política, incluidos sus fundamentos teóricos, su misión, así como la
decisión que lo ha puesto en marcha, para determinar a continuación sus efectos (Comas
2008). A partir de los postulados de Scriven se comenzó a desarrollar una visión más
política y social, en las que se consideró la democratización de la toma de decisiones y la
participación ciudadana, aunque se constata el poder corporativo de las estructuras de
evaluación internas.

El camino de Scriven fue seguido por Lee Cronbach, quien planteó que lo que importa de
la evaluación e su validez externa en un contexto local, es decir, el valor concreto de un
programa estable en un contexto de gobierno determinado. Para determinar el grado de
validez, podemos utilizar cualquier combinación metodológica dentro del campo
científico de las ciencias sociales (Comas, 2008).

Así, han ido evolucionando los enfoques sobre la evaluación de políticas públicas, hasta
plantearse como una investigación sistemática que pretende analizar la configuración de
un programa o política determinada para conocimiento de la opinión pública. En
definitiva, la evaluación se convierte en una especialidad dentro del análisis de políticas
públicas y se caracteriza por los métodos de investigación de las ciencias sociales con el
propósito de emitir un juicio de valor sobre las políticas públicas o los programas de
intervención.

La moderna evaluación de políticas públicas busca generar información sobre la acción

de los gobiernos y de los efectos que dichas acciones generan, y se refiere a todo el ciclo
de vida de la política, a los procedimientos y a la metodología utilizada, a los resultados
que producen las políticas públicas.

3
En este sentido, Carol Weiss (citada por Comas, 2008) explica que los usos de la
evaluación de políticas públicas se pueden resumir en:

 Instrumental: los resultados obtenidos se utilizan para tomar decisiones sobre la

reformulación o terminación del programa o la política. Este uso instrumental
aparece, en la mayor parte de las ocasiones, subsumido y formando parte de los
otros usos citados a continuación.

 Conceptual: los resultados sirven para dar explicaciones sobre el por qué o el cómo
se hacen las cosas. Esto tiene que ver con el objetivo estratégico del programa y
los conceptos que lo sostienen.

 Persuasivo: en el que la evaluación sirve para movilizar apoyos para conseguir

recursos o cambios en el programa.

 Político o trascendente: en la que la evaluación pretende influir sobre la toma de

decisiones políticas o en el cambio de las creencias sociales.

Podemos observar en estas funciones dos grandes perspectivas en la evaluación, según se

primen unas u otras en cada caso. Una perspectiva es más gerencial, en el que la
evaluación de políticas públicas es un instrumento técnico, y otra más política, en el que
la evaluación mide los efectos de las políticas en la sociedad.

Desde el punto de vista gerencial, el diseño de la evaluación se focaliza en la revisión de

los procesos y la medición sistemática del estado del problema, analizando en primer
término los criterios de:

 Eficacia: organización interna, personal, nivel de respuesta, adecuación de los

recursos, objetivos planteados.

 Eficiencia: relación de los costes y los beneficios generados por los resultados del
programa.

 Grado de satisfacción que se ha alcanzado.

 Reducción de costes por errores, fraude o derroche.

4
Además de estos criterios, la perspectiva gerencial en la administración pública implica
también incorporar en la evaluación criterios vinculados a los valores del Estado de
Derecho y las constituciones democráticas.

 Igualdad.

 Respeto al principio de legalidad.

 Respeto a los derechos individuales y colectivos.

 Asegurar una misma protección legal a todos los individuos y evitar situaciones
discriminatorias.

Por su parte, desde la perspectiva política se analiza principalmente el grado de respuesta

que la política o programa supone a la demanda o conflicto que origino el problema
público y su consiguiente respuesta. La perspectiva política se dirige, por un lado, a la
efectividad de la política pública, a sus resultados en los usuarios y al impacto en el
conjunto de la sociedad. Además, desde esta perspectiva, la evaluación supone un
conjunto de utilidades en los sistemas políticos democráticos, ya que en este tipo de
sistemas los gobiernos tienen que rendir cuentas de sus actos, explicar sus decisiones a
los ciudadanos, presentar los logros alcanzados en las distintas áreas en las que interviene
y legitimar, con resultados, sus decisiones. Así, las evaluaciones de programas y servicios
públicos cumplen importantes funciones en el sistema político, pues aportan información
para:

 El control parlamentario de las actuaciones del ejecutivo y sus administraciones.

 La transparencia, mediante la presentación de resultados a la ciudadanía.

 La legitimación de acciones de rediseño organizativo o de políticas de ajuste de

recursos.

 El mantenimiento de la confianza y la cooperación entre los diferentes actores que

participan en el proceso.

 El reforzamiento, o la destrucción, de la reputación de la eficacia, eficiencia y

oportunidad de una política.

5
  El reforzamiento de la legitimidad de un tipo de liderazgo y de las oportunidades
organizativas de apropiación presupuestaria.

En definitiva, según Manuel Tamayo (1997) se trata de ofrecer una ofrecer información
útil que facilite los procesos de toma de formulación e implementación, de cara a justificar
la necesidad de nuevos programas o políticas y a controlar la eficacia de la acción
administrativa. En este sentido la evaluación aporta información sobre:

 si se resuelve el problema que se pretendía o hay que reconducirlo,

 el grado de operatividad del programa,

 las diferencias de aplicación,

 reacción de los actores implicados,

 cómo ha funcionado la gestión del programa.

En este sentido podemos concetar los objetivos genéricos de la evaluación para los actores
promotores y decisores de políticas públicas (Tamayo, 1997):

 Mejora o perfeccionamiento: cómo mejorar el crograma, su efectividad, su

eficiencia, dirigida al personal responsable del programa y personal directamente
relacionado con el mismo.

 Rendimiento de cuentas y responsabilidad: facilitar información a los

responsables de los programas y políticas para la toma de decisiones respecto a la
continuación o no del programa, asignación de recursos o la modificación
sustancial del mismo.

 Aprendizaje. Mejora del conocimiento para futuros programas: generación de

conocimientos básicos y contrastar teorías.

Más allá de estas perspectivas, podemos identificar distintos tipos de evaluación de las
políticas públicas, y distintas tipologías de evaluaciones, pero antes de comenzar a
avanzar en este aspecto, nos gustaría distinguir que en esta lección estamos tratando con
la evaluación de programas y servicios públicos, este es nuestro enfoque principal. Por
ello, otro tipo de evaluaciones internas del estado de las organizaciones, que suelen ser

6
herramientas vinculadas a modelos de calidad, son contempladas aquí de manera
tangencial, como complementos o para tener una referencia respecto a otros tipos. No
obstante, los modelos de calidad implementados en las organizaciones públicas pueden
ser fuentes de información para la evaluación de programas y servicios, y viceversa, ya
que incorporan como un criterio principal la medición los resultados de la organización,
y esos resultados son los que obtienen a través del impacto de sus productos en la
sociedad, los programas y servicios públicos.

Para avanzar en los tipos de evaluación, podemos comenzar por un el criterio temporal,
que se adapta al ciclo de políticas públicas que estamos tratando, y que implica que la
evaluación no es simplemente una fase más de la política pública, sino que es un ciclo
paralelo que puede analizar un programa o servicio en cualquiera de sus fases temporales.

Así, según la Comisión Europea (2004), hay distintos tipos de evaluación que se
distinguen según los momentos del desarrollo del programa o la política. En cada uno de
estos momentos la evaluación obedece a una lógica distinta y tiene por tanto una finalidad
y unos procedimientos operativos diferentes:

 “Antes de” se plantea objetivos relacionados con la necesidad de realizar un

análisis previo de la realidad sobre la que se va a desarrollar el programa. Su
finalidad es la de averiguar cuáles deberían ser los contenidos y los objetivos del
programa.

 “Durante” la realización del programa implica averiguar lo que estamos haciendo

para valorarlo y tratar de modificarlo. La finalidad de este tipo de evaluación es
revisar los procesos y los procedimientos para comprobar cómo se utilizan los
recursos y estimar cómo se van a conformar los resultados.

 “Después de”, es cuando el programa o la actividad ha concluido, y pretende

medir los resultados y el impacto causado. Su finalidad es la de determinar las
trasformaciones que ha sufrido la realidad.

Siguiendo este primer criterio, podemos identificar distintos tipos de evaluación en cada
fase temporal.

 Evaluación ex ante o “antes de”: en este momento inicial de la formaulación de la

política pública, podemos identificar:

7
 o Evaluación anticipativa (diagnóstico de necesidades, análisis de la
realidad): Orientada a producir información para el proceso de definición
del problema y la formulación de alternativas. Se centra en el análisis del
contexto político, administrativo, legal, social y económico, poniendo en
relación la política pública y los factores críticos del entorno.

o Evaluación del diseño: orientada a conocer la adecuación de los objetivos

del programa a las necesidades de la población.

o Evaluación de la evaluabilidad: su objetivo es determinar las posibilidades

de evaluar el programa que se va a realizar.

o Evaluación de la cobertura: pretende conocer si el programa puede llegar

de verdad a la población objeto del mismo.

 Evaluación am interim:

o Evaluación de la viabilidad política (contexto): Trata de producir

información para afrontar las amenazas y aprovechar las oportunidades
presentes en ese entorno. Identifica a actores con intereses en la
implementación del programa, elaborando mapas de apoyos y resolución
de conflictos necesarios.

o Evaluación de procesos (ejecución): Determina el grado de cumplimiento

de los objetivos y compara el diseño inicial del programa con los recursos,
costos, formas y resultados reales con los que se desarrolla.

o Evaluación correctora: Analiza el funcionamiento de todas las actividades,

localizando puntos críticos para corregirlos.

o Evaluación del desempeño: Constata el rendimiento del equipo y sus

diferentes profesionales para establecer si la cualificación es adecuada. Se
trata de un tipo de evaluación muy delicada que puede interferir con
aspectos laborales.

 Evaluación ex post:

8
 o Evaluación de impacto: Facilita información sobre los del programa o
política y en qué medida los efectos observados en la sociedad se deben a
la política implantada. Mide la eficacia y efectividad, comparando los
impactos previstos con los observados y en relación a las expectativas de
la población.

o Evaluación de la calidad: aporta información sobre si las políticas

producen los beneficios esperados por los distintos actores que participan
en el proceso. Mide la satisfacción de las expectativas de los usuarios.

o Evaluación de resultados: Recoge información sobre los logros finales del

programa, en relación a los objetivos del mismo y facilita un juicio de
valor global.

o Evaluación económica: trata de medir el coste/beneficio (evaluación

monetaria de los efectos del programa), el coste/efectividad (casi
imposible) y el coste/utilidad (exige categorías preestablecidas de
utilidad).

De todos estos tipos, los más importantes en el contexto del análisis de las políticas
públicas son las evaluaciones de resultados y de impacto. No obstante, las evaluaciones
anticipativas y de diseño tienen utilidad desde el punto de vista de la toma de decisiones
operativa por parte de los líderes políticos, ya que permite evitar errores en el diseño y
formulación de los programas públicos. Podemos decir que estas evaluaciones exante
tienen un carácter de prospectiva del programa que se pretende emprender y formular.

Por su parte, las evaluaciones intermedias se basan o tienen en común muchos elementos
con las herramientas de los modelos de calidad antes mencionadas. Las evaluaciones
correctoras, del desempeño y de procesos son tipos de evaluación que también se utilizan
en la gestión interna de las organizaciones y, de hecho, sirven las mismas evalauciones
para ambos fines, particularmente cuando la organización en cuestión está especializada
en la gestión de pocos programas o servicios, y la misión de la organización está muy
vinculada al programa a evaluar.

La investigación de la evaluación

9
Como planteábamos anteriormente, cualquier tipo de evaluación es una investigación con
un método específico. Aunque cada uno de los tipos citados anteriormente tiene sus
especificidades, podemos establecer unos elementos comunes de las evaluaciones,
aunque fundamentalmente estamos tratando con las evaluaciones de resultados y de
impacto, que como ya hemos apuntado, son las que más importancia tienen de cara al
análisis de las políticas.

En cuanto a la estructura y fases de evalaución podemos seguir la metodología de

Domingo Comas (2008):

 Planificar la evaluación, contemplando los siguientes aspectos:

o Conceptualizar la naturaleza del programa.

o Conocer la literatura previa afín o análoga.

o Clarificar y jerarquizar los contenidos de la evaluación ¿Qué se va a

evaluar y por qué?

o Seleccionar los instrumentos de evaluación.

o Definir objetivos, criterios, requisitos y estándares.

o Seleccionar a los evaluadores.

o Delimitar el campo de la observación.

o Establecer las matrices de evaluación.

o Diseño del plan de análisis.

 Aplicar el Plan y recoger los datos.

o Definir el proceso a seguir en la implementación del tipo de evaluación

diseñada.

o Incluye recogida de datos, observación, medición, control y supervisión

de los mismos, así como verificación, grabación y depuración de los
mismos.

 Analizar los objetivos obtenidos:

o Aplicación del plan de análisis y juzgar los resultados y efectos.

10
 o Formular juicios de valor con los resultados.

o Estimar resultados, efectos e impactos

 Dar a conocer los resultados:

o Elaborar un Informe.

o Preparar extractos institucionales.

o Difundir los resultados a los afectados.

o Difundir los resultados a la comunidad científica.

o Remitirlo a registros y a bases de datos y documentales.

o Preparar artículos científicos.

Como señala Comas (2008) lo importante de la evaluación, es saber qué es lo que

realmente se pretende averiguar a través del proceso de evaluación, recopilar la
información utilizando la metodología más adecuada, de tal forma que la interpretación
y valoración posterior esté basada en la información y responda a las preguntas
formuladas. La respuesta a esta cuestión nos dará el objetivo general de la misma.

Determinado el objetivo general, hay de desglosar éste en objetivos específicos. Estos

objetivos específicos se desarrollan para cada caso por el equipo de evaluación,
dependiendo del programa o servicio público a evaluar.

Para llevar a cabo la estrategia una herramienta clave es la matriz de evaluación, el

instrumento de planificación de la evaluación, el que refleja los objetivos, las preguntas
y los indicadores que se van a usar en la evaluación. La matriz de evaluación se basa en
una fila o eje horizontal en el que constan tanto campos como criterios de evaluación se
consideran en el diseño: “por ejemplo los objetivos, las preguntas a formular, los
indicadores que se van a utilizar, las fuentes de información, los criterios metodológicos
para obtener los datos, los responsables de las diversas tareas, los resultados esperables,
la temporalización de cada tarea…” (Comas, 2008). Como criterios imprescidibles el
enfoque de marco lógico considera: pertinencia, eficacia, eficiencia, impacto y viabilidad.
A veces el impacto se considera como cobertura (Camacho, Cámara, Cascante, Sainz,
2001), esto es, hasta que punto llega a la población objetivo, y la viabilidad se considera

11
como sostenibilidad, esto es, una vez realizado el proyecto, si es posible que funcione en
el tiempo.

Por su parte, en el eje vertical o primera columna se colocan cada uno de los objetivos
específicos de la evaluación.

A modo de ejemplo, Comas (2008) propone el siguiente ejemplo simplificado de matriz

de evaluación resultados para evaluar la eficiencia de un Ciberespacio de un Centro de
Juventud. La cantidad tanto de criterios como de objetivos específicos en casos ordinarios
sería muy superior, pero nos da una idea aproximada de lo que se trata.

OBJETIVO PREGUNTA INDICADOR FUENTE

Conocimiento del ciber ¿Se conoce la existencia Si/No a cada cuestión Pregunta en encuesta
entre los jóvenes del CIBER, su dirección, general sobre servicios
los horarios y las normas municipales.
de uso?

Nivel de utilización del ¿Cuántos jóvenes % de jóvenes que Registro del CIBER
ciber diferentes han utilizado utilización del Ciber y
el caber y con que numero de veces que a
frecuencia? hacen a lo largo del año

Características de los ¿Quiénes son los que Datos Ficha Registro para
usuarios del ciber utilizan y los usuarios sociodemográficos, acceder a la condición de
más frecuentes? educativos y de lugar de usuario CIBER
procedencia (barrio)

Percepción del personal ¿Piensan los técnicos del
técnico sobre la eficacia Ciber que la oferta es
del servicio. adecuada a las
necesidades de los
jóvenes de la localidad?
Valoración en una escala Cuestionario (o grupo de
de diferentes aspectos discusión) a los técnicos
del servicio: de juventud y del CIBER.
Publicidad, facilidad,
ergonomía,…

Comparación con ¿Se trabaja y se oferta el Posición relativa en Información y

servicio mejor o peor relación a otras documentación sobre
otros servicios similares que otros similares en evaluaciones. otras evaluaciones.
otras localidades?

Fuente: Domingo Comas 2008

Planteada la planificación, entramos en su puesta en práctica recogiendo los datos. Como

ya hemos afirmado, una evaluación es en la práctica una investigación social, y esta
característica se plasma en la metodología, particularmente a la hora de recopilar los datos
y de analizarlos.

En cualquier tipo de investigación en el campo de las ciencias sociales tiene que

considerar que estamos tratando con fenómenos que incorporan un componente humano,
lo que implica incertidumbre en determinados comportamientos y, por tanto,
impredecibilidad. Los fenómenos sociales tienen su propia lógica colectiva, y para

12
comprender esa lógica le aplicamos, en la medida de lo posible, el método científico. La
aplicación del método científico permite conocer el entorno humano y reducir esta
incertidumbre. Aquí no vamos a desarrollar de manera profusa la aplicación del método
científico a la evaluación, porque desborda la intención de este documento, pero si
podemos realizar una introducción a las técnicas científicas que se pueden emplear para
llevas a cabo los principales tipos de evaluaciones.

El primer elemento de la recopilación de los datos son los métodos de observación y

medición. La observación y la medición sirven para dotar de contenido a los indicadores
y estos contenidos han de tener una relación lógica con el fenómeno a medir. El indicador,
construido con anterioridad y que consta en la matriz de evaluación, nos permite saber
qué es lo que tenemos que observar y medir.

El proceso de observación es la creación de reglas para la identificación de los casos y la

obtención de información. Exige la elección de uno o varios indicadores para cada
variable incluida en la investigación y la elección de formas de obtener información. Por
lo general, en las evaluaciones se observa y cuantifica la forma, la duración, la frecuencia,
los antecedentes y las consecuencias de los comportamientos individuales y de las
estructuras sociales (Comas 2008).

Se pueden distinguir dos grandes tipos de técnicas de observación:

 La observación no participante se caracteriza porque el investigador no participa

en el fenómeno observado y no es visible para los sujetos observados. El
fenómeno a evaluar transcurre con su propia lógica (Comas, 2008)

 La observación participante, en la que el investigador está dentro de la

organización o servicio, es visible para los sujetos que producen el fenómeno y,
de hecho, es uno de ellos. Tiene la ventaja de que así recoge los valores y la cultura
organizativa de la organización que produce el programa o servicio y de que
obtiene una información muy detallada, pero puede perder la objetividad sobre lo
observado.

En cualquiera de los dos tipos, los sucesos que se observan son seleccionados, anotados
y codificados en unidades significativas para que pueda analizarlos alguien que no está
presente en la observación. Podemos considerar la observación como una técnica primaria

13
para la obtención de información, pero es una técnica que aporta información tanto
cualitativa como cuantitativa, aunque se la suele considerar una técnica cualitativa, y es
un punto de partida relevante.

Se observa para medir, esto es, asignar cantidades a determinados objetos y

acontecimientos de acuerdo con determinadas reglas. Hay que señalar que en los
fenómenos sociales la cuantificación produce precisión, pero no necesariamente es más
correcta y adecuada en todas las ocasiones. Inventar índices numéricos que no están
relacionados con los conceptos que se pretenden medir puede conducir a errores de
medición y, por lo tanto, poner en duda los resultados de toda la investigación.

Los distintos tipos de medición proporcionan un medio de clasificar y ordenar los

fenómenos:

 La medición nominal, también denominada categórica, produce un conjunto de

categorías separadas que agrupan los casos similares entre sí de acuerdo con el
criterio elegido.

 La medición ordinal, aporta el grado y facilita la comparación entre las distintas

categorías.

 La medición de intervalo utiliza una unidad normalizada de la propiedad que se

mide y señalan la distancia que existe entre dos valores de una variable. Son
medidas de intervalo el peso, la longitud, el precio o la edad.

Es posible pasar de un tipo de medición a otro, aunque siempre en el sentido de más

información a menos.

 Una variable de intervalo se puede transformar fácilmente en una ordinal a través

de una agrupación de las categorías.

 Por ello es recomendable recoger la información en el nivel de medición más

preciso que sea posible, el de intervalo, ya que si es necesario, se podrá
transformar en ordinal o nominal.

Para medir la evaluación no sólo podemos basarnos en la observación, sino que podemos
complementarla con otras técnicas de investigación social, que también nos sirven para

14
recopilar datos. En este sentido, podemos recordar mínimamente algunas de ellas a partir
del tipo de medición que realizan.

Por un lado tenemos las técnicas cuantitativas, entre las que destaca la encuesta. Las
encuestas son una herramienta fundamental en las evaluaciones de impacto y satisfacción
ciudadana con los servicios públicos o las percepciones de calidad. También se pueden
utilizar las encuestas para las evaluaciones de resultados e incluso en el interior de la
organización, para conocer información cuantitativa de los participantes en el programa
o en el seno de la organización. La encuesta se basa en un cuestionario de preguntas
cerradas, con si o no, bueno o malo, o con valoraciones en una escala, y la posterior
codificación o registro de estos resultados para su cuantificación.

Las preguntas del cuestionario han de reflejar los indicadores de la evaluación. El que una
encuesta concreta sea útil depende de que las preguntas que se realicen estén relacionadas
con los conceptos, los objetos de análisis y los indicadores planteados.

Además de las encuestas, los censos y registros de la administración pública recogen una
importante información cuantitativa, así como en general la propia actividad de la
administración. Por ejemplo, la explotación de las bases de datos producen una enorme
cantidad de datos cuantitativos que utilizar en una evaluación, aunque de nuevo su
pertinencia dependerá de que los campos de las bases de datos se ajusten a los indicadores
que se buscan. En este sentido, cuando un determinado programa o servicio público
dispone de una base de datos específica, en los que se recojan los indicadores de la
formulación para el seguimiento, estos indicadores son particularmente oportunos para
una evaluación de resultados, y aporta una información cuantitativa muy valiosa.

Además de las bases de datos, cualquier mecanismo de seguimiento en la implementación

puede ser una fuente de datos cuantitativos, así como las auditorías contables y, sobre
todo, de rendimiento.

La principal limitación de estas técnicas cuantitativas de recopilación de datos es que la

información que aportan rara vez es causal. No dicen por qué, ni cómo se producen esos
datos. Para solventar esta limitación se suelen adoptar dos caminos. El primero, los
tratamientos estadísticos avanzados: análisis multivariado, correlaciones, regresiones,
etc. No obstante, los estadísticos descriptivos básicos son los que aportan más

15
información: frecuencias, cruces de frecuencias, medias, etc. El segundo camino es el
empleo de las técnicas cualitativas.

Las técnicas cualitativas de investigación nos sirven para conocer los porqués y los cómos
de los datos cuantitativos. También son herramientas que pueden servir como rastreo
previo o prospectivo para construir los indicadores antes de desarrollar la matriz de
evaluación. Las principales técnicas cualitativas son:

 Grupos de discusión: esta es una técnica muy empleada en las investigaciones de

mercado, y pueden usarse en evaluaciones de impacto y de resultados. Se basan
en plantear una conversación sobre un área de interés, focalizados en los
indicadores que queremos averiguar. Los participantes, entre 7 y 10, pueden ser
usuarios de un programa o servicio y se seleccionan por criterios de
representatividad entre esos usuarios (género, edad, lugar de residencia, renta,
etc.) La clave de los grupos de discusión es el moderador, que ha de guiar la
conversación para obtener la información que se busca sin inducir las opiniones.

 Entrevistas en profundidad a informantes clave. Trata de hacer que una persona

con un papel clave en el programa o servicio (por ejemplo, los actores clave), o
que tenga información relevante, comunique tanto como sea posible sus
conocimientos y conducta hacia determinado tema u objeto. La clave de las
entrevistas es el guion o protocolo, cuyo diseño más o menos estructurado define
los distintos tipos de entrevistas.

o Estructuradas: las preguntas del guión son cerradas, se acercan a las de un

cuestionario de encuesta, y permiten respuestas previamente establecidas,
lo que consigue una información más cuantitativa, pero resta capacidad de
indagación causal.

o Abiertas: se basan en conversaciones sobre temas que se trata de averiguar

en los que se explora de manera flexible el conocimiento del entrevistado.
Este tipo de entrevistas depende mucho de la habilidad del entrevistador.

o Semi-estructuradas: las preguntas del guión son concretas, pero no tienen

respuestas previamente establecidas y permiten respuestas discursivas. La
veracidad y objetividad de esta información se establece por triangulación,

16
 por contraste entre los distintos informantes sobre el mismo tema. Este
tipo suele ser el más usado.

 Método Delphi. Se puede decir que es un método que reúne características de los
otros dos anteriores. Se basa en reunir a grupos de expertos sobre un tema. Se basa
en un guión estructurado. Primero se les explora a los expertos seleccionados en
entrevistas individuales breves, para que no concierten sus respuestas, y
finalmente se les reúne en común para indagar las causas. Se suelen hacer varios
grupos para una investigación, contrastando la información de cada uno. Los
participantes de cada grupo han de tener las mismas características entre ellos
(directivos, burócratas de calle, usuarios, etc.)

 Grupo nominal. Es una técnica en la que un grupo valora un tema. Aunque hay
diferentes herramientas, la dinámica básica es que un moderador recoge las
aportaciones individuales por escrito y las selecciona, agrupa en categorías,
diferencia, y finalmente organiza una deliberación para priorizar y elegir. A veces
se votan las opciones, aunque en otras basta la deliberación para alcanzar una
acuerdo o valoración. En el caso de las evaluaciones, las deliberaciones y
valoraciones tienen que estar orientadas a los indicadores. De nuevo en esta
técnica es primordial la habilidad del moderador.

 Jurados ciudadanos: es una técnica participativa, que como la anterior puede servir
para tomar decisiones o realizar formulaciones de programas públicos, pero
también se usa en las investigaciones sociales como las evaluaciones. Se basa en
un proceso deliberativo de un grupo de ciudadanos sobre temas que les afectan
para que formulen propuestas y tomen decisiones, o en este caso para que valoren
los indicadores de un programa o servicio. Se forman grupos de entre 12 y 20
personas y escuchar a varios “testigos” expertos, a los que preguntan, tras lo cual
deliberan entre ellos y formulan sus recomendaciones.

 Cliente misterioso: esta es una técnica que produce información tanto cualitativa
como cuantitativa, y que se ha desarrollado en los estudios de mercado, pero se
realiza cada vez más en las evaluaciones de resultados y en evaluaciones de
desempeño. Se podría decir que es una versión de la observación no participante.
El evaluador se hace pasar por usuario de un servicio público, solicitándolo y

17
 aportando información sobre la prestación. Se suelen cubrir indicadores de
accesibilidad (por ejemplo: barreras y ascensores, si es un espacio físico,
visualización en internet, uso de máquinas por teléfono); información y
señalización (horario, carteles, emergencias, buzones de sugerencias; gestión de
la tramitación (claridad de donde se debe dirigir, gestión de esperas, tiempos de
espera, interrupciones, trato, etc.).

Una vez obtenidos todos los datos necesarios para cubrir la información prevista en la
matriz de evaluación, hay que analizarlos. El método de análisis cambia según el tipo de
evaluación de que se trate, y aun así no existen métodos de análisis estandarizados. En
cualquier caso, el análisis está condicionado por las herramientas y técnicas elegidas para
la recopilación de datos por un lado, y por el analista, por el otro. En este sentido hay que
señalar que no se trata de que el analista aporte sus opiniones subjetivas, sino de que sepa
interpretar las valoraciones y datos que tiene, sepa contextualizarlos, relacionarlos con las
demandas sociales que originaron el programa.

Para contextualizarlos se debe analizar el entorno político y social, experiencias de caos

similares, y tratar de entender que un programa público se evalúa sobre sobre los objetivos
específicos que el propio programa formula, y no sobre los que el evaluador crea que
debería haber sido formulados. En este sentido, los análisis se tropiezan con dificultades
del entorno para contextualizar los datos. Las posiciones de los actores varían durante el
tiempo en que se aplica un programa, las propias organizaciones implicadas cambian sus
responsables y con ello sus prioridades, las necesidades sociales varían, y con ella la
opinión y expectativas de los usuarios de una servicio y el respaldo de la opinión pública
al mismo. Por ello un punto de referencia fundamental para cualquier análisis de una
política pública, incluyendo la evaluación de un programa o servicio, además de
argumentar a partir de los datos empíricos recopilados, es buscar aciertos y errores,
coherencias e incoherencias, en la lógica causa y efecto que deberían tener, así como las
averiguar las causas de los mismos.

Una vez analizados los datos, estos se reflejan en los informes correspondientes, pero no
basta una simple entrega de los mismos. Aquí hay que recordar lo que ya mencionábamos
sobre la transparencia, rendición de cuentas y legitimación que supone la publicación de
las evaluaciones. No obstante, eso le corresponde a la entidad que encarga la evaluación,
a la que hay que presentar el informe y explicarlo debidamente. Este punto, a veces

18
denominado devolución, tiene que tener en cuenta cuáles son los fines de esa evaluación
en concreto y qué reacciones puede producir en el entorno.

En ningún caso esta consideración puede implicar que se cambien datos o se oculten en
el informe, pero si que hay que tener en cuenta que la evaluación puede ser percibida
como una amenaza. Los procesos de evaluación de programas públicos suscitan
diferentes temores.

La evaluación tiende a verse bien como auto-justificación de sus responsables, bien como
arma arrojadiza para sus oponentes. Esta visión negativa está también ligada a entenderse
desde la propia administración pública como una función de control disciplinario. En
realidad, los estudios de caso muestran que la continuidad o no de los programas no se
suele deber a las evaluaciones, sino a decisiones políticas producto de los conflictos entre
actores con diferentes intereses.

Para evitar esas amenazas hay que reunir unos requisitos para realizar la evaluación:

 Utilidad: Hay que asegurar que una evaluación satisfará las necesidades de
información práctica de los usuarios.

 Viabilidad: Hay que asegurar que una evaluación será realista, prudente,
diplomática y frugal.

 Ética: Hay que asegurar que una evaluación es llevada a cabo de manera legal,
ética y con el conveniente respeto hacia el bienestar de las personas involucradas
en la evaluación, así como de aquellas afectadas por los resultados de la misma.

 Precisión: Hay que asegurar que la evaluación revelará y expresará información

técnicamente adecuada sobre los rasgos que determinan el mérito o valor del
programa evaluado.

Bibliografía

Alvira, F. (1991). Metodología de la evaluación de programas. Madrid: Centro de

Investigaciones Sociológicas (CIS).
Ballart, X. (1992) “¿Cómo evaluar programas y servicios públicos? Aproximación
sistemática y estudios de caso”. Madrid. MAP.

19
Bañón i Martínez, R. (2003) “La evaluación de la acción y de las políticas públicas”.
Madrid. Díaz de Santos.
Comas, Domingo (2008), Manual de evaluación para políticas, planes, programas y
actividades de juventud, Madrid, INJUVE.
Comisión Europea (2004) “Evaluating EU activities: A practical guide for the
Commision Services” Luxemburgo: Office for Official Publications of the European
Communities.
Tamayo, Manuel (1997) “El análisis de las políticas públicas” en: Bañón, R. y Carrillo,
E. (1997) La nueva gestión pública, Madrid, Alianza Universidad
Weiss, C. H. (1998). Evaluation. Methods for Studying Programs and Policies. Second
Edition. Upper Saddle River (NJ): Prentice Hall.
Camacho, Hugo; Cámara, Luis; Cascante, Rafael; Sainz, Héctor (2001) “El Enfoque del
marco lógico:10 casos prácticos” Fundación CIDEAL-(Acciones de Desarrollo y
Cooperación A.D.C), Madrid.

20