2.

5 Enfoque de evaluación estratégica

En el enfoque de evaluación estratégica son centrales las cuatro etapas principales: (1)
formación del grupo; (2) suposición de superficie; (3) debate dialéctico; y (4) síntesis (Leeuw,
2003; Mason y Mitrof, 1980).

Etapa 1 - Formación de grupos: el objetivo es estructurar grupos para que se facilite la

operación productiva de las etapas posteriores de la metodología. Debe participar una amplia
muestra representativa de personas interesadas en la cuestión de política relevante. Se
dividen en grupos, teniendo cuidado de maximizar la convergencia de puntos de vista dentro
de los grupos y maximizar la divergencia de perspectivas entre los grupos.

Etapa 2: suposición de la superficie: los diferentes grupos descubren por separado las
suposiciones más importantes que sustentan sus políticas o programas preferidos. Dos
técnicas asumen importancia para ayudar a este proceso.

El primero, el análisis de las partes interesadas, le pide a cada grupo que identifique a los
individuos o grupos clave de quienes dependería el éxito o el fracaso de su estrategia
preferida. Esto implica hacer preguntas como: ¿A quién afecta la estrategia? ¿A quién le
interesa? ¿Quién puede afectar su adopción, ejecución o implementación? ¿Y a quién le
importa? Para las partes interesadas identificadas, cada grupo enumera los supuestos que está
haciendo sobre cada uno de ellos al creer que su estrategia preferida tendrá éxito.

La segunda técnica es la calificación de suposición. Inicialmente, uno debe encontrar y

enumerar los supuestos. Esto implica buscar declaraciones sobre los síntomas del problema
(que deben resolverse a través de una política o programa, distinguiéndolos de las
declaraciones sobre las causas del problema). Para cada uno de los supuestos enumerados,
cada grupo se hace dos preguntas: (1) ¿Qué tan importante es este supuesto en términos de
su influencia en el éxito o el fracaso de la estrategia? Y (2) ¿cuán seguros estamos de que el
supuesto está justificado? Aquí, de hecho, la evaluación de

los supuestos enumerados se llevan a cabo, generalmente mediante el uso de revisiones de

investigación y documentos similares. Los resultados se registran en un gráfico. Cada grupo
puede identificar una serie de supuestos clave sobre los cuales descansa el éxito de su
estrategia.

Etapa 3: debate dialéctico: los grupos se vuelven a unir y cada grupo presenta el mejor caso
posible a los demás para su estrategia preferida, al tiempo que identifica sus supuestos clave.
Solo se permiten puntos de información de otros grupos en este momento. Luego hay un
debate abierto que se centra en qué supuestos son diferentes entre los grupos, cuáles se
clasifican de manera diferente y cuáles de los supuestos de los otros grupos cada grupo
encuentra más problemáticos. Cada grupo debe desarrollar una comprensión completa de las
estrategias preferidas de los demás y sus supuestos clave.

Etapa 4 - Síntesis: se realiza un intento de síntesis. Los supuestos se negocian y se realizan

modificaciones a los supuestos clave. Se toman en cuenta los supuestos acordados; pueden
formar la base para el consenso en torno a una nueva estrategia que cierra la brecha entre las
estrategias anteriores y va más allá de ellas. Si no se puede lograr una síntesis, se observan
puntos de desacuerdo y se discute la cuestión de qué investigación podría hacerse para
resolver estas diferencias.

2.6 Síntesis de evaluación prospectiva (PES) (GAO, 1995)

En esencia, una síntesis de evaluación prospectiva es una combinación de: (1) un análisis
textual cuidadoso y calificado de un programa propuesto, diseñado para aclarar los objetivos
implícitos del programa y lo que se supone para obtener resultados, (2) una revisión y síntesis
de evaluaciones de programas similares, y (3) juicios sumarios de éxito probable, dado un
contexto futuro que no es muy diferente del pasado. A este respecto, el PSA se asemeja al
enfoque de síntesis de evaluación, excepto que el enfoque del PSA está en cómo los estudios
de evaluación arrojan luz sobre el potencial de éxito de los programas propuestos en el futuro,
en lugar de llegar a conclusiones sobre el desempeño real de los programas existentes.
programas

Conceptualmente, el PSA proporciona una manera de utilizar la lógica de la metodología de

evaluación y sus procedimientos para evaluar las posibles consecuencias de una propuesta o
de propuestas políticas alternativas y competitivas. Combina (1) la construcción de modelos
subyacentes de los programas o acciones propuestos desarrollados por Wholey para la
evaluación de evaluabilidad con (2) la aplicación sistemática del conocimiento existente
desarrollado en la metodología de síntesis de evaluación (Wholey, 1977). PES es un análisis
prospectivo anclado en conceptos de evaluación. Involucra análisis operacionales,
conceptuales y empíricos, tomados en el contexto del futuro (ver una figura a continuación).

Como lo ilustra la siguiente figura, los resultados de los análisis conceptuales ayudan a enfocar
los análisis operativos y responder la pregunta: "Lógicamente, ¿debería funcionar la
propuesta?" Los análisis operativos amplían aún más la búsqueda de resultados empíricos y
responden a la pregunta: "Prácticamente, ¿podría funcionar la propuesta?" Los análisis
empíricos pueden abrir nuevas posibilidades conceptuales y operativas y responder a la
pregunta: "Históricamente, ¿han tenido actividades conceptuales y operativas similares a la
propuesta que funcionó en el pasado?" Finalmente, el PSA toma en cuenta las formas en que
el pasado es y no es probable que sea similar a las condiciones futuras plausibles.
2.7 Método de obtención

A medida que las organizaciones desarrollan e implementan políticas y programas, los

'modelos mentales' o 'mapas cognitivos' de las personas en estas organizaciones, es decir, sus
teorías, son importantes para comprender el impacto anticipado de sus políticas o programas.
Por lo tanto, se debe hacer hincapié en las cogniciones organizacionales. Una de las preguntas
centrales es la relación entre estas cogniciones y los resultados de las organizaciones. Todos
los interesados deben tener 'cogniciones' (teorías) sobre la organización y su entorno. Estos
mapas de lo que está sucediendo en su organización determinan en parte su comportamiento.
Su contenido se refiere a las estrategias organizativas, sus posibilidades de éxito, el papel que
desempeña el poder, sus propios roles y las relaciones con el mundo exterior. Partes de estos
mapas o teorías son implícitas y son conocimiento tácito, tanto a nivel individual como
colectivo. Al articular estos modelos mentales, es posible compararlos con la evidencia de los
estudios de organizaciones científicas. La articulación también es importante para que las
organizaciones se conviertan en "aprendices".

Los ejemplos de técnicas para reconstruir, obtener y evaluar estos mapas mentales o
cognitivos son los siguientes:

 Observe el registro concreto de intenciones estratégicas, mediante, por ejemplo, un

estudio de la documentación diseñada para dirigir el comportamiento;
 Observar la toma de decisiones en acción; involucrarse en la organización (un enfoque
de observador antropológico). Observe a quienes toman decisiones, escuche historias;
 Trabajar con gerentes en situaciones de desglose estratégico. Sumérjase en el
pensamiento y el proceso social de la "lucha contra incendios estratégica";
 Utilice preguntas desencadenantes bien diseñadas en situaciones de entrevista para
poder detectar 'teorías en uso'. Siga las entrevistas con comentarios a las personas y al
equipo. El 'ciclo de obtención' se basa en las respuestas a las preguntas de activación
diseñadas. El proceso utiliza seis técnicas:
o Crear una atmósfera abierta en la entrevista;
o Eliminar el lenguaje formal y crear una atmósfera 'lúdica' en la que sea más
fácil desviarse de la fraseología formal y el guión oficial;
o "confrontar a los entrevistados contra sí mismos";
 o Crear tensión dialéctica pidiendo a los entrevistados que adopten roles
inusuales;
o Escuche con mucha atención las inconsistencias internas en lo que se dice;
 Aplicar programas de análisis de datos / contenido u otros programas de análisis de
texto a los informes y documentos de la entrevista; y
 Confrontar los resultados de estas actividades de análisis de contenido con
investigaciones científicas (sociales) relevantes.

2.8 Metodología de eliminación general, también conocida como Enfoque Modus Operandi

Los elementos centrales de la 'metodología de eliminación general' son los siguientes (Scriven,
2008):

 La premisa general es el principio determinista: todos los macroeventos (o

condiciones, etc.) tienen una causa.
 La primera "premisa de la práctica" es la Lista de causas posibles (LOPC) de eventos del
tipo en el que estamos interesados, por ejemplo, ganancias de aprendizaje, reducción
de la pobreza, extensión de la vida de los pacientes con SIDA. La gente ha usado LOPC
durante más de un millón de años, para rastrear, cocinar, curar y reparar, y hoy todos
los detectives conocen la lista de asesinatos, al igual que todos los mecánicos
competentes saben la lista de fallas en los frenos, aunque el conocimiento es tácito.
como explícito, fuera del aula y los videos de mantenimiento. Un LOPC generalmente
se refiere a causas en un cierto retiro temporal o espacial del efecto, y en un cierto
nivel de conceptualización, y variará dependiendo de estos parámetros; Por supuesto,
el contexto de la investigación determina los parámetros de distancia apropiados. La
lejana LOPC para asesinato es la lista de posibles motivos; uno más próximo,
desarrollado en un caso particular aplicando el caso general, es la lista de sospechosos.
Cuando se trata de nuevos efectos, es posible que no estemos seguros de que la lista
esté completa, pero trabajamos con la lista que tenemos y la ampliamos cuando es
necesario.

 La segunda premisa práctica es la lista del modus operandi para cada una de las
posibles causas (el MOL). Cada causa tiene un conjunto de huellas, una corta si es una
causa próxima, una larga si es remota, pero en general el modus operandi es una
secuencia de eventos intermedios o concurrentes o un conjunto de condiciones, o un
cadena de eventos, que debe estar presente cuando la causa es efectiva. A menudo
hay una rúbrica para esto; por ejemplo, en investigaciones criminales (y la mayoría de
las otras) sobre la agencia humana, utilizamos la rúbrica de medios / motivos /
oportunidad para pasar de los motivos a la lista de sospechosos. La lista de modus
operandi es la lente de aumento que desarrolla las causas candidatas de la LOPC para
que podamos comenzar a ajustarlas al caso o rechazarlas, para lo cual usamos la
siguiente premisa.

 La tercera premisa comprende los "hechos del caso", y estos ahora se ensamblan de
forma selectiva, buscando la presencia o ausencia de factores enumerados en el
modus operandi de cada uno de los LOPC. Solo esas causas quedan (eventualmente)
 en pie cuyo modus operandi está completamente presente. Idealmente, habrá solo
uno de estos, pero a veces más de uno, que luego son co-causas.

3. ¿Qué y cuándo puede contribuir la evaluación basada en la teoría?

3.1 Antes de la implementación

Para conocer la efectividad plausible de una nueva intervención, se puede hacer un análisis de
la teoría subyacente a la intervención. La evaluación intenta abrir la caja negra de la
intervención: ¿cuáles son los mecanismos que se cree que hacen que la intervención funcione?
¿Cuán plausible es que estos mecanismos "hagan el trabajo"? Para detectar estos mecanismos,
uno tiene que buscar en documentos, entrevistas, transcripciones y discursos (de
formuladores de políticas, funcionarios públicos, etc.) declaraciones que respondan a la
pregunta de por qué se cree (o se espera) que la nueva intervención haga una diferencia.

Es crucial tener claro cuáles son los mecanismos. Los mecanismos no son las variables de
proceso de entrada-salida-resultado, ni son las dimensiones usualmente contenidas en marcos
lógicos, modelos lógicos o ecuaciones estadísticas. Coleman (1990) y otros señalan tres tipos
de mecanismos: situacionales, mecanismos de formación de acciones y transformacionales.

• Los mecanismos situacionales operan a nivel macro a micro. Este tipo de mecanismo
muestra cómo situaciones o eventos sociales específicos ayudan a dar forma a las creencias,
los deseos y las oportunidades de los actores individuales. Un ejemplo es la estructura de
oportunidades de una comunidad, pueblo o ciudad: cuantas más oportunidades haya (para
delincuencia, para desempleados), mayores serán las posibilidades de que se cometan
delitos y se encuentren empleos.

• Los mecanismos de formación de acción operan a nivel micro a micro. Este tipo de
mecanismo analiza cómo las elecciones y acciones de comportamiento individuales están
influenciadas por una combinación específica de deseos, creencias y oportunidades.
Ejemplos son los sesgos cognitivos (disonancia cognitiva, error de atribución fundamental),
incentivos (elección racional, intercambio).

• Los mecanismos de transformación operan en el nivel de micro a macro y muestran cómo

una cantidad de individuos, a través de sus acciones e interacciones, generan resultados a
nivel macro. Un ejemplo es la "cascada" por la cual las personas se influyen mutuamente
tanto que las personas ignoran su conocimiento privado y en su lugar confían en los juicios
públicos de otros. El "fenómeno del carro": la tendencia a hacer (o creer) cosas porque
muchas otras personas hacen (o creen) está relacionada con esto, al igual que el
"pensamiento grupal" y el "comportamiento de rebaño".

Una opción para encontrar información sobre los mecanismos es leer cuidadosamente la
documentación y buscar declaraciones que indiquen las motivaciones (justificadas) o las
razones detrás de una intervención ('creemos que ...', 'generalmente se acepta que esta
opción es ...', 'basado en nuestra experiencia con el campo de políticas, decidimos que ... ';' la
única opción real para abordar este problema es ... '). Se puede aplicar el análisis de contenido
para hacer este trabajo. Sin embargo, a menudo los mecanismos no se describen claramente;
solo se pueden encontrar leyendo entre líneas y aplicando análisis de argumentación (Leeuw,
2003). Se pueden usar varias aplicaciones de software de visualización de argumentos
('suposición') para detectar argumentos y ordenarlos y (lógicamente) relacionarlos entre sí.

Una vez que se han detectado los mecanismos, el siguiente paso es comparar las
declaraciones, suposiciones o creencias (de los responsables políticos) sobre los mecanismos
con la evidencia de los estudios de revisión y síntesis. Dicho de otra manera: compare las
creencias políticas sobre los mecanismos con la evidencia basada en la investigación. La
evidencia se puede encontrar en repositorios como Campbell Collaboration, UK Evidence
Network, What Works Clearing House y otros (ver Hansen & Rieper, 2010 para una descripción
general), pero también las bases de datos (meta) de búsqueda como la Web of Science son
relevantes .

Cuanto más coincidan los mecanismos que los encargados de formular políticas están
trabajando con la evidencia basada en la investigación, mayor será la posibilidad de que la
nueva intervención sea efectiva.

Ejemplo 1: subsidios

Pawson (2002) clasificó seis subsidios, que cubren incentivos para estimular la instalación de
alarmas contra incendios en los hogares, dejar de fumar, ampliar las oportunidades educativas
para los estudiantes, mejorar la propiedad, ayudar a los ex delincuentes a volver a socializar y
reducir la contaminación ambiental del centro de la ciudad. a través del subsidio de bicicletas
gratuitas en el centro de la ciudad. Luego, hizo un inventario de las evaluaciones de estos
subsidios y estudió el papel de los mecanismos situacionales (contexto) para comprender el
éxito o el fracaso de los subsidios. Produjo una lista de nueve factores de contexto que
contribuyen al éxito o al fracaso. Para juzgar la posibilidad de que el nuevo subsidio sea
efectivo, los factores de contexto de Pawson pueden compararse con los mecanismos de
contexto asumidos del nuevo subsidio. Cuanto más tenga en cuenta el nuevo subsidio los
mecanismos de contexto que Pawson encontró en las evaluaciones de los subsidios
(relativamente) exitosos, más probable es que el nuevo subsidio sea efectivo.

Ejemplo 2: Comunicación de despertar el miedo y cambio de comportamiento

Este ejemplo trata de la lucha contra el contrabando de cocaína a través de personas que
tragan la droga y viajan entre las Antillas Holandesas y los Países Bajos. A través de la
delincuencia organizada, a los jóvenes privados se les pagó varios miles de euros para volar
entre las Antillas y Ámsterdam utilizando el método de ocultamiento interno, es decir, tragar
bolitas llenas de cocaína y entregar las "cosas" en Holanda. El gobierno holandés tuvo éxito en
la reducción de este tipo de tráfico de drogas a través de un control de casi el 100% de los
pasajeros que llegaron a Ámsterdam que vinieron de ciertas regiones. Sin embargo, la política
era costosa, lo que hizo que los funcionarios pensaran en una alternativa. ¿Podría una
campaña de información pública que utiliza folletos, medios de comunicación y medios locales
que presentan información para despertar el miedo sobre los peligros médicos del método de
ocultamiento interno y la probabilidad de ser arrestado, ser una intervención efectiva (y
menos costosa) para reducir la trata?

Kruisbergen (2007) evaluó esta idea de política. Sintetizó los resultados de las evaluaciones del
impacto de los "programas de educación para la salud que despiertan el miedo" en general
(sobre el tabaquismo, el consumo peligroso de alcohol, etc.) y comparó los mecanismos y
contextos encontrados en estos estudios con la información empírica existente sobre los
contextos en los Países Bajos Antillas y algunas de las características sociales y de
comportamiento de los "tragadores de cocaína". Hubo una gran discrepancia entre los
contextos y los mecanismos de las campañas de salud exitosas de comunicación para
despertar el miedo y las características específicas de los tragadores de cocaína y sus
contextos. Las condiciones cruciales que hicieron que la comunicación de despertar el miedo
tuviera un impacto en el comportamiento (de salud) no existían en el caso del
comportamiento de ingestión de cocaína. La conclusión de Kruisbergen fue que la probabilidad
de prevenir la 'inmigración' ilegal de cocaína a los Países Bajos mediante la implementación de
una campaña de sensibilización pública sería de pequeña a muy pequeña. En otras palabras: la
plausibilidad de la teoría de que la comunicación para despertar el miedo reducirá el tráfico de
drogas usando el método de ocultamiento interno fue muy limitada

Ejemplo 3: Gobierno educativo

Janssens y de Wolf (2009) llevaron a cabo una evaluación ex ante de la teoría subyacente a una
nueva política educativa holandesa que combina responsabilidad e inspecciones. Una
característica central de esta política es que se esfuerza por lograr un equilibrio óptimo entre
responsabilidad, inspecciones, autoevaluación y actividades de mejora. El programa se llama
'gobernanza educativa'. Estimula los sistemas de aseguramiento de la calidad interna al (a)
establecer estándares nacionales y responsabilidad pública, (b) alentar a los padres a tomar un
papel activo en los procesos de supervisión interna dentro de las escuelas (a través de juntas
directivas), y (c) promulgar la supervisión externa del gobierno. Uno de los objetivos es hacer
que las escuelas desempeñen un papel proactivo en la responsabilidad educativa en lugar de
una reactiva. Otro objetivo es involucrar a otros actores (padres, estudiantes y maestros) en el
sistema de rendición de cuentas.

Los autores aplicaron enfoques desarrollados por Pawson y Tilley (1997), Weiss (2000), Leeuw
(2003) y otros. La evaluación consta de tres partes. Primero, reconstruye la teoría que subyace
a los objetivos y la política de la gobernanza educativa. Identifica los supuestos centrales de la
política y los utiliza para reconstruir su esquema causal, 'reconstrucción de la teoría del
programa'. El segundo paso es una evaluación de los principales supuestos del programa. Esto
implica evaluar la tenacidad de estos supuestos a la luz de los conocimientos más recientes
basados en la investigación. Con esto, la evaluación determina la aceptabilidad y la capacidad
empírica de las ideas o suposiciones y la validez de la lógica subyacente a la teoría del
programa. Cuanto más "adecuadas" y "basadas en la evidencia" sean los supuestos, mayores
serán las posibilidades de que la teoría del programa funcione en la práctica. En el último paso,
la evaluación combina y sopesa las conclusiones de las evaluaciones de los supuestos
separados. También determina la compatibilidad mutua de los supuestos. Este último paso
explora si el programa podrá generar los efectos deseados. También ayuda a identificar
imperfecciones teóricas u otras amenazas a la efectividad del programa en la práctica.

La evaluación encontró que la política podría no alcanzar sus objetivos e identificó los
elementos que necesitaban mejora. Se encontró una falla en la teoría subyacente al programa,
que amenazaba su efectividad potencial. Además, la evaluación mostró que existía un riesgo
de intereses contrarios e incompatibles entre los actores, así como algunas razones prácticas
por las cuales el programa podría no funcionar.

Conclusión

Para responder a la pregunta de plausibilidad ex ante, se sugiere centrarse en los mecanismos

como los "impulsores" de la nueva política o intervención y luego compararlos con la evidencia
de investigación y evaluación ya disponible para estos o mecanismos similares. Cuanto más la
teoría de intervención esté respaldada por evidencia sobre mecanismos de trabajo, más
plausible es la teoría y más probable es que la nueva política marque la diferencia.

3.2 Durante la implementación

¿Qué puede contribuir TBE a descubrir, durante la implementación, cuán plausible es que una
política o programa sea efectivo? Se pueden distinguir dos rutas.

La primera ruta se centra en la teoría de la implementación, es decir, la teoría que describe

qué operaciones deben realizarse y qué condiciones (organizativas) deben cumplirse para que
una nueva intervención sea 'puesta a trabajar'. Existe abundante evidencia de que cuando la
'integridad del programa' es limitada, lo que significa que la implementación de la política no
es como se planeó, esto reduce la efectividad de la política (Barnoski, 2004; Carroll, Patterson,
Wood, Booth, Rick & Balain , 2007; Nas, van Ooijen y Wieman, 2011). Tome el ejemplo de una
nueva intervención en el aprendizaje electrónico. Dicha intervención no solo debe basarse en
mecanismos sólidos ("de trabajo"), sino que también deben resolverse varios problemas
prácticos. La infraestructura de las TIC, incluido el ancho de banda, debe estar disponible y
lista; el personal, los maestros y los padres tienen que aceptar el nuevo enfoque; los
programas de software deben estar disponibles; los estudiantes tienen que trabajar con ellos y
los efectos secundarios deben ser entendidos. Un ejemplo de un efecto secundario es el
tiempo que puede tomar capacitar a los miembros del personal (mayores) para que se
familiaricen con el aprendizaje electrónico y puedan capacitar los procesos educativos.

En un reciente metaestudio holandés de 20 evaluaciones de implementación de

intervenciones en el mundo del crimen y la justicia, los siguientes problemas de
implementación ocurrieron con mayor frecuencia (Nas, van Ooyen y Wieman, 2011; Leeuw,
2011).

Tabla 2 Incidencia de problemas al implementar sanciones (penales) / programas de

comportamiento (modificación) (basados en 20 evaluaciones de procesos holandesas)

Problema de implementación tiempos totales encontrados en las

evaluaciones de proceso (N = 20)
ítem: Colaboración en la cadena (Justicia)
Los socios no colaboran de manera 7
adecuada / competencia entre los actores
políticos
Ítem: Aceptación social de programas /
intervenciones.
La aceptación de los programas, las 10
intervenciones de los participantes / partes
interesadas es insuficiente.
Ítem: Guía
Documentos de orientación inadecuados 10
Documentos de orientación no tomados en 15
serio / no seguidos
"Freies Ernessen" por "agentes" 5
Ítem: Participantes
No hay suficientes participantes (clientes, 9
internos, etc.) para los programas.

Criterios de inclusión con respecto a 8

intervenciones y programas ni cumplidos
con

Ítem: Gestión de Recursos Humanos

No hay suficiente personal para hacer el 10
trabajo; demasiados cambios en las
personas que hacen el trabajo
Diferencias en la calidad del personal y la 9
formación.
No hay suficientes entrenadores 4

La implementación de estas intervenciones no tuvo en cuenta la probabilidad de que factores

como la aceptación social, la falta de orientación, los problemas de colaboración y los
problemas del personal pudieran causar problemas. Cuanto más la teoría subyacente a la
implementación tenga en cuenta estos y otros problemas de implementación similares, y
cómo prevenirlos o reducirlos, mayor será la probabilidad de que el nuevo programa sea
exitoso (si, por supuesto, la teoría de intervención es plausible). Cuando no hay información
disponible sobre los problemas, se reduce la posibilidad de que la intervención sea efectiva.
Kautto y Simila (2005) describen la segunda ruta para que TBE ayude en las evaluaciones
durante la implementación y se centra en la teoría de la intervención y los "instrumentos de
política recientemente introducidos" (RIPI). Cuando los evaluadores se enfrentan a la solicitud
de evaluar el impacto (futuro) de las políticas, esto es comprensiblemente difícil. Se necesita
tiempo para que una intervención se implemente completamente y "funcione". Como el
tiempo de evaluación no es similar al tiempo político, esto plantea problemas para los
formuladores de políticas, comisionados de evaluación y evaluadores. Kautto y Simila (2005)
presentaron un enfoque en el que se le da un papel central a la teoría de la intervención.
Evalúan un cambio de la Ley de Protección del Medio Ambiente (1999) en Finlandia. Una
Directiva de la Unión Europea sobre Prevención y Control Integrados de la Contaminación se
incorporó al sistema legal finlandés. En el centro de la reforma estaba la integración de cinco
permisos diferentes (contaminación del aire, contaminación del agua, gestión de residuos,
protección de la salud y relaciones con el vecindario) en un permiso ambiental. Establecer el
impacto (final) en el medio ambiente del nuevo acuerdo legal, incluida la reducción de
permisos, llevaría años. Esperar tanto tiempo no era una opción, por lo que los evaluadores
hicieron otra cosa. Comenzaron una evaluación relativamente poco después del anuncio de la
nueva Ley. Descomprimieron la teoría de intervención ("¿por qué una reducción de cinco
permisos a uno será efectiva en términos de protección del medio ambiente?"), Distinguieron
entre productos y resultados de la Ley y recopilaron datos sobre productos que ya estaban
disponibles. La información sobre los resultados aún no estaba disponible. Verificaron la
plausibilidad de la parte de la teoría de intervención que vinculaba ciertas características de los
permisos con el objetivo final de la nueva Ley (impacto ambiental / resultados). Debido a que
se habían otorgado más de 600 permisos (= productos) durante los primeros dos años de
implementación, fue posible evaluar si los supuestos sobre las características de los productos
eran correctos. Kautto y Simila: 'esto nos permitió decir algo importante sobre la efectividad a
pesar de que los resultados (finales) aún no se habían producido. Al mismo tiempo, debe
tenerse en cuenta que si bien los permisos no se han cambiado como se suponía al comienzo
del proceso de implementación, esto no significa que nunca se cambiarán. La evaluación en sí
misma puede tener un impacto en la implementación y, como resultado, o por otras razones,
las autoridades pueden poner mayor énfasis en las brechas y prioridades en el futuro. En este
contexto, la teoría de intervención no se usó para predecir el futuro, sino para guiar la
evaluación '.

Una conclusión interesante de Kautto y Simila es que, aunque no fue posible un análisis de
impacto porque los resultados aún no se habían producido, esto no implica necesariamente
que el uso del impacto como criterio también sea imposible, gracias al concepto de una teoría
de intervención. Sin embargo, el contenido del criterio de efectividad debe ser reformulado.
Como han demostrado los evaluadores, la efectividad se refiere al grado de correspondencia
entre los objetivos de política previstos y los resultados alcanzados. Si los resultados aún no se
han producido, es imposible una comparación de los objetivos y los resultados alcanzados.
Pero lo que es posible, en cambio, es preguntar si los resultados incluyen características que
son condiciones previas para el logro de los objetivos de acuerdo con la teoría de intervención.
Cuanto más este sea el caso, mayor será la probabilidad de que la efectividad esté al alcance.
Conclusiones

Para responder la pregunta de impacto durante el proceso de implementación se puede hacer

de dos maneras. El primero es estudiar la teoría de la implementación y verificar en qué
medida esta teoría tiene en cuenta las dificultades que a menudo se pueden encontrar al
implementar las intervenciones. La segunda ruta es seguir un enfoque articulado por Kautto y
Simila (2005) conocido como evaluaciones RIPI ("instrumentos de política implementados
recientemente").