COLECCION GERENCIA Y POLITICAS DE SALUD e eit ENFOQUES Y PRACTICAS EN LA EVALUACION DE PROGRAMAS VALERY RIDDE CHRISTIAN DAGENAIS COMPILADORES3. La construccién de un juicio Bernard Perret Las definiciones comunes de evaluacién se centran en la idea de medida: evaluar un programa o una politica es, en esencia, medir sus efectos. Esta caracterizacién tiene la ventaja de ser sencilla, pero refleja bastante mal la realidad de las practi- cas. El objetivo de esta disciplina no es solo medir los efectos de las acciones pi- blicas, sino también comprender sus mecanismos. Por otra parte, la evaluacién no es una actividad puramente cientifica: es un proceso colectivo de construc- -i6n de juicios practicos, es decir, de juicios hechos para tomar medidas o deci- siones. Ahora bien, todo juicio se materializa en un lenguaje. Para contribuir a la zrticulacién de un juicio, los hechos brutos deben transformarse en argumentos. Io tanto, la evaluacién tiene un caracter retérico. Término que no tiene aqui ninguna connotacién peyorativa, simplemente remite a la idea de una “practica regulada” de la argumentacién, Es sugestivo, desde esta perspectiva, pensar el sarrollo de una evaluacién como el de un proceso, modelo de una discusién su- eta a normas formales sobre el estatus, los criterios de validez y el peso relativo los argumentos, Alestablecer este marco de anilisis, no se pierden de vista los aspectos téc- nicos de la evaluacién, sino que se ponen en contexto. La busqueda de pruebas Alidas, objeto central del debate metodolégico, se inscribe en el contexto mas emplio de una reflexién sobre las bases de un juicio practico. No se trata de eludir os imperativos del método cientifico, sino mas bien de ampliar la exigencia de ra todo el proceso social de evaluacién, de principio a fin del trabajo de inves- =gacién, desde la formulacién de las preguntas de evaluacién hasta las técnicas edici6n y difusién de los resultados. S LIMITES DEL ANALISIS CAUSAL Con frecuencia se utiliza la expresi6n “investigacién evaluativa” (evaluation re- earch) para designar la parte més “cientifica” del trabajo de evaluacién, a saber, 2 medicién y el anilisis de los efectos propios de una accién (normalmente un programa”) en la sociedad.54. ENFOQUES Y PRACTICAS EN LA EVALUACION DE PROGRAMAS En sus comienzos, la evaluacién de programas trataba de imitar las ciencias denominadas “exactas’, como la biologia. El objetivo era medir los efectos de las intervenciones en la sociedad con el mismo rigor cientifico que se exige, por ejemplo, en las pruebas de eficacia de un nuevo medicamento, Aun hoy en dia, la evaluacién evaluativa se entiende principalmente como una actividad de modeli- zacién y medici6n. Se trata, idealmente, de establecer y cuantificar un vinculo de causalidad entre un “tratamiento” y un efecto buscado (por ejemplo, entre una medida de fomento del empleo y la disminucién del desempleo). En la practica, sin embargo, esta ambicién se enfrenta a dos tipos de obstaculos. En primer lugar, la evaluacién trata a menudo de politicas complejas que combinan diferentes ti- pos de medidas (subvenciones, reglamentaciones, etc.), cuyos objetivos son refor- mulados alo largo del tiempo y cuyo contenido concreto es modificado en funcién de las situaciones locales. Esto puede ilustrarse con el ejemplo de los programas de desarrollo social en las zonas urbanas desfavorecidas, constantemente revisa- dos y vueltos mas complejos a lo largo de los afios. En tal caso, el andlisis causal parece fuera de contexto, ¢ incluso carece de sentido. En segundo lugar, cuando la naturaleza de las preguntas planteadas hace que este sea posible, el andlisis cau- sal tropieza a menudo con obstaculos técnicos que limitan su alcance. Medir un efecto es siempre comparar dos situaciones: de un modo u otro, hay que observar o reconstruir lo que habria sucedido si no se hubiera implementado el programa. No hay necesidad de presentar en detalle los métodos utilizados para este pro- pésito (experimentacién con un grupo de control, protocolo cuasiexperimental con estimacién de un modelo, etc). Asi, es suficiente con sefialar que rara vez se retinen las condiciones practicas para su aplicacién, ya que suponen protocolos de observacién rigurosos y datos completos sobre los fenémenos analizados La evaluacién se interesa tanto en la comprensién como en la medicion Aun suponiendo que el andlisis causal conduzca a conclusiones precisas, no es frecuente que la evaluacién se contente con eso. En primer lugar, incluso cuando se logra medir un efecto, resulta casi tan importante entender cémo y por qué se produce. Chen toma el ejemplo de los medicamentos: “Si una evaluacién de ‘caja negra’ demuestra que un nuevo medicamento puede tratar una enfermedad, pero no proporciona informacién sobre sus mecanismos de accién, los médicos vacila- rén en recetar este nuevo medicamento, porque no se conoceran las condiciones en las que actiia ni los riesgos de efectos secundarios” (1990, p. 18 y 42; véase también: Chen, 2005). Elanilisis de los mecanismos —que se basa en las investigaciones cualitativas (monografias, encuestas mediante entrevistas, etc.), pero también en la actividad3.LA cONSTRUCKION DE UNJUICIO. 55 autointerpretativa de los propios actores—, pretende especialmente determinar en qué condiciones y en qué contexto un programa es susceptible de producir los efectos esperados. El adjetivo “cualitativo’, que se opone a "cuantitativo", significa simplemente que el andlisis tiene por objeto describir y comprender con pala- bras mAs que con cifras, Una corriente importante de la evaluacion contempora- nea, la evaluacién basada en una teorfa (Theory based evaluation), recomienda centrar la evaluacién en los mecanismos de accién 0, en términos mas amplios, en la “teorfa del programa’ La teorfa de un programa es la estructura l6gica de las ideas y los razonamientos en los que él se basa. Esta teorfa puede dividirse en segmentos elementales constituidos, por ejemplo, de relaciones supuestas entre los incentivos y el comportamiento de las personas 0 comunidades que se bene- fician de ellos. Los evaluadores a veces proporcionan una representacién grafica (como en el llamado método del “marco légico”). Flaborar una politica es como construir una teorfa: esto equivale a emitir hi- pétesis sobre las consecuencias de determinadas acciones. Estas hip6tesis son a menudo fragiles, estan basadas en ideas recibidas. El objeto mismo de la evalua- cién es someterias a la prueba de los hechos. En la practica, dado que la medici6n de los efectos es dificil, con frecuencia basta con observar lo que sucede, con des- cribir e interpretar el comportamiento de los actores sociales en cuestién, para nacerse una idea de la validez de los razonamientos que sustentan una politica. La evaluacién debe procurar cuestionar las ideas de los encargados de formular politicas uicio evaluativo nunca es el resultado mecanico de la aplicacién de un método, = sea cualitativo 0 cuantitativo. Como todo juicio, es también un trabajo sobre representaciones de la realidad, que pasa por la mediacién del intercambio i. Como lo indican Thomas Schwandt y Jennifer Greene (2006), “el interés so> las téenicas 0 los métodos no debe ocultar la naturaleza fundamentalmente sscursiva de la evaluaci6n’. El término “discursivo” significa aqui “el hecho de que -abulario y los conceptos utilizados para conocer y expresar el valor de una son construcciones sociales de los seres humanos” mportante comprender que esta “construccién social de la realidad” (Ber- Lupman, 1966) no puede circunscribirse a la evaluaci6n. Es poco frecuente métodos de la investigacién evaluativa permitan responder a todas las, sas que se plantean en relacién con una accién publica. Los encargados -~ular politicas y los actores disponen siempre de otras informaciones, de -s y naturalezas diversos, que les permiten como minimo formarse una disticas, articulos de prensa, opiniones expresadas por los grupos56 ENFOQUES v PRACTICAS EN LA EVALUACION DE PROGRAMAS de interés, etc. Obviamente, la influencia de estas distintas informaciones no es proporcional a su pertinencia cientifica. Algunos datos impresionan porque afec- tan directamente la sensibilidad, creando o reforzando opiniones que un andlisis riguroso de la realidad tendré muchas dificultades para deconstruir: Asi sucede, Por ejemplo, con las noticias de “sucesos’, cuando son presentadas por los me- dios de comunicacién como imagenes emblematicas de una sociedad carcomida por la inseguridad Todas estas informaciones son organizadas, interpretadas y ponderadas por sus receptores en funcién de su experiencia, sus inclinaciones ideolégicas y sus necesidades practicas. Desde antes de su inicio, quienes encargan una evaluacién tienen sus propias ideas sobre la politica evaluada, sus resultados probables y lo que, llegado el caso, puede “causar problemas”. En otras palabras, tienen su pro- pia teorfa sobre esta politica Es importante que la evaluacién tenga en cuenta el punto de vista inicial de los encargados de formular politicas y de otros protagonistas de la evaluacién, no como verdades definitivas, desde luego, sino como hipétesis que han de ser ve- rificadas y relativizadas 0 profundizadas. Para que el impacto de una evaluacién en las representaciones comunes de la realidad sea mAs importante, ella debe tratar de cuestionar dichas representaciones, someterlas a pruebas susceptibles de invalidarlas. Ahora bien, esto solo puede hacerse situdndose en un mismo es- Pacio seméntico. Si los resultados de las evaluaciones son muchas veces igno- rados o desatendidos, es porque a menudo se expresan en un lenguaje que sus destinatarios no reconocen, por ser demasiado diferente de aquel en el que cllos formulan sus preocupaciones, sus convicciones 0 sus experiencias. Por esto el trabajo relacionado con la formulacién de las preguntas de evaluacién reviste una importancia crucial. Producir datos significativos en relacién con las representaciones comunes El propésito de la evaluacién no es producir datos cientificos, sino mas bien re- ducir la incertidumbre y reforzar la coherencia de las decisiones y las practicas En ausencia de pruebas formales de la eficacia de una accién, con frecuencia nos contentamos con “cuasi pruebas’, o incluso con indicios. En la vida real, muchas veces nos permitimos sacar conclusiones generales a partir de un pequefio nii- mero de observaciones, siempre que estas tengan sentido, es decir, que se inte- gren en un sistema racional y verosimil previamente construido (el equivalente, podrfa decirse, del “mévil” de un crimen). Quedamos satisfechos cuando dispo- nemos de un conjunto de indicios convergentes que pueden obtener la “intima3.LA CONSTRUCCION DE UNJUICIO. 57 conviccién’ de una persona de buena fe (utilizo deliberadamente el vocabulario del juicio penal). Lo mismo ocurre en la evaluaci6n. La siguiente frase, tomada de un informe de evaluacién, ilustra la manera como la observacién de una muestra limitada refuerza un punto de vista previa~ mente constituido: “se ha demostrado que las patologias psiquidtricas que afec- tana los padres pueden generar un riesgo importante de maltrato. Asi, en nuestra serie de 39 parejas que han ejercido el maltrato hacia sus hijos, 20 presentaban trastornos 0 antecedentes psiquiatricos importantes”. Demasiada informacién oculta la informacién clave Los juicios practicos sobre la accién ptiblica se apoyan en datos numerosos y va- riados. Se podria deducir, un tanto apresuradamente, que la evaluacién, ante todo, debe tratar de reunir la mayor cantidad de informacién sobre su objeto, en el supuesto de que nunca se esta demasiado bien informado. Pero esto seria olvidar que un exceso de informacién inadecuada es casi tan perjudicial como la falta de informacién. Todos estamos abarrotados de datos no pertinentes —el fenéme- no del correo no deseado (spam) constituye un buen ejemplo— que debemos climinar a costa de inversiones significativas de tiempo y de atencién. Es preci- so reconocer que no toda informacién debe tenerse en cuenta. Uno de los que més Iticidamente ha llamado la atencién sobre este fenémeno es Herbert Simon, premio Nobel de Economia: “en un mundo donde la atencién es un recurso terri- blemente escaso, la informacién puede ser un lujo costoso, ya que puede desviar nuestra atencién de lo que es importante hacia lo que no lo es. No podemos per- mitirnos procesar una informacién simplemente porque esta ahf” (Leca, 1993). Basta con echar un vistazo a un informe sobre un tema cualquiera para compro- bar que contiene en general una gran cantidad de datos iniitiles. Para ser util, la informacién evaluativa debe construirse y configurarse de acuerdo con necesidades especificas. La lista de aspectos a abordar debe estable- cerse en funcién de las expectativas expresadas por los encargados de formular politicas y los grupos interesados. Del mismo modo, en la etapa de la redaccién del informe, los resultados, las conclusiones y las recomendaciones deben jerarqui- zarse teniendo en cuenta estas expectativas. Un informe debe lamar la atencién sobre los datos mas importantes y “ponerlos en escena” de manera adecuada. Elcerebro humano no funciona como una computadora Esta concepcién “constructivista” de la evaluacién puede ser respaldada por con- sideraciones tomadas de trabajos contemporaneos sobre el funcionamiento del cerebro humano (véase: Varela, 1999, Kolb y Whishaw, 2002). En la actualidad58 ENFOQUES Y PRACTICAS EN LA EVALUACION DE PROGRAMAS entendemos que no funciona como una computadora, sino como un sistema en equilibrio dindmico con una gran capacidad de autorregulacién. A diferencia de una computadora, que procesa de forma sistematica los datos que le son presen- tados por sus dispositivos de entrada, nuestro cerebro elige “libremente” si toma en cuenta 0 no la informacién que capta a través de los cinco sentidos. La integra en funcién de su propio programa, que mantiene registros de toda la experiencia anterior de la persona. En otras palabras, el cerebro dedica la mayor parte de su energia a responder las preguntas que é! mismo se plantea, y esto dentro de la légica de su propio movimiento. Nuestra principal preocupacién no tiene que ver con lo que vemos y oimos, sino con la manera en que estas informaciones nuevas pueden ayudarnos a resolver nuestros problemas, afectar nuestras creencias y, en general, facilitar 0 complicar el manejo de nuestros estados mentales. El lector de un informe de evaluacién, como cualquier otro sujeto pensante, utiliza de ma- nera selectiva la informacién puesta a su disposicion en funcién de sus necesida- des y centros de interés; puede aprovechar mejor los resultados de la evaluacién si estos hablan su lenguaje y responden a sus preocupaciones. El enfoque cognitivo de las politicas publicas La evaluacién, en resumen, es siempre un trabajo sobre el lenguaje y las repre- sentaciones. No solo produce conocimientos, sino también nuevas ideas, una nueva forma de abordar los problemas. Contribuye a producir nuevos marcos referenciales para la accién publica. Esta concepcién de la evaluacién hace eco det “enfoque cognitivo de las politicas piblicas’. Seguin esta corriente de pensa- miento (Muller, 2006), resulta erréneo considerar que las politicas puiblicas son fruto de decisiones racionales adoptadas por responsables de formular politicas que son todopoderosos y sabios. En realidad, la accion publica es el resultado inestable de una confrontacién sin fin entre fuerzas sociales ¢ ideologias contra- dictorias. Y es de este enfrentamiento que surgen los conceptos que sirven de fundamento intelectual ideol6gico a la accién publica. Como indica Yves Surel (2000): “las politicas piblicas son fruto de interacciones sociales que dan lugar a la produccién de ideas, representaciones y valores comunes’. La evaluacién pue- de considerarse como un método de organizacién de procesos cognitivos y dis- cursivos formalizados que participan de un proceso mas amplio de interacciones sociales en torno a los desaffos de la accién publica. Es importante precisar que ella asegura esta funcién de produccién de marcos referenciales en diferentes niveles: tanto en el de la concepcién de politicas como en el de su implementacién por parte de los actores locales. En cada uno de estos niveles, la accién piiblica es,3, LACONSTRUCCION DE UN UICIO 59 de hecho, parcialmente redefinida en sus modalidades y sus objetivos, y puede ser puesta en tela de juicio por la evaluacién. La evaluacién como proceso organizado de produccién de ideas compartidas En una operacién de evaluaci6n, por lo tanto, el conocimiento no es un fin en sf mismo. Se trata siempre de responder a las preguntas planteadas por los respon- sables de formular politicas y los actores politicos. La adaptacién de los conoci- mientos producidos a las necesidades de sus usuarios es reveladora de la calidad del proceso y del procedimiento de evaluacién. El proceso es el conjunto de las interacciones sociales suscitadas por la evaluacién para negociar su objeto, sus preguntas, sus métodos (el “proyecto de evaluacién”) y la formulacién de sus conclusiones. El procedimiento es la forma institucional de este proceso. Conlle- va principalmente la estructuraci6n de una “escena evaluativa’: distribucién de funciones entre quien encarga la evaluacién, el director del proyecto, el comité de evaluacién, los expertos y los responsables del estudio. El procedimiento abarca también las normas metodolégicas y éticas que regulan el proceso: normas de calidad elaboradas por las sociedades profesionales de evaluacién 0 normas in- ternas de una organizacién. La eleccién de los criterios de resultado Previamente a la investigacién evaluativa, el proceso de evaluacién empieza con Ja formulaci6n de preguntas evaluativas, basadas en una explicacién de la teorfa del programa centrada en la articulacién y la jerarquizaci6n de sus objetivos. De hecho, los criterios de los resultados finalmente seleccionados en una evaluacién solo representan un subconjunto de la amplia gama de fendmenos susceptibles de ser afectados por el programa, Incluso antes de tratar de medir los resulta~ dos, se debe construir un marco de andlisis y determinar a priori los efectos ob- servables con mas probabilidades de proporcionar informacién sobre el éxito del programa, en relacién con sus objetivos politicos (el “marco de referencia de Ja evaluacién”). La eleccién de los marcos de descripeién ‘Toda operacién de recopilacién de informacién supone la construccién previa de categorfas, nomenclaturas, indicadores, entre otros. También es necesario proce- der a hacer las demarcaciones temporales, espaciales. “Toda cuantificaci6n implica una configuraci6n previa de la realidad: es necesario elegir los fendmenos a medir entre una multitud de posibilidades, definir ‘unidades estadisticas’ (dar un sentido preciso a términos como hogar, empresa, conjunto, barrio), elaborar tipologfas y60 ENFOQUES Y PRACTICAS EN LA EVALUACION DE PROGRAMAS nomenclaturas. Las cifras solo tienen sentido en el interior de un marco conceptual respaldado por una representacion mas 0 menos convencional de la realidad. Esta siempre es motivo de controversias, como lo demuestran los debates recurrentes sobre la medicién de una ‘tasa de desempleo’ o de una ‘tasa de criminalidad, por ejemplo” (Perret y Seibel, 1993). Una discusién pluralista para interpretar los resultados En la etapa posterior a la medicién, la interpretacién de las cifras se basa siem- pre en modos de entender la realidad que afecta a los datos. Es preciso, por una parte, seleccionar los resultados mas importantes y, por otra, transformarlos en conclusiones, juicios y recomendaciones. Para ello necesitamos criterios, puntos de comparacién que hay que buscar en una reserva de referencias previamente constituidas. Por ejemplo, en una investigacién evaluativa se demuestra que esta actividad de interpretacién es inherente a la produccién de cifras. La medicién de un fenémeno solo tiene sentido en comparacién con otros fenémenos supues- tamente mejor conocidos por el lector: “la frecuencia de los maltratos infligidos a los recién nacidos es elevada (1,8% de la poblacién total). Para proporcionar una comparacién, la frecuencia de esta patologia se puede homologar a la de las malformaciones fetales en la totalidad de la poblacién’. En una investigacién del dominio de una disciplina cientifica (Economia, So- ciologfa, Ciencias de la Educacién, Salud Publica, entre otras), todos los datos son interpretados en el contexto de ese marco conceptual. Se espera que el investiga dor domine a la vez el objeto de la investigacién, sus objetivos y su contexto. No ocurre lo mismo en el caso de la evaluacién. Dado que involucra consideraciones politicas u operacionales que no son del dominio de un ambito cientifico especia- lizado, la interpretacién de los resultados deja de ser un monopolio de los exper- tos para convertirse en una cuestién de debate pluralista. La organizacién de este debate es una de las tareas principales de los comités u érganos de evaluacién encargados de dirigir sus procesos. LA CONTRIBUCION DE LA TEORIA DE LA ARGUMENTACION Una tradicién que se remonta a Aristételes Los anteriores desarrollos muestran lo interesante de analizar las practicas eva- luativas como practicas argumentativas, Para Jiirgen Habermas (1981, p. 41), una practica argumentativa puede analizarse seguin tres puntos de vista: el proceso (social), el procedimiento (las normas) y la produccién de argumentos. Estos tres aspectos se encuentran en la evaluacién. En el ambito social existen diferentes tipos de practicas argumentativas, cada una de las cuales se caracteriza por la3.LACONSTRUCCION DE UN JUICIO. 61 naturaleza de los argumentos intercambiados (politicos, juridicos, éticos, esté- ticos, etc.) y las “pretensiones de validez” emitidas. La nocién de “pretensién de validez” es importante. Significa que todo argumento pretende establecer una verdad, pero que no todas las verdades se sittian en el mismo plano. Para poner un ejemplo clasico, no es pertinente poner un juicio estético 0 moral frente a un argumento de hecho. Elorigen de la reflexidn sobre la argumentacién puede remontarse ala Retérica de Arist6teles, Aunque se ocupe principalmente de la retérica entendida como el arte de la persuasién (“la retorica es la facultad de considerar en cada caso aquello que puede ser apropiado para persuadir”), Aristételes sefiala que puede ser vista desde una perspectiva mas amplia, como el arte de la discusién adaptado al exa- men de cuestiones inciertas: “el objeto de la retérica no es tanto persuadir como ver el estado probable de las cosas en relacién con cada cuestién’. Aristoteles hace especial hincapié en el vinculo entre la retérica y la incertidumbre. Si la cuestién de la argumentacién se plantea, es que hay incertidumbre, y por tanto, duda o plu- ralidad de opiniones legitimas: deliberamos sobre cuestiones que involucran soluciones diversas, pues nadie de- libera sobre hechos que no pueden haber sido, ser o deber ser de una manera dis- tinta a aquella en que se nos presentan; en cuyo caso no queda mas que reconocer que son asi. (Aristételes, 1991, pp. 81 y 87) Para Aristételes una de las caracteristicas de la ret6rica es el uso frecuente de la induccién, es decir de los ejemplos, por falta de poder demostrar de manera vincu- lante las tesis que se quiere defender. EL ESQUEMA DE TOULMIN F1 l6gico britanico Stephen Toulmin (1993) senté las bases para una reflexién mo- derna sobre la argumentacién. Su teoria del argumento puede resumirse en un dia- grama que permite visualizar la estructura légica de toda forma de argumentacion:ENFOQUES Y PRACTICAS EN LA EVALUACION DE PROGRAMAS Figura 3.1. ea [res Forseain ] ove | — rs] Se sustticacién | | satvedad | es ee La pretensién es el punto (siempre sujeto a discusién) que desea establecer el autor del argumento. No es una simple afirmaci6n, sino una conclusién parcial que justifica un esfuerzo de argumentacién especifico. El dato es la informacién nueva movilizada como apoyo directo de la pretensién. La justificacién expresa el razonamiento utilizado para establecer un vincu- lo entre el dato y la pretensién. El fundamento esta constituido por los hechos o razonamientos, supuesta- mente previamente conocidos, que vienen a fundar, reforzar o legitimar el principio contenido en la justificacién. La calificacién indica el grado de certeza o la fuerza racional que el autor atribuye a la justificacién, La salvedad precisa las circunstancias 0 las condiciones que pueden reducir la fuerza y el alcance del argumento. Esta estructura I6gica no debe confundirse con la estructura gramatical de las oraciones. El esquema de Toulmin rara vez se reconoce a primera vista. De hecho, no siempre resulta facil distinguir el dato, la justificaci6n y el fundamento. Tomemos la siguiente frase: “La reciente disminucién de [la tasa de] desempleo parece demostrar la eficacia de las medidas gubernamentales”. Este argumento se desglosa como sigue: + Pretensién: las medidas gubernamentales son eficaces. * — Dato: disminuye la tasa de desempleo.3. LA CONSTRUCCION DE UN JUICIO 63 + Justificacién: la coincidencia entre la implementacion de medidas y la dis- minucién de la tasa de desempleo es indicio de una relacién de causa-efecto. + Fundamento: se sabe ademas que las medidas gubernamentales son, por su naturaleza misma, susceptibles de ser eficaces. + Calificacién: se expresa mediante un verbo modal, en este caso “parece”. * — Salvedad: ninguna. Toulmin insiste en el hecho de que todos nuestros argumentos tienen una cara oculta. Se refieren de forma implicita a elementos del contexto supuesta- mente conocidos y bien interpretados. La validez. de un argumento, por tanto, no es una cuestién de légica pura: depende de estipulaciones supuestas y aceptadas por el piiblico del debate. En el ejemplo anterior es evidente que el argumento tiene poco valor si no se cree desde un principio en la posible eficacia de las me- didas gubernamentales. Una de las contribuciones de Toulmin ha sido el hecho de sefialar que no se pueden analizar las practicas de argumentacién refiriéndose al modelo de la logica formal. El modelo pertinente serfa més bien el del proceso judicial, que puede ayudar a tomar conciencia de la heterogeneidad de los argu- mentos presentados en toda discusién orientada hacia un juicio: Los enunciados judiciales tienen varias funciones distintas. Sentencias sobre una queja, pruebas de identificacién, testimonios acerca de acontecimientos 0 con- troversias, interpretaciones de un estatuto 0 discusién de su validez, exenciones de la aplicacién de una ley, alegatos de mitigacién, veredictos, sentencias. Todas estas clases de proposiciones tienen un papel que desempefiar en el proceso judi- cial, y las diferencias entre ellas distan mucho de carecer de importancia. Cuando abandonamos el mbito particular del derecho para considerar los argumentos racionales en general, hacemos frente enseguida a la cuestién de saber si no es preciso analizarlos con ayuda de un conjunto de categorias de igual complejidad. (Toulmin, 1993, p.96) TIPOS DE DATOS ¥ JUSTIFICACIONES UTILIZADOS EN LA EVALUACION En las evaluaciones se encuentran argumentos de naturaleza factica (hechos brutos, cifras, observaciones y descripciones), pero también argumentos logi- cos (basados en un razonamiento Iégico-matematico) y argumentos basados en testimonios, puntos de vista u opiniones. Algunos argumentos tienen cardcter normativo: se basan en valores 0 normas supuestamente reconocidos. Ademas se encuentran argumentos de autoridad que se presentan bajo diversas formas: autoridad de un experto, de una teorfa, de un corpus de conocimientos, entre otros. Es importante distinguir estos diferentes registros y poner de manifiesto claramente su articulacién respectiva.64 ENFOQUES Y PRACTICAS EN LA EVALUA No todos los argumentos tienen el mismo alcance. Los métodos de la inves- tigacién cuantitativa tienen por objeto producir argumentos casi vinculantes basados en certezas de tipo matemitico. Sin embargo, de la obra de Toulmin se desprende que el vinculo entre los hechos establecidos y las conclusiones que se sacan no es estrictamente légico, y se justifican a su vez en fundamentos de diversa indole, De ello se deduce que los argumentos facticos o cientificos siem- pre deben transigir con argumentos de estatus més incierto. Para mantenerse en el nivel mas elemental, una cifra debe siempre ser calificada para permitir emitir un juicio sobre una situacién: el aumento del niimero de beneficiarios de una medida puede calificarse de “rapido” o “lento” la evolucién de una situacién puede calificarse de “satisfactoria” 0 “preocupante”, un efecto puede calificarse de “significativo’, etc. LOS ELEMENTOS DE UNA “BUENA PRACTICA" DE LA ARGUMENTACION La evaluacién como discusién metédica En muchos aspectos, la evaluacién se asemeja a una discusi6n ordinaria en la que se intercambian argumentos con el fin de llegar a un juicio mejor fundado y, Siempre que sea posible, compartido. Si el juicio evaluativo se diferencia del juicio ordinario, es menos por su objeto y la naturaleza de las informaciones mo- vilizadas, que por el esfuerzo de inscribir el proceso argumentativo en un marco metodolégico y procedimental riguroso. El siguiente extracto, tomado de una gufa metodoldgica francesa, resume per- fectamente este punto: A diferencia de la investigacién cientifica realizada en un marco disciplinario deter- minado, que privilegia un niimero limitado de razonamientos, la evaluacion intenta utilizar todas las heuristicas, y adaptarse a las condiciones reales de la delibera- cién y de la adopcién de decisiones. Como cualquier discusién o reflexién que tiene efectos practicos, la evaluacién no excluye a priori ningiin elemento de informacién referente a su objeto, cualquiera que sea su naturaleza (cuantitativa o cualitativa) y su origen, siempre que parezca pertinente. [Pero] este eclecticismo no es sinénimo de confusi6n: contrariamente a una discusién ordinaria, llevada a cabo sin método formal, la evaluacién se esfuerza por no mezclar los diferentes tipos de argumen- tos; sino mas bien por jerarquizarlos, ponderarlos y vincular cada uno de ellos a conclusiones especificas. (Consejo Cientifico de la Evaluacién, 1996, p. 49) “Discutibilidad” versus persuasién La analogfa del proceso, descrita anteriormente, es sugestiva pero no del todo pertinente. Una evaluacién no es el enfrentamiento regulado de dos tesis contra- dictorias, sino un proceso cooperativo mediante el cual se trata de establecer un juicio razonable en relaci6n con los criterios socialmente legitimos (los objetivos3. LA CONSTRUGGION DE UN UIGIO 65, de una politica especifica 0, més ampliamente, el interés general). Un informe de evaluacién debe, entonces, garantizar la discutibilidad de las pretensiones que contiene. Todo debe hacerse de manera que un lector cualquiera pueda hacerse una idea precisa de la validez de los argumentos: conocimiento de las fuentes de informacién y de sus eventuales deficiencias. En otras palabras, conviene garan- tizar la trazabilidad de los argumentos La explicitacién de las preguntas como elemento de la trazabilidad de los argumentos Un argumento constituye siempre la respuesta a una pregunta 0 cuestién.' El len- guaje cotidiano lleva la marca de esto, ya que el término “cuesti6n” se asocia a me- nudo a la idea de significado —incluso en ausencia del signo de interrogacién—, por ejemplo cuando en un texto se dice “es cuestién de” En la presente discusion, las preguntas o cuestiones muchas veces permanecen implicitas. En cambio, en la argumentacién en que se basa una decisién de justicia penal, las preguntas 0 cuestiones se plantean explicitamente. Lo mismo ocurre en la evaluacién: la for- mulaci6n en un lenguaje claro de las preguntas a las que se quiere responder es un factor de clarificaci6n de la argumentacién evaluativa. El hecho de recordar la lista de cuestiones examinadas permite determinar con mayor claridad las pre- tensiones y su naturaleza (lo que se quiere demostrar y en lo que nos basamos para este propésito). Consecuencias pricticas para los procesos de evaluacién Larealizacién de un proyecto de evaluacién debe orientarse hacia la construccién de un juicio razonable, “apropiable” y “discutible”, Esto supone sobre todo: + Determinar ex ante —de antemano— los temas criticos desde el punto de vista de un juicio orientado a la accién, es decir, los temas a los que parece importante despojar de una incertidumbre, as{ como las ideas que es im- portante validar o precisar. 1 Eltérmino francés question es ambiguo. Corresponde en espafiol tanto a pregunta como a asunto o materia. Esta ambigedad se presenta a lo largo de los textos originales. En espafol también se entiende ‘cuestién’ como (segiin el DRAE): “Pregunta que se hace o propone para averiguar la verdad de algo controvirtiéndolo’ o como “asunto ‘o materia’ Por claridad de la traducelén muchas veces escogemos traducir este término como pregunta, pues en nuestra espafiol predomina mas el segundo significado de la palabra cuestién. En esta parte del texto se resata esta ambigdedad propia del término. Por esto, traduzco aqut esta palabra con los dos significados: cuestién o pregunta. (N.delT)66. ENFOQUES ¥ PRACTICAS EN LA EVALUACION DE PROGRAMAS + Formular las preguntas de evaluacién en términos que prefiguren los pun- tos cruciales de la argumentacion que se pretende construir. + Destinar los medios disponibles a las investigaciones para responder las preguntas mas importantes desde el punto de vista de su impacto en los juicios practicos de los responsables de tomar decisiones y los actores clave de la politica. + Tener especial cuidado, en el momento de la redaccién del informe de eva- luacién, con el rigor y la claridad de la argumentacién. El informe de evalua- cién debe explicitar el objeto, los objetivos y los métodos implementados, sin olvidar especificar sus limites. Debe permitir al lector distinguir entre Jos hechos y las opiniones mayoritarias, entre las conclusiones que se sacan y las recomendaciones que se hacen. APLICAR LA EXIG! NCIA DE RIGOR A LOS PROCESOS SOCIO-COGNITIVOS Nuestra insistencia en las dimensiones discursivas e interpretativas de la evalua- cién no debe entenderse como una relativizacién de los desafios del trabajo mas estrictamente técnico de medicién de los efectos de una acci6n. Se trata mas bien de llamar la atencién sobre el hecho de que la fase de recopilaci6n y tratamiento de la informacién se inserta siempre en un proceso mas amplio de interacciones sociales diversificadas cuya buena organizaci6n forma parte del trabajo de eva- luacién. Estas interacciones participan plenamente de la eficacia de la evaluacién, no solo en el plano social, politico y de gestién, sino también en el estrictamen- te cognitivo. En efecto, el conocimiento social solo tiene valor, utilidad e incluso consistencia en la medida en que esté vinculado a preguntas y juicios. Ahora bien, la elaboracién de estos depende de un trabajo intelectual colectivo que se puede hacer mas eficaz y pertinente al someterlo a normas metodol6gicas simples. Desde este punto de vista, la reflexién sobre métodos y procesos de evalua- cién tiene gran alcance epistemolégico. Plantea la posibilidad y la conveniencia de aplicar los requisitos de rigor y objetividad que han constituido el éxito de la ciencia a una categoria mas amplia de procesos socio-cognitivos. Esto deja entre- ver la posibilidad de desarrollar un método y practicas encaminados a lograr que el trabajo de las sociedades humanas con respecto a s{ mismas sea mas reflexivo, organizado y sistematico, las cuales, por ahora, aprenden poco y muy lentamente de sus experiencias.3.LA CONSTRUCCION DE UN JUICIO 67 |ARA PROFUNDIZAR EN EL TEMA Perelman, C., & Olbrechts-Tyteca, L. (1958). La nouvelle rhétorique, Traité de argumentation. Paris: Presses Universitaires de France. Toulmin, 8. (1993). Les usages de l'argumentation. Paris: Presses Universitaires de France. Obras que abordan la evaluacién desde el punto de vista de la discusi6n yla argumentacién House, E. R., & Howe, K. R. (1999). Values in Evaluation and Social Research. Thou sand Oaks: Sage Publications. Perret, B. (2001). Lévaluation des politiques publiques. Paris: La Découverte. _(1995)."La construction du jugement” en Conseil Scientifique de Evaluation. Lévaluation en développement 1994. Paris: La Documentation Frangaise. Schwandt, ‘A. (2005). Politics of Evaluation. En S. Mathison (dir.), Encyclopedia of Evaluation. Thousand Oaks: Sage Publications. Internet Perret, B. (1996). Evaluation, gouvernance et procéduralisation de lexpertise. Interven- cidn en el seminario “Las mutaciones contemporaneas del arte de gobernar”, organizado por la célula de Prospectiva de la Comisién Europea (Bruselas). Disponible en: http://perso.orange.fi/bernard, perret/eva-proc.htm