IV. La interfaz entre la evaluacién y las politicas puiblicas’ Carol H. Weiss Marx afirmé que lo importante no es entender el mundo, sino cambiarlo. Pobre hombre; lo pensé completamente al revés. Lo importante es no cambiar demasiado el mundo hasta que lo en- tiendas. Malcolm Bradbury La informacién se busca y se toma en cuenta porque contribuye a entender qué est4 pasando en la vida, y entender qué esta pasando es importante prescindiendo del propésito al que se dirija el cono- cimiento. James March y Guje Sevon A pesar de que ninguna de las dos citas del epigrafe concier- nea la evaluacién, ambas sugieren cuestiones importantes sobre la relaci6n entre la evaluacién y las politicas publicas. la primera cuestién es que la informacién y, por extension, el tipo de informacién revelada por la evaluacién resultan cruciales para decidir qué pasos tomar a continuacién. Como Marx * Este articulo es una traduccién al espafiol del original en inglés: Carol Ee Weiss, “The interface between evaluation and public policy”, Evaluation, oe nim, 4, 1999, pp. 468-486 (copyright © 1999 sack Publications. Peraiso ce Produccién otorgado por sace Publications). Elarticulo se prcpet un be a discurso inaugural de Carol H. Weiss en la conferencia de la Soci ypea Evaluacién celebrada en Roma. 13Carol H. Weiss ‘j correctamente sefiald, la accién es esencial para el avan mundo social. Sin embargo, €s probable que tal accién hos de sidere con cuidado aquello que funciona, y lo que no ee quiza empeore as situaciones sociales © no resuelva los aS blemas que en un principio motivaron la formulacién de politicas. Frecuentemente, Ja evaluacién cuenta con informa cién vital para contribuir al diseflo y redisefio de las politicas puiblicas. Con todo, la cita de March y Sevon destaca que la infor. macién se considera relevante en un campo més amplio quela toma de decisiones. Con frecuencia, los evaluadores hablan y se preocupan del uso de sus hallazgos en términos de los efectos que tienen sobre las decisiones de politica. Los tomadores de decisiones modificaron el programa para remediar los defectos identificados en la evaluacin? ;Finalizaron antes de lo conve- nido los programas que fracasaron pot completo y expandieron Reclutaron para el programa el tipo de ? segiin lo revelado por laevalux- Jos que tuvieron éxito? ¢ clientes que se beneficiaria més, evaluacién se han concentrado y Sevon én? En ese tipo de usos de la para cumplir un propésico tanto los evaluadores como Jos intelectuales. sugieren que la informacién sirve mis amplio y, quiz4, de mayor importancia: impide que a siones sea elecci6n Como sucede en la vida, una de las razones que i parte de la informacién transmitida a as organiza¢ ee mente relevante para la toma de decisiones es que no es una metéfora tan convincente para otros individuos como lo es para los estudioso: Desde muchos puntos de vista, la vida cotidiana y organtizacion® ill individuo se pereben mejor como un jrcicio dedicade ade er la hiscoria Ios directores ni P2 sarrollar interpretaciones de eventos y a ente! como un esfuerzo dirigido a tomar decisiones.' ing? information and decision-making, "James March y Guje Sevon, “Goss ‘Cambridge James March : (ed.), Decisions and organizations, Basil Blackwell, 144La interfaz entre la evaluacién y las politicas pablicas Con todo, gran parte del interés por la evaluacién surge de la ex- tativa de que sus resultados influyan en las directrices futuras de las politicas. Si descubrir hasta qué punto una intervencién logra (0 no) sus propésitos vo afectara la formulacién de po- liticas subsiguientes, gpor qué entonces las organizaciones, las fundaciones y los gobiernos deben apoyar los estudios de eva- luacién? El presente articulo se dedica a explorar esa pregunta y aanalizar el terreno que existe entre los hallazgos de los estudios evaluativos y el mundo del disefio de politicas puiblicas. Este articulo consta de cinco secciones. En la primera, se ana- lizan las formas en las que los evaluadores han esperado que se utilicen sus resultados y en las que dichos resultados realmente tienden a influir sobre las politicas. Después, se examinan las ra- zones por las cuales los disefiadores de politicas prestan atencién alos hallazgos de evaluacién y los toman en cuenta. Posterior- mente, se analizan los canales utilizados para que los resultados de evaluacién Ileguen a publicos relacionados con politicas y los obstaculos que enfrenta el uso de las evaluaciones. Finalmente, se presentan algunas conjeturas sobre las diferencias que se en- cuentran entre un pais y otro, y por qué la evaluacién influye mas en las politicas de unos paises que en las de otros. Propésitos de la evaluacién El objetivo general de la evaluacién consiste en ayudar a perso- nas y organizaciones a mejorar sus planes, politicas y pricticas cn nombre de los ciudadanos. Si bien parte de la motivacién Consiste en incrementar el ctimulo internacional de conoci- Mientos, los evaluadores esperan también afectar la forma en ue los organismos gubernamentales, las organizaciones sin fines de lucro, los negocios y la industria atienden los proble- mas de la sociedad. Podria suceder que una evaluacién buscara proporcionar oe informacién a los profesionales para que reconsideren “clones y mejoren su quehacer individual. Por otra parte, 145Carol H. WE® odria consistir en ofrecer informaci én adec s para el avance dela planificacién 1 pn cin para el logro de sus abjetivos sociale un objetivo frecuente y de suma importang, al desarro! su proposito P alos directore: de una orga” Sin embargo, contribuit lo, a la adopcién y a la modificg ion de politicas. Entre éstasy se podria Gd la decisién es a rama cn otras organizacioncs © lugares; también puede haber : biar elementos de los programas. En este razones para cam! ae 7 a articulo, se analizan los propésitos de politica que tiene laeva. eselde luaci Las expectativas sobre los usos de las evaluaciones siempre han exhibido caracteristicas racionales. Por lo tanto, los evalua- dores esperarian que sus estudios contribuyeran con orden y dala formulacién de politicas, y que al determinar racionalida Jos resultados de intervenciones gubernamentales pudieran: I)ayudara los gobiernos a decidir si continuan o finalizan cieras iniciativas de politicas; 2) expandir e institucional izar politi- cas y programas exitosos; ¥ eliminar los esfuerzos que fracasan: 3) decidir qué programas y qué componentes modificar. Con ello, una evaluacién ofreceria una direccién para la mejora de las politicas. Si tales fueran sus expectativas, los evaluadores se decepcio” narfan con frecuencia; la mayorfa de las veces, han encontrado que los disefiadores de politicas parecen ignorar sus resultados ul bei con politicas que eligieron por otras razones. Como les paar fee organi sciones descubrieron hace cae ene: pare de la vida organizacion ri tara hablar favorablemence te tec es de ciencias sorlslea; ig ne de la evaluacién y de otros ope : incluso podrian comi udio evaluacié cvaluacion y pagar cantidades si luccién. Sin emb ben los infor: : mes y los aocién que ya tenian jonar un est " anciales de dinero p# . A cuando Hlegan los resultados, ‘ hallazgos sdlo si la evaluacién justi “ Pensado llevar a cabo. 146La interfaz entre a evaluacin y ls politica pil Los cientificos sociales de muchos campos también se han visto afectados por esa situacién. De cierta manera, sociélo- gos, politélogos, psicélogos y antropélogos habian esperado convertirse en el “poder detras del trono” del gobierno libe- ral. En los ahtos sesenta y a principios de los setenta, quienes se dedicaban a las ciencias sociales aplicadas en muchos pai- ses de Europa Occidental y en Norteamérica esperaban poder establecer la direccién de las reformas. Los economistas, con expectativas muy similares, las cristalizaban mas frecuentemen- te por la prominencia de las cuestiones macroeconémicas de las formas modernas de gobierno, aunque también Ilegaron a decepcionarse. El trabajo de otros cientificos sociales se des- atendia, situacién que los Ilevé a desilusionarse del gobierno ¢ incluso a dedicarse a escribir diatribas sobre la estupidez de Jos funcionarios, sobre su indolencia o su comportamiento que sdlo perseguia intereses personales por razones politicas. Su ex- periencia con organizaciones no lucrativas y corporaciones dio lugar a peroratas similares. ‘De manera mis reciente, los estudios sobre el uso de la in- vestigacién han revelado una perspectiva mis positiva sobre el destino de las ciencias sociales. En todo el mundo se ha demostrado que la investigacién, que en algiin momento pa- recia relegada al basurero, en realidad ha ejercido influencia continua? ;Cual es la fuente de esa paradoja? ;Cémo logré la in- vestigacién, que no afectaba las decisiones para las que se habia llevado a cabo, ser importante en el largo plazo? La respuesta es que los cientificos sociales buscaban el tipo equivocado de in- fluencia en el lugar y momento equivocados. Gran parte de ese mismo escenario de esperanzas quebrantadas y aprecio renova- do ha llegado a la evaluaci6n. __?Véanse Stephen Anderson y Bruce Biddle (eds), Knowledge for policy: impros- jing education shrough research, Falmer Press, Londres, 1991; Martin Bulmer (ed:), Social research and rayal commissions, Allen and Unwin, Londres, 1980; Carol H. ‘Weiss y Michael Bucuvalas, Social science research ‘and decision-making, Columbia University Press, Nueva York, 1980. 147Carol H. Weiss Ahora entendemos que las politicas no se configuran e, solo tiempo y lugar ni por una lista reducida de Personaje En las democracias, muchas personas intervienen en |g def. nicion de los asuntos de politica, en identificar la perspec con la que se atenderdn, en proponer posibles soluciones 4. politica y en ejercer presion para desarrollar Tespuestas a liticas especificas. Legisladores, ministros, servidores piblicos electorado, grupos de presién, dirigentes de partidos, posible, beneficiarios de nuevas politicas, contribuyentes ¢ incluso je- rarcas religiosos o intelectuales pueden apoyar u oponerse 2 nuevas definiciones, marcos conceptuales y propuestas de po liticas. Las decisiones sobre las politicas casi nunca giran en torno ala falta de informacién. Si el disefio de politicas tuviera que esperar la Ilegada de conocimientos definitivos, la espera seria muy larga, y los actores politicos estan acostumbrados a bastarse con aquello que se conoce o se cree en el momento. Estudios de todo el mundo han revelado que los disefiado- res no empiezan desde cero cuando consideran nuevas politicas: cuentan con amplio conocimiento de las circunstancias que pro- viene de muchas fuentes, incluyendo desde su misma experienca profesional en campo hasta los mecanismos de comunicacioa de los electores, los periddicos, la television y los libros, sus reds interpersonales; a menudo también Ilamadas telefénicas con ami- g05, el apoyo de sus asistentes, consultores y expertos que conoce® Cuanto ms puedan los evaluadores aumentar el conocimient® disponible, tanto mejor, pero sus contribuciones constituyen una de muchas formas del saber y deben competir con owas que seencuentran en circulacién para que se los escuche. _[a complejidad de los sistemas de toma de decisionesY # eae cndmica 4que tiene “la politica” en toda organiza ho pean cone eel y otras formas de ciencias ee a un estudio no ra ‘or muy amplio y comperente QU cién ala comunids ‘ddel todo ni impone una nueva oe exhiben gran ee cl diserio de politicas. Todos los ae onahaeraes ‘upacién por cl bienestar de sus ore #808 ¢ intereses, incluido el interés en si mis™ 148La interfaz entre la evaluacin y las politcas puiblicas ye no remedia la investigacion. Al escribir sobre la experien- cia francesa, Bienaymé’ concluyé que la influencia directa de Ja investigacion en politicas de educacién superior “ha sido y robablemente seguira siendo débil” y los observadores de la mayoria de los paises concuerdan con él. Es particularmente angustiante para los evaluadores co- nocer las probables limitaciones de su influencia. La utilidad constituye el propésito primario dela evaluacién; es su aspecto mas importante. Sin embargo, es bueno para los evaluadores reconocer que las limitantes endémicas que obstaculizan la in- fuencia de la evaluacién parecen arrojar dudas sobre toda la empresa evaluativa, porque los obliga a desarrollar expectativas realistas sobre lo que pueden lograr en el Ambito de las politi- cas, Las cosas que puedan lograr son importantes. Al parecer, lo que la evaluacién sf es capaz de hacer, y en oca- siones realmente lo consigue, es contribuir alo que he llamado “jJuminacién” Esta constituye el filtrado de nueva informa- cién, ideas y perspectivas hacia la esfera en la que se toman las decisiones. La evaluacién introduce datos y generalizaciones basadas en evidencia al sistema de politicas; a menudo, mues- tra lo erréneos que son los viejos supuestos, es decir, destruye mitos antiguos. Con el tiempo, las ideas originales de la evalua- cién penetran poco a poco en la conciencia de las personas y alteran la forma en que se enmarcan los temas y se disenan las alternativas. Los supuestos que alguna vez se dieron por hechos hoy se reexaminan. Las cuestiones que solian considerarse prio~ 5 nuevos temas, antes i ‘itarias hoy tienen menor importanc! Siquiera reconocidos, ahora van acomockindose en laagenda de las politicas piiblicas. El ento goteo de la iluminacion resulta dificil de ver y de identificar como producto de la evaluacion, Maan Bienaymé, “The case of France: Higher education’, en'Forsten Husen y antes Kogan (es), Educational esearch and policy: How do hey relate Pergant- “be elon, 1984, pp. 121-129. pAl2L Ge ae ‘tion, athe” Weiss, “Knowledge creep and decision accretion » Hon, uilisation, vol. 1, im 3, 1980, pp. 381-404. Knowledge: Cre 149(Carol Fh. Wess pero el efecto acumulado podria constitur una recong, : cign importante de la agenda dla politicas. Inchuso, po: resultar en la adopcién de un orden de politicas muy difereng. Muchos han llegado a reconocer que la evaluacién Pu tener efectos lentos de esta naturaleza, invisibles a simple vig y que ese tipo de teorias de filtrado, perspectivas y conclusiong a veces tiene influencia importante en el disefto de polit cas, aunque no siempre, por supucsto Muchos estudios Vienen van sin dejar gran huella, mientras otros se adoptan Y se usan inmediatamente, en particular cuando los asuntos que los ocy. pan no son muy controvertidos y los cambios por introducir son relativamente poco costosos y aceptables para todos. Sin embargo, la influencia de la iluminacién derivada de la evalua. cién mejora de manera importante nuestra comprensién de los vinculos entre la evaluacién y las politicas. El fenémeno de los usos de la iluminacién derivada de las ciencias sociales se ha descubierto en todos los paises. Baklien‘ estudio el uso de la investigacin sobre medios de transporte en el Ministerio de Transporte y Comunicacién del gobiemo de Noruega; encontré que, a pesar de la cercanfa institucional y de las similitudes culturales entre burécratas e investigadors, el “uso directo es poco usual”.’ Gran parte de la investigaciéa se utiliz6 como “antecedentes para una evaluacién gen tal del caso en cuestién”.s En Australia, al estudiar el uso investigacion interna del Departamento de Educacién de Tas mania, Hocking’ concluyé que los logros de la investigaci® Consistieron en: J) desarrollar una comprensién compartidt entre disefiadores de politicas, to de su labor; 2) refinar los co! diseftadores de politicas sobre | que sirvié como fundame Nocimientos operatives dels los temas; 3) crear un clirma ° Bergljot Baklien, “The use of s 7 cof social science in a Norwegian mi ee rode of thinking?”, Acta Sociolegica, vol. 26, 1983, PP- 3 * Ibid. p. 40 ° Helen Hocking, - “The imy icymaking in edu tn, Unter ee pac of research on policymaking 1501a inwerfaz entre a evaluacién y las politica pb expectativas en torno al desarrollo o a la implementacién de iticas. En Su ; Premfors”* encontré que la principal fun- cion de la investigacién en educacién superior “ha consistido en desincentivar la produccién de soluciones simplistas a pro- blemas de politicas”."" Otro estudio llevado a cabo en Suecia pot Furubo' descubrié que el gobierno de ese pais empleaba |as evaluaciones ampliamente, aunque mas como materiales formativos para decisiones politicas y administrativas, y no como fundamento de las mismas. En un estudio sobre cuatro cuestiones relacionadas con po- Iiticas realizado en Finlandia," se encontré que, en varios casos, Jos conocimientos de ciencias sociales producian cambios en ideas populares, confirmaban conocimientos preexistentes, es- tructuraban alternativas de politicas y modificaban las opiniones de los llamados expertos. “Con base en los ejemplos, podria~ mos concluir que la investigacién cientifica ofrece argumentos yenunciados causales que conforman y enriquecen la retorica de las formulaciones de politicas, pero apenas afectan las defini- ciones de problemas bésicos sobre las cuales se basa la accion”."* gPor qué los disefiadores de politicas prestan atencién a la evaluacién? Los sistemas de formulacién de politicas se encuentran abarro~ tados de contendientes, La controversia tiene lugar en distintos Rune Premfors, “Research and policy-making in Sweuish higher eluation» en Torsten Husen y Maurice Kogan (eds.),, ‘Educational research and policy How do ‘hey relate, Veryamon Press, Oxtord, 1984, pp. 207-240. " Mbid., p. 239. . Fray, Ja Hc Furubo, “Learning from evaluations [he Swedish experience”, €0 Frans Leeuw ea. (eds.), Can governments earn’ Compare perspectives on evalua azand organisational earning, Vransaction Publishers, Nuevo Brunswick (Nueva eney), 1994, pp. 45-46. ° Osmo Lampiner , . mpinen, The uilisation of socia “wnPublishing, Helsinki, 1992. Ibid., p. 244, science research in public policy 151Carol H. Weiss escenarios de diferentes sistemas politicos. Enun Sistema par. lamentario, los debates tienden a ocurrir en el interior del partido o dela coalicién de partidos en < oe, Enun Sistema presidencial, donde hay mas puntos a! pe IC ACCESO, todo tipo de grupos de presién, de apoyo rena esfuerzan por influir sobre la naturaleza de las pol sane Donde se impo- he una s6lida disciplina partidista, el espacio de la deliberacién tiende a encontrarse dentro de la dirigencia del partido, En un gobierno autoritario, el debate puede encontrarse limitado a personas dentro de éste, es decir, a los asesores y asistentes dela persona que ostenta el poder. Puede suceder que un disefiador de politicas o un grupo de ellos o de sus asistentes decida buscar la ayuda de las ciencias so- ciales y la evaluaci6n, pero muy frecuentemente quienes dirigen su atenci6n a la evaluacién son los mismos evaluadores o algin tipo de intermediario. Entre los intermediarios ¢ instituciones que sirven para divulgar el conocimiento de la evaluacién den- tro de los circulos de formulacién de politicas se encuentran el personal académico universitario, academias nacionales de ciencias, servidores publicos que comisionan estudios de inves- tigacién y de evaluacién, érganos consultivos de ministerios, desarrolladores y capacitadores de personal, oficinas de referen- cia legislativa, ponentes en conferencias y simposios, medios de comunicacién, comités de expertos, sitios web y amigos, ver nos y estudiantes universitarios. En algunos paises, gran pare del discurso sobre las politicas ptiblicas se ha convertido en d lenguaje de las ciencias sociales, y quienes participan en conversacién deben hablar el dialecto de la economia, la soci” logfa, la teoria organizacional 0 la evaluacién. 7 Diversas razones podrian llevar alos diseftadores de polit® a prestar atencidn, en ocasiones, a las ciencias sociales: 1. El deseo de entender mejor distintos temas. Por jem? cudn bien se han implementado las politicas de refor™ educativa, cuales han sido las consecuencias de esfuer25P, sados para reducir los costos de la atencién en salud» 152 a4La interfiz entre la evaluacién y as politica piblias politicas han demostrado efectividad para disminuir las muertes en las carreteras y qué elementos de las politicas han resultado de mayor utilidad para disminuir el vandalismo. Necesitan buena informacién para llevar a cabo acciones ra- zonables en torno a las politicas y ala gestién. En esos casos, buscan con toda honestidad la mejor medida que se debe tomar y desean enterarse de lo que detecta la evaluacién. 2. La desconfianza de la informacién que les proporcionan otras fuentes. Por ejemplo, la administracién podria creer que la funcién publica busca tener mayor poder de nego- ciacién y que, por ello, la informacién que le proporciona se encuentra sesgada para mostrar su trabajo desde la mejor perspectiva posible. Otro caso seria el de legisladores que creyeran que los grupos de interés tratan de engafarlos con datos sesgados e informacién incompleta. Esta situacién los llevaria a buscar un remedio en las ciencias sociales. 3. El deseo de legitimar la accién politica. Cuando el Estado parece haber perdido la lealtad de algunos de sus ciudada- nos, los ditigentes politicos pueden intentar revestirse con las ropas de las ciencias sociales para justificar sus acciones. Se han observado tales tendencias cuando los gobiernos en- frentan las llamadas “crisis del Estado de bienestar”. En la medida en que se respeten las ciencias sociales y sus profe- sionales se consideren independientes, brindaran un aura de integridad, racionalidad y reflexién. » El deseo de encontrar evidencia o teoria que sustente su pos- tura respecto a una cuesti6n especifica. Buscan convencer a los escépticos, aumentar la confianza de sus si npatizantes o contrarrestar los a tumentos de la oposicién. En ese caso, la evaluacién entra en accién como soporte politico.” "El deseo de que se los califique de modernos, actuali- ados y bien informados. En ocasiones, encontrarse al tanto de los hallazgos mas recientes —por ejemplo, sobre » Poy gl H. Weiss, “Congressional committees as users of analysis", Journal of ‘nis and Management, vol. 8, 1989, pp. 411-431, 153Carol H. Weiss la reorganizacion escolar, el reclutamiento militar 9 |, descentralizacién de funciones de organismos gubernamen, tales— se considera importante para Presentar una imagen de competencia ante otros faadores de politicas y ante ¢ publico. Los directores de organizaciones desean que se los considere buenos ejecutivos. Una manera de lograr dicha reputacién es llevar a cabo las acciones que se atribuyen aun buen director, a saber, basar sus acciones en la revisién dela mejor informacion disponible."* La biisqueda de una politica que sea la mejor y la més sensa- taes la unica razon que lleva a los disefradores de politicas a prestar atencién a los hallazgos de evaluacién; incluso cuan- do tal objetivo no constituye su principal propésito, reciben frecuentemente la sutil influencia de las generalizaciones y de las “historias” que relata la evaluaci6n. Las evaluaciones indi- can qué tipos de programas funcionan adecuadamente y qué tipos no. También ofrecen informacién sobre las condicio- nes bajo las cuales se pueden materializar mejores resultados. En el transcurso de los afios, los hallazgos han influido en el desarrollo de nuevas versiones de programas, mismas que s¢ pueden reevaluar para determinar si los cambios efectuados produjeron mejores impactos. Esta situacién ha ocurrido en los programas estadounidenses de transicién de la asisten- cia publica al empleo. Se han evaluado versiones sucesivas de programas de capacitacién en los Uiltimos treinta afios y s¢ ha determinado, cada vez. con mayor claridad, qué pueden lograts ademéds, se han explicado mejor los efectos de una serie de se~ vicios colaterales."” © Martha Feldman y James March, “Information in organisations ass and oem Administrative Science Quarterly, vol. 26, 1981, Pe 171-186. ae ro oe dD: edlander y Gary Burtless, Five years afier: The long-term feof ee Programmes, Russell Sage Foundation, ‘Nueva York, ! p Fed lander y Gayle Hamilton, The saturation work initiative ‘model i Diego: A five-year follow-up study, Manpower Demonstration Research Comper tion, Nueva York, 1992; Judith Gueron y Edward Pauly, From wef» sell Sage Foundation, Neraoak, 1991 Chace Mana rwin aH 154 d1a interfarenre a evauacin yl polics piblca Otra contribucién casi unica de la evaluacién consiste en atender el tema de los costos. Las evaluaciones que incluyen andlisis de costo-beneficio o de costo-efectividad hablan alos diseftadores de politicas en un lenguaje que entienden muy bien: el dinero. Los funcionarios se enteran de cudnto pagan obtener cierto orden de resultados y cudnto tendrian que para mejorarlos; también pueden saber a qué renuncian cuando deciden continuar con un programa mediocre en vez delanzar uno mas efectivo. Ahora que se debate tanto en Euro- pay Norteamérica sobre politica social en términos del nivel de 0, esta informacién puede producir gran impacto. Por lo tanto, la evaluacién puede ser fuente de noticias para Jos actores del ambito de las politicas; puede representar una educacién continua, al ayudarles a mantenerse enterados de nuevas ideas e informacién; puede ser una herramienta para mostrarse como personas modernas y racionales; puede im- pulsar el desarrollo de un argumento para apoyar su postura en materia de politicas y contrarrestar la perspectiva de la opo- sicién. Sin embargo, también se puede utilizar a la manera “clésica”: para ayudar a los disefiadores de politicas a entender mejor los problemas, para ofrecer un contexto que determine lanaturaleza de éstos, su alcance y los marcos de referencia que permitan comprenderlos desde el punto de vista conceptual para ayudarlos a elegir politicas 0 modificaciones que puedan esultar efectivas 0 costo-efectivas. Canales por los que viaja la evaluacién ae enteran los disefiadores de politicas de los resulta- consiste me evaluativos? Acaso la manera mas comin con fp al informe de evalua n directamente ia que comisioné el estudio, porque dicha agencia qr (eds,), Evalariy, bride ane) eee and raining prognmmes, Harvard University Press, Cam- 155Carol H. Weiss | estudio para ayudarse a decid, probablemente a. revision." *cémq : rama baj ejorar el prog! A ala i . mi i evaluador comunica sus resultados a la agencia de poly, cas oal organismo patrocinador del estudio verbalmente 9 bo ito, aunque normalmente de las dos maneras. Se conside. an ea los informes escritos, ya que proporcionan un, decipcién detallada de los aha he lazgos, las salvedades ¢ interpretaciones. Por lo general, los informes orales Tesultan mas efectivos para atraer el interés de los actores del ambito de las politicas y para transmitir ideas clave. En Pequiefios paises, e evaluador quiza tenga muchas oportunidades para interactuay con los diseftadores de politicas y su personal; pero en Paises des, el informe escrito y su resumen llevan la mayor parte dela carga. No obstante, es raro que un disefiador de politicas oun director de programas lea todo el informe o analice el con- tenido de los cuadros. Los disefiadores de politicas desean tener suficiente idea del contenido de los hallazgos para decidir si van a responder y de qué manera. En todos lados hay, frecuentemente, docenas de progra- mas similares en operacién que se podrian beneficiar de recibir informacién sobre lo sucedido en cierto programa evaluado. Tal vez los resultados no puedan aplicarse directamente a ellos, pero les brindardn reflexiones utiles relacionadas con sus pro- bables éxitos y deficiencias, Sin embargo, normalmente n0 ee a la informacién. A menos am oquedl eraluaden i una revistao en un boletin profesio , Presente en una conferencia, los datos Intenciones de dar por terminado un Pe 7 demasiado dinero, demasiado per dleempleo, demasiados clientes que qe » demasiadas reputaciones y prestigios be lo tanto, por muy deficientes que ful “tevaluacién, la respuesta comin ¢8 pandas tP=nden ded Por intentar mejoratlo, los por k 156La interfar entre la evaluacin y ls politics piblicas no llegaran a los potenciales usuarios. No obstante, con menor frecuencia todavia Ilegan los resultados a organismos que ain no conducen programas de ese tipo (por ejemplo, programas de educaci6n avanzada para personas dotadas y talentosas 0 rogramas de conservacién de energia en el hogar), pero que contemplan la posibilidad de implementarlos. Dichos grupos deberfan constituir un publico preferencial de los hallazgos de evaluacién, pero el hecho de que los reciban a menudo es cues- tidn de suerte. Cuando la evaluacién trata con politicas o programas de gran prominencia nacional, entran en juego diversos caminos hacia la vi dad. Una via comun que se utiliza en varios pai- ses es el Organo asesor de alto nivel. En Reino Unido, dicho 6rgano serfa una comisién real,'’? mientras que en Estados Unidos se instituirfa una comisién presidencial,” aunque en ambos paises hoy se emplean estos mecanismos de alto nivel con menos frecuencia que en el pasado. Muchas naciones utili- zan arreglos ad hoc para asesorar al gobierno." Becker” escribié sobre el Consejo de Educacién establecido en Alemania para asesorar cuestiones relacionadas con politicas educativas; entre sus integrantes se encontraban administradores, disefiadores de politicas y cientificos expertos. En conjunto, lograron que los hallazgos de la investigacién en educacién influyeran en temas deactualidad. Por su parte, Bulmer® analizé los érganos con- " Véanse Martin Bulmer (ed.), Social research and royal commissions, op. cit: oe Kogan y Mayron Atkin, “Special commissions and educational policy in USAand UR”, en Stephen Anderson y Bruce Bile (cds), Knowle for pole 9 Improving education through research, Falmer Press, Londtes, 1991, pp. 208-275. «8 Mitra Komarovsky ed), Sociology and public policy: Teese of pre "s\cammisions, Elsevier, Nueva York, 1975. éase Viviann Gunnarson y Marja Lemne, “Can government commissions serve all ommissic Mesing Aupose?”, documento presenta en la European Evaluation Society He o 5 coung Umut Becker, “The case of Germany: Experiences from the education 7 amen Husen y Maurice Kogan (eds.), Educational research and policy: B He, Pergamon Press, Oxford, 1984. tulmer, Social science and social policy, Allen and Unwin, Londres, 196 Martin B 157Carol H. Weiss sultivos como arzeglos con los cuales os "entiicos soci rofesionales se han integrado, en parte, a las élites de Politicas ie Gran Bretafia’.* Mediante esos Srganos, el gobierno mo. viliza competencias para recomendar medidas apropiadas el Ambito de las politicas.** Cuando se incluye a los evaluadg. res en los comités consultivos, los debates se enriquecen con sus conocimientos. En ocasiones, otros expertos se encuen- tran al tanto de hallazgos de evaluaciones y los comunican a los comités. Con el fin de crear amplio consenso respecto aks propuestas de politicas promovidas por un érgano asesor, gobiernos llegan a incluir representantes de organismos gy. bernamentales, de la legislatura, la industria, los trabajadores y la educacién superior, entre otros. Por ello, el anilisis delos hallazgos de evaluacién dentro del comité se puede diseminar también entre esos grupos. Los consultores constituyen otra posible fuente de conocimientos derivados de la evaluacién. Las agencias guber namentales convocan a distintos expertos para que las ayuden con cuestiones dificiles sobre las politicas. Tales consultores pueden ser personal académico universitario, individuos que han establecido su Propia consultorfa, personal de empresas de consultoria y gestién o alguien conocido por su capacidad de eflexién o por la Pertinencia de sus perspectivas politicas. Al encontrarse bien informados sobre evaluaciones recientes le van consigo los conocimientos detivados de esos estudios. Numerosos paises cuentan con think ranks 0 grupos dee Pertos.¥ Creados en Estados Unidos antes que en muchos om los ibid. p. 46, ; : ” Berg = Eanes similares en el Ambito de las ciencias naturales y HOKE teil EParlamento holandés creé el Instieuto Rathenau part oe te social y el desarrollo de oj it cuestiones éic35 i piniones politicas sobre cuestiones &¢ feet Con la ciencia ya tecnologia” (J. Grin eta, Technolo or bajo). "tion: A guide”, Rathenau Institute, Den Haag, docume ** Véase National Insti 7 aio Anan ch ene 158La interfaz entre la craluacén y las pola pblicas aiss.” estos grupos tepresentan un areglo institucional que en ocasiones, produce huevos conocimientos, aunque es mis comiin que reorganicen y reunan conocimientos existentes Jos pongan a disposicién del sistema politico y dminiaattiae El trabajo que realizan los think tanks generalmente surge if encargo de funcionarios o por iniciativa de analistas, investiga dores 0 personal (0 lo puede comisionar un grupo de ce asolicitud de otros). Dichos grupos trabajan arduamente para hacer llegar sus conocimientos a Jos tomadores de decisiones, porque gran parte de su razon de ser es influir en esos circulos. En algunos casos, adoptan una perspectiva politica y realizan algo muy parecido a cabildear a favor de sus posturas; pero entre los think tanks menos interesados, el objetivo principal consiste en ayudar al gobierno a pensar con mayor profundi- dad, de forma mis critica y con base en mejor informacién que Jo observado habitualmente. Ocasionalmente, los medios de comunicacién masivos transmiten reportajes sobre alguna evaluacién notable. Quiza los periodistas se sientan atraidos a informarlo por la importan- cia de la politica en cuestibn o porque el tema de estudio tiene cobertura de otros reportajes noticiosos contemporaneos. Sin embargo, a veces la caracteristica que lleva a un estudio a apa- recer en las noticias es lo inesperado de los hallazgos, mas que la importancia de los temas tratados. Si lo que descrubre el es- tudio resulta contrario a la intuicién y desafia los supuestos del sentido comin, los periodistas podrfan ver la evaluacion como lacténica de “un hombre que mordié a un perro”.* Cualquie- ra que sea la raz6n de la cobertura en los medios, cuando la Prensa reporta una evaluacién 0, mejor atin, cuando la televi- sién la transmite, los funcionarios prestan atencién. tema queda dentro de su esfera de acci6n, tienen que prestar se Ns James Sith The iden broker: “think tanks and the viscofthe new poy ct, Free Press, Nueva York, 19913 Carol Weis (ed.), Organisations for policy tic Helping government think, sat, Newbury Fark 199%. a * Carol H. Weis y Eleanor Singer, Reporting of social science in the natio Russell Sage Foundation, Nueva York, 1988. 159unone formulard preguntas al respecty a saber. Asi, al estar enterados, que influyen en ellos. on. Ambito de las politi atencidn; la gente les ello, se ven obl igados : cuentren que los hallazgos i ro canal para entral CaS €§ ¢| Daten I aS, informal de poltticas. Quicnes se de die aun tipo de politi (particularmente, subsidios agricolas, mortalidad infantil 0 criminalidad) tienden a mantenerse en contacto por cierto tiempo. El grupo desea enterarse de lo ij. mo en noticias, datos ¢ informacion politica (quién esta favo, de qué y con cudnta determinacién), chismes. Los integrantes dela red tienden a especializarse en el tema ya provenir de diver. sos espacios: legisladores, burécratas, directores de programas, académicos, dirigentes de grupos de interés y periodistas. Cuan. do los evaluadores se integran a esas redes, cuentan con acceso directo a los debates de politicas; pueden aportar los mejores y més recientes hallazgos de evaluacién y, de hecho, frecuen- temente se espera que lo hagan. También se les puede pedir opinién profesional sobre la validez de otros estudios evaluatives de los que se han enterado. Esos contactos informales y perma- nentes constituyen el vehiculo para que las conclusiones de numerosos estudios de evaluacién se divulguen ampliamente. Impedimentos para el uso de la evaluacién Los valores de la evaluacién son ficiles de discernir, pero su?” trada al Ambito del disetio de politicas esta llena de obsticules Sin embargo, cuando logran entrar, han debido superar alg" nos de los mecanismos que transmiten una version (rune de os hallazgos: los medios 0 algtin grupo de expertos. El men” saje podria llegar distorsionado y desarreglado, despojad0 detalles y datos, y con casi todas sus credenciales y salvedades *” Hugh Heclo, “Issue N “et fe eae Executi lishment» Anthony King (el): 7 letworks and the Executive Estab ae tute, Washington, D. o aga ao political system, American Enterp®™* 160La incerfaz entre la evalua luacién y las politicas pili desgarradas, tinicamente con el tem: ap ésre, incluso, a veces con st cignifcadoorignal a intacto; y una manera u otra. 'ergiversado de Los evaluadores encuentran dificil . impide a los disefiadores de politicas meer pepe riedad a los resultados de las evaluaciones y ‘csforvan eee ible por implementarlos en decisiones futuras meet ae cas y programas. Sin embargo, “implementar los hallazpos de evaluacion” en las politicas es una tarea mas compleja de lo : Jamayoria de los evaluadores cree. que Un aspecto de suma importancia es que el disefio de po- liticas es el espacio donde convergen todas las presiones en conflicto de una sociedad. La formulacién de politicas impli- calegir direcciones y, por ello, algunos grupos quedaran en ventaja y otros en desventaja por las decisiones que se tomen. Decir “la arena del disefio de politicas” dala connotaci6n apro- piada del lugar donde se libran batallas en las que algiin equipo o interés surge como ganador. Enel disefio de politicas, la bata- llase llama “politica”; muchos intereses chocan y buscan ganar ventaja. La evaluacion puede ayudar a cada grupo —y 2 laso- posibles consecuencias de ciedad en general— a entender las distintas decisiones y las formas en que las concesiones 0 los arreglos beneficiardn sus intereses. No obstante, la evaluacion por si misma no determina la direccién del sistema como un todo. Para entender a raz6n de lo anterior, considérese lo que los estudiosos del uso de la investigacién han encontrado respecto alas maneras en que los actores de politicas la emplean. Han identificado distintos tipos de uso de la investigacion, de los sualessélo uno realiza la funcién de gula racional. Ciertamente, Ginvestigacion se puede usar instrumentalmente par ofrecer teccién a las politicas y a la practica, uso QUE generalmente faa los evaluadores. Sin embat : dar a la i a una = un uso politico, para justificar una politica eae, invest se haya establecido con base en otros argumentos: igacién también se puede usar conceptualmente (esto €s bargo, se puede 161Carol H. Weiss semejante a lo descrito como “jluminacién’) y se puede utlingy simbolicamente para transmitir una imagen 0 mensaje.» Me parece titil concebir el proceso de politicas como punto de convergencia de “las cuatro ies”. Estas son cuatro factores que interacttian para conformar las politicas ptiblicas: interese ideologias, informacién ¢ instituciones. , A menudo, los intereses son de suma importancia. Los con- tendientes buscan ganar ventaja para su causa. Por ejemplo, los intereses econdmicos desean expandir los mercados, la partici- pacin de mercado y la rentabilidad; los burécratas se interesan en ampliar el trabajo para el cual se crearon los organismos alos que pertenecen y desean aumentar su influencia, su alcance, su presupuesto y su capacidad. Varios de ellos también desean mejorar su situacién profesional, obtener el apoyo del electorz- doy ganar la aprobacién de personajes de poder. Los diseftadores de politicas obedecen también a sus ideologias, es decir, al sistema basico de valores e ideales que fundamenta su enfoque sobre los temas. Filtran sus demandas y oportunidades a través de sus creencias y preferencias; por ejemplo, incluso si se logra con éxito disminuir la transmision del vii mediante un programa de intercambio de agujas Pa drogadictos, algunos diseftadores de politicas se mostraran taf renuentes a acercarse al tema de la drogadiccién que de nin- guna manera aprobaran el programa. Es comtin que, porsus creencias y valores, se nombre a dirigentes politicos pat ciertos and policy making, Stanford Univer wit suse and abuse of social ; ng, Tans pe Books, Nuevo Brunswi wh search and public policy-making: A reappraisal, NEER-Nels0, Nevill Postlethwate, *Resarch and Ceticy Making in Education” «2c y Bruce Biddle (eds.), Knowledge for policy: Improving education 4 Imer Press, Londres, 1991, pp. 203-212; Claudio Radaelli Th 19 knowledge in the policy process”, Journal of European Public Policy 8° “peyett! 159-183; Robert Rich (ed.), Translating evaluation into polit) SAGE pan “Improving the linkage between social 15 ge policy”, en Laurence Lynn ed), Knowledge and policy: The nee tion, National Academy of Science, Washington, D. C., 1978- 162La interfaz entre la evaluacién y las polfticas pablicas cargos ¥ que se espere que acttien —y por lo general asi suce- de— conforme a sus posturas ideolégicas. ; La informacién es importante. Como mencioné, los hallaz- s de evaluacién Ilegan a una arena atestada de informacion revia sobre el tema, obtenida de todas las fuentes que conflu- nen el sistema de politicas. La evaluaciébn constituye sélo una entre muchas fuentes de informacién. Asi, cuando llega un nuevo estudio, se enfren ta a un sustrato de conocimientos esta- blecidos que se fortalecieron con base en informacién anterior. Finalmente, la institucién importa. Los disefiadores de poli- ticas funcionan dentro de organizaciones, y las organizaciones gubernamentales tienen historia, tradicién, cultura, practi- cas operativas estandar, reglamentos, presupuestos y demas. Estos elementos imponen poderosas limitaciones sobre lo que se puede y no se puede considerar. Algunas cuestiones y op- ciones estan fuera de alcance; otras deben manejarse de forma convencional. La historia institucional podria dictar de qué manera tratar un tema determinado; su resolucién “depende dela ruta”. Es decir, debido a la ruta seguida en el pasado, es imposible regresar al comienzo y empezar de nuevo. Por todas las acciones que entran en juego, lo comuin es que las politicas contintien a lo largo del sendero actual o no muy lejos de éste. Las cuatro ies —intereses, ideologyas, informacién (inclui- da la derivada de evaluaciones) e instituciones— interactuan en la configuracién de las politicas. La informacién ayuda a los diseftadores a definir sus intereses. Por ejemplo, cuando los Planificadores del desarrollo pensaban que los expertos extran- Jeros crearian las condiciones necesarias para el desarrollo de una nacién, la evaluacién demostré que la participa de hecho, la iniciativa— de las comunidades locales llevaba a tL Progreso mayor y mas sostenible. Hoy, la mayoria de los Patilicadores define sus intereses en el mbito del desarrollo oa Te eee por esa informacién. Esta ayuda a creencias pe ogias a medida que evolucionan los sistemas de ayuda g eer ar cuenta de las nuevas condiciones; también lecer las practicas de las instituciones encargadas 163(arte ee de la formulacién de politicas. Esta influencia se observa, manera mas evidente, en la adopcién de nuevas tecnologia il, en la incorporacién de Nuevos cp y, de manera mds sutil Le nocimi tos mental nocimientos en las reglas, los habit les y las cultwn, organizacionales. Cada una de has fes constituye un elementy que interactua con todos los demas, yde las adaptaciones mu- tuas emergen nuevas direcciones de politicas. Mediante tales procesos, la evidencia obtenida de la evaluacién Puede tener consecuencias de largo alcance. Estas tienen mayores Probabj. lidades de producirse cuando el conocimiento de las Ciencias sociales se ve acompafiado por condiciones sociales Propicias como movimientos politicos (el de las mujeres, por ejemplo), reestructuraciones econdmicas significativas (la globalizacién) cambios importantes en las condiciones econémicas, De ma- nera ilustrativa, se menciona que la evaluacién sobre distintas modalidades de respuesta de los departamentos de policiaala violencia doméstica tuvo gran influencia en todo Estados Uni- fiecae GA Parte al apoyo de los activistas del movimiento en limicante para i uso de la evaluacién como guia di- € acciones surge decionc Mucha desons onpniati seceleane cn momentos y lugares formales; por el cont es lan gradualmente, a medida que los funci aioe tabal doccnas de distinc a - s funcionarios trabajan 2 llevando a cabo sus responsebilidades sande cela Cipan en las decisiones, La inf id. dide pequene “ eee realizan cierra ae inidad de pequefias acciones que direcciones. Las deci ae } les permite avanzar oe repiten los comuniien es ad hoc se vuelven rutinarias Y* tablecen precedentes enviados a las oficinas en campo deprensa drigides In ua cciones Posteriores; los despleges se siente obligada a cum, i, Crean expectativas que la agen’ lit. En el proceso de su labor diat™ *' Lawrence Sherman, » Policiy ' Free Press, Nueva York, 1999) "8 domestic violence: Experiments and dilen™® 164La intrfiz entre a evaluacién y las polticas piblicas sin mucha consideracién o debate, el personal podria dejar abierto un solo curso de accién, y sdlo en retrospectiva se dard cuenta de que eso constituyé una decisién.” El proceso no con- siste tanto en fomar como en acumular decisiones; se observa comunmente en todas las grandes burocracias y descarta la po- sibilidad de usar nuevos conocimientos de manera consciente y formal. Cada actor del proceso se las arregla con el cimulo de conocimientos que ya posee y, por ello, la adquisicién de evaluaciones para ayudar a resolver problemas no aparece en escena. Otra razon por la que el uso directo de la evaluacién es relativamente poco frecuente es la falta de mecanismos que la vinculen estrechamente con el disefio de politicas. Por lo gene- ral, los gobiernos no cuentan con canales ni procedimientos institucionalizados para conectar los hallazgos de la eva- luacidn con las arenas en las que se toman las decisiones. Al escribir acerca de la investigacién sobre evaluacién en Espa- fia, Ballart® afirmé: “La utilizaci6n no se garantiza, porque las instituciones gubernamentales espafolas no han establecido vinculos institucionales que faciliten enviar la retroalimenta- cién de los resultados de las evaluaciones a los supervisores y a las partes interesadas”.™ A pesar de los esfuerzos conscientes por establecer tales vinculos en otras naciones, éstos a menudo no funcionan bien; nadie parece encontrar incentivos sélidos para mantenerlos y mejorar su funcionamiento. Una serie final de obstaculos se deriva de la propia eva- luacién. Algunos estudios evaluativos se conceptualizan y se conducen de manera deficiente, se interpretan inadecua- damente y presentan el sesgo de los investigadores. Tales Investigaciones pueden Ilevar a oscurecer en vez de iluminar; No ofrecen orientacién adecuada para acciones subsiguientes. me (Carol H, Weiss, “Knowledge creep and decision accretion’, art. cit., pp. 381- » Xavier Ballar, “Spanish evaluation practice versus program evaluation theo- Evaluation, i ry * Bid. p. oe 4, nim, 2, 1998, pp. 149-170. 165‘Carol H. Weiss 5 ncionarios no siempre pueden distinguir un by, Como los funcionart . aleunos llegan en io de uno de mala calidad, algunos Hegan a sentir recg. oe ‘ls evaluacion, Orra crit prevalente afirma que la es deaciin puede ex: minar el sistema iia y revelar h situacion encontrada, pero a menudo no tiene la capacidad sy. ficiente para proponer soluciones al problema. Al escribir sobre Alemania, Becker mencioné que los funcionarios no tie. nen mas remedio que usar su “imaginz cin. constructiva”." Por otra parte, algunas teorias de ciencias sociales no cuentan con fundamentos adecuados; de manera retrospectiva, Leeuw re. vis6 teorias sobre politicas expresadas por un comité experto de alto nivel respecto a la delincuencia juvenil en Holanda. Encontré que sus eruditas teorias sobre las causas de la delin- cuencia juvenil y las intervenciones apropiadas carecian de soporte empirico para muchos de sus elementos. Ademis, los cientificos sociales no adoptan una postura del todo neutral y distanciada en su trabajo; de este modo, incorporan sus pro- Pios conjuntos de sesgos a la investigacién, que son producto de sus experiencias y creencias personales y, a la vez, de los espa- Gios institucionales en los que se desenvuelven. Se pueden emitir y se han emitido mas criticas sobre los sin embargo, ésta constituye, en él nte sobresaliente de conocimientos ompara con la mayorfa de las otras fuentes tran al ambito de las politicas. Los evaluadors defectos de la evaluacién; mejor de los casos, una fuer en especial si se c del saber que ent estan comprom: KY theories, knowledge ion, and evaluat » knowledge utilis, d evaluatic wale In ige utilisation, Ms ‘ational Journal of Knowledge Transfer. 0"! 1664a lower entre la evauaciony ls politics pbs Diferencias en la influencia de la evaluacién observadas en distintos Patses Se ha escrito muy poco sobre la relativa teceptividad de dis- tintas naciones a la influencia de la evaluacién, Sin embargo, resulta patente que Estados Unidos ha demostrado partie apertura a la evaluacién, incluso a falta de muchos datos com- parativos. Los paises de Europa Occidental han seguido esa misma tendencia, aunque més tardiamente, y nose puede afir- mar que el uso de la evaluacién en esos paises haya sido un calco de la experiencia estadounidense. Cada nacién tiene su propia tradici6n histérica que ilumina y enriquece las experien- cias obtenidas de la evaluacién después de la Segunda Guerra Mundial. Por otra parte, paises como Brasil y Polonia Parecen haber mostrado menor interés en vincular la evaluaci6n y otras formas de las ciencias sociales con el proceso de formulacién de politicas.” éQué condiciones nacionales promueven la aplicacién de laevaluacién en el quehacer gubernamental? Formulo algunas hipétesis sobre las condiciones que motivan el uso de la investi- gacidn en el disefio de politicas. 1. Un sistema democratico. Aparentemente, la democracia tiende a resultar mas propensa al uso de la investigacién y la evaluacion que los sistemas autoritarios. En una demo- cracia se observan mas actores involucrados en establecer € influir en las politicas; el sistema es més accesible para recibir ‘Nsumos del exterior y cuenta con mis actores disponibles Para fungir como intermediarios entre los evaluadores y los tomadores de decisiones gubernamentales. En un sistema *Utoritatio, las Politicas se cuidan con mayor intensidad, y la vide A sus lugares mis sagrados se permite a menos indi- - Es posible imaginar un sistema politico en el que un > “rerio 8°! a, Social sciences and madern sates: National experince and ‘esraad:, Cambridge University Press, Cambridge, 1991. 167Carol H. Weiss gobernante autoritario crea firmemente en la evaluacién y base muchas de sus decisiones en sus resultados, pero, hasta donde sé, ese tipo de sistema nunca ha visto la luz del dia, 2. Un sistema politico competitivo. Como corolario, la compe- tencia politica parece favorecer el uso de la evaluacién, En lugares donde un solo partido ejerce control casi total, como los casos de México y Japon hasta la década de 1990, los gobiernos parecen tener menos incentivos en recurrir ala evaluacion para obtener informacién y reflexiones o para justificar politicas ya formuladas. Si no hay competencia, el partido en el poder probablemente no vea la necesidad de mantenerse al tanto de los tiltimos avances intelectuales, 3. Descentralizacién de las politicas. De manera similar, la eva- luacién parece tener mayor oportunidad de influir en las politicas cuando el control gubernamental sobre éstas no se encuentra centralizado sdlidamente en los érganos de alto nivel. Cuando hay més centros (0 “descentros”) de poder, son més los ofdos que escuchan y los ojos que leen. Como consecuencia, surgen mas posibilidades de acceder a los re- sultados de la evaluacién. Esas tres condiciones se refieren a un solo constructo, es decir, a laapertura del sistema a la evidencia y los argumentos. La evalua- cidn tiende a florecer donde existen multiples puntos de acceso en el sistema de politicas, y la permeabilidad de éste parece cons- tituir una caracteristica importante de los regimenes en los que se utiliza la evaluacién. Esta, sin embargo, no puede producit cambios por si misma; deben prevalecer otras condiciones. Por ejemplo, se necesita una comunidad de evaluacién activa en él otro extremo del canal de comunicacién, para enviar mensajes que lleguen a su destino. Mds sobre esto a continuacién: 4, Laespecializacién funcional podria facilitar la entrada de la evaluaci6n en la arena de politica. Cuando los disefiadores de politicas son expertos especializados en lo sustancial d¢ sus temas, tienden a asociarse en el transcurso de su trabaj 168[La inverfx entre la evluacén y ls polices pblicas con otros expertos en el tema mediante diversas redes. De ser asi, serd posible que se enteren de los hallazgos mis recientes de evaluaci6n de primera mano o por intermedia- rios. Su misma inmersién tan prolongada en lo sustancial del tema también los expondré a los conocimientos y a las reflexiones oftecidas por la evaluacién. Por otra parte, quiz los expertos lleguen a depender mas de su experiencia personal que de los estudios de los eva- luadores: han estado en el campo, saben qué sucede, creen entender los fenémenos mejor que los evaluadores, quie- nes sélo de vez en cuando incursionan en el mundo real. Las investigaciones que llevé a cabo sobre politicas de salud mental y sobre tratamiento del alcoholismo demostraron que cuanto mis tiempo habia trabajado el disefiador de po- liticas en el campo, menos se interesaba en “mantenerse al tanto” dela evaluacién. Formacién académica y profesional de los disefiadores de politicas. En muchos paises, los altos mandos del poder se encuentran saturados de abogados. Lo mismo sucedié por generaciones en muchas naciones europeas.”® Sélo recien- temente el balance empezé a cambiar. Los estudiantes de derecho aprendieron una mentalidad diferente a la impar- tida en ciencias sociales; para ellos, lo que cuenta son los precedentes, el lenguaje y la intencidn de los estatutos. En cambio, consideran menos crucial la evidencia empirica. El prestigio profesional también puede influir. El dere- cho precede por siglos al surgimiento de las ciencias sociales. Ademés, en numerosos circulos, en particular entre los pro- Pios abogados, el derecho tiene mucho mayor prestigio que los campos arribistas de las ciencias sociales y de la es- Pecialidad en evaluacién. Muchos disefiadores de politicas con formacién en derecho ven pocos motivos para tomar lecciones de los recién legados. En cualquier escenario donde el derecho constituye la profesién dominante de los “Idem, 169Carol H. Weiss legisladores y de los funcionarios piblicos de alto nivel, las ciencias sociales no parecen prosperar del todo. Es probable que otras profesiones auguren un dest. no todavia peor para la evaluacién. Tal puede ser el caso de los gobiernos que se encuentran en manos de militares, proletarios u otros actores que exhiben timidamente una ac- titud antiintelectual. En ellos, probablemente sucumbir4 la esperanza de que la evaluacién ejerza su i influencia. Por otra parte, donde los actores del dmbito de politicas exhiben formaciones de diversas disciplinas, incluidas las ciencias sociales, mejoran las oportunidades para la evaluacién, Cuando los cientificos sociales cuentan con una represen- tacién importante, ademds de generarse apertura hacia los hallazgos de evaluacién, también se ofrece cierto grado de sofisticacién de sus datos y métodos. Esto suele conllevar una revisi6n inteligente y critica de la evidencia obtenida. . Hasta este punto, he hablado sobre la parte “receptora” en el proceso de comunicacién. Sin embargo, para que haya un didlogo entre los actores del ambito de las politicas y los evaluadores, alguien debe colocarse en la parte de la “trans- misién”. Se necesita una préspera comunidad de ciencias sociales 0, mejor atin, varias comunidades. En la mayoria de los paises, esto significa contar con un sistema universitario dindmico y acogedor con las ciencias sociales. Nétese que el requisito consta de dos elementos: universidades fuertes ¥ departamentos de ciencias sociales pujantes dentro de las universidades. A menudo, en algunos paises, el régimen s° mostraba hostil a las universidades, porque a lo largo de la historia éstas representaban el espacio de los estudiantes de ee Profesorado opuesto al gobierno en el poder ‘ munistas, el régimen se oponia en ocasiones reas Saige. sociales empiricas, porque sus tradiciones filosofeen imenazaban con cuestionar y menoscabat sae que se fundamentaba el régimen. alas ciencias sociales. Algunas vee 170 a a am ee‘Ba Intertar entre la evahuacitin bs pois riba tal antagonismo refleja la i institucién y de los any deceterdeparamena dela tran decididos a retener su hegemonia coke ri se encuen- Sin embargo, donde existen depanarmeneas a universidad, ciencias sociales activos y enérgicos, se eden eerete i gque pueden clegir la profesién de la evaluacian. ere pliamente, se forma a socidlogos, economistas, polite ae antropologos. etc., que comprenden los conceptos ee rramientas de la evaluacién. Sin importar si mas adel : entrarin al gobierno o permanecerin dentro del “puiblico i formado”, seran capaces de proporcionar una extensa base de conocimientos y de apoyo para la empresa de la evaluacién. Una precondicién necesaria para la evaluaci6n y para que la utilice el gobierno es la disponibilidad de un grupo de buen tamano de cientificos sociales interesados en condu- cir investigacién orientada a la formulacién de politicas. La evaluacién prospera donde existe una masa critica de cienti- ficos sociales comprometidos con el trabajo empirico, y no sélo con la formulacién tedrica abstracta. Necesitan mostrar mayor empefio en comprender los fenémenos sociales que en promover una agenda ideolégica; no deben ver al go- bierno como enemigo. Para influir en el disefio de politicas, las disciplinas deben considerar la oportunidad de colaborar con funcionarios gubernamentales y creadores de politicas como un estilo de trabajo gratificante y de utilidad social. En los paises donde existan tales condiciones, la evaluacion ejercerd mayor influencia. Una circunstancia pa nibilidad de diversa tabajen en estudios gran variedad de actores, los funcionari el grupo de evaluadores que, en SU opinion, Mejor calificado para la labor que requieren- . Instituciones que reducen la brecha entre la academia Y e Bobierno, Sabatier y Jenkins-Smith han sido muy persuast- 0s sobre la importancia de un “foro de politicas” que ean? rticularmente buena es la dispo- nizaciones de investiga sn que I disento de politicas. Con jos pueden elegir se encuentra i771eet funcionarios periddicamente.” En paises donde bo tales foros, hay también instituciones id Yo. didlogo. Idealmente, el foro deberia ser de suficiente prestigio para que diferentes grupos de actores deseen participars también deberia ser lo suficientemente profesional para que las pautas generales exijan que la aten. cidn se centre sobre la evidencia. Las prestigiosas comisiones consultivas de largo plazo son ejem plo de este tipo de foros lidad. El avance del uso de las eva- 9. Un clima de raciona Juaciones se lograria con una cultura que valorara ¢| comportamiento racional, especialmente en el gobierno. En paises donde el publico supone que Jas politicas se formula- ran en respuesta a una cuidadosa revision de los problemas existentes, y después de un andlisis exploratorio de soluciones alternativas, se vuelve reglamentario depender de las cien- cias sociales. Sin importar la deficiencia con que las acciones gubernamentales cumplan con Ja norma, los funcionarios sentiran motivados, por lo menos, a llevar a cabo el proceso necesario para consultar la evidencia derivada de la inveso- cién. Durante ese trayecto, podrian encontrar que baa recibido la influencia de lo revelado por la evidencia 10. Naturaleza de los temas de la agenda de politicas- Aparea temente, dos caracteristicas de los temas relacionados 6° la formulacién de politicas permiten que estos reciban fluencia de la evaluacibn. En primer lugas, los evaluador> tienen que haber trabajado el tema en cuestion * Pots tanto, deben contar con datos, anilisis y retlexion® con que contribuir. Los temas que estin fuera de su a cul pe eee saad iencia en evaluacién no son buenos candidacos pat esta influencia, | oe func” aanalistas y se llevan a cal siones para el cineca, En segunda asunte debe narios; cua f jones entre la sociedad ni entte los © cuando iz lo los temas son extremadamente > os intereses en conflicto han revelade ns que? ® Paul Sabatier y Hank Jenkins-S Aw s i A wocacy coalition approach, West oe a ret Policy change and learnt v21a interfa entre la valuacién y las plitiaspibleas posturas no son negociables, se crean pocas oportunidades para que la evaluacién influya. En su defecto, en temas que tengan un ctimulo importante de trabajo de evaluacién, y cuando las funcionarios no se encuentren abrumados por dl partidismo o por las presiones del clectorado, habré oporty- nidad para que la evaluacién logre producir cambios. Conclusién Los evaluadores nunca sustituirdn a los disefiadores de politicas nicliminaran la politica de la formulacién de politicas. Como se mencioné con anterioridad, en el proceso de creacién de po- liticas entran demasiados elementos como para permitir que los datos determinen los impactos. Obviamente, hay situacio- nes donde los actores mds importantes llegan a acuerdos sobre qué valores preservar y qué direcciones seguir; en estos casos, slo resta determinar la mejor manera de disefiar las politicas para que alcancen sus objetivos. En tales.situaciones, los dise- adores de politicas se inclinan a usar informacién derivada de evaluaciones para mejorar la configuracién y el detalle de las Politicas. Sin embargo, como sucede frecuentemente, cuando los intereses y la ideologia arrastran a los disehadores de poli- ticas en distintas direcciones, la evaluacién no representari el clemento decisivo. Y asi deberia ser. La politica es el sistema con que cuentan las democracias para reconciliar intereses diver- Bentes y acordar concesiones que convengan a la mayoria de las Personas la mayor parte de las veces. Si los evaluadores intro- ee ae de los temas y sus preferencias al sistema, « mocracig anigue debate sobre la incompatibilidad entre la Con ae los conocimientos especializados. licass ls funcion ©, en ocasiones se favorecerian mas las oe Mervencion Prestaran mayor atencion a ha situacion: el ipo : Ls politicas que s implementaron con éxito, los oe Neficiario, que se asocian con mejores resultados, el pert sa los que se puede atender mis efectivamente, 173Carol H. Weiss los costos relativos de instaurar soluciones alternativas, entre otros factores. Los evaluadores necesitan redoblar esfuerzos lograr que se escuche su mensaje. La divulgacién es una tarea importante, ¢ informar a la totalidad de actores del mbito de las politicas, a quienes Cronbach® Ilamé “la comunidad que moldea las politicas”, no es algo que pueda hacerse en ratos |. bres. Se tiene que invertir tiempo, pensamiento y energia para influir en las personas cuyas ideas transforman las politica. In- cluso si entendemos que la evaluacién no desempefia un estelar en el drama de las politicas, tenemos la responsabilidad de comunicar la mejor informacién y el mejor andlisis disponi- bles a los actores principales. Como nos recuerda Huberman,’ dicha comunicacién deberfa ser una conversacién de ida y vuel- ta. Enella, los evaluadores deben escuchar, hablar y comprender Jas interpretaciones y las reflexiones de los disefiadores de polit- cas. Este didlogo deberia suceder a largo plazo, es decir, hacese Parte de un discurso continuo y sostenido a lo largo del tiempo. Y ahi no terminan nuestras obligaciones. Como escribio Lindblom, no sélo deberiamos comunicar lo que sabemos et las salas y en los pasillos del poder; también en las tiendas y ¢ los cafés, donde se retine la gente comin y corriente. Un pe blico informado es una base importante para el desarrollo & politicas informadas, Bibliografia Anderson, Improvi 1991, Stephen y Bruce Biddle (eds.), Knowledge for pau ing education through research, Falmet Press, Londres “Lee Cronbach etal, To ae y Bass Francisco, 1980 Ms Howard reform of programme evaluation, Joss i . yon vel Huberman, “Predicting conceptual effects in resarch ut? ales Lindh han A2eteledge in Society, vol. 2, inn. 3, 1989: PP. Sj be tng lnguiry and change: the troubled attempt 0 Maps soriety, Yale University Press, New Heaven, 1990, 174La ierfar entre a evaluaciny as plitias Bakdien, Bergliot, “The use of social science in a Norwegi ministry: As a tool of policy or mode of thinking?” aaa Sociologica, vol. 26, 1983. , allart, Xavier, “Spanish evaluation practice Becker, Hellmut, “The case of Germany: Experiences from the education council”, en Torsten Husen y Maurice Kogan (eds.), Educational research and policy: How do they relate?, Pergamon Press, Oxford, 1984. Bienaymé, Alain, “The case of France: Higher education”, en Torsten Husen y Maurice Kogan (eds.), Educational research and policy: How do they relate?, Pergamon Press, Oxford, 1984. Bradbury, Malcolm, Doctor criminale, Viking, Nueva York, 1992. Bulmer, Martin, Social science and social policy, Allen and Unwin, Londres, 1986. — (ed.), Social research and royal commissions, Allen and Unwin, Londres, 1980. Cronbach, Lee et al., Toward reform of programme evaluation, Jossey-Bass, San Francisco, 1980. Feldman, Martha y James March, “Information in organ- isations as signal and symbol”, Administrative Science Quarterly, vol. 26, 1981. Feldman, Martha, Order without design: Information produc- a and policy making, Stanford University Press, Stanford, 989. Friedlander, Daniel y Gary Burtless, Five years afters Uhe long: term effects of welfare-to-work programmes Russell Sage ; Foundation, Nueva York, 1995. ‘ tiedlander, Daniel y Gayle Hamilton, The saturation won Mmitiative model in San Diego: A five-year follow-up study, lanpower Demonstration Research Corporinons Nueva York, 1992, : Stubo,Jan-Eric, “Learning from evaluations: The Swedish Xperience”, en Frans Leeuw et al. (eds.), Can govern” 175Carol H. Weiss learn? Comparative perspectives on evaluation and organic. tional learning, Transaction Publishers, Nuevo Brunswick (Nueva Jersey), 1994. Grin, J. et al., “Technology assessment through interaction; A guide”, Rathenau Institute, Den Haag, documento de trabajo. : Gueron, Judith y Edward Pauly, From welfare to work, Russell Sage Foundation, Nueva York, 1991. Gunnarson, Viviann y Marja Lemne, “Can government com- missions serve all purposes?”, documento presentado ena European Evaluation Society Meeting, 1998. Heclo, Hugh, “Issue Networks and the Executive Establish- ment”, en Anthony King (ed.), The new American poitcl system, American Enterprise Institute, Washington, D.C. 1978. Hocking, Helen, “The impact of research on policymaking i education”, tesis, University of Tasmania, s. |., 1988. Horowitz, Irving, The use and abuse of social science: Behaviowt Eee [policy making, Transaction Books, New Brus widl : Huberman, Michael, “Predicting conceptual effects in #6 arch eee looking with both eyes”, Knowledge in Soe .2, mim, 3, 1989, : Kallen, Biicher von etal, (eds.), Social science research and pie policymaking: A reappraisal nveit-Nelson, Winds 9 oe Maurice y Mayron Atkin, “Special commissio's ht yn he USK an ORS ete education throughs a st pe lee 99. Komarovsky, Mitta (cd): gan te Loni cut! Nitta (ed.), Sociology and public policy Presidential commissions Elsevi k, 1975: Lampinen, Ostne ee sevier, Nueva York, sean public policy. w Ds a utilisation of social science T° Leeuw, Frans, Nr lublishing, Helsinki, 1992. jeah » Policy theories, knowledge utilisation, 0/ uation”, Knowledge and Pry; inl icy: Th tiond! Knowledge Transfer, vol, a 1501, ime 176a interfz entre la evaluacién y ls politica piblias Lindblom, Charles, Inquiry and change: the tro to understand and shape society, Yale" a a Haven, 1990. ° Manski, Charles e Irwin Garfinkel (eds.), Evaluating welfare ‘and training programmes, Harvard University Press, Cam- bridge (Mass.), 1992. March, James y Guje Sevon, “Gossip, information and decision-making”, en James March (ed.), Decisions and or- ganisations, Basil Blackwell, Cambridge, 1988. National Institute for Research Advancement, wira’s World Directory of Think Tanks, NIRA, Tokio, 1993. Postlethwaite, Neville, “Research and Policy Making in Educa- tion’, en Stephen Anderson y Bruce Biddle (eds.), Knowledge for policy: improving. education through research, Falmer Press, Londres, 1991. Premfors, Rune, “Research and policy-making in Swedish high- er education”, en Torsten Husen y Maurice Kogan (eds.), Educational research and policy: How do they relate, Pergamon Press, Oxford, 1984. Radaelli, Claudio, “The role of knowledge in the policy: process”, Journal of European Public Policy vol. 2, 1995. Rich, Robert (ed.), Translating evaluation into policy, SAGE, Beverly Hills, 1979. Sabatier, Paul y Hank Jenkins-Smith (eds.): faring ‘An advocacy coalition approach, Westview, Sherman, Lawrence, Policing domestic violence: Experiments Sein dilemmas, Free Press, Nueva York, 1992. . mith, James, The idea brokers: Think tanks and the rise of the "ew policy elite, Free Press, Nueva York, 1991. Ssner, Peter et al,, Social sciences and modern states: National mens and theoretical crossroads, Cambridge University iss, Ca penises 1991. twins ia e — H. y Eleanor Singer, Reporting of ‘social ae a 198g, nal media, Russell Sage Foundation, Nueva tor , Policy change and Boulder, 177Carol H. Weiss Weiss, Carol H. y Michael Bucuvalas, Social science rear decision-making, Columbia University Press, Nueva York, ‘Weiss, Carol H., “Congressional committees as users of, analy. sis”, Journal of Policy Analysis and Management, vol. 8, 1985, , “Improving the linkage between social research and public policy”, en Laurence Lynn (ed.), Knowledge and po. icy: The uncertain connection, National Academy of Science, Washington, D. C., 1978. ——.,, “Knowledge creep and decision accretion”, Knowledge: Creation, Diffusion, Utilisation, vol. 1, nium. 3, 1980. (ed.), Organisations for policy analysis: Helping government think, ssGE, Newbury Park, 1991.