CAPTULO 4 BASES CONCEPTUALES PARA EL ABORDAJE DE LA POLTICA FEDERAL DE EVALUACIN EN MXICO: UNA PROPUESTA ANALTICA

CAPTULO 4. BASES CONCEPTUALES PARA EL ABORDAJE DE LA POLTICA FEDERAL DE EVALUACIN EN MXICO: UNA PROPUESTA ANALTICA Jos Sosa30 Profesor-investigador y consultor Introduccin Este trabajo tiene por objeto analizar la forma en la que se ha articulado la evaluacin gubernamental en Mxico en los ltimos aos. Para hacerlo, parece indispensable analizar algunas premisas conceptuales que conforman el debate y que permitirn identi car las fortalezas y debilidades del caso mexicano. El texto se divide en tres secciones principales. En la primera se presentan algunos elementos conceptuales sobre la evaluacin gubernamental. Se presta atencin a tres temas: 1) los alcances que tiene la evaluacin como instrumento para el anlisis de las actividades gubernamentales, 2) los usos ms frecuentes de la evaluacin y, 3) las limitaciones de la evaluacin como insumo para la toma informada de decisiones. La segunda seccin describe los principales antecedentes de la evaluacin en Mxico. Se aborda la evolucin de las herramientas de evaluacin y el predominio de una perspectiva de control legal-jerrquico en su uso. Se discute tambin el proceso que llev a la reciente adopcin del Sistema de Evaluacin del Desempeo (SED), instrumento central de evaluacin de la administracin gubernamental del Presidente Felipe Caldern (2006-2012). En la tercera seccin se discuten las fortalezas y debilidades de la actual prctica de la evaluacin gubernamental en Mxico; presentndose a modo de conclusiones los principales hallazgos de esta re exin y que se encaminan a fortalecer lo que se denominar como la cultura de la evaluacin gubernamental. La hiptesis que subyace este trabajo es que, a pesar de que el pas ha asumido el reto de instaurar un sistema de evaluacin de alcances amplios, especialmente por lo que se re ere a la implantacin de un Presupuesto basado en Resultados (PbR), existen factores de tipo estructural (basado en la cultura burocrtica) y de carcter inercial que limitan la plena integracin de los diferentes elementos de lo que bien podra denominarse como una Poltica Federal de Evaluacin (PFEVAL). De esta manera, la hiptesis encuentra sustento en la multiplicidad de posturas y visiones que predominan el actual escenario gubernamental en Mxico y que ha limitado la convergencia y ha generado tensiones al nivel mismo de los objetivos de la poltica de evaluacin. No est de ms adelantar 30 Director General de Desarrollo Institucional de la Vida Pblica, A.C. El autor agradece el estmulo brindado por Jos Mara Ramos, Director del Departamento de Estudios de Administracin Pblica de El Colegio de la Frontera Norte para la concrecin de este trabajo, y a Blanca O. Lpez y Erika Plata Crdoba por sus invaluables aportaciones tcnicas en materia de poltica de evaluacin. 101 que, como se discute al nal del texto, se mantiene un fuerte predominio de las visiones que de nen a la evaluacin por su utilidad como un mecanismo de control jerrquico y burocrtico fundamentalmente. 4.1. El componente conceptual de la evaluacin gubernamental

Al abordar la evaluacin desde una perspectiva conceptual, surge de inmediato la necesidad de establecer un punto de partida, una primera de nicin a la que bien pueda denominrsele como bsica o esencial. Siguiendo a Grover Starling (1998: 441) en su ya clsica de nicin, la evaluacin puede entenderse como el sistemtico examen de un programa para proveer informacin sobre toda la gama de efectos de corto y largo plazos que tiene sobre los ciudadanos. Para ponerlo de forma simple, el programa est entregando los bene cios esperados? La evaluacin entonces lleva a que los decisores miren ms de cerca sus programas. La evaluacin implica, por tanto, un pronunciamiento sobre el valor de una intervencin gubernamental, desde el punto de vista de la e ciencia, la e cacia, la legalidad, la transparencia o cualquier otro criterio de desempeo (Vedung, 1997). Si esto es cierto, lo que sigue es que se ponga a prueba en los distintos mbitos en los que la evaluacin se puede aplicar en la administracin pblica, en los usos que se puede dar a la informacin que produce, y para determinar los lmites que impiden un uso efectivo de sus resultados para cualesquiera de los propsitos que podra atender. Pero antes de concretar este designio, es pertinente adelantar algunas de niciones que habrn de servir como gua y referencia analtica. En especial, es necesario analizar en qu niveles funcionales es posible realizar evaluaciones dentro de la accin gubernamental, los usos que se puede dar a la informacin generada; as como la forma en la que esta actividad de carcter tcnico se ve afectada por la lgica poltica del sector pblico. Esto ltimo resulta esencial para estudiar la forma en la que la evaluacin puede o no ser un insumo efectivo para la toma de decisiones. a) Dimensiones conceptuales de la evaluacin en el sector pblico Cualquier tipo de actividad o intervencin gubernamental es susceptible de evaluacin. En este sentido, Ospina, Cunill y Zaltsman (2004) proponen un modelo de anlisis de la evaluacin en tres niveles: de las polticas, de los programas y organizaciones, y, nalmente, de los funcionarios pblicos. Con respecto al primer tipo la evaluacin de las polticas, estos autores lo ubican en un macronivel de evaluacin y consiste en la evaluacin del gobierno como [un] conjunto de instituciones comprometidas con una serie de polticas pblicas que se han gestado democrticamente. 102 Jos Mara Ramos, Jos Sosa y Flix Acosta Por su parte, la evaluacin de programas y organizaciones, encuadrada en un nivel intermedio de anlisis o nivel meso, tendra una visin gerencial y se enfocara a valorar el desempeo de las acciones y organizaciones gubernamentales concretas en la provisin de bienes y servicios pblicos. Por ltimo, la evaluacin de los funcionarios pblicos, o el nivel micro, considerara la contribucin espec ca que cada empleado pblico realiza para cumplir con los objetivos y las metas organizacionales y de la poltica pblica en su conjunto. Si bien es cierto que estos tres niveles pueden ser considerados como elementos con lgicas y alcances de evaluacin diferentes, una adecuada valoracin de la accin pblica debera incluir una concatenacin de los tres mbitos para dilucidar las interrelaciones que existen entre la actuacin individual, la capacidad organizacional y el desempeo agregado del gobierno. Como igualmente sealan Ospina, Cunill y Zaltsman (2004): Se esperara que la evaluacin del desempeo de un funcionario (micro) estuviera referida a la manera como sus acciones posibilitan el cumplimiento de la misin organizacional (nivel meso), y que la evaluacin de las organizaciones estuviera referida a la forma como sta posibilita acciones del gobierno para implantar las polticas pblicas (nivel macro).

Esta primera identi cacin de objetos de evaluacin a los distintos niveles de actuacin pblica conforma un nivel de integracin que vincula los elementos ms generales y amplios del gobierno con la actuacin particular de cada funcionario pblico. A esta articulacin de niveles la podemos denominar genricamente como la integracin vertical de la evaluacin. Como resulta obvio suponer, esta uni cacin inicial se acompaa y complementa con una articulacin de los componentes que a cada nivel sern considerados tambin objetos de evaluacin. De esta manera se produce una integracin que llamaremos horizontal, por medio de la cual la evaluacin no se constrie al mbito estricto de una poltica, una organizacin o un conjunto de individuos; sino al conjunto de polticas, organizaciones y burocracias que conforman el as llamado Sector Pblico (Vedung, 1997: 331-361). El siguiente cuadro resume las dos dimensiones que el abordaje de la evaluacin considera. Derivado de esta conceptualizacin, tiene que establecerse el lugar central que como objeto directo de la evaluacin horizontal tiene el ejercicio del gasto pblico, que tiene que arrojar valoraciones sobre la e ciencia presupuestal agregada del gobierno. Esta doble integracin permitira conocer con mayor precisin el desempeo de la actividad gubernamental, as como la forma en la que cada uno de los agentes contribuye o inhibe el logro de los objetivos pblicos. 103 La evaluacin de polticas pblicas en Mxico Cuadro VI INTEGRACIN VERTICAL Y HORIZONTAL DE LA EVALUACIN Niveles mbitos Global-estratgica Polticas pblicas/programas Entornos sectoriales (estructura y dinmica); Financiamiento (composicin y temporalidad), e Insumos-procesos-resultados e impactos. Institucional-tctica Instituciones/organizaciones Sistemas de gestin: planeacin, comunicacin, informacin; Contextos organizativos: culturas organizativas, climas laborales, liderazgo, patrones tecnolgicos, y Vinculacin con el entorno: relaciones con OSC, empresas, sindicatos, otros gobiernos. Individual-operativa Individuos/estructuras particulares Desempeo de funciones; Desarrollo de habilidades, y Observancia de principios y valores. Fuente: Elaboracin propia a partir de Vedung (1997:113). Por otra parte, no se pueden soslayar aquellas dimensiones de la accin pblica que conforman propiamente los sistemas de gestin cotidiana. Tal es el caso de cuestiones como el clima laboral, el liderazgo directivo, los sistemas de informacin y comunicacin institucionales, los vnculos con la ciudadana en los servicios pblicos, entre otros. As las cosas, y ante la recurrente pregunta de qu aspectos de la actividad gubernamental son susceptibles de evaluacin? la respuesta sera todo y de forma conjunta (vase cuadro anterior). La estructuracin de una visin sistmica resulta fundamental para conocer cmo las prcticas en distintos niveles (desde la articulacin de los objetivos de poltica pblica, el diseo de instrumentos y

programas concretos, y la actuacin de los funcionarios pblicos) coinciden para la consecucin de los objetivos previstos. Esto no quiere decir que ante la inexistencia de algunos de los niveles propuestos pueda resultar imposible evaluar. En todo caso, ello tender a hacer limitada la evaluacin y a incurrir en la omisin de algunos aspectos que pueden ser fundamentales y sobre los que abordar ms adelante en este artculo. b) Usos posibles de la evaluacin gubernamental Una vez identi cados los distintos niveles en los cuales podra ubicarse la evaluacin gubernamental, un segundo nivel de anlisis apunta a responder la pregunta para qu se evala? Como sealan Kussek Zall y Rist (2005), 104 Jos Mara Ramos, Jos Sosa y Flix Acosta la evaluacin gubernamental no puede ser vista como un n en s misma. La informacin obtenida por medio de este tipo de ejercicios no tiene una utilidad propia si no es empleada efectivamente para la adopcin de decisiones. Sin embargo, las funcionalidades pueden ser tan diversas y contradictorias (controlar, presupuestar, modernizar la administracin, entre otros) que deben reconocerse claramente las motivaciones tcnicas y polticas que justi can un cierto tipo de evaluacin. Dentro de la literatura acadmica y prctica se pueden identi car cuatro propsitos que la evaluacin puede cumplir: 1) controlar, 2) rendir cuentas, 3) presupuestar con base en resultados y, 4) mejorar la gestin organizativa. Cada uno de los elementos antes sealados tiene implicaciones diferentes sobre la lgica y los supuestos bsicos de la evaluacin. La primera motivacin, esto es la de controlar, se asocia principalmente con los supuestos de la administracin pblica jerrquica. Bajo este esquema, la evaluacin cumple con el propsito de observar si los comportamientos de las organizaciones y funcionarios pblicos se sujeta adecuadamente a lo referido en la norma escrita y a los procedimientos reglamentarios (Peters, 1998). En este sentido, la evaluacin vinculada al control se orienta fundamentalmente al anlisis de los insumos que son utilizados dentro de la accin gubernamental con el n de identi car cualquier comportamiento fuera de la ley. As las cosas y como lo seala Peters (1998), esta visin no tiene como propsito el cuestionamiento de los mtodos (de gestin y asignacin, por ejemplo) sino el mantenimiento irrestricto de cierto marco legal administrativo. Una segunda justi cacin a la que se alude para realizar evaluaciones es la rendicin de cuentas, si se parte de una doble visin de la rendicin de cuentas, tal y como la proponen Przeworski, Stokes y Manin (1999): La valoracin de la accin pblica puede concebirse como un mecanismo e caz para fortalecer el sistema de pesos y contrapesos horizontal entre las agencias del ejecutivo y su contraparte legislativa, as como un instrumento vertical que informa a la ciudadana sobre los resultados que ha alcanzado el gobierno mediante la implantacin de polticas y programas pblicos. Cada una de estas posturas supondra alcances y formas de utilizacin de la informacin distintas. La rendicin de cuentas hacia el legislativo implica la elaboracin de reportes amplios en los que se especi que con cierto detalle el desempeo de la actividad gubernamental con el n de asegurar la informacin mnima para establecer cualquier tipo de responsabilidad poltica. A pesar del mayor grado de complejidad de este tipo de reportes (asociado principalmente a prerrequisitos legales), y como bien

se ha sealado desde la perspectiva de la rendicin de cuentas, el proceso de retroalimentacin sobre los resultados de 105 La evaluacin de polticas pblicas en Mxico la evaluacin entre el ejecutivo y el legislativo suele ser una pieza importante en aquellos programas que suelen ser polmicos (Przeworski, Stokes y Manin, 1999). Por su parte, la utilizacin de la evaluacin para el fortalecimiento de la rendicin de cuentas vertical (esto es, hacia la ciudadana) supone un mayor grado de procesamiento y tratamiento de la informacin gubernamental. El inters primario de la ciudadana es identi car elementos concretos que le permita reconocer si la actuacin gubernamental ha sido adecuada y competente en ciertos campos de su inters y, en esa medida, que permita a los individuos adoptar las decisiones que le afectan directamente (como la de nicin del combinado de bienes y servicios que est interesado o dispuesto a consumir a un precio determinado) (Bazaga, et. al., 1997). El tercer uso de la evaluacin gubernamental se relaciona con la modi cacin de la racionalidad en la asignacin presupuestal.31 Esta visin ha sido ampliamente desarrollada y difundida gracias a la superacin de los enfoques ms radicales provenientes de la Nueva Gestin Pblica (Ormond y Lof er, 1999) y la adopcin de una nueva doctrina de modernizacin de las administraciones pblicas basadas en la medicin y mejora del desempeo (Zall y Rist, 2005). Si bien es cierto que la premisa que apoya la aplicacin generalizada de este enfoque es que hay una vinculacin inevitable entre la utilizacin de la informacin sobre desempeo para tomar mejores decisiones en la orientacin del gasto pblico y los presupuestos basados en resultados, estudios comparativos estn ofreciendo evidencias respecto a la existencia de variaciones signi cativas al momento de su implementacin en diferentes pases. Como seala el estudio realizado por la OCDE (2005) en naciones que han emprendido este tipo de reformas, se pueden identi car al menos tres tipos de instrumentos diferentes que vinculan los resultados con el formato o la elaboracin presupuestal. En primer lugar se encuentra el esquema justi catorio o documental que consiste, simplemente, en adjuntar a los informes de ejercicio presupuestal los resultados de las evaluaciones. Con ello, la evaluacin puede ser utilizada para ampliar el dilogo que sobre el presupuesto y su uso se da entre los partidos y los poderes ejecutivos. Una segunda alternativa es la presupuestacin informada donde la elaboracin de los presupuestos se vincula a los resultados del desempeo 31 Una visin crtica de los alcances del modelo impulsado por la OCDE se puede leer en el trabajo de Blanca O. Lpez titulado El Sistema de Evaluacin del Desempeo de Mxico: Comentarios crticos y re exiones sobre la perspectiva internacional, de prxima publicacin en la Revista de Administracin Pblica del INAP de Mxico. 106 Jos Mara Ramos, Jos Sosa y Flix Acosta futuro o a los resultados previos de dependencias y programas. Finalmente, el tercer instrumento implementado es el del establecimiento de una frmula directa para la presupuestacin por resultados. Este mecanismo consiste en la aplicacin del gasto pblico a partir del establecimiento de resultados de desempeo medidos por medio de metas o resultados espec cos o con relacin a los resultados previos obtenidos y que las evaluaciones mostraron y valoraron (OCDE, 2005).

Como resulta obvio suponer, la relacin entre la evaluacin y la presupuestacin es completamente diferente a la que se da en el caso de la sola rendicin de cuentas o del control burocrtico a travs de la lnea jerrquica. A diferencia de estas dos ltimas, la utilizacin de los resultados como insumo del proceso presupuestario supone una evaluacin centrada en los resultados y en los impactos que ha tenido la actuacin gubernamental para la solucin de problemas espec cos o la obtencin de ciertos resultados.32 Con ello, la utilidad de la evaluacin pasa de la sola medicin del uso de los insumos, a la valoracin de los resultados que stos han generado para cumplir los objetivos de polticas y programas. Finalmente, el cuarto uso de las evaluaciones gubernamentales se vincula con la prctica frecuente de modernizacin y mejora de la gestin pblica. En contraste con los usos anteriores de la evaluacin, en este caso se propicia un uso instrumental de los resultados de las evaluaciones para nes de modi cacin de las prcticas organizativas gubernamentales. Esto puede llevar al rediseo de procesos, a la creacin de sistemas de medicin de la e ciencia y a la introduccin de tecnologas novedosas. Por otra parte, el foco de atencin de las evaluaciones centradas en este tipo de utilidad no se limitaran necesariamente en los insumos y los impactos generados, sino en los procesos internos de implementacin que conllevan a la produccin de determinados resultados. En consecuencia, las metodologas y el tipo de insumos para la evaluacin varan y requieren un trabajo de investigacin a profundidad de las dinmicas organizacionales agregadas, as como de los comportamientos y estrategias individuales que despliegan diariamente, sin soslayar la revisin de las normas, tecnologas y estructuras humanas que permiten la orientacin de las organizaciones pblicas a resultados. 32 En relacin a este viraje en el foco de la evaluacin que tiene como propsito vincularse con el proceso presupuestario se ha desarrollado una amplia literatura. Para ms informacin vase J. Kussek Zall y Ray C. Rist (2005). 107 La evaluacin de polticas pblicas en Mxico c) De la utilidad a la utilizacin: la evaluacin como un problema tcnico y poltico Como se mencion anteriormente, puede existir una gran variedad de utilidades prcticas que justi ca la realizacin de evaluaciones gubernamentales. Sin embargo, el reconocimiento de cierto objetivo (controlar, rendir cuentas, presupuestar o mejorar la gestin) no implica necesariamente su utilizacin efectiva para la toma de decisiones futuras. Este tema cobra especial inters debido a que la evaluacin no tiene un n en s mismo y debe estar acompaada de una utilidad objetiva que la justi que. Ms all del ejercicio elaborado, parafraseando a Majone, una evaluacin ofrece solamente informacin que debe ser transformada en evidencia que sustente procesos de cambio dentro del proceso de polticas pblicas (Majone, 1999). La imposibilidad de emplear los resultados de las evaluaciones futuras se debe, principalmente, a ciertos dilemas que generalmente se resuelven en la arena de la negociacin poltica u organizacional sobre aspectos metodolgicos de la evaluacin o sobre la capacidad misma de las instituciones para recibir y utilizar los resultados para cualquiera de los objetivos que se hayan planteado. En trminos generales, ello se referir a dos problemas fundamentales: en primer lugar, el problema de la medicin y el alcance de la evaluacin y, en segundo lugar, el de la insercin de la evidencia arrojada por las evaluaciones dentro del proceso poltico y las dinmicas organizacionales. La primera restriccin se relaciona con la di cultad de la medicin de los resultados o de los avances de la actividad gubernamental.

Si bien es cierto que existe un acuerdo tcito, gracias a la in uencia del enfoque de la Nueva Gestin Pblica, de que la evaluacin debera orientarse hacia la medicin del desempeo, este concepto es bastante vago y deja un amplio margen para la interpretacin. Una primera cuestin es si esta nocin debera relacionarse hacia los productos y resultados generados por el gobierno o, si debera orientarse a estudiar los impactos que la intervencin estatal tiene sobre el cambio en cierta situacin problemtica (la diferencia entre outputs y outcomes). Si el anlisis se centra exclusivamente sobre los resultados o productos (los outputs), la medicin podra resultar asequible. Sin embargo, no se podra realizar una valoracin objetiva de los efectos producidos por los instrumentos gubernamentales en un contexto social ms amplio, ya que slo se realizara una enumeracin de logros organizacionales que no cuentan con un referente social claro. Por ejemplo, es posible identi car con cierta facilidad los subsidios entregados por un programa de combate a la pobreza, incluso se puede medir la efectividad y la e ciencia con la cual fue realizada dicha labor. 108 Jos Mara Ramos, Jos Sosa y Flix Acosta Sin embargo, esta aproximacin no evaluara si los bienes entregados por el gobierno efectivamente redujeron los niveles y la incidencia de la pobreza entre la poblacin receptora o bene ciaria. Por el contrario, si se opta por enfocar la evaluacin a los impactos de poltica (los outcomes), la medicin se torna especialmente compleja, ya que requerira un aislamiento de cualquier factor contextual que pudiera incidir sobre el problema en cuestin para dilucidar la incidencia real que tiene el programa pblico evaluado. En relacin a este problema de imputabilidad, Kussek Zall y Rist (2005) sealan que esta tarea puede tomar mucho tiempo y consumir demasiados recursos pblicos, lo cual tiene como consecuencia que se torne en una labor difcil de realizar. Si se retoma el caso antes discutido, es posible reconocer que la posibilidad de aislar todos los factores contextuales (sociales, individuales, culturales e incluso geogr cos) que pudieran incidir en la persistencia de la pobreza es una labor demasiado compleja y costosa, por lo que resulta especialmente difcil comprender los efectos directos que el programa pblico en cuestin pudiera tener para resolver dicho problema. Como una posible solucin a esta cuestin, Vedung (1997) subraya que la discusin acerca de la medicin no debera empantanarse en una dicotoma resultados-impactos (outputs-outcomes), debido a que estos dos elementos muestran solamente una fotografa de los logros que est alcanzando un gobierno en un periodo de tiempo cualquiera. Resulta, por tanto, fundamental establecer una secuencia temporal amplia por medio de la cual se puedan controlar ciertos factores subyacentes que puedan explicar el cambio en la situacin problemtica que se buscaba atender y, con base en esto, reconocer el balance entre los resultados y los impactos que se han conseguido a lo largo de este tiempo. Esta postura, no obstante, muestra algunas limitaciones para la atribucin individual o colectiva de los resultados. En realidad, parece existir una tensin entre la adopcin de un enfoque a resultados de valor social y la necesidad de responsabilizar a los actores pblicos y no pblicos por la consecucin de sus impactos. Ello explica la resistencia de los funcionarios pblicos a hacerse responsables por los resultados que rebasan su rbita de competencia, para enfocarse en procesos o actividades por cuyo desempeo pueden hacerse plenamente responsables, al contar con el control de los mismos. Desde una postura ms pragmtica, y reconociendo los problemas metodolgicos que acarrean cada una de las posibles mediciones, Kussek Zall y Rist (2005) subrayan que la solucin a esta tensin se resuelve de manera primordial por medio del proceso poltico y la negociacin, que determinarn las necesidades y las

orientaciones espec cas que cada gobierno busque dar a sus evaluaciones. En buena medida esta deliberacin puede ser producto de una adecuacin de los criterios dependiendo de la utilidad que 109 La evaluacin de polticas pblicas en Mxico se le busque dar a la informacin (controlar, rendir cuentas, presupuestar o mejorar la gestin) y a las restricciones temporales y nancieras a las cuales se enfrente el gobierno. Si bien, en buena parte de los pases que han introducido una poltica explcita de evaluacin se ha observado un proceso de ajuste mutuo en la de nicin del tipo de medicin a utilizar, una cuestin que contina siendo problemtica es la de establecer mecanismos de aprendizaje organizacional y poltico que transformen en rutina la utilizacin de la informacin producida por las evaluaciones. Diversos estudios sealan cmo la prctica de la evaluacin contempornea se ha convertido en un tema recurrente en los pases, sin embargo aqulla termina por no ser utilizada a plenitud con el n para el que fue diseada originalmente (Vedung, 1997). Cuando se re ere a los dilemas de la vinculacin entre la evaluacin y el presupuesto, la falta de apego al uso ortodoxo de la evaluacin se debe a que no se ha llegado a comprender que ms all de los problemas tcnicos que supone un cambio hacia el Presupuesto basado en Resultados (PbR), la comprensin de las restricciones polticas y organizacionales resultan fundamentales para comprender el xito de los procesos de cambio gubernamental (Kussek Zall y Rist, 2005). Las inercias y las rutinas que persisten en la arena poltica y al interior de las organizaciones limitan las posibilidades de transformacin y establecen barreras efectivas a la implantacin exitosa de cualquier elemento de innovacin. Por todo ello, se debe reconocer que si bien la articulacin de esquemas de evaluacin con distintos tipos de utilidad entraan de suyo retos tcnicos y metodolgicos importantes, el dilema fundamental que restringe su posibilidad de uso futuro es la capacidad que se tenga de acompaar las estrategias de evaluacin con los incentivos adecuados que, paulatinamente, vayan favoreciendo un aprendizaje instrumental (esto es, relacionado con las prcticas de las organizaciones gubernamentales) y poltico (esto es, de los procesos de relacin entre los diferentes actores que participan en el sistema poltico). Este aspecto cultural de la evaluacin es probablemente el ms difcil de articular en el mediano plazo. Esta breve discusin acerca de las dimensiones conceptuales de la evaluacin gubernamental lleva a concluir que esta prctica es tan compleja que su adecuada implantacin en las administraciones pblicas dependen en realidad de la combinacin alternativa de tres factores: i) la articulacin de una estrategia general que garantice una integracin vertical y horizontal de los esfuerzos de evaluacin, en el sentido planteado en el Cuadro I; ii) una clara 110 Jos Mara Ramos, Jos Sosa y Flix Acosta delimitacin de los usos que se le pretendan dar a todo ejercicio de evaluacin; y iii) acompaar la poltica con mecanismos de estmulo y aprendizaje que aseguren la paulatina eliminacin de las resistencias dentro y fuera de las organizaciones burocrticas. 4.2. El desarrollo de la evaluacin gubernamental en Mxico

En Mxico el tema de la evaluacin gubernamental no fue un asunto que formara parte de las agendas pblicas, ni la institucional ni la sistmica hasta hace unos cuantos lustros. La conformacin hegemnica del sistema poltico mexicano, la estructuracin de un sistema burocrtico en la que el Presidente tena un amplio margen de discrecionalidad para el nombramiento de funcionarios pblicos dentro de la administracin pblica, y la relativa disponibilidad de recursos scales, favorecieron un esquema gubernamental cuya importancia no radicaba en ofrecer rendimientos o tener un desempeo e ciente, sino implantar aquellos programas y polticas acordes con la agenda poltica del gobierno en turno (Brachet, 1986). Si bien se pueden enumerar algunas iniciativas de evaluacin durante los aos sesenta y setenta como los intentos de controlar y evaluar las empresas paraestatales, as como ciertos indicios de evaluacin de programas con la creacin de la Secretara de Programacin y Presupuesto durante la administracin de Jos Lpez Portillo (Meja, 2005) no fue sino hasta principios de la dcada de 1980 cuando el tema comienza a cobrar alguna relevancia en el mbito gubernamental. La principal razn que motiv este cambio fue la crisis nanciera que redujo rpidamente la disponibilidad de recursos gubernamentales y oblig a adoptar medidas de racionalizacin del gasto pblico. A pesar de esto, las primeras acciones en materia de evaluacin emprendidas durante el gobierno de Miguel de la Madrid (1982-1988) se centraron principalmente en el control de la burocracia y de las prcticas de corrupcin y patrimonialismo (Meja, 2005). La creacin de la Secretara de la Contralora General de la Federacin (SECOGEF) que, en principio tena como misin la evaluacin y vigilancia del sector pblico, se limit al control legal-administrativo de las organizaciones del gobierno federal (Pardo, 2008). Durante los gobiernos de Salinas de Gortari (1988-1994) y Zedillo Ponce de Len (1994-2000), la evaluacin se mantuvo como un tema en la agenda pblica sistmica, aunque con escasos desarrollos prcticos, al insistirse en mantenerla como un medio de control burocrtico. En este periodo, las reformas aplicadas al sistema de presupuestacin pblica y el desarrollo incipiente de evaluaciones externas a ciertos programas de importancia poltica para el gobierno federal conformaron los medios principales de 111 La evaluacin de polticas pblicas en Mxico un mecanismo de evaluacin con muy limitados alcances. La renombrada Secretara de Contralora y Desarrollo Administrativo (SECODAM) hizo eco de la tradicin de control y auditora que su predecesora, la SECOGEF, implant en el sector pblico mexicano (Meja, 2005). Con la llegada del primer gobierno de alternancia en el ao 2000 (que cubri el periodo 2000-2006), la adopcin generalizada de nuevos modelos de gestin pblica de profunda inspiracin gerencial tuvo efectos importantes en los usos y aplicaciones de la evaluacin. Si bien puede pensarse que la introduccin de tecnologas de gestin fue ms bien un ejercicio poco articulado, con mltiples actores tratando de conformarse como el eje central de una modernizacin forzada; puede a rmarse que en conjunto se logr una relativa alteracin de los patrones anteriores de control y se avanz en la aceptacin de que la medicin de resultados constituye una labor ineludible dentro y fuera del sector pblico. Una de las primeras medidas instrumentadas fue la creacin del Sistema de Metas Presidenciales (SIMEP), el cual consisti en un mecanismo de concertacin directa de metas y objetivos de cada dependencia federal con el Presidente de la Repblica. A partir de las metas negociadas, cada institucin desarrollaba una serie de acciones y programas que deberan permitirle demostrar que haba alcanzado el total de sus compromisos o sus respectivas metas presidenciales.

El SIMEP cont con tres vertientes de valoracin de resultados que vendra a conformar de facto un sistema emergente de evaluacin: 1) valoracin de los resultados de operacin (en el que se medan los avances en los principales programas y actividades realizadas por la dependencia); 2) valoracin de acciones de Buen Gobierno, por medio del cual se evaluaban los esfuerzos realizados por cada Secretara para contribuir a alcanzar los objetivos de la estrategia global de la administracin y que se sintetiz en la as llamada Agenda de Buen Gobierno (Pardo, 2008), y, 3) una evaluacin de corte ciudadano que consista en la aplicacin casi irrestricta de encuestas de satisfaccin a la totalidad de los servicios y actividades gubernamentales. El propsito ltimo era incorporar opiniones de la poblacin respecto a la calidad de los bienes y servicios proporcionados por las dependencias federales (Meja, 2005). Una segunda medida relevante en materia de evaluacin implementada durante el periodo 2000-2006 fue el paulatino viraje en el paradigma de control legal que vena aplicando la SECODAM. A partir de 2003, se ampli la perspectiva de trabajo institucional en materia de valoracin de las dependencias pblicas para incluir una versin modi cada de la poltica de funcin pblica que 112 Jos Mara Ramos, Jos Sosa y Flix Acosta instancias como el PUMA de la OCDE33 y el MAP de Espaa34 popularizaron durante los aos noventa. El resultado ltimo fue la creacin de la Secretara de la Funcin Pblica SFP. Sin abandonar su papel tradicional de instancia de control normativo de la gestin pblica federal, la nueva Secretara se propuso una transformacin de los rganos de Vigilancia y Control (OVC)35 mediante la introduccin de un modelo que busc medir hasta su eliminacin en 2009 el desempeo de los rganos usando una combinacin de variable institucionales y no institucionales. El modelo fue conocido como Modelo Integral de Desempeo de rganos de Vigilancia y Control (MIDO). En el centro mismo de su concepcin e intencionalidad, el MIDO pretendi superar el uso preferente de mecanismos de control jurdico empleados por los OIC para supervisar la actuacin de cada dependencia y entidad, para sustituirlos por un esquema ms abierto en el que los resultados de la valoracin de la gestin pblica no fueran solamente la aplicacin de criterios o variables, sino un esfuerzo compartido entre la instancia de control y la instancia evaluada. De esta forma, se busc que la SFP se con gurara como un centro que evaluara el desempeo global de la Administracin Pblica Federal a partir de indicadores de en temas transversales como la reduccin de la corrupcin, el desempeo operativo de los OIC y los resultados estratgicos de cada dependencia y entidad (Meja, 2005). Desde el Poder Legislativo tambin se emprendieron algunas medidas para robustecer la estrategia de evaluacin gubernamental durante el primer gobierno de alternancia. La Auditora Superior de la Federacin ha complementado sus instrumentos tradicionales de vigilancia y revisin de la cuenta pblica federal, por medio de la inclusin de nuevos instrumentos de auditora al desempeo. Estas nuevas auditorias, conceptualmente ms cercanas al modelo de Presupuesto basado en Resultados PbR que los ejercicios convencionales de revisin de las cuentas pblicas, han servido para producir nueva informacin sobre lo que son y los resultados que obtienen los ms de mil programas que ao con ao conforman el Presupuesto de Egresos de la Federacin. A pesar de ello, y quizs por lo reducido del tiempo que llevan en 33 PUMA fue el acrnimo usado para referirse al Public Management Programme que la OCDE oper durante varios lustros y que auspici y apoy la implantacin de modelos de mejora y modernizacin administrativa diferentes al New Public Management ingls, americano y neozeolands. Vase una interesante descripcin de esta suerte de competencia entre paradigmas

administrativos en Luis F. Aguilar (2006). 34 El MAP o Ministerio de Administraciones Pblicas de Espaa constituy durante los primeros lustros de la transicin espaola a la democracia una suerte de caja de innovacin en materia de gestin. Su labor fue signi cativa en la discusin de las opciones de diseo institucional para el proceso de creacin de las Comunidades Autnomas y sus aparatos burocrticos. 35 Los rganos Internos de Control (OIC) fueron creados con la intencin de fortalecer el control legal y la rendicin de cuentas de las dependencias gubernamentales. Dichos rganos dependen directamente de la Secretara de la Funcin Pblica. 113 La evaluacin de polticas pblicas en Mxico uso, su impacto es an limitado y no han logrado desplazar a los instrumentos ms tradicionales de control y auditora. Hacia el nal de la administracin de Vicente Fox (2000-2006) se conform un esfuerzo adicional a favor de la implantacin de la evaluacin dentro del ciclo de las polticas pblicas del gobierno federal. Se trat de la convergencia de intereses y propuestas provenientes tanto del Poder Ejecutivo, como del Poder Legislativo. Este esfuerzo se bas en la idea de establecer como un requisito obligatorio para los programas y polticas de carcter social la realizacin regular y sistemtica de evaluaciones. La obligatoriedad tendra como efecto principal, pero no nico, la produccin constante de informacin que llevara a conocer mejor los efectos de la accin pblica y, como una consecuencia inevitable, a aplicar mejoras y correctivos. Adicionalmente, la constante realizacin de tales ejercicios hara necesario que actores sociales y privados se involucraran, generando un proceso ms amplio de aprendizaje y re exin evaluativa. El esfuerzo en cuestin se concretara mediante la introduccin de la nueva Ley General de Desarrollo Social en 2005, que cre el Consejo Nacional de Evaluacin de la Poltica Social (CONEVAL) con facultades tcnicas y de vinculacin amplias para disear, promover, aplicar y difundir diferentes tipos de evaluacin. El Consejo ha venido constituyndose, desde entonces, en la principal instancia de evaluacin de polticas y programas dentro y fuera del gobierno federal; si bien su mandato est limitado al campo del Desarrollo Social. Esta expansin se debe, entre otras razones, a la relativa indiferencia de las dos dependencias globalizadoras en la APF la Secretara de Hacienda y la Secretara de la Funcin Pblica para complementar lo logrado por el CONEVAL.36 4.3. Fortalezas y debilidades en el panorama actual de la evaluacin gubernamental en Mxico Con el inicio de la administracin de Felipe Caldern (2006-2012), los esfuerzos iniciados en el periodo de gobierno anterior tomaron un nuevo mpetu, el cual, no obstante, requiere ser revisado cuidadosamente pues parece existir una cierta paradoja entre un mayor uso de instrumentos de evaluacin y un fortalecimiento del control poltico de los resultados de las evaluaciones. El punto de arranque de la fase que vive actualmente la poltica federal de evaluacin tuvo lugar en los meses previos al inicio de la administracin calderonista. La aplicacin consensuada de un paquete de reformas a la Ley Federal de Presupuesto y Responsabilidad Hacendaria permiti que, una vez hecho el cambio de gobierno, se pusiera en marcha la construccin an 36 Esta situacin y los desarrollos ms recientes de la poltica federal de evaluacin se discuten en la seccin nal de este trabajo. 114 Jos Mara Ramos, Jos Sosa y Flix Acosta

inacabada del Sistema de Evaluacin del Desempeo o SED, como se le conoce comnmente. Segn lo previsto por la Ley, el SED tiene por objeto vincular, a partir de un esquema de evaluacin basado en la metodologa de Matriz de Marco Lgico (MML), la planeacin gubernamental, el diseo y la implementacin de los programas pblicos con el proceso presupuestario. En trminos formales el SED se de ne como: Un conjunto de elementos metodolgicos que permiten realizar una valoracin objetiva del desempeo de los programas, con base en indicadores estratgicos y de gestin, para conocer el impacto social y econmico de los proyectos y programas (DOF, 2008). Con ello, se asume formalmente y en trminos prcticos que la evaluacin forma parte de las actividades de gestin cotidiana y de presupuestacin de las dependencias federales. Esto, sin embargo, se mantiene como una de nicin que an demanda tanto de una apropiacin por parte de los gestores pblicos responsables de programas, como la necesidad de que sea superado el enfoque de control burocrtico en el que todava actan las instancias globalizadoras SHCP y SFP. Para el desarrollo integral de los procesos de evaluacin, previstos en la Ley, desde marzo de 2007 se ha venido conformando un instrumental reglamentario y tcnico, entendido y de nido como los elementos que tendrn que sustentar y hacer realidad las dos necesidades sealadas anteriormente: la apropiacin en el seno de los programas y las dependencias, y la superacin del enfoque de control al que an se asocia a la evaluacin. Los componentes de este instrumental son fundamentalmente los sealados en la parte central del siguiente cuadro. Cuadro VII SED, ACTORES, COMPONENTES Y MBITOS DE APLICACIN Soporte institucional Instrumentos mbitos de aplicacin SHCP Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH) Programas federales SFP Reglamento de la LFPRH Dependencias CONEVAL Lineamientos Generales para la Evaluacin de los Programas Federales de la Administracin Pblica Federal (LGEPFAPF) Servicios y Trmites Programa Anual de Evaluacin (PAE) Trminos de Referencia (TdR) Mecanismo para la aplicacin de resultados de las evaluaciones Fuente: Elaboracin propia en base a partir de documentos normativos. 115 La evaluacin de polticas pblicas en Mxico Como puede derivarse de la lectura del cuadro anterior, en trminos globales, las nuevas funciones de evaluacin recaen fundamentalmente en las dos dependencias globalizadoras de la APF, ms en el

CONEVAL como instancia tcnica legal para los programas de desarrollo social, y como instancia tcnica de facto para el resto de los programas y polticas. Esto es as, debido principalmente al hecho de que el SED se encuentra an en una fase muy temprana de implantacin y ha dependido de los desarrollos conceptuales y tcnicos que el CONEVAL ha venido haciendo como parte del mandato original que le da la Ley General de Desarrollo Social y no tanto del SED. A esta situacin han contribuido tambin otros factores que afectan principalmente a la SHCP y a la SFP. En el caso de la instancia hacendaria, el desarrollo pleno de sus capacidades dentro del SED se ha visto afectado por las fuertes presiones y cargas de trabajo que derivan de la instrumentacin del Presupuesto basado en Resultados PbR que emana tambin de la Ley de Presupuesto y por las reformas adoptadas en el campo de la contabilidad gubernamental. En el primer caso, aunque se han dado avances signi cativos en la modi cacin de los instrumentos presupuestarios a nivel central, queda an una larga lista de acciones previas antes de que se pueda considerar plenamente instalado y en funcionamiento (OCDE, 2009). Por lo que se re ere a las modi caciones al sistema de contabilidad gubernamental, la aprobacin de una ley espec ca en la materia (DOF, 2008b), que recoge las nuevas modalidades y acuerdos internacionales para el registro y sistematizacin del gasto pblico, ha requerido que la SHCP ofrezca apoyo y acompaamiento tcnico no slo a las dependencias y entidades federales; sino tambin a los 31 gobiernos estatales y al del Distrito Federal. A pesar de estas condiciones complejas, la SHCP ha asegurado la publicacin y aplicacin de los Programas Anuales de Evaluacin 2007, 2008, 2009 y 2010; contando con el liderazgo tcnico y operativo del CONEVAL, como se explica ms abajo. Estos programas anuales han incidido en un nmero signi cativo de sectores de la Administracin Pblica Federal, incluido obviamente el del Desarrollo Social. De igual forma, la SHCP ha conseguido que la mayora de los ms de mil programas federales que cuentan con recursos presupuestales cuenten ya con una Matriz de Indicadores para Resultados (MIR) a la que se asocian indicadores de proceso e indicadores de resultados por ejercicio scal. Estn pendientes an los mecanismos que permitan asociar positivamente las matrices con los resultados de las evaluaciones y con la asignacin efectiva de gasto. En el caso de la Secretara de la Funcin Pblica, el factor principal que ha limitado su efectiva capacidad de respuesta es lo que diversos analistas han 116 Jos Mara Ramos, Jos Sosa y Flix Acosta denominado como una vuelta al manejo poltico y discrecional de las ins- tancias tcnicas.37 Debe recordarse la abierta oposicin del entonces Secretario de Energa, Felipe Caldern, a la implantacin del Servicio Profesional de Carrera (SPC) durante la segunda mitad del sexenio del Presidente Vicente Fox. Una vez que Caldern asumi la Presidencia, inici el desmonte de los instrumentos tcnicos y la relajacin de las facultades de la SFP, para dar paso a un manejo discrecional de los puestos pblicos y de los mecanismos de control y auditora. En esta labor, cont primero con el trabajo de Germn Martnez, primer secretario calderonista de la Funcin Pblica; y luego con Salvador Vega Casillas,38 quien sucedi a Martnez, una vez que ste concret su eleccin como Presidente del Partido Accin Nacional. Las acciones concretas que substancian esta mutacin fueron, entre otras de menor relevancia, la eliminacin del Servicio Profesional de Carrera en los rganos de Control y Vigilancia, la ampliacin casi absoluta de los criterios

de libre designacin para los puestos que forman parte del SPC, y la contencin de acciones correctivas y punitivas en casos de probable corrupcin como lo fueron las investigaciones la familia Mourio, y el uso poltico y patrimonial del PROCAMPO. En el campo del desarrollo normativo e instrumental del SED, aun cuando la SFP cre en abril de 2009 la Unidad de Evaluacin de la Gestin y el Desempeo Gubernamental (UEGDG), su papel se ha limitado a la rati cacin de los instrumentos y propuestas que emanan, ya sea de la SHCP, o del CONEVAL.39 Este ltimo ha fungido, en trminos legales y tcnicos, como la principal instancia generadora de condiciones y medios para la paulatina expansin del SED y la eventual adopcin de la evaluacin por parte de las dependencias y entidades de la APF. La SFP ha sido omisa en su participacin en el desarrollo de los indicadores de gestin o de proceso previstos en la 37 Al respecto, vase el interesante debate que ha surgido en medios acadmicos y periodsticos en torno a la paulatina destruccin del per l tcnico de la SFP y su recon guracin como un mecanismo de control poltico, de proteccin y salvaguarda de los intereses del partido en el gobierno, y de asignacin de cargos a partir de la lealtad al Presidente y a su partido. En especial, destacan las opiniones vertidas por analistas como Mauricio Merino y el debate incluido en la Revista Buen Gobierno, nmero 9, julio-diciembre de 2009. 38 A Salvador Vega Casillas se le atribuye la clebre frase: El gobierno es ese largo y aburrido periodo que hay que esperar entre una eleccin y la siguiente y que ha servido para explicar las continuas designaciones de militantes del Partido Accin Nacional en puestos tcnicos, dentro y fuera de los rganos de Control y Vigilancia. Vanse al respecto las opiniones vertidas en la prensa nacional durante noviembre de 2007 y mayo de 2010 en diarios como El Universal, Reforma, La Voz de Michoacn y La Crnica de Hoy. 39 Tal es el sentido de la labor de la SFP, segn lo manifestado en entrevistas en profundidad por diferentes servidores pblicos federales, responsables de la administracin de programas y que sealan la prctica ausencia de la Unidad de Evaluacin de la Gestin y el Desempeo Gubernamental (UEGDG) en los procesos de diseo, aplicacin y revisin de las evaluaciones contenidas en los diferentes Programas Anuales de Evaluacin. 117 La evaluacin de polticas pblicas en Mxico LFPRH y no ha participado en la integracin y mejora continua de las MIR de los programas federales que reciben recursos presupuestales. La labor del CONEVAL en el desarrollo del SED debe ser entendida como una aportacin signi cativa a la creacin y puesta en marcha de la poltica federal de evaluacin de Mxico. Como ya se indic anteriormente, el impulso inicial que este Consejo dio a la prctica de evaluacin, producto directo del mandato establecido en la Ley General de Desarrollo Social, se ha mantenido como la principal lnea de desarrollo tcnica y operativa. Si bien el CONEVAL no es la nica instancia con facultades y mecanismos efectivos de evaluacin, a diferencia de lo que hacen dependencias como el Instituto Nacional de Evaluacin de la Educacin, el Instituto Nacional de Ecologa, la Unidad de Planeacin y Evaluacin de Polticas Educativas (UPEPE) de la SEP y las diversas direcciones generales insertas en algunas secretaras de Estado; su enfoque e impacto no se limita a cuestiones sectoriales. El CONEVAL, en apego a su de nicin estratgica inicial, ha ido asentando las bases conceptuales, discursivas, tcnicas y procedimentales de una poltica integral de evaluacin. Los informes anuales que presenta sobre la evaluacin de la poltica de desarrollo social en Mxico contienen anlisis y resultados que van ms all del campo social. Con igual sentido e intensidad, los diseos de los modelos de evaluacin40 espec ca de desempeo, estratgica, de procesos, de resultados y de impacto por

sealar las principales conforman una base slida que se va consolidando ao tras ao. Como un rasgo positivo adicional, una parte signi cativa de las evaluaciones han sido realizadas por investigadores independientes, universidades, empresas de consultora y organizaciones civiles, contribuyendo as a la socializacin de la evaluacin. No obstante todos estos elementos de avance y progreso, como el propio CONEVAL reconoce, sus desarrollos an no alcanzan a todas las dependencias y programas federales. Re exiones nales A partir del esquema de operacin vigente del SED, someramente descrito en las pginas anteriores, se pueden extraer algunos elementos de re exin sobre el futuro de la Poltica Federal de Evaluacin de Mxico. En primer lugar, y an cuando resulta difcil a rmar que Mxico cuenta ya con una poltica de evaluacin rmemente asentada y en pleno funcionamiento, los desarrollos identi cables deben ser tenidos como pasos rmes hacia la conformacin de prcticas sistmicas e institucionales en la materia. Esto es especialmente relevante si se toma en cuenta la alta probabilidad de nuevas 40 Los modelos se basan en los Trminos de Referencia (TdR) elaborados por el CONEVAL y que se pueden consultar en su sitio virtual http://www.coneval.gob.mx/evaluacion.html. 118 Jos Mara Ramos, Jos Sosa y Flix Acosta alternancias partidistas en el gobierno federal y en la mayora de los gobiernos estatales para los prximos aos. La consolidacin de las evaluaciones podra servir como un freno a cambios de orientacin en las principales polticas y programas federales. En segundo lugar, y haciendo referencia espec ca a los aspectos instrumentales del SED, la experiencia mexicana se basa en el uso de instrumentos nor- mativos de aplicacin general que resuelven de entrada algunos de los con ictos y tensiones ms frecuentes en la implementacin de este tipo de innovaciones; tales como la falta de cooperacin por parte de los ejecutores de programas, o la resistencia al cambio que puede darse al nivel incluso de los usuarios o bene ciarios. Por tal motivo, parece conveniente mantener el ritmo y la intensidad en el desarrollo y perfeccionamiento de los instrumentos de aplicacin. En tercer lugar, de mantenerse el ritmo actual de implementacin del SED, es factible considerar que Mxico se mantendr a la vanguardia entre las economas latinoamericanas, en trminos de una adecuada modernizacin de su sistema de programacin-presupuestacin. Sin embargo, ello sera ampliamente insu ciente si lo que se pretende es alcanzar es un sistema de evaluacin que permita conocer y valorar los impactos de la accin pblica y no slo sus costos. De ah que parezca pertinente que se adopten decisiones de carcter tctico y operativo que recompongan y relancen la construccin de la poltica federal de evaluacin. Entre las ms relevantes se pueden mencionar las siguientes: La primera accin de gran relevancia para la consolidacin del SED pasa por la consolidacin del nivel estratgico de actuacin. Utilizando la construccin conceptual indicada en el cuadro I de este trabajo, para que se puedan sentar las bases conceptuales y los procesos generales es fundamental que todos los actores que tienen responsabilidad a este nivel asuman plenamente sus funciones y actividades. Esto implica que tanto la SHCP como la SFP hagan a un lado los problemas y restricciones que han venido limitando su participacin y complementen lo que el CONEVAL ha venido haciendo, incluso ms all de sus funciones explcitas.

En tal sentido, parece indispensable que la SHCP conforme una unidad administrativa que se haga cargo de estas funciones, para distinguirlas de las que tienen que ver con la poltica presupuestaria y su control. En el caso de la Funcin Pblica, es deseable se recupere la vocacin tcnica y cooperativa que el marco legal le atribuye y atienda las mltiples demandas de acompaamiento y asesora que las dependencias de la APF le estn planteando, dentro y fuera de la operacin de los rganos de Vigilancia y Control. 119 La evaluacin de polticas pblicas en Mxico La segunda accin pasa por el nivel tctico del esquema conceptual y se re ere a un mayor involucramiento de las dependencias y entidades pblicas. Pero a diferencia de lo que debe ocurrir con las globalizadoras y el CONEVAL, el SED debe desagregarse a partir de la comprensin de su funcin y utilidad dentro de cada poltica sectorial e institucional y no a la inversa como ha venido sucediendo. Slo en la medida en que se asuma y haga explcito que el SED es un recurso y un medio para mejorar la gestin sectorial y el desempeo institucional, y no un factor de control y manejo restrictivo del presupuesto, se podr avanzar en la apropiacin de las evaluaciones y de sus resultados por parte de los funcionarios de los niveles alto y medio de cada dependencia. Por ltimo, pero no menos importante, es necesario que ocurran actuaciones concretas en el nivel operativo del esquema conceptual para promover un mayor grado de conciencia individual respecto a la funcin social de la evaluacin. Hasta antes de que la SFP decidiera anular la plena vigencia y desarrollo del Servicio Profesional de Carrera, algunas acciones de capacitacin y sensibilizacin en torno a la evaluacin del desempeo individual haban servido para generar los primeros referentes o anclajes de una cultura de evaluacin. A partir de tal anulacin, se hace ms necesario que al interior del SED se promuevan acciones vinculantes que, tal y como sucedi en dcadas anteriores con la adopcin de otras innovaciones y modernizaciones del sector pblico, produzcan la interiorizacin de los valores y nes de la evaluacin como una prctica socialmente til. 120 Jos Mara Ramos, Jos Sosa y Flix Acosta CAPTULO 5 EVALUANDO LA POLTICA SOCIAL Y EL DESEMPEO DEL GOBIERNO EN MXICO: TENSIONES Y DIFICULTADES INSTITUCIONALES

CAPTULO 5. EVALUANDO LA POLTICA SOCIAL Y EL DESEMPEO DEL GOBIERNO EN MXICO: TENSIONES Y DIFICULTADES INSTITUCIONALES Flix Acosta Profesor-investigador Presentacin La evaluacin de los programas y las polticas pblicas tiene como objetivo principal brindar una descripcin detallada del diseo, la operacin, la gestin, los resultados y el desempeo de dichos programas y polticas. Evaluar un programa social o una poltica hace referencia a una etapa fundamental dentro de una parte del proceso de gestin gubernamental, proporcionando insumos tiles para tomar decisiones presupuestales, as como para juzgar la e cacia y por ende, la permanencia

o la necesidad de cambio o remocin de un programa gubernamental o de una poltica pblica; en consecuencia, existe un amplio consenso sobre la conveniencia de evaluar regularmente las acciones de gobierno, con el propsito de conocer si estn o no cumpliendo con los objetivos que justi can su existencia y los recursos pblicos que se destinan a ellas. La evaluacin de los programas sociales contribuye tambin a impulsar el progreso del conocimiento cient co acerca de los problemas que enfrenta el pas y constituye en una herramienta fundamental en la gestin del gobierno en materia de desarrollo social; asimismo, la evaluacin de la poltica social permite obtener evidencia contrastable y objetiva sobre la congruencia entre el diseo, los componentes, los procesos, los resultados y los impactos de los programas sobre el bienestar de la poblacin. La evaluacin, adems de pro- porcionar dicha evidencia sobre la e cacia y los bene cios derivados de un programa social, tambin fortalece la rendicin de cuentas del gobierno, ya que los contribuyentes pueden conocer en qu se traduce el pago de sus impuestos de manera clara y precisa. En Mxico, los primeros antecedentes de la evaluacin de la poltica social se remontan apenas a la segunda mitad de la dcada de los noventa, en la que se realizaron las primeras evaluaciones al programa PROGRESA (Wodon, et. al., 2003 y IFPRI, 2002), pero sin llegar a constituirse en una prctica regular, normada y sistematizada de la evaluacin de la poltica social. Los primeros ordenamientos sobre evaluacin se adoptaron en 1999, cuando el Congreso de la Unin introdujo en el Decreto de Presupuesto de Egresos de la Federacin, los primeros lineamientos de lo que constituira en una prctica sistemtica de 123 la evaluacin de la accin del gobierno en materia de programas que utilizan fondos pblicos. Posteriormente, en el ao 2002 se emiti el Acuerdo de Requisitos Mnimos que estableca algunos elementos que necesariamente deban contener las evaluaciones externas de los programas del gobierno federal. Con la publicacin de la Ley General de Desarrollo Social (DOF, 2004), se establece ya nalmente la estructura institucional que sirve de base a la evaluacin de los programas y la poltica de desarrollo social, al crearse entre otras instancias el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL), un organismo pblico descentralizado, con personalidad jurdica, patrimonio propio, autonoma tcnica y de gestin, y que tiene como objetivos medir la pobreza a nivel nacional, estatal y municipal por un lado, y por el otro, a normar y coordinar la evaluacin de la poltica de desarrollo social, as como las acciones, los programas y las polticas que ejecuten las dependencias y entidades pblicas (DOF, 2005). Sin embargo, mientras que la LGDS sienta las bases institucionales para la evaluacin de la poltica social con un enfoque muy sustantivo, otro ordenamiento legal, la Ley Federal de Presupuesto y Responsabilidad Hacendaria (DOF, 2006), asocia la evaluacin de la poltica social y por ende, una parte importante de las tareas y responsabilidades del CONEVAL a un propsito mucho ms espec co, la construccin del Sistema de Evaluacin del Desempeo (SED), el instrumento operativo para la implementacin del Presupuesto basado en Resultados (PbR) de la administracin pblica federal (APF). Aunque a casi cuatro aos de iniciarse ambos procesos se pueden documentar avances importantes en algunos de sus componentes ms importantes, en la actualidad persisten algunas tensiones entre los actores institucionales involucrados que no terminan de resolverse adecuadamente, provocando di cultades en la marcha de los procesos y haciendo cada vez ms evidentes las diferencias entre dos visiones de la evaluacin: una orientada a los propsitos de la evaluacin de la poltica social y otra

centrada en los propsitos de la evaluacin del desempeo del gobierno federal. La primera visin est orientada a evaluar la e cacia de las polticas pblicas en la solucin de problemas sociales y creacin de oportunidades para la poblacin ms vulnerable; la segunda visin est focalizada en un esfuerzo de modernizacin de la administracin del presupuesto programable del gobierno federal. El objetivo general de este trabajo consiste en identi car los orgenes y el estado actual de esas tensiones y ofrecer algunas sugerencias para resolverlas. Para ello, hemos organizado el trabajo en tres secciones. En la primera seccin presentamos los dos enfoques tericos en los que se sustentan esas dos visiones de la evaluacin de las polticas pblicas; en la segunda seccin 124 Jos Mara Ramos, Jos Sosa y Flix Acosta nos remontamos a los orgenes de la evaluacin y establecemos algunos elementos de tensin entre el marco legal y normativo de la evaluacin de la poltica social y de la evaluacin del desempeo del gobierno; en la tercera parte revisamos los principales avances en ambos procesos y algunas tensiones generadas por la prctica reciente de la evaluacin, generando di cultades en los procesos y confusiones entre los diversos actores pblicos involucrados en la evaluacin. Finalmente ofrecemos algunas re exiones y sugerencias para destrabar las tensiones institucionales existentes y avanzar, tanto en el esfuerzo de modernizacin de la administracin del presupuesto del gobierno federal como en los propsitos ms sustantivos de la evaluacin de la poltica social en Mxico. 5.1. La racionalidad de la evaluacin de las polticas pblicas: entre el neogerencialismo pblico y la nueva gobernanza Despus de un largo y sostenido perodo de xito en la conduccin del desarrollo econmico y del bienestar social durante la primera mitad del siglo XX, el Estado y el gobierno recibieron una serie de cuestionamientos producto de los efectos negativos de las sucesivas crisis econmicas, las cuales han puesto en entredicho las capacidades de los gobiernos nacionales y los arreglos institucionales vigentes para dirigir los procesos de desarrollo econmico y social en los diferentes pases. Para Osborne (2006), el debilitamiento del paradigma tradicional de la administracin pblica y del Estado del Bienestar,41 que alcanz su mximo desarrollo despus de la segunda guerra mundial y hasta la dcada de los setenta, se puede explicar a partir de dos factores relacionados: por un lado, su aplicacin mostr un debilitamiento paulatino del Estado en su capacidad de satisfacer las crecientes necesidades sociales de la poblacin; por otro lado, el paradigma comenz a recibir fuertes crticas de parte de las comunidades acadmicas y de las lites polticas de los diferentes pases.42 Por su parte, Aguilar (2006) ha argumentado que fueron precisamente las sucesivas crisis econmicas las que hicieron evidente la crisis del Estado Social como modelo de gobierno en modo tradicional o jerrquico, abriendo 41 Osborne (2006) ha enunciado los elementos principales de la administracin pblica tradicional, los cuales se basan en la concepcin weberiana (Weber, 1996) de la primaca de la burocracia y de la tecnologa: a) el imperio de la legislacin; b) el nfasis excesivo en la aplicacin y observancia de marcos regulatorios y procedimientos; c) el papel central de la burocracia en el diseo e implementacin de las polticas pblicas; d) la dispersin de administracin de la poltica pblica entre las dependencias y entidades pblicas; e) la necesidad y el compromiso de contar con presupuestos cada vez mayores para hacer frente a las necesidades crecientes de la poblacin; y f) la hegemona de una lite de profesionales en la administracin de los servicios pblicos. 42 Para una revisin de estas

crticas, ver Dunleavy (1985), Chandler (1991), Dunleavy y Hood (1994) y Rhodes (1997). Mischra (1984) centra su anlisis y crticas en el debilitamiento y declinacin del Estado del Bienestar. 125 La evaluacin de polticas pblicas en Mxico el camino para que otras formas de gobernar y otros modos de pensar la accin de gobernar a la sociedad se abrieran paso tanto en el nimo de los propios gobernantes como en las comunidades sociales, polticas y acadmicas de los diferentes pases. Estos cuestionamientos prcticos y tericos de la capacidad del Estado y de la pertinencia conceptual y poltica del Estado del Bienestar, han contribuido a impulsar en varios pases incluyendo a Mxico una serie de reformas orientadas a modi car la naturaleza del Estado y las caractersticas y los mbitos de accin del gobierno en los que se inserta la poltica social, las cuales pueden organizarse en dos lneas generales de razonamiento terico- conceptual (Aguilar, 2006). Una primera lnea de razonamiento se centra en al anlisis del sujeto Estado- gobierno y hace nfasis en la necesidad de cambiar la naturaleza del Estado y en la urgente y permanente correccin de la ine ciencia econmica y administrativa del gobierno.43 As, desde inicios de la dcada de los noventa, los gobiernos nacionales que han impulsado reformas neoliberales para reconstituir polticamente y reestructurar en la prctica el papel del Estado y los mbitos de accin del gobierno encontraron su sustento terico y conceptual en los principios de la Nueva Gestin Pblica (NGP) (Hood, 1991; Osbourne y Gaebler, 1992; Dunleavy y Hood, 1994; Osbourne y Plastrick, 1999). Para algunos autores (Dunn y Miller, 2007 y Osborne, 2006), ms que un nuevo paradigma en la disciplina de la administracin pblica, la NGP constituye solamente un conjunto de principios instrumentales que representan ms bien una de nicin operativa de la NGP que algunos de sus autores ms representativos (Osborne y Gaebler, 1992) organizaron alrededor del lema reinventando el gobierno y que ofrecan respuestas a problemas prcticos que en ese momento enfrentaba la accin del gobierno.44 A pesar de las crticas que ha recibido, la NGP ha tenido en varios pases, includo Mxico, una in uencia considerable en la de nicin del papel del Estado y de las caractersticas desde la dcada de los noventa. Uno de los principios fundamentales de la NGP establece que los gobiernos deben guiarse ms por su misin, y sus propsitos que por sus marcos 43 En la prctica, muchos pases impulsaron polticas neoliberales que tuvieron como ejes el adelgazamiento del Estado, la desregulacin de los mercados, la privatizacin de los servicios pblicos, y la focalizacin de la poltica social. Vase Kliksberg (2002), Mass (2002) y Reygadas (2008). 44 En su de nicin ms extrema, la NGP establece la superioridad de la racionalidad econmica y adminis- trativa del sector privado por encima de la del sector pblico, a partir del supuesto de que dicha racionalidad, aplicada a la produccin y provisin de bienes y servicios pblicos, conducir de manera automtica a la mejora en la e ciencia y la e cacia de la administracin pblica en la provisin de dichos bienes y servicios. Para un mayor anlisis vase Dunn y Miller (2007) y Osborne (2006). 126 Jos Mara Ramos, Jos Sosa y Flix Acosta

regulatorios y que las acciones de las dependencias y entidades del gobierno deben ser evaluadas por el resultado de sus acciones, las cuales a su vez deben estar expresadas en trminos de sus objetivos y sus metas, y no nicamente en consideraciones de carcter operativo o de apego estricto a las normas y regulaciones. Ms an, la conduccin de los procesos organizacionales del gobierno, como es el caso del presupuesto, debe estar basada en criterios de costos y bene cios de los resultados de las acciones del gobierno, es decir, en criterios de e ciencia y e cacia de las acciones y programas de poltica pblica. Finalmente, un gobierno neogerencial orientado a resultados debe incorporar la participacin ciudadana en la de nicin de los objetivos a partir de los cuales es evaluada la accin del gobierno. Aunque a las crticas que cuestionan su fortaleza conceptual se suman aquellas relacionadas con los resultados de cientes en su implementacin particularmente en pases en desarrollo la racionalidad instrumental y operativa de la NGP sigue teniendo una in uencia importante en el ejercicio de la administracin pblica y en los alcances de la poltica pblica en varios de estos pases, a pesar de que algunas de las experiencias de su aplicacin suelen tener muy poca relacin con sus principios fundacionales, ocasionando algunos efectos negativos en su prctica.45 Inclusive algunos autores que han estudiado la aplicacin exitosa de la racionalidad instrumental de la NGP46 en el caso de Nueva Zelanda y otros pases desarrollados han advertido de algunas de las di cultades en su aplicacin en los pases menos desarrollados (Schick, 1998). Una segunda lnea de razonamiento terico-conceptual se centra ms bien en el proceso de gobernar y cuestiona no la ine ciencia administrativa y econmica del gobierno, sino la insu ciencia del Estado y del gobierno en el proceso de dirigir a la sociedad en un contexto de profundas transformaciones propias de las sociedades modernas (Aguilar, 2006). En oposicin al enfoque gerencialista de la NGP, la gobernanza o ms bien la nueva gobernanza (NG), 45 Algunos de estos efectos negativos estn relacionados con la aplicacin a ultranza del adelgazamiento del gobierno mediante la privatizacin de bienes y servicios pblicos, la excesiva desregulacin de la actividad econmica y la reduccin de las polticas sociales a una mnima expresin posible en algunos pases durante y despus del proceso de ajuste ante los efectos de las crisis econmicas de los setenta y los ochenta. Vase Kliksberg (2002), Mass (2002) y Reygadas (2008). 46 Aguilar (2010) ha argumentado que la desregulacin constituye el taln de Aquiles de la NGP, pues la crisis nanciera de 2008 mostr que es necesario volver a considerar la regulacin de los mercados, especialmente el mercado nanciero, debido a que en los aos recientes ha mostrado ser una fuente de volatilidad econmica y de inestabilidad social. Aunque en menor grado, la privatizacin de los bienes y servicios pblicos tambin genera dudas, no tanto respecto al cumplimiento del criterio de e ciencia econmica, sino respecto a criterios asociados a su calidad institucional (legalidad, transparencia, rendicin de cuentas, participacin ciudadana). En cambio, el principio de costo-e ciencia de las acciones del gobierno (organizadas en programas y polticas) constituye un elemento de reconocido valor que vale la pena mantener, especialmente en los tiempos actuales de disminuidas fortalezas scales de los gobiernos producto de los ajustes neoliberales y neogerenciales. 127 La evaluacin de polticas pblicas en Mxico se centra en el necesario acompaamiento del Estado por parte de la sociedad organizada y en la e cacia social de las actividades de gobierno en la solucin de problemas sociales y la creacin de oportunidades.

De hecho, para algunos autores de la nueva gobernanza, las decisiones sobre cmo gobernar no tienen un carcter necesariamente dicotmico, como lo sealan los seguidores de la NGP, pues estas decisiones sobre los modos ms apropiados para gobernar las sociedades modernas deberan combinar las mejores caractersticas de los diferentes modelos, paradigmas o perspectivas, centrndose ms bien en el esto y lo otro en lugar del esto o lo otro.47 De esta manera, la gobernanza interactiva o gobernanza sociopoltica, como la de nen sus autores ms representativos, constituye una perspectiva terica amplia que ofrece un marco analtico de referencia para entender la naturaleza cambiante y diversa del papel del Estado y el gobierno en la conduccin del proceso de gobernar, a partir del supuesto de que las sociedades modernas son gobernadas por una combinacin de esfuerzos o interacciones de gobierno, las cuales constituyen respuestas a problemas como la pobreza y el cambio climtico en sociedades que son esencialmente complejas, diversas y dinmicas, tal y como sucede con las sociedades modernas (Kooiman, 2004 y Kooiman, et. al., 2008). Desde el punto de vista de la teora sociolgica, la NG propone tambin que las sociedades modernas estn compuestas por actores de gobernanza cuyas acciones se relacionan con las estructuras, sujetndose a su in uencia, pero tambin modi cndolas continuamente. Vistos desde el punto de vista de la sociologa del conocimiento, los acuerdos o interacciones que establecen los diversos actores pueden ser tambin interpretados o conceptualizados como construcciones sociales ancladas en el concepto de dualidad que les es propio a la estructura social.48 Los actores incluyen a individuos, agrupaciones polticas, organizaciones empresariales y laborales, asociaciones civiles, dependencias y entidades pblicas, empresas privadas, organizaciones internacionales y cualquier otra entidad social con capacidad de agencia o poder de gestin en la sociedad; las estructuras remiten a los acuerdos, leyes, normas, reglamentos, creencias 47 Desde este punto de vista, al hablar de tendencias en la tarea de gobernar, es ms apropiado entonces hablar de un cambio en el papel del gobierno, ms que de una disminucin del papel del gobierno, de tal manera que la rede nicin del papel del Estado y del gobierno no convierte en obsoletas las formas tradicionales de gobernar, sino que reconoce que la solucin de los problemas sociales requiere de la combinacin de un nmero cada vez mayor de enfoques, instrumentos y actores sociales. Vase Kooiman (2004), Aguilar, 2010. 48 Para profundizar, vase Berger y Luckmann (1967), Giddens (1984), Kooiman, et. al., (2008) y Pzeworski (1982). 128 Jos Mara Ramos, Jos Sosa y Flix Acosta culturales, procedimientos y posibilidades cient cas, tcnicas y materiales que hacen posible o que limitan la accin de los actores y que son continuamente transformadas por ellos mismos. Estas dos perspectivas analticas (la NGP y la NG) de la accin de gobernar ofrecen dos abordajes distintos al ejercicio de evaluacin de la poltica pblica, entendida sta en trminos generales como un conjunto de acciones estructuradas, estables, sistemticas en su operacin, que constituyen el modo o patrn de comportamiento como el gobierno aborda de manera permanente el cumplimiento de las funciones pblicas o la atencin de determinados problemas pblicos (Aguilar, 2008:5) entre los que se encuentran la inseguridad pblica, la pobreza, el desempleo, la falta de acceso a los sistemas de salud y seguridad social, la falta de acceso a una educacin de calidad, la desnutricin, la mortalidad materna, la mortalidad infantil, y el deterioro del medio ambiente.49

Bajo la perspectiva gerencialista de la NGP, la prctica de la evaluacin ha uctuado en dos vertientes. En un primer momento, la evaluacin ha estado orientada a veri car que el principio de e ciencia econmica se cumpla al interior de cada uno de los programas que constituyen una poltica pblica determinada, es decir, que los objetivos del programa se alcancen al menor costo posible; en un segundo momento, la evaluacin ha puesto nfasis en el examen de la e cacia social de los programas y la poltica pblica, en el desempeo del gobierno, en la gestin para resultados, de acuerdo con las exigencias ms recientes de la NGP y a partir precisamente de la experiencia paradigmtica de Nueva Zelanda en la organizacin del Presupuesto basado en Resultados (PbR). En este segundo momento, los programas deben orientar sus objetivos, indicadores y metas hacia el logro de la e cacia en la solucin de los problemas sociales pblicos (Aguilar, 2008). En este segundo momento, el ejercicio de evaluacin de una poltica pblica determinada tiende a organizarse en dos fases complementarias, a partir del supuesto de que el principio de e ciencia econmica se cumple al interior de los programas. En una primera fase, la evaluacin est orientada a examinar la e cacia social de los programas que integran la poltica pblica, es decir, que cada uno de ellos tenga una contribucin marginal probada en la solucin del problema pblico que motiv su formulacin e implementacin; en una segunda fase, la evaluacin se orienta a examinar de manera rigurosa si el conjunto de programas que integran la poltica pblica se encuentra 49 En trminos de Aguilar (2008), las polticas pblicas pueden ser desagregadas en programas, componentes, actividades y acciones que contienen intenciones espec cas de la poltica pblica y que estn orientadas a atender objetivos particulares que pueden contribuir en la solucin del problema considerado de inters pblico por el gobierno y la sociedad y que el gobierno tiene la responsabilidad de coordinar o dirigir. 129 La evaluacin de polticas pblicas en Mxico organizado de manera consistente y coherente, de tal forma que los principios, las acciones y las actividades espec cas de cada uno de los programas se muevan en la misma direccin, contribuyendo as en la solucin del mismo problema pblico y constituyendo, por lo tanto, lo que se llama un sistema de accin pblica, una poltica pblica (Aguilar, 2008:25). Vista a la luz de las exigencias ms recientes de la NGP y del Presupuesto basado en Resultados, la evaluacin de cualquier la poltica pblica debera entonces servir de insumo a dos propsitos relacionados con el ejercicio de evaluacin. Por un lado, veri car que los programas cuenten con un diseo causal apropiado, con indicadores de e ciencia econmica y de e cacia social, y con metas asociadas a resultados con una temporalidad establecida, lo cual debe permitir al gobierno y al resto de los actores polticos y sociales involucrados en la formulacin, implementacin, monitoreo y vigilancia de los programas tomar decisiones respecto de la permanencia, ajuste o desaparicin de cada uno de los programas de la poltica pblica. Por otro lado, el anlisis de una poltica pblica, en tanto un conjunto de programas integrados y orientados consistentemente hacia la solucin de un problema pblico de naturaleza amplia, debera permitir a los diferentes actores pblicos y sociales conocer si el conjunto de programas que integran una poltica pblica particular son consistentes con los objetivos de dicha poltica pblica, eliminando duplicidades, disminuyendo costos y contribuyendo as a solucionar el problema del de ciente desempeo gubernamental en el manejo de la poltica pblica y de la irresponsabilidad del gobierno en la administracin del presupuesto pblico.

Si la e ciencia econmica, la e cacia social, el desempeo del gobierno y el presupuesto para resultados han constituido los valores supremos y los propsitos de la accin de gobernar y del ejercicio de evaluacin de la poltica pblica en muchos pases incluyendo Mxico en las ltimas dcadas de gobiernos neoliberales y neogerencialistas, la evaluacin adquiere un carcter ms sustantivo si la poltica pblica es concebida en trminos conceptuales como una accin colectiva en cuya consideracin, formulacin, implementacin y evaluacin participan adems del gobierno otros actores pblicos y sociales tales como los partidos polticos, las empresas privadas, las organizaciones de la sociedad civil y los organismos internacionales, es decir, si la poltica pblica es de nida como un sistema de accin pblica en modo de gobernanza y si la prctica de la evaluacin se orienta entonces en un sentido ms amplio a comprobar la calidad institucional y la calidad cognoscitiva tcnica de la poltica pblica (Aguilar, 2008). 130 Jos Mara Ramos, Jos Sosa y Flix Acosta En este esquema de evaluacin o, para ser ms precisos, de valoracin de la poltica pblica, la calidad institucional se re ere al respeto a los valores o creencias pblicas compartidas por la sociedad y plasmadas en los diversos ordenamientos que norman a las sociedades modernas, desde la constitucin poltica, las diversas leyes, los compromisos y acuerdos internacionales, y los resultados formales de la deliberacin pblica sobre los problemas considerados de inters para la ciudadana, mientras que la calidad tcnica o calidad cognoscitiva se re ere al conjunto de relaciones causales en las que se fundamentan las acciones y actividades de la poltica pblica orientadas a resolver problemas pblicos (Aguilar, 2008). Estos dos componentes de la poltica pblica, el de la calidad institucional y el de la calidad tcnica, son interdependientes y complementarios, ya que la e cacia pblica de un gobierno se alcanza slo a condicin de conjugar legalidad y causalidad, normas jurdicas axiolgicas y normas empricas causales (Aguilar, 2008:11) y pueden ofrecer ms elementos para determinar la idoneidad de una poltica pblica en curso o para indicar los cambios de diferente naturaleza que se deben implementar para que la poltica pblica sea legalmente correcta, culturalmente aceptable, econmicamente e ciente, socialmente e caz, administrativamente factible y polticamente viable (Aguilar, 2008). Como se ha sealado anteriormente, estos dos enfoques terico-conceptuales la NGP y la NG, ofrecen dos abordajes distintos al ejercicio de la evaluacin de las polticas pblicas. Mientras que el primero pone el acento en el desempeo del gobierno y en el presupuesto para resultados ambos aspectos que remiten a solamente uno de los actores involucrados en las polticas pblicas y a un aspecto particular de la evaluacin, en el segundo, la e cacia de las polticas pblicas tiene un signi cado ms amplio y se asocia en gran medida de la calidad de los acuerdos institucionales que dieron origen a la poltica pblica y a la calidad de las relaciones causales involucradas en el diseo e implementacin de la poltica pblica. Esta diferencia en los signi cados y en los propsitos de la evaluacin se encuentra en el centro de las tensiones entre los diversos actores pblicos involucrados en la evaluacin de la poltica social en Mxico. En las dos secciones siguientes se abordan en particular dos momentos generadores de tensin: el primero se re ere a la construccin del marco legal y normativo en el que se sustenta la evaluacin de la poltica social; el segundo est asociado a la prctica y a los resultados recientes de la evaluacin. 131

La evaluacin de polticas pblicas en Mxico 5.2. Tensiones y di cultades institucionales derivadas del marco legal y normativo de la evaluacin de la poltica social Como se ha mencionado en pginas anteriores, la evaluacin de la poltica social recibi un impulso muy importante con la publicacin de la LGDS en enero de 2004 y con el inicio formal de los trabajos del CONEVAL en 2006. La primera le concede al segundo la facultad amplia y sustantiva de hacerse cargo de la evaluacin de la poltica social, pudiendo realizarla por s mismo o a travs de uno o varios organismos independientes del ejecutor del programa, con el objeto de revisar peridicamente el objetivo social de los programas, metas y acciones de la Poltica de Desarrollo Social, para corregirlos, modi carlos, adicionarlos, reorientarlos o suspenderlos total o parcialmente (DOF, 2004:13). Para ese propsito de evaluar peridicamente los objetivos de la poltica social, la LGDS establece en los artculos del 72 al 77 las facultades amplias del CONEVAL y los instrumentos para llevar a cabo la evaluacin de la poltica social (DOF, 2004:13): Artculo 72. La evaluacin de la Poltica de Desarrollo Social estar a cargo del Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social, que podr realizarla por s mismo o a travs de uno o varios organismos independientes del ejecutor del programa, y tiene por objeto, revisar peridicamente el cumplimiento el objetivo social de los programas metas y acciones de la Poltica de Desarrollo Social, para corregirlos, modi carlos, adicionarlos, reorientarlos o suspenderlos total o parcialmente. Artculo 73. Los organismos evaluadores independientes que podrn participar sern instituciones de educacin superior, de investigacin cient ca u organizaciones no lucrativas. Cuando las evaluaciones se lleven a cabo por un organismo distinto del Consejo, ste emitir la convocatoria correspondiente y designar al adjudicado. Artculo 74. Para la evaluacin de resultados, los programas sociales de manera invariable debern incluir los indicadores de resultados, gestin y servicios para medir la cobertura, calidad e impacto. Las depen- dencias del Ejecutivo Federal, estatales o municipales, ejecutoras de los programas a evaluar, proporcionarn toda la informacin y las facilidades necesarias para la evaluacin. 132 Jos Mara Ramos, Jos Sosa y Flix Acosta Artculo 75. Los indicadores de resultados que se establezcan debern re ejar el cumplimiento de los objetivos sociales de los programas, metas y acciones de la Poltica de Desarrollo Social. Artculo 76. Los indicadores de gestin y servicios que se establezcan debern re ejar los procedimientos y la calidad de los servicios de los programas, metas y acciones de la Poltica de Desarrollo Social. Artculo 77. El Consejo Nacional de Evaluacin, antes de aprobar los indicadores a que se re ere este artculo, los someter a la consideracin de la Secretara de Hacienda y Crdito Pblico y a la Cmara de Diputados por conducto de la Auditora Superior de la Federacin, para que emitan las recomendaciones que en su caso estimen pertinentes. Estas facultades amplias del CONEVAL, expresadas en la LGDS, para evaluar peridicamente la poltica social a partir de un sistema o conjunto de indicadores de resultados, gestin y servicios proporcionados

por los diferentes programas, administrado por el propio CONEVAL, fueron acotadas, en la percepcin de algunos actores institucionales relevantes, en su decreto de creacin, emitido por la SEDESOL en agosto de 2005, en el que se establece que el CONEVAL tiene por objeto: Normar y coordinar la evaluacin de la poltica nacional de desarrollo social, (y los) programas y acciones que ejecuten las dependencias pblicas, sin perjuicio de las atribuciones que en materia de control y evaluacin tienen las secretaras de Hacienda y Crdito Pblico y de la Funcin Pblica (DOF, 2005:5). Esta contradiccin entre lo mandatado por la LGDS y lo establecido por el Decreto provoc las primeras tensiones entre el poder legislativo concretamente la Comisin de Desarrollo Social de la Cmara de Diputados y el Poder Ejecutivo, en particular, la Secretara de Desarrollo Social. En el punto ms alto de este con icto entre estos dos actores institucionales, la Comisin de Desarrollo Social de la Cmara de Diputados cit a la titular de la SEDESOL a una reunin de trabajo el 8 de febrero de 2006.50 En esa reunin, los diputados integrantes de la Comisin de Desarrollo Social de la Cmara de Diputados le recordaron a la titular de la SEDESOL, el acuerdo previo entre esa Comisin y la titular anterior de la dependencia en el sentido de publicar algunas reformas al decreto de creacin del CONEVAL, restituyndole las facultades amplias de evaluacin de la poltica social concebidas en la LGDS a cambio de no presentar una controversia constitucional contra el Reglamento 50 Ver http://www.sedesol.gob.mx/prensa/discurso_normal.php?clave_discurso=20. 133 La evaluacin de polticas pblicas en Mxico de la LGDS para resolver el diferendo que haba entre los dos poderes de la nacin. En esa reunin, la titular de la SEDESOL mencion que en la elaboracin del decreto haba existido una intervencin no slo de la Secretara de Desarrollo Social, tambin ah participa la Secretara de la Funcin Pblica, la Secretara de Hacienda, y nalmente, la Consejera Jurdica (de la Presidencia) y se comprometi a volver a abrir esta mesa para sentarnos a platicar sobre el tema, no tenemos inconveniente, podemos incluso hacerlo tan pronto lo decidan a travs de la Comisin. Finalmente, el Decreto no se modi c y la Cmara de Diputados present una controversia constitucional contra el Poder Ejecutivo Federal por exceder sus funciones reglamentarias e invadir las atribuciones legislativas del Congreso de la Unin, con la publicacin del Reglamento de la LGDS el 18 de enero de 2006. Los propsitos de este acotamiento de las facultades del CONEVAL en su decreto de creacin se hicieron mani estos con la publicacin de la Ley Federal de Presupuesto y Responsabilidad Hacendaria en marzo de 2006. Este nuevo ordenamiento legal, en congruencia con el decreto de creacin, acota las atribuciones sustantivas de evaluacin de la poltica social del CONEVAL al establecer que esta entidad coordinar las evaluaciones en materia de desarrollo social en trminos de lo dispuesto en la Ley General de Desarrollo Social y lo dispuesto en esta Ley (DOF, 2006:55), otorgndole facultades de evaluacin a la SHCP y a la SFP junto con las atribuciones de scalizacin que ya tena la Auditora Superior de la Federacin de la Cmara de Diputados y las atribuciones de evaluacin que la LGDS le haba concedido al CONEVAL. Adems, la LFPRH modi c los propsitos amplios y sustantivos de la evaluacin de la poltica social, orientndola de manera espec ca hacia la construccin de un sistema de indicadores estratgicos y de gestin administrado por la Secretara de Hacienda y Crdito Pblico (SHCP)51 que alimente a un sistema de evaluacin del desempeo52 (SED) que permita a su vez implementar el Presupuesto basado

en Resultados (PbR). Para lograr estos propsitos, la LGPRH establece la obligacin del CONEVAL de emitir, 51 Mientras que la LGDS le concede facultades amplias al CONEVAL para aprobar, previa consulta con la SHCP y la Auditora Superior de de la Federacin (ASF) de la Cmara de Diputados, los indicadores de resultados, gestin y servicios de los programas que servirn de insumo a la evaluacin del cumplimiento peridico de los objetivos de la poltica social, en la LFPRH, el CONEVAL certi ca la calidad de los indicadores que la SHCP necesita para alimentar el sistema de evaluacin de resultados y para echar a andar el presupuesto basado en resultados. 52 En la LFPRH se de ne al sistema de evaluacin del desempeo como el conjunto de elementos metodolgicos que permiten realizar una evaluacin objetiva del desempeo de los programas bajo los principios de veri cacin de grado de cumplimiento de los objetivos y metas, con base en indicadores estratgicos y de gestin que permitan conocer el impacto social de los programas y de los proyectos (DOF, 2006:5). 134 Jos Mara Ramos, Jos Sosa y Flix Acosta conjuntamente con la SHCP y la Secretara de la Funcin Pblica (SFP), tanto los lineamientos metodolgicos para la evaluacin de los programas, como los planes anuales de evaluacin, que permitirn la implementacin sistemtica del SED y del PbR (DOF, 2006: 54-55). De tal manera, con este nuevo ordenamiento legal, las atribuciones sustantivas del CONEVAL contenidas en la LGDS fueron transformadas, en la percepcin de algunos actores, en actividades orientadas a proporcionar el soporte tcnico requerido para echar a andar el SED y el PbR, as, sin que fuera estrictamente necesario porque como se mencion en pginas anteriores, la evaluacin del desempeo del gobierno y la evaluacin de la poltica social responden a lgicas y racionalidades terico-conceptuales diferentes, que no se contraponen necesariamente, pudiendo estar la primera contenida en la segunda estas contradicciones en el marco legal de la evaluacin de la poltica social han ocasionado confusiones y tensiones entre los diversos actores pblicos involucrados en la evaluacin de la poltica social que ha provocado que la marcha de ambos procesos est marcada por una serie de di cultades institucionales que an no han sido resueltas. En la siguiente seccin se analizan los avances y las di cultades ms importantes en este proceso de institucionalizacin de la evaluacin de la poltica social, y se mencionan tambin algunas di cultades derivadas de la implementacin de este tipo de reformas administrativas en pases que como Mxico, presentan niveles de desarrollo econmico e institucional inferiores al de Nueva Zelanda, pas que constituye el caso paradigmtico de xito (Schick, 1998). 5.3. Tensiones y di cultades institucionales derivadas de la prctica reciente de la evaluacin de la poltica social Ante este doble mandato legal evaluar versus coordinar la evaluacin de la poltica de desarrollo social del CONEVAL, establecido respectivamente por la LGDS y por la LFPRH, una gran parte del esfuerzo institucional en materia de evaluacin en los ltimos cuatro aos ha estado dedicado a tres tareas relacionadas ms con la implementacin del SED que con la evaluacin del cumplimiento de los objetivos de la poltica social, provocando algunas tensiones institucionales adicionales: 1) normalizar la prctica de la evaluacin; 2) contar con una primera evaluacin de la consistencia interna de los programas sociales federales y construir las matrices de indicadores y resultados, y 3) revisar y certi car la calidad de los indicadores de resultados, de gestin y de servicios que los programas elaboraron e

integraron a sus matrices de indicadores y resultados a partir de la evaluacin de consistencia y resultados. 135 La evaluacin de polticas pblicas en Mxico Aunque el avance logrado en estas tareas se considera relevante para los propsitos de la evaluacin del desempeo del gobierno y de la implementacin del Presupuesto basado en Resultados (PbR) (Castro, et. al., 2009), los avances en estas tareas muestran algunas di cultades institucionales para institucionalizar la evaluacin del desempeo del gobierno y para avanzar en la tarea ms sustantiva de evaluar la poltica social. La normalizacin de la prctica de la evaluacin en Mxico En cumplimiento de sus atribuciones legales para evaluar la poltica social, el CONEVAL, la SHCP y la SFP, emitieron en marzo de 2007 los Lineamientos Generales para la Evaluacin de los Programas Federales de la Administracin Pblica Federal. El propsito de este documento normativo consiste en regular la evaluacin externa de los programas de desarrollo social y establecer criterios y metodologas rigurosas para llevar a cabo la evaluacin de los programas incluidos en la poltica social. Los lineamientos parten precisamente de la consideracin de que la evaluacin de los programas de las dependencias y entidades federales: Se lleva a cabo con base en el Sistema de Evaluacin del Desempeo el cual es obligatorio para los ejecutores de gasto y tiene como propsito realizar una valoracin objetiva del desempeo de los programas bajo los principios de veri cacin del grado de cumplimiento de metas y objetivos conforme a indicadores estratgicos y de gestin (DOF, 2007). Adems, establecen la atribucin conjunta de la SHCP, la SFP y el CONEVAL de determinar, mediante la publicacin de un plan anual de evaluacin, cules programas debern ser monitoreados y evaluados, con cargo al presupuesto del CONEVAL o al de las dependencias y entidades que operan los programas, con el propsito de fomentar una gestin basada en resultados.53 De esta manera, los lineamientos, constituyen un instrumento fundamental para hacer operativo el Sistema de Evaluacin del Desempeo (SED), el cual est estructurado en dos vertientes: una es la evaluacin de la gestin de las dependencias y entidades pblicas, la cual est integrada en lo que se ha denominado Programa para el Mejoramiento de la Gestin (PMG), a cargo de la SFP; la otra vertiente la constituye precisamente la evaluacin de los programas sociales, a cargo del CONEVAL y de la SHCP. En los dos casos, la evaluacin descansa en un Sistema de Indicadores de Desempeo administrado en los hechos por la SHCP el cual es concebido 53 Para su conceptualizacin, ver ILPES (2003). 136 Jos Mara Ramos, Jos Sosa y Flix Acosta como una herramienta para orientar en el futuro los procesos de planeacin, programacin, presupuestacin, ejercicio y control del gasto pblico federal, as como determinar y aplicar las medidas que se requieran para hacer ms e ciente y e caz la gestin del gobierno federal. Los Lineamientos y el

SED adems de establecer los criterios y normas para orientar y llevar a cabo la evaluacin de los programas sociales, introducen una serie de elementos normativos espec cos que vale la pena sealar por sus implicaciones para el proceso de evaluacin y de gestin de los programas sociales y de la accin del gobierno: Los lineamientos son de observancia obligatoria para todas las dependencias y entidades de la administracin pblica federal responsables de programas federales; El n y los objetivos estratgicos de los programas federales deben contribuir al cumplimiento de los objetivos estratgicos de las dependencias y entidades pblicas y los objetivos estratgicos de stas deben estar alineados a los del Plan Nacional de Desarrollo (PND); Las dependencias y entidades deben elaborar la matriz de indicadores de desempeo de cada programa federal de acuerdo con la Metodologa de Marco Lgico (MML); La elaboracin de la matriz de indicadores de desempeo ser aplicada a todos los programas de la Administracin Pblica Federal y describir en forma lgica y clara el n, los propsitos, los componentes, las actividades, as como los indicadores, las metas, los medios de veri cacin y los supuestos para cada uno de los niveles de objetivos; Las dependencias y entidades deben revisar anualmente la matriz de indicadores de sus programas federales. La matriz de indicadores actualizada se incluir en las reglas de operacin (ROP) de los programas federales; Las ROP de los programas federales deben re ejar la lgica interna del programa federal que se presente en la matriz de indicadores; La matriz de indicadores formar parte del SED para coadyuvar en la e ciencia, economa, e cacia y calidad de la APF, y en el impacto social del gasto pblico federal; Los indicadores de desempeo debern ser una expresin cuantitativa o cualitativa que permita de una manera sencilla y able medir logros, re ejar los cambios vinculados con las acciones de los programas, monitorear y evaluar sus resultados; P ara garantizar la evaluacin orientada a resultados y retroalimentar el SED, se aplicarn los siguientes tipos de evaluacin: a) evaluacin de consistencia y resultados, la cual analiza sistemticamente el diseo y desempeo global de los programas federales, para mejorar 137 La evaluacin de polticas pblicas en Mxico su gestin y medir el logro de sus resultados con base en la matriz de indicadores; b) evaluacin de indicadores, la cual analiza mediante trabajo de cam-po la pertinencia y alcance de un programa federal para el logro de sus resultados; c) evaluacin de procesos, la cual analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera e caz y e ciente y si contribuye al mejoramiento de la ges-tin; d) evaluacin de impacto, la cual identi ca con metodologas rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecucin del programa federal; e) evaluacin espec ca, que es aquella evaluacin orientada a indagar aspectos espec cos del programa mediante trabajo de gabinete o de campo; y f) evaluacin estratgica, que es aquella evaluacin que se aplica a un conjunto de programas en torno a estrategias, polticas e instituciones; L as evaluaciones se llevarn a cabo por evaluadores externos con cargo al presupuesto de la dependencia o entidad responsable del programa o por el CONEVAL en el mbito de su competencia, cuando ste as lo determine; El CONEVAL, la SHCP y la SFP establecern conjuntamente un Programa Anual de Evaluacin a partir de los diferentes tipos de evaluacin, en el que determinarn qu evaluaciones se llevarn a cabo o comenzarn cada ao y a qu programas aplicarn. Dicho programa se emitir cada ao conforme al calendario de actividades del proceso presupuestario; La metodologa y los trminos de referencia de las evaluaciones de impacto debern ser revisados y aprobados por la SHCP, la SFP y el CONEVAL, en el mbito de sus atribuciones y de forma previa a la contratacin de los evaluadores externos; Las dependencias y entidades debern designar una unidad adminis- trativa ajena a la operacin de los programas federales para coordinar la contratacin, la operacin y la supervisin de las evaluaciones. Esta unidad administrativa ser responsable de supervisar la calidad y el cumplimiento normativo de las evaluaciones, as como coordinarse con el CONEVAL para el buen desarrollo de todas

las etapas del proceso de evaluacin, considerando como etapas elementales la de nicin del proyecto, la contratacin, la supervisin y el seguimiento de la evaluacin hasta su conclusin; Las dependencias, entidades y el CONEVAL podrn contratar diferentes tipos de evaluaciones de un mismo programa federal tanto en uno como en varios ejercicios mediante esquemas de contratacin plurianuales; Para fortalecer la rendicin de cuentas y la transparencia del proceso de evaluacin, las dependencias y entidades federales debern dar a conocer de forma permanente, a travs de sus pginas de 138 Jos Mara Ramos, Jos Sosa y Flix Acosta internet, los documentos y resultados de todas las evaluaciones externas de sus programas, incluyendo: los datos del coordinador de la evaluacin y de su equipo colaborador; los datos de la unidad administrativa responsable de dar seguimiento a la evaluacin al interior de la dependencia o entidad; la forma de contratacin del evaluador externo; el tipo de evaluacin contratada; las bases de datos generadas; los instrumentos de recoleccin de la informacin; una nota metodolgica con la descripcin de las tcnicas y modelos utilizados, acompaada del diseo muestral, especi cando los supuestos empleados y las caractersticas del tamao y dispersin de la muestra utilizada; un resumen ejecutivo en el que se describan los principales hallazgos, las fortalezas, las oportunidades, las debilidades, las amenazas y las recomendaciones del evaluador externo; y el costo total de la evaluacin, incluyendo la fuente de nanciamiento; Los requisitos mnimos que las dependencias y entidades solicitarn a los evaluadores externos interesados en realizar evaluaciones son: a) acreditar su constitucin legal; b) acreditar experiencia en el tipo de evaluacin correspondiente a la prestacin de su servicio en programas gubernamentales en Mxico o en el extranjero; c) presentar una propuesta de trabajo ejecutiva que contenga el objeto de la evaluacin, la metodologa de la evaluacin espec ca a implementar, la estructura temtica del informe, el currculum del personal que realizar la evaluacin que incluya la manifestacin por escrito de que se tiene conocimiento de las caractersticas y operacin del programa o de programas similares, y la acreditacin de experiencia en el tipo de evaluacin correspondiente; y d) la de nicin de la plantilla de personal que se utilizar para la evaluacin del programa federal, la cual deber estar en congruencia con la magnitud y las caractersticas particulares del programa y del tipo de evaluacin correspondiente, y Los procedimientos de contratacin de los evaluadores externos se sujetarn a las disposiciones de la Ley de Adquisiciones, Arrendamientos y Servicios del Sector Pblico, su Reglamento y las disposiciones aplicables. La elaboracin de las matrices de Indicadores y Resultados Para construir las matrices de indicadores y resultados de los programas, los lineamientos establecieron la obligacin de todos los programas federales que contaran con reglas de operacin de llevar a cabo durante 2007 una evaluacin de consistencia y resultados que incluy aspectos de diseo, planeacin es- tratgica, cobertura y focalizacin, operacin, percepcin de la poblacin objetivo, y resultados. 139 La evaluacin de polticas pblicas en Mxico Para este propsito, los lineamientos establecen la obligacin de los programas de adoptar la metodologa de marco lgico (ILPES, 2004) para la elaboracin de las matrices de indicadores que permitan la conformacin, con nes de control presupuestal, de un sistema integral de monitoreo y evaluacin basado en resultados, administrado por la SHCP, que tiene el propsito de proveer a las

dependencias y entidades responsables de los programas federales, informacin actualizada y peridica de la utilizacin de los recursos asignados, los avances y el logro de sus resultados (DOF, 2007b). Para hacer operativo este proceso de alimentacin de los sistemas de control presupuestal de la SHCP, los lineamientos establecen los siguientes pasos: las dependencias deben alinear sus objetivos estratgicos a las prioridades, estrategias y objetivos del Plan Nacional de Desarrollo54 y los programas federales con reglas de operacin deben a su vez alinear su propsito y su n a los objetivos estratgicos de las dependencias que los operan; que para ese propsito, los programas deben hacer las modi caciones necesarias en su reglas de operacin; que estas modi caciones se re ejen en sus matrices de indicadores, construidas a partir de la evaluacin de consistencia y resultados; que las matrices sean integradas a las reglas de operacin de los programas y al sistema de monitoreo y evaluacin que forma parte del SED; que los programas revisen y actualicen anualmente sus matrices de indicadores y resultados, y nalmente, que las dependencias y entidades reporten peridicamente el avance en sus indicadores de acuerdo a los plazos del SED. En una primera fase completada en 2008 con los resultados de la evaluacin de consistencia y resultados de 2007, el sistema de monitoreo y evaluacin del SED, denominado, Portal Aplicativo de la Secretara de Hacienda (PASH), empez a ser alimentado con las matrices de indicadores de 106 programas55 que respondieron a la obligacin establecida en los lineamientos. A partir tambin de esa informacin, el CONEVAL elabor un primer diagnstico que muestra los principales problemas de los programas en trminos de su calidad cognoscitiva o causal: 71% de los programas no tenan identi cado el problema 54 Aguilar ha sealado una distincin conceptual y analtica importante entre plan y poltica pblica. El primer concepto remite a la gramtica de la plani cacin estatal, que ha sido considerada como el instrumento por excelencia de la direccin del gobierno y que ha llegado al extremo (socialista o estatista) de suponer que todos los mbitos de la vida social y econmica son plani cables por el gobierno, susceptibles de intervencin y regulacin estatal y que los ciudadanos pueden ser forzados a determinados comportamientos que sern controlados por el poder pblico, con el aadido de que el plan global o impositivo es de e cacia contundente para el desarrollo social y el bienestar universal de las personas. En contraparte, el segundo concepto parte del principio liberal y republicano de que no todos los espacios de la vida econmica y social de las personas y grupos son susceptibles de plani cacin, intervencin o imposicin estatal, en razn de su calidad de actividades libres (estatalmente reconocidas y garantizadas) (Aguilar, 2008:12). 55 De stos, 27 corresponden a la SEP, 16 a la SEDESOL, 15 a la SHCP, 14 a la SEMARNAT, 12 a la SAGARPA, 9 a la SSA y el resto son de la SE, el CONACYT, la SRA, la STPS y el IMSS. 140 Jos Mara Ramos, Jos Sosa y Flix Acosta que atienden; slo 58% de los programas tiene un diseo adecuado; solamente 44% de los programas cuentan con una matriz de indicadores vlida; y apenas 41% de ellos tienen indicadores claros, relevantes, econmicos, sujetos de monitoreo y adecuados (CONEVAL, 2008a, 2008b). La evaluacin de la calidad de los indicadores y del desempeo de los programas Una vez construida la matriz de indicadores de los programas a partir de la evaluacin de consistencia y resultados, el CONEVAL llev a cabo en 2009 un ltimo proceso para certi car la calidad de los indicadores de resultados y de gestin de los programas y determinar el avance observado en el primer

ao del sistema de monitoreo y evaluacin del SED, al que denomin evaluacin espec ca de desempeo. Para este propsito se puso a disposicin de los evaluadores externos toda la informacin de los programas proporcionada por las dependencias y entidades responsables de los programas al sistema de monitoreo y evaluacin del SED. A un ao de operacin del SED, se han hecho evidentes algunos de los problemas de su implementacin: las dependencias y entidades no proporcionaron, de acuerdo a lo establecido en la LFPRH y en los lineamientos, toda la informacin que tenan disponible originada de las distintas evaluaciones de sus programas; las matrices de indicadores de los programas derivadas de las evaluaciones de consistencia y resultados no coincidan con las que integraron al sistema de monitoreo del SED, lo que sugiere que los programas, preocupados por los impactos presupuestales de indicadores adecuados pero incmodos, pueden estar llevando una doble contabilidad en sus matrices y sus indicadores; y nalmente, los resultados y la calidad de las evaluaciones de desempeo recibieron fuertes cuestionamientos por parte los responsables de algunos programas y sus dependencias, obligando al CONEVAL a hacer algunas observaciones acerca de los limitaciones del proceso de evaluacin y seguimiento de los indicadores de gestin y resultados y a colocar en el mismo sitio electrnico de las evaluaciones espec cas de desempeo el posicionamiento del programa en relacin a los resultados de la evaluacin (CONEVAL, 2009a). Estos resultados del proceso de la primera evaluacin de los indicadores de gestin y resultados de los programas federales y estas reacciones de los operadores de algunos de los programas puede estar ocurriendo por varias razones: en primer lugar, porque los programas pueden estarse diseando y operando con una lgica propia y sin referencia a la poltica pblica en la que deberan estar integrados, provocando di cultades para que los operadores de los programas asocien e cientemente los objetivos de los programas con los 141 La evaluacin de polticas pblicas en Mxico objetivos de una poltica pblica particular, con los de la dependencia que los opera, y con los del PND. En segundo lugar, porque, a pesar del esfuerzo amplio de capacitacin a operadores de programas y a funcionarios responsables de las reas de planeacin de las dependencias, llevado a cabo por el CONEVAL para la elaboracin de las matrices de indicadores y resultados de los programas, persisten todava di cultades para aplicar correctamente la metodologa de marco lgico y para asimilar los lineamientos de evaluacin. Y nalmente, porque el nivel de desarrollo econmico, institucional y administrativo del pas puede no estar respondiendo de manera e ciente a las exigencias contractuales de este tipo de sistemas administrativos, debido a la persistencia de altos niveles de informalidad en las relaciones gubernamentales, las cuales son un re ejo de la informalidad prevaleciente en los mercados, lo cual se re eja en el bajo nivel de respuesta de las dependencias y entidades de la APF en relacin a su obligacin de reportar sus indicadores de gestin y resultados y llevar a cabo el seguimiento peridico de los resultados de sus programas (Aguilar, 2008 y Schick, 1998). Adems, es relevante sealar otras fuentes de tensin entre los Poderes Legislativo y Ejecutivo, derivadas del alcance y los resultados de este primer proceso de evaluacin y de seguimiento de los indicadores de gestin y resultados de los programas federales, a partir de la aplicacin de las evaluaciones espec cas de desempeo llevadas a cabo durante 2009. Para ello es necesario recordar,

como lo mencionamos en pginas anteriores, que la LGDS le concede al CONEVAL la atribucin y la responsabilidad de aprobar los indicadores de resultados, gestin y servicios de los programas y que estos indicadores deben re ejar los procedimientos y la calidad de los servicios de los programas, as como los objetivos sociales de la poltica social y que antes de aprobarlos, el CONEVAL debe someterlos a consideracin de la SHCP y de la Cmara de Diputados, a esta ltima por conducto de la ASF. En primer lugar, se requiere entonces de un acuerdo entre los actores institucionales relevantes en relacin a los programas que deben ser considerados en la construccin de esta base de datos de indicadores de resultados, gestin y servicios, porque mientras que para la SHCP puede parecer ms prctico y e ciente incorporar solamente a los programas ms relevantes en trminos de su importancia presupuestal, la ASF de la Cmara de Diputados puede estar interesada en la aplicacin irrestricta y generalizada de los trminos que establece la LGDS en relacin a los programas considerados en la poltica social. Sin la existencia de ese acuerdo, existir seguramente un con icto generador de tensiones entre los diferentes actores institucionales y 142 Jos Mara Ramos, Jos Sosa y Flix Acosta la posibilidad de que el CONEVAL sea sealado por no cumplir lo establecido en la LGDS al no aprobar en tiempo y en forma los indicadores a que se re eren los artculos del 74 al 77 de la LGDS. Una segunda fuente de tensiones entre los actores institucionales se relaciona con el nmero de indicadores que cada programa debe incorporar y reportar de manera peridica en el PASH. Mientras que para la ASF, los programas deben incluir en ese seguimiento peridico a todos sus indicadores de resultados, gestin y servicios considerados en sus matrices de indicadores y resultados, de nuevo, para la SHCP, que administra el PASH, puede parecer ms e ciente darle seguimiento a solamente un subconjunto de indicadores de gestin y resultados relevantes para el seguimiento y las decisiones presupuestales. De nuevo, en ausencia de un acuerdo entre los actores, el camino de la implementacin del SED y del PbR puede estar sembrado de di cultades institucionales. Una ltima fuente de tensiones est asociada con la naturaleza de ese conjunto de indicadores, pues en su conceptualizacin y construccin pueden estar enfrentadas dos visiones diferentes que remiten, como ya lo hemos mencionado, a dos enfoques terico-metodolgicos distintos la NGP y la NG en relacin a los propsitos de la evaluacin de la poltica social. El PASH y el conjunto de indicadores de gestin y resultados que incorpora puede ser til, en la percepcin de los actores institucionales involucrados, en la implementacin del SED y del PbR; sin embargo, en la percepcin de otros actores relevantes, este nfasis del SED en la modernizacin de la administracin del presupuesto puede estar restndole alcances en el propsito ms sustantivo de evaluar la poltica social. Sin acuerdos entre los actores con relacin a estos diferentes intereses y orientaciones de la evaluacin, es posible que los procesos enfrenten di cultades institucionales adicionales. Re exin nal A casi cuatro aos de haberse iniciado el proceso de institucionalizacin de la evaluacin de la poltica social en Mxico, es posible documentar importantes avances en los diversos procesos que la integran. Sin embargo, desde nuestro punto de vista, la marcha futura de los procesos que involucra la evaluacin de la poltica social se enfrenta actualmente a una serie de tensiones entre los actores sociales relevantes de cuya solucin depende en buena medida la evolucin futura de este gran proceso de institucionalizacin de la evaluacin de la poltica social.

En el origen de estas tensiones, parecen persistir todava dos visiones aparentemente contrapuestas acerca de los propsitos de la evaluacin. Estas 143 La evaluacin de polticas pblicas en Mxico dos visiones estn adems ancladas en dos enfoques terico-metodolgicos a partir de los cuales es construida la racionalidad de la evaluacin de la poltica social. El primer enfoque se apoya en los principios prcticos de la NGP que estn orientados a resolver la ine ciencia de la gestin gubernamental mediante esfuerzos de modernizacin de la administracin pblica. Bajo este enfoque, sustentado legalmente en la LFPRH e impulsado principalmente desde la SHCP, el SED y el PbR constituyen una herramienta fundamental para impulsar un proceso integral de modernizacin de la administracin del presupuesto del gobierno federal que impulse la e ciencia econmica y la e cacia de la accin del gobierno. Para ello, se requiere precisamente de un sistema de monitoreo y evaluacin de los programas federales el SED que permita llevar a cabo un seguimiento peridico que sirva de insumo para tomar decisiones presupuestales. Esta iniciativa de modernizacin de la administracin del presupuesto que tiene como propsito impulsar mejoras en la e ciencia y la e cacia de las decisiones presupuestales y que tiene como base un conjunto de relaciones contractuales entre la dependencia del gobierno que provee los recursos la SHCP y las diferentes dependencias y entidades de la administracin pblica federal que reciben los recursos presupuestales para operar sus programas y que, a cambio, comprometen acciones, productos y servicios que tienen un impacto esperado, medible, sobre el bienestar de la poblacin, enfrenta importantes di cultades institucionales. Como lo hemos mencionado, el principal obstculo al que se enfrenta una iniciativa de modernizacin administrativa como sta se encuentra en los altos niveles de informalidad que caracterizan al funcionamiento de los mercados en Mxico y que matizan tambin la naturaleza de las relaciones intergubernamentales. Algunos ejemplos de los efectos negativos de la infor- malidad en este proceso de implementacin del SED y del PbR han sido ya mencionados en el trabajo: el escaso nivel de respuesta de las dependencias que operan programas de poltica social ante la exigencia legal y normativa de proveer informacin dedigna y de calidad para alimentar el sistema de mo- nitoreo y evaluacin del desempeo del gobierno federal; la tendencia de las dependencias que operan programas a llevar una doble contabilidad de sus matrices de indicadores y resultados; y la resistencia a asumir los resulta- dos y recomendaciones de los evaluadores autnomos de los programas para impulsar mejoras en los indicadores y en la gestin y el monitoreo de los programas. Pero adems, hemos mostrado en este trabajo que aparte de estas di cultades estrictamente administrativas que son quiz inherentes a este proceso de modernizacin de la gestin del gobierno, que tiene como base una 144 Jos Mara Ramos, Jos Sosa y Flix Acosta administracin del presupuesto federal ms e ciente y e caz, existen otras di cultades que remiten a tensiones, confusiones y con ictos entre los actores institucionales involucrados en la evaluacin de la poltica social debido a la aparente contradiccin entre los dos enfoques desde los que se construye la racionalidad de la evaluacin de la poltica social.

La implementacin del SED y el PbR tiene un valor intrnseco que no debera contraponerse con el segundo enfoque en la evaluacin de la poltica social que tiene como base legal a la LGDS, que es impulsado principalmente por el Congreso de la Unin a travs de las comisiones de desarrollo social de las Cmaras de Diputados y de Senadores desde donde han salido recientemente propuestas de reforma a la LGDS para darle mayor autonoma en sus atribuciones de evaluacin al CONEVAL y para contar con un conjunto de indicadores sociales que permitan implementar una visin ms sustantiva de evaluar la poltica social que puede ser conceptualizado ms en trminos de la calidad cognoscitiva o causal y de la calidad institucional de la poltica social, de acuerdo a los principios de la NG. Dnde est entonces el origen del problema? Es posible destrabar esas tensiones y con ictos y avanzar en ambos procesos de manera complementaria? Ofrecemos enseguida una respuesta a estas importantes preguntas. Desde nuestro punto de vista, el corazn del con icto se encuentra en el propsito de hacer del SED el instrumento y el eje para implementar no solamente el PbR, sino tambin la evaluacin de la poltica social y en el mandato legal que obliga al CONEVAL a coordinar la evaluacin de la poltica social en los trminos que establece la LFPRH, adems de lo que establece la LGDS. El SED puede ser til para echar a andar el PbR y ste a su vez debe concebirse como una herramienta para impulsar la modernizacin de la administracin del presupuesto federal impulsando la e cacia econmica y social de los programas. Adems, es institucionalmente posible que, sin tener ese doble mandato legal el de la LFPRH y el de la LGDS, el CONEVAL mantenga la atribucin de aprobar los indicadores de gestin y resultados de los programas. Sin embargo, el SED tiene, por sus caractersticas, algunas limitaciones y rigideces institucionales que se traducen en di cultades para llevar a cabo una valoracin ms sustantiva de la poltica social y lograr ese propsito, el CONEVAL debera tener la atribucin y la capacidad para organizar por su cuenta el sistema de indicadores sociales que se requiere para evaluar los objetivos de la poltica social. No es lo mismo evaluar los objetivos de los programas y usar esa informacin para llevar a cabo ajustes presupuestales peridicos en los recursos destinados a los programas, que evaluar la poltica social en su conjunto, en trminos del cumplimiento de sus objetivos y de su calidad cognoscitiva e institucional.