Convirtiendo el monstruo en aliado: la evaluacin como herramienta de la gerencia social

Karen Marie Mokate Instituto Interamericano para el Desarrollo Social INDES Abril de 2000 Versin modificada1

La evaluacin naci el sptimo da de la Creacin, cuando Dios mir todo lo que haba creado y declar Es bueno. Con esa sola frase, Dios se convierte en el primer evaluador del mundo. No obstante, la evaluacin nacida en los cielos resultaba para algunos insuficiente y demasiado subjetiva. Por tanto, al escuchar la evaluacin de Dios (autoevaluacin, por cierto), el diablo objet e insisti cmo sabe que es bueno? cmo lo midi? con qu indicador juzg la bondad de su creacin? con qu lo compar? Y, as, nace la evaluacin como la conocemos hoy -- en los fuegos del infierno!
2 3

No sera exagerado plantear que la evaluacin ha sido percibida en los sectores sociales como diablo o como monstruo un deber gigantesco impuesto a gestores y ejecutores sin que ellos sientan ningn amor por el proceso ni perciban que tenga ninguna utilidad directa a sus procesos gerenciales o decisorios. La evaluacin como monstruo se ha aguantado como tarea que hay que hacer, por haber sido impuesta por alguna exigencia legislativa, por tecncratas del gobierno central o por agencias financiadoras. Los que ven rasgos de monstruo en el proceso evaluativo, tpicamente han sufrido evaluaciones sofisticadas, cuyos resultados se plasman en grandes informes que adornan la biblioteca de algn gerente o algn tecncrata, sin hacer mayor aporte al diseo o la gestin de la iniciativa evaluada. Estas percepciones negativas de la evaluacin se han cuestionado y disminuido en diversos momentos, particularmente en algunos tiempos de escrutinio del rol apropiado del Estado y de juicio social sobre la eficacia y eficiencia de la gestin pblica. Por ejemplo, en los Estados Unidos hacia final de los setenta, se plantea que en la medida que los llamados por eficiencia aumenten, hay presin por incrementar el accountability de los gerentes. Esto permite que peridicamente sean utilizados los procedimientos evaluativos para medir el cumplimiento de metas explcitas y especficas. Estos anlisis peridicos permitirn a los gerentes hacer ajustes internos en sus iniciativas y al mismo tiempo brindarn a sus subordinados una base para su intervencin o, para proveer asistencia tcnica. (Freeman y Soloman, 1981, p. 21). A partir de esos momentos, la evaluacin toma pasos importantes en el camino de convertirse en un proceso integral de la gerencia de programas y organizaciones (Attkisson et al, 1978). Los aos noventa en Amrica Latina han trado un profundo cuestionamiento del rol y de la eficiencia del sector pblico. Dicho cuestionamiento ha abierto la puerta a nuevas iniciativas para disear y poner en marcha procesos eficaces de evaluacin. Por lo tanto, ha habido mucho discurso y mucha tinta regada sobre la importancia de la evaluacin. Se empieza a reconocer y destacar los elementos bondosos del monstruo de la evaluacin. Por ejemplo, Wiesner Duran (1994) llama la evaluacin el proxy del
1 2

Rogamos no citar sin permiso del INDES. Comunicaciones con K. Mokate: karenm@iadb.org Gnesis 1:31 3 Se agradece el aporte sobre la historia del nacimiento de la evaluacin a Thereza Penna Firme de la Universidad de Rio de Janeiro.

mercado en la administracin pblica y considera que la evaluacin se puede convertir en uno de los instrumentos ms poderosos en la promocin de la modernizacin de la gestin pblica. Guerrero (1993) destaca un rol de la evaluacin como insumo a la reforma de polticas. A pesar de lo que ha sido tan hablado y tan publicado sobre la importancia de los procesos evaluativos, an es poco comn encontrar programas o polticas sociales en Amrica Latina que tiene un riguroso y sistemtico proceso de evaluacin incorporado a los procesos cotidianos de gestin y toma de decisiones. Aunque puede haber cierto avance en construir conciencia sobre la importancia de la evaluacin, en la mayora de los casos la evaluacin an no ha logrado un papel significativo o estratgico dentro del trabajo de disear e implementar estrategias, programas o proyectos. En otras palabras, la evaluacin se ha reconocido como importante, mas no se ha convertido en un proceso indispensable que forme parte del proceso de gestin. En efecto, los lderes en el discurso y la promocin de la evaluacin han sido mayoritariamente ministerios centrales de planeamiento o de finanzas, interesados en lograr transparencia con respecto a los efectos e impactos del gasto pblico sin haber generado convicciones verdaderas y efectivas con respecto a la evaluacin en los ministerios y agencias gestores de las polticas y programas sociales. Donde bien uno podra consolarse con ver evidencias de cierta conviccin sobre la importancia de medir, monitorear y evaluar en los sectores pblicos, al darse cuenta que dicha conviccin no ha conducido a la efectiva implementacin de procesos eficaces de monitoreo y evaluacin en los sectores sociales, surge la gran duda sobre por qu?. Por qu no se ha logrado una utilizacin amplia de la evaluacin como instrumento o insumo de los procesos de gestin de polticas y programas sociales? Este trabajo intenta reflexionar sobre las posibles razones por las cuales la evaluacin no logra insertarse efectivamente a la gerencia en los sectores sociales y luego propone tres acciones prioritarias que podran promover el uso gerencial de los procesos evaluativos. La prxima seccin examina las definiciones de la evaluacin y de procesos relacionados. La siguiente seccin analiza las caractersticas de los sectores sociales que contribuyen a la perpetuacin de la imagen monstruo del proceso evaluativo. En las ltimas secciones, se pregunta cmo avanzamos? en la destruccin de la imagen monstruo y la construccin de una alianza entre los procesos evaluativos y los gerenciales y decisorios.

Qu es la evaluacin?
La Real Academia de la Lengua (1992) indica que evaluacin consiste en la accin y efecto de sealar el valor de una cosa y que evaluar significa estimar, apreciar, calcular el valor de una cosa. De hecho, la palabra evaluar viene del Latn valere. Mara Moliner, en su Diccionario de Uso del Espaol 1990, seala que evaluar consiste en atribuir cierto valor a una cosa. Otros diccionarios --tanto del castellano como del ingls-- coinciden en asociar la evaluacin con su etimologa y asociarla con la asignacin de valor. Michael Scriven (1991) indica que evaluacin se refiere al proceso de determinar el mrito o valor de 2

algo y, por tanto, constituye un proceso que involucra alguna identificacin de estndares relevantes, alguna investigacin del desempeo de lo que se evala con base en estos estndares. En la prctica del anlisis de polticas, programas y proyectos, se ha distinguido en la evaluacin de procesos, frecuentemente denominada el monitoreo .
4

El monitoreo hace un seguimiento de las acciones de la iniciativa que se evala y los productos de dichas acciones. La UNICEF (1991) define el monitoreo como un seguimiento sistemtico y peridico de la ejecucin de una actividad, que busca determinar el grado en que su desenlace coincida con lo programado, con el fin de detectar oportunamente deficiencias, obstculos y/o necesidades de ajuste de la ejecucin. El BID (1997) agrega que el monitoreo busca comprobar la efectividad y eficiencia del proceso de ejecucin, mediante la identificacin de los aspectos limitantes y/o ventajosos. El propsito del monitoreo consiste en detectar de manera oportuna las fortalezas y deficiencias de los procesos de ejecucin, con tal hacer ajustes para una ptima gestin de las iniciativas, para optimizar los resultados esperados y responder a las expectativas de la ciudadana. (OCED, 1991). Estas definiciones sugieren que el monitoreo, o la evaluacin de procesos y actividades, tiene el fin de levantar banderas rojas, que advierten a los gerentes oportunamente sobre desviaciones del programa de trabajo. As definida, la evaluacin de procesos, o el monitoreo, se podra entender como equivalente a lo que Stufflebeam y Webster (1980) y Rossi y Berk (1981) denominan evaluacin de accountability, que se dirige a las preguntas siguientes: i) el programa desenlaza las actividades especificadas en su programacin? ii) entrega los servicios en la cantidad y calidad esperadas? iii) est llegando a los beneficiarios apropiados? iv) el calendario de ejecucin y entrega de servicios se cumple cabalmente? y v) los recursos del programa se utilizan de manera apropiada? En estos anlisis, el punto de referencia es el plan de trabajo o plan de accin para el programa y se analiza la ejecucin del programa con respecto a dicho plan. El monitoreo hace un acompaamiento de la ejecucin de actividades, la entrega de productos y el uso de recursos. Este acompaamiento permite juzgar con transparencia la ejecucin del programa, manteniendo el supuesto que el plan de accin pre-programado siga siendo el camino indicado para lograr los objetivos del programa.
5

La evaluacin de objetivos o resultados, o lo que ms comnmente se denomina sencillamente evaluacin, ha sido definida por la UNICEF (1991) como un proceso que procura determinar peridicamente y de manera sistemtica y objetiva, la relevancia, eficacia, eficiencia e impacto de un proyecto o programa, a la luz de sus objetivos. Valadez y Bamberger (1994) en un manual publicado por el Instituto de Desarrollo Econmico del Banco Mundial, indican que la evaluacin es una actividad gerencial externa y/o interna que analiza las relaciones de los procesos y recursos con los resultados e impactos. As, la evaluacin se extiende ms all que el monitoreo porque reconoce que el plan de accin constituye una hiptesis con respecto al camino que nos puede conducir al logro de los objetivos. De
4

Monitoreo (o lo que sera ms castizo, monitoria) viene del latin monere que significa advertir. La Academia Real define monitoria como consejo, monicin, advertencia. 5 Esta palabra la traduccin al portugus brasilero de monitoreo- parece reflejar muy bien el espritu de la actividad.

hecho, la evaluacin consiste en una prueba emprica de esa hiptesis una verificacin de que dicho camino efectivamente est conduciendo a las mejoras en las condiciones de vida que se buscaban promover. El Comit de Asistencia al Desarrollo de la OECD (1991) seala que el propsito (de la evaluacin) es determinar la pertinencia y logro de los objetivos y la eficiencia, efectividad, impacto y sostenibilidad del desarrollo. Una evaluacin debe proporcionar informacin que sea creble y til, para permitir la incorporacin de la experiencia adquirida en el proceso de adopcin de decisiones. Por supuesto, estas definiciones aplicadas representan interpretaciones de lo que constituye el proceso evaluativo. Cabe destacar que ninguna de ellas vuelve a rescatar explcitamente el concepto de valor o de mrito pues se centran en la verificacin del cumplimiento de un plan de trabajo y en el anlisis del cumplimiento de objetivos, suponiendo que el plan de trabajo o sus objetivos correspondientes tienen un valor ya reconocido o ya aceptado. Las definiciones aplicadas se basan en la suposicin de que el mismo hecho de haber tomado una decisin pblica de asignar determinados recursos a una iniciativa con determinados objetivos seala que ya existe un consenso o una aceptacin de que dichos objetivos tienen valor para la sociedad. Vedung (1997) propone que la evaluacin consiste en una anlisis cuidadoso y retrospectivo del mrito y valor de la administracin, productos e impactos de intervenciones gubernamentales , que tiene por objeto jugar un papel en situaciones futuras de accin prctica. Esta definicin mantiene el enfoque de la evaluacin en el anlisis sistemtico y riguroso de la gestin y los resultados de una iniciativa, con una finalidad prctica de ser til a los procesos gerenciales y decisorios. La definicin rescata el concepto de valor, y as constituye una definicin que nos desafa no slo a verificar el cumplimiento de objetivos, sino tambin a validar continuamente el valor social incorporado en el cumplimiento de dichos objetivos.
6 7

Con el nimo de rescatar los mritos de las muchas definiciones que hemos analizado y de sintetizarlas, proponemos destacar cinco caractersticas clave de los procesos de monitoreo y evaluacin aplicados a las iniciativas sociales: La evaluacin propone verificar de manera rigurosa y sistemtica el cumplimiento de actividades, el uso de recursos, la entrega de productos o servicios y el logro de los objetivos, de tal forma que el diseo y/o la gestin de la iniciativa se pueda ajustar con el fin de asegurar que genere el valor que la sociedad espere de ella. Como tal, la evaluacin no necesariamente involucra. La evaluacin forma parte integral del proceso de gestin. Por tratarse de un instrumento, la evaluacin slo llega a cumplir su fin si apoya ya afecta los procesos gerenciales y decisorios. En otras palabras la evaluacin no constituye un fin sofisticado en s mismo; tiene el fin de generar informacin til para los gerentes y decisores.

Vedung aclara que retrospectivo aplica tanto a las intervenciones en marcha como a las que ya estn terminadas. Propone acompaar iniciativas que estn en desarrollo con un continuo proceso de evaluacin. 7 La limitacin de la aplicacin a intervenciones gubernamentales no resulta necesaria. La definicin no se vera afectada por la eliminacin de ese adjetivo.

La evaluacin puede ser una actividad interna o externa de la gerencia. El monitoreo y la evaluacin no requiere de complejos sistemas de informacin o investigaciones que requieren de la intervencin de expertos en evaluacin o administradores de sistemas de informacin. Las evaluaciones de procesos (el monitoreo) y las evaluaciones de objetivos o resultados acompaan el proceso de gestin. Se realizan el monitoreo y la evaluacin simultneamente con la gestin. Por eso mismo, el diseo y puesta en marcha del proceso evaluativo deben iniciar con el mismo proceso de identificar el problema que se quiere enfrentar y conceptualizar posibles soluciones (que tendrn que ser monitoreadas y evaluadas).
8

El monitoreo y la evaluacin Los procesos de monitoreo y evaluacin son complementarios entre s, ya que el monitoreo permite describir y calificar el cumplimiento del plan de trabajo y la evaluacin permite ver si dicho cumplimiento, a su vez, ha conducido al cumplimiento de los objetivos que motivaron el diseo e inicio de la iniciativa. O, visto al revs, en la medida en que la evaluacin revela un cumplimiento (o incumplimiento) de los objetivos, el monitoreo genera valiosa informacin para analizar las relaciones causales entre las actividades de la iniciativa que se evala y dicho cumplimiento (o incumplimiento). El monitoreo es un elemento necesario del quehacer diario de la gerencia de organizacionales sociales enfocadas el la generacin de resultados (Freeman y Soloman, 1981). No obstante, el monitoreo sin la evaluacin o --lo que es lo mismo, la evaluacin de procesos sin la evaluacin de objetivos-- slo nos permitira juzgar la ejecucin de una iniciativa, sin poder concluir nada al respecto a la bondad de la iniciativa y la sensatez de continuarla o suspenderla. Asimismo, la evaluacin de objetivos resulta inviable sin el monitoreo. La evaluacin requiere de buena informacin generada por el monitoreo, pues para juzgar la eficacia y eficiencia de unas determinadas acciones en el cumplimiento de sus objetivos, va a ser indispensable conocer los aspectos cuantitativos y cualitativos de la ejecucin de dichas actividades. En adelante, este trabajo se va a referir al proceso de evaluacin, como un proceso integrado y continuo que mide y analiza el cumplimiento en un seguimiento sistemtico de acciones, del logro de resultados y de las relaciones entre los dos.

Por qu la imagen de monstruo?

Las diversas interpretaciones sugieren que es un proceso que contribuye al logro de lo que se busca en los
8

La definicin no excluira una evaluacin ex-post, realizada despus de terminar o suspender una iniciativa. En contraste, la definicin concientemente excluye la evaluacin ex-ante que depende de tcnicas de proyeccin y prediccin. Mokate (1993) argumenta que el fortalecimiento de la evaluacin ex-ante de iniciativas en los sectores sociales requiere de un esfuerzo sistemtico de monitoreo y evaluacin de iniciativas en marcha y terminadas, pues solo as se desarrollar alguna capacidad para proyectar o dar fuerza emprica a las hiptesis causa-efecto que fundamentan y justifican las estrategias propuestas.

sectores sociales generar un valor para la sociedad a travs del mejoramiento de las condiciones de vida de un determinado grupo poblacional. Brinda informacin relevante que, a su vez, fortalecera la capacidad de los gestores sociales para dar respuesta eficaz a las necesidades sociales. As, actuara como aliado de los que buscan lograr los objetivos de las polticas, programas y proyectos sociales. Por qu, entonces, surge y persiste la imagen de monstruo en el proceso de evaluacin? O, por qu el monitoreo y la evaluacin no se perciben como parte integral del proceso gerencial, como su definicin parecera indicar? por qu no se logra que el monitoreo y la evaluacin sean utilizados comn y eficazmente en los procesos gerenciales? A continuacin, vamos a analizar tres grupos de posibles respuestas a estas preguntas: los paradigmas gerenciales tpicamente aplicados en los sectores sociales; las aplicaciones convencionales del monitoreo y evaluacin en los sectores sociales y la naturaleza particular especfica o de las iniciativas sociales. Los paradigmas gerenciales en los sectores sociales: facilitan que la evaluacin sea un aliado? La gerencia de los sectores sociales tradicionalmente se ha caracterizado por un enfoque en actividades: un estilo gerencial orientado hacia la ejecucin de planes de trabajo pre-definidos, en los cuales las actividades se vuelven fines en s mismos. Este estilo se asocia con una administracin de los objetivos programticos u operativos de los programas o proyectos. El equipo gestor se orienta por el cumplimiento de actividades y de procesos. El producto mximo de este estilo de trabajo es la entrega de un bien o de un servicio. Este paradigma administrativo en la gestin solo requiere de informacin de evaluacin de procesos (del monitoreo). El equipo gestor no tendr ningn inters natural ni ningn incentivo para realizar ni para encargar una evaluacin de resultados. La gerencia se vuelve una administracin muy encerrada en las actividades fcilmente controlables por el equipo gestor. Facilita as una prdida de contacto con la poblacin objetivo de las actividades y pierde el enfoque de los cambios que se buscara promover en la poblacin objetivo. Visto desde la evaluacin, este estilo gerencial llega a depender de un supuesto (implcito) que el mismo cumplimiento de procesos o la sencilla entrega de un bien o servicio produzca valor para la sociedad. Basta saber, entonces, que se hayan cumplido dichos procesos o que se haya entregado el producto. El desempeo de los gerentes y del programa se juzga por el cumplimiento del plan de trabajo y no hay ninguna motivacin natural por hacer evaluaciones del logro de resultados o cumplimiento de objetivos sociales. Este estilo administrativo de conducir los programas y proyectos sera equivalente a decir a nuestros hijos que el buen desempeo escolar consiste en ir a la escuela todos los das y en entregar las tareas sin importar ni evaluar lo que estn aprendiendo! Dicho enfoque de la gerencia facilita que programas de instalacin de letrinas (supuestamente dirigida al mejoramiento de condiciones sanitarias) sean evaluados como completos, muy bien llevados, sin anotar que al cabo de un tiempo muy corto, las instalaciones de las letrinas se hayan convertido en bodegas y la taza sanitaria, en matera. Permite concluir que un programa de vacunacin masiva ha sido un gran xito por haber aplicado 20.000 vacunas en un solo da, sin anotar que la tasa de cobertura efectiva es nfima, porque la vacuna representa una dosis repetida para la mayora 6

de los nios que la reciben. Adems, este estilo gerencial permite un deterioro en la explicitacin de objetivos, lo que conduce a su vez a la no evaluabilidad de las iniciativas del sector. Por supuesto, cuando los objetivos de los cambios sociales no juegan el papel central de orientador de las acciones y la gestin, se pueden convertir en una abstraccin, en una meta asociada, pero no vinculada directamente con las iniciativas que se realizan y no responsabilidad directa del equipo gestor. Puede resultar que los objetivos ni siquiera se conozcan a profundidad y se convierten en justificaciones polticas del bien o servicio que se entrega. Curiosamente, entonces, resulta que los equipos gestores mismos reconocen que los objetivos sociales ni siquiera sean entendibles a veces, por tratarse de fenmenos complejos como exclusin, equidad, auto-estima o logro del proyecto de vida individual. No resulta sorprendente, entonces, que los equipos de programas sociales objetan a las propuestas para hacer evaluaciones de objetivos o resultados de las iniciativas que administran, argumentando que los objetivos ltimos de lo que proponen hacer son ambiguos, simblicos y no observables. Los equipos gestores no cuestionan los objetivos mximos de su quehacer y no verifican el cumplimiento de ellos porque, no han sido responsabilizados por el logro de los objetivos, sino de la ejecucin de las actividades propuestas para poderlos lograr. As, no tienen ningn incentivo para apoyar o participar en un proceso de evaluacin de objetivos o resultados.
9

Los procesos de monitoreo/evaluacin en los sectores sociales: se han aplicado de manera que facilite que se perciban como aliados? Durante las ltimas dcadas, las evaluaciones en los sectores sociales se han caracterizado por ser externas, hechas por terceros (quienes no son actores en la gestin). Frecuentemente han tomado el tono de ser fiscalizaciones, auditoras o controles a los que estn diseando e/o implementando las iniciativas, que frecuentemente resultan en la publicacin de un informe que nunca es utilizado en el proceso decisorio o gerencial. En la mayora de los casos, han consistido en un chequeo del cumplimiento de las actividades programadas y, a lo sumo, de entrega de servicios a una determinada poblacin. La falta de incentivos para hacer una evaluacin obliga a que las evaluaciones sean externas. A la vez, las evaluaciones externas fcilmente se perciben como una intervencin externa a la iniciativa. Se convierte rpidamente en un proceso fiscalizador, poco aliado del equipo gestor. Por otro lado, los procesos evaluativos convencionales se realizan en momentos que obstaculizan su uso para retroalimentar o para educar la gestin de las iniciativas. Frecuentemente, las evaluaciones son expost realizadas cuando ciertas actividades han terminado y no hay ninguna posibilidad de reaccin o ajuste por parte del equipo gestor. En este momento, la evaluacin fcilmente se puede convertir en un ejercicio
9

Otra pregunta, an no resuelta de manera satisfactoria, resulta ser si no comprendemos plenamente los objetivos sociales, por ser simblicos, complejos, multi-dimensionales, cmo somos capaces de proponer iniciativas para poderlos lograr? De dnde vienen las hiptesis con respecto al tipo de actividades y servicios capaces de hacer cumplir esos objetivos que no comprendemos?

de bsqueda de culpables o de alabar a algunos que poco tuvieron que ver con sus xitos. Indudablemente, se convierte en un aprendizaje que no puede ser aplicado inmediatamente y, en el mejor de los casos, ser utilizado en la formacin de futuras polticas y programas (si existe una adecuada difusin de los resultados evaluativos). Podemos concluir entonces, que las aplicaciones convencionales de la evaluacin en los sectores sociales han limitado la posibilidad de que sea percibida como aliado del proceso gerencial. La naturaleza de las iniciativas sociales: resulta viable un proceso de monitoreo/evaluacin? Las iniciativas del sector social, por definicin, estn dirigidas al cambio en las condiciones de vida de un determinado grupo de individuos y/o familias. Inciden sobre las condiciones en que las personas se desarrollan como individuos, como miembros de familia y/o como ciudadanos. Esta caracterstica de lo social implica que las relaciones entre determinadas acciones y sus correspondientes consecuencias van a ser particularmente sensibles al entorno, en todas sus dimensiones cultural, econmica, social, laboral, climtica, epidemiolgica, entre otros. As, el logro de objetivos sociales se asocia con lo que Sulbrandt (1993) denomina las tecnologas blandas de los programas sociales. Una tecnologa dura sera la que combina un determinado conjunto de insumos en una forma especfica y resulta con un determinado resultado o producto con casi cien por ciento de certidumbre. En contraste, una tecnologa blanda significa que una determinada combinacin de insumos y acciones no necesariamente conduce al mismo resultado. En estos casos, cuando vamos a seleccionar las estrategias, programas o proyectos que se proponen para lograr un determinado objetivo social, nos vemos obligados a basarnos, en el mejor de los casos, en unas hiptesis de relaciones causales. Suponemos, con base en antecedentes, o experiencias en otros contextos, o en una conceptualizacin de relaciones causa-efecto, que lo que proponemos hacer pueda conducir al cumplimiento de los objetivos. No obstante, sabemos de antemano que muchas variables introducen incertidumbre en dicha relacin. La sensibilidad a mltiples contextos o variables del entorno implica que las variables asociadas con los resultados esperados de las iniciativas sociales pueden ser afectadas por mltiples iniciativas y dinmicas en cualquier momento determinado. Esta caracterstica implica que la atribucin de cambios en dichas variables a las acciones de la iniciativa que estamos evaluando se vuelve particularmente difcil. El carcter de los objetivos en los sectores sociales tiene otra dimensin de complejidad: la temporal. Muchos de los objetivos buscados en los sectores sociales se consiguen en un plazo relativamente largo, frecuentemente mucho despus de haber realizado las acciones que supuestamente los causan. La complejidad de los objetivos sociales y su sensibilidad a tantos elementos y condiciones del entorno han contribuido al desarrollo de una mstica de complejidad alrededor de la evaluacin. Esta mstica, a su vez, contribuye al desarrollo de una resistencia a la evaluacin y la medicin. La complejidad de los objetivos sociales y la aplicacin de tecnologas blandas efectivamente hacen que la 8

evaluacin en los sectores sociales resulte difcil. Sin embargo, no implica que resulte menos importante evaluar en los sectores sociales. Tampoco significa que resulte imposible. Sencillamente, nos genera un desafo: en la medida que exista un papel importante de la evaluacin en una gerencia enfocada en la generacin de cambios en el bienestar social, habr que superar las complejidades o dificultades del proceso evaluativo.

Hacia un uso gerencial del monitoreo y evaluacin : Cmo avanzamos?

La gerencia social moderna depende de la evaluacin. El cambio del paradigma de la gerencia social requiere, a su vez, de un cambio del paradigma de la evaluacin en los sectores sociales. Nos obliga a superar las dificultades de la evaluacin y la imagen de monstruo. La gerencia social moderna consiste en una gerencia adaptativa de resultados, una gerencia de modificaciones de condiciones de vida, que tiene los rasgos de ser participativa, adaptativa, descentralizada y enfocada en los objetivos que motivaron su propia existencia los objetivos de cambiar determinadas condiciones de vida de un determinado grupo. Con un estilo y paradigma de gerencia social de esta naturaleza, las iniciativas se juzgan por el cumplimiento de sus objetivos sociales y los gerentes tienen incentivos naturales para manejar informacin sobre el cumplimiento de dichos objetivos. Tienen inters en establecer, esclarecer y negociar indicadores no ambiguos, verificables y fidedignos de los objetivos sociales del programa y dependern de informacin sobre el cambio en condiciones de vida para pautar y guiar sus actividades gerenciales. Este paradigma gerencial obliga a los gerentes a enfocar sus esfuerzos (tanto gerenciales como evaluativos) a donde van a significar algo para el desarrollo social: hacia las poblaciones cuyas vidas deben mejorar como consecuencia de las iniciativas sociales.
10

Por tanto, la evaluacin resulta ser un instrumento sine qua non de la gerencia adaptativa y enfocada en resultados. En dicha gerencia, la evaluacin deja de ser un instrumento de control, supervisin y auditora implementado por expertos en evaluacin o impuesto por terceros y se convierte en un proceso estratgico realizado por los equipos gestores de la iniciativa . Se convierte en un aliado del equipo gestor, quien necesita de la informacin generada por el proceso evaluativo para poder cumplir las responsabilidades de su gerencia. La maduracin de un nuevo paradigma gerencial un proceso de maduracin paulatina y de largo plazo trae consigo incentivos naturales para convertir el proceso evaluativo en un aliado. As, en la medida que las leyes, los programas, los contratos y la asignacin de recursos empiezan a enfocar la gerencia en el cumplimento de objetivos, habr mecanismos naturales para fomentar el nuevo imagen del monitoreo y evaluacin como aliado del equipo gestor. No por eso estamos insinuando que debemos esperar la maduracin de nuevos estilos de la gerencia social para fortalecer los procesos de monitoreo y evaluacin. De hecho, se observa en Amrica Latina que uno de los mecanismos que se est utilizando para fomentar nuevas estrategias gerenciales es el mismo proceso
10

Ver, por ejemplo, Bernardo Kliksberg, Gerencia Social: dilemas gerenciales y experiencias innovativas en Kliksberg (1993).

evaluativo. La buena informacin brindada por un buen proceso evaluativo puede facilitar el compromiso de los equipos gestores con el seguimiento y el logro de los resultados mximos de las iniciativas sociales. A continuacin, vamos a identificar y discutir cuatro desafos que deben ser enfrentados de manera prioritaria para ir construyendo un proceso de evaluacin para una iniciativa social. Luego se concluir con la propuesta de un modesto conjunto de recomendaciones para promover y facilitar la superacin de la imagen monstruo de la evaluacin. Cuatro desafos para facilitar la conversin del monstruo El anterior anlisis de las caractersticas de los sectores sociales permite plantear cuatro desafos, que pueden ser enfrentados como pasos prioritarios para empezar a convertir el proceso de evaluacin en un verdadero aliado del gerente social para que forme parte de la caja de herramientas utilizadas en el quehacer diario de la gerencia social. Se recomienda priorizar el avance sobre lo siguiente: La especificacin de un marco conceptual de la poltica, programa o proyecto que se propone monitorear y evaluar, para indicar claramente los resultados esperados y explicitar las relaciones causales supuestas. La superacin de la brecha --tanto real como percibida-- entre lo cuantitativo y lo cualitativo en la especificacin de objetivos y la evaluacin. La identificacin y concertacin de indicadores e informaciones relevantes, tomando en cuenta el marco conceptual y las diversas perspectivas e intereses asociados con los resultados y las relaciones causales esperados. La definicin y manejo efectivo de flujos de la informacin generada por el proceso evaluativo y la introduccin de estrategias e incentivos que promueven el uso de dicha informacin.

Primer desafo: especificar un marco conceptual de la iniciativa que se va a evaluar Alicia, al encontrarse perdida en el pas de las Maravillas, pregunta al gato de Chechire por el camino que debe seguir. El gato le pregunta hacia dnde quiere ir? Alicia responde que realmente no importa. Contesta el sensato gato, Si no sabe a donde quiere ir, no importa qu camino toma para llegar. Esta respuesta se ha convertido en la bandera de los que argumentan que la definicin clara y explcita de objetivos delimitados y no ambiguos constituye el primer requisito para poder construir un proceso evaluativo. Si no sabemos el norte de la iniciativa que vamos a evaluar, no vamos a conocer el camino que tenemos que analizar en los procesos de monitoreo y evaluacin. Si no sabemos lo que queremos lograr, va a ser muy difcil hacer un anlisis de su logro! Bastante evidente, )no? Sin embargo, uno de los mayores obstculos a la evaluacin en los sectores sociales ha sido una falta de claridad o de consenso con respecto a los objetivos de las iniciativas y los resultados esperados de las iniciativas sociales que evaluamos. Se requiere de una visin clara de lo que se quiere lograr, de la forma 10

en que se propone lograrlo y de las relaciones causales (hipotticas o concretas) entre ellas sencillamente, un marco conceptual.
11

Marco conceptual: definicin y especificacin En su forma ms bsica, el marco conceptual de una iniciativa social parte de la definicin de una transformacin deseada que se ha definido a partir del contraste en un detallado conocimiento y anlisis de la situacin existente y la concertacin de una situacin mejorada, deseada y viable. La transformacin promovida por las iniciativas sociales tpicamente se relaciona con algn aspecto de las condiciones de vida de un determinado grupo poblacional. El contraste de la situacin existente con la situacin deseada nos define la transformacin esperada que, a su vez, podramos denominar el objetivo final (o mximo) de nuestra iniciativa. La transformacin promovida por las iniciativas sociales tpicamente se relaciona con algn aspecto de las condiciones de vida de un determinado grupo poblacional. Para lograr el objetivo final, nos basamos en un conjunto de conocimientos tericos y conceptuales y con un bagaje de experiencias acumuladas para plantear una hiptesis causal: que algn servicio, algn conocimiento o algn cambio en el comportamiento o actitud de la poblacin objetivo podra conducir al logro del objetivo final. As, definimos unos objetivos intermedios relacionados con la participacin de la poblacin en una actividad o el consumo por parte de dicha poblacin de un determinado bien o servicio. Nos basamos en un raciocinio que el logro de dicho objetivo intermedio va a provocar el logro del objetivo final. A su vez, avanzamos sobre la planificacin de la iniciativa proponiendo las inversiones y estrategias necesarias para lograr los objetivos intermedios. Dichas inversiones y estrategias nos esbozan los objetivos operativos de nuestra iniciativa. Siguiendo con esta lgica, el logro de los objetivos operativos requiere del cumplimiento de unas tareas y acciones, del uso de unos insumos y recursos que, a su vez, causan ciertos costos.

Resumiendo, se puede sugerir que la estrategia para definir el marco conceptual parte de la especificacin de la transformacin o cambio social que se busca lograr y luego consiste en preguntar en forma iterativa: cmo vamos a lograr ese objetivo? Cmo vamos a provocar el logro del objetivo anterior? As vamos estableciendo una cadena de objetivos relacionados en forma causal entre s. La cadena de objetivos estipula los medios y los fines que se proponen para poder conducir, en ltimos, a la transformacin social deseada (el objetivo final).

11

De manera genrica, un modelo conceptual consiste en la especificacin de las relaciones esperadas entre un conjunto de conceptos relacionados. Ver van Herpen (1992).

11

La Figura 1 ilustra y resume esta visin del marco conceptual, que nos permite entender el raciocinio de la iniciativa social en trminos de un conjunto de objetivos interrelacionados, derivados los unos de los otros. Figura 1: Una visin genrica del marco conceptual

Situacin existente

Interpretacin de la transformacin deseada

Situacin deseada

Objetivo final

Objetivo(s) intermedio(s): cambio en algn comportamiento, actitud o accin, en la poblacin objetivo

Objetivos operativos: estrategias e inversiones

Actividades, tareas

Insumos, costos

La Terminologa del Marco Conceptual Los trminos utilizados para describir los diferentes eslabones de una cadena de objetivos son mltiples. Diferentes autores denominan de manera distinta los conceptos bsicos asociados con los elementos del marco conceptual. La Figura 2 brinda ejemplos de terminologa alternativa para el marco conceptual. Cohen y Franco (1992) sugieren que los elementos de una cadena de objetivos interrelacionados se podran denominar impactos, efectos, productos y procesos. Estos autores definen: Impactos: el resultado de los efectos., las alteraciones en el grupo meta que pueden atribuirse a la iniciativa; Efectos: todo efecto o acontecimiento que ha sido influido por algn aspecto de la iniciativa; Productos: los resultados concretos de las actividades de la iniciativa, asociados tpicamente con bienes producidos o servicios entregados; 12

Procesos: el conjunto de actividades que se realizan para tratar de alcanzar el objetivo mximo.

Otra terminologa para los diversos eslabones de la cadena de objetivos o jerarqua de objetivos viene de la literatura sobre el Marco Lgico (ver, por ejemplo, OPS (1996) o BID (1997)): Fin: el objetivo mximo al cual va a contribuir la iniciativa; indica cmo la iniciativa va a contribuir a la solucin de un problema o satisfaccin de una necesidad; Propsito: el impacto directo o resultado de la utilizacin de los componentes, el encuentro de la oferta de la iniciativa con una demanda efectiva y sostenida de la poblacin objetivo; Componentes: las obras, servicios, informacin o capacitacin ofrecido por la iniciativa; Actividades: las acciones y tareas principales que deben realizarse para generar los componentes.
12

Otras presentaciones del marco conceptual proponen una cadena alternativa. Por ejemplo, en muchas aplicaciones de los gobiernos estadounidenses la cadena solo tiene tres eslabones: insumos, outputs (productos) y outcomes (objetivos intermedios y/o finales, segn el caso). No obstante, los conceptos son consistentemente iguales: el objetivo mximo, de modificar determinadas condiciones de vida de un determinado grupo de personas, nos conduce a definir un conjunto de objetivos subordinados, cada vez ms operativos, que se relacionan en una cadena medios-fines o causa-efecto. Ninguna de las alternativas de terminologa ni ninguna de las presentaciones de la cadena resulta ms correcta que las otras y un esfuerzo por unificar o consensuar una terminologa preferida puede resultar frustrante y semntica. La cadena tiene que entenderse en forma flexible. Por tanto, consideramos importante desarrollar una conciencia sobre las mltiples terminologas que se utilizan y las diversas formas de definir la cadena. El nmero de eslabones y los nombres que se les asignan pueden variarse, siempre y cuando se mantenga lo importante: el concepto de objetivos interrelacionados y encadenados. La bondad del ejercicio de construir el marco conceptual radica en obligarnos a explicitar lo que se propone lograr, la forma en que se propone lograrlo y las relaciones esperadas entre fines y medios. As, nos permite examinar la racionalidad y viabilidad de lo que se propone y facilita un seguimiento que contribuye a la explicacin del desenlace de los xitos y fracasos de las iniciativas. El marco conceptual se convierte en el mapa del proceso de monitoreo y evaluacin. Nos indica los fenmenos que tenemos que analizar y seguir y gua nuestra definicin de necesidades de informacin.

12

Algunas presentaciones del Marco Lgico (por ejemplo, la de la OPS) denominan este eslabn resultados. Preferimos evitar esta denominacin porque no resulta consistente con la gerencia de resultados sociales que no se refiere a gerencia de obras y servicios sino a una gerencia enfocada ms ampliamente en la generacin de efectos e impactos o sea, una gerencia enfocada a cambios sociales.

13

Situacin existente
IMPACTO (Fin) EFECTO (Propsito) PRODUCTOS (Componentes o Resultados)

Situacin deseada

PROCESOS (Actividades, insumos)

Figura 2: La Jerarqua de Objetivos: terminologa alternativa para el marco conceptual. La cadena, visto al revs Hasta ahora, nos hemos referido a la cadena visto desde la definicin de la transformacin deseada y de all, procedemos a la definicin de objetivos asociados con la entrega de productos o servicios, y a la definicin de objetivos cada vez ms operativos. Podemos verla al revs tambin:

Se va a realizar un conjunto de actividades para lograr ofrecer unos productos, los cuales a su vez permitir lograr los objetivos intermedios que, luego permitir lograr los objetivos finales que representan la misma razn de ser de la iniciativa. En resumen, el marco conceptual de una iniciativa se ilustrara de esta manera: Actividades Productos Objetivos intermedios Objetivos finales En este marco, si nos ubicamos al lado izquierdo estaramos metidos en la gestin intramural del programa, 14

poltica o proyecto, donde el logro del cumplimiento de los objetivos asociados de actividades y productos resulta muy sujeto al control directo del equipo gestor. En la medida que nos desplazamos hacia la derecha, nos sometemos ms y ms a una multiplicidad de factores y dinmicas que incidan sobre el xito en el logro de los diferentes eslabones. Nos movemos a depender no slo de las acciones del equipo gestor, sino de la poblacin objetivo y de las diversas dinmicas que puedan incidir sobre los comportamientos de esa poblacin y de las variables que representan el logro de los objetivos intermedios y finales. A manera de ejemplo, consideramos una iniciativa para mejorar los resultados de los estudiantes de las escuelas pblicas de todo el territorio nacional en pruebas estandarizadas de matemticas. Para poderlo lograr, se propone modificar los mtodos pedaggicos que se utilizan en aulas para ensear las matemticas. El programa, para lograr incorporar los nuevos mtodos en aula, va a hacer una masiva campaa de capacitacin docente y de dotacin de materiales docentes. As, la cadena que refleja el marco conceptual sera algo parecido a lo siguiente:

Actividades
Diseo de la capacitacin Desarrollo y reproduccin de materiales para capacitacin Capacitacin de capacitadores Promocin de la capacitacin Seleccin de nuevos materiales Adquisicin de materiales docentes Distribucin de materiales docentes

Productos
Capacitacin de todos los docentes en servicio al nivel primario en el territorio nacional

Objetivos intermedios
Adaptacin sostenida de nuevos mtodos pedaggicos en aulas

Objetivos finales
Mejoramiento de los resultados de los estudiantes del nivel primario en los exmenes estandarizados de matemticas.

Distribucin de un determinado conjunto de materiales a todas las escuelas primarias en el territorio nacional

Observe que aunque la simplificacin grfica de la cadena ilustra cada eslabn de manera sinttica, cada uno puede conformarse por mltiples acciones o logros. Mltiples actividades se combinan para generar un determinado nmero de productos, que pueden conducir al logro de uno o ms propsitos que, a su vez, contribuyen al logro de uno o ms fines. Los eslabones de la cadena: objetivos bien especificados Cada componente del marco conceptual o, lo que es lo mismo, cada eslabn de la cadena de objetivos, debe expresarse de tal manera que sea conforme con las caractersticas mnimas de un objetivo evaluable. Por tanto, cada eslabn de la cadena debe expresar un objetivo que sea: claro verificable, medible 15

viable especfico, particularmente en sus aspectos cualitativos delimitado en el espacio y el tiempo.

Esta exigencia contrasta significativamente con la forma en que muchos objetivos han sido tpicamente explicitados en los sectores sociales. Ha habido una tendencia de expresar los objetivos de tal forma que no pueden ser objetados pero tampoco resultan interpretables de manera no ambigua ni verificables. Por tanto, resultan ser objetivos que no se prestan a la evaluacin. A manera de ejemplo: Objetivo final de un programa de atencin preventiva para adolescentes vulnerables: Permitir que los adolescentes socialmente vulnerables tengan la oportunidad de desarrollar ms plenamente su proyecto de vida. Objetivo final de una iniciativa de inversiones sociales focalizadas: Mejorar la equidad de la entrega de los servicios sociales. Estos objetivos ambiguos y ambiciosos se caracterizan por una retrica que dificulta cualquier oposicin en la discusin sobre su importancia o valor. No obstante, no son objetivos evaluables, porque no han sido interpretados de tal manera que sean verificables de manera objetiva. Para hacer que sean evaluables, resulta necesario interpretar lo que quiere decir tener la oportunidad de desarrollar su proyecto de vida o equidad en la entrega de servicios sociales. Tenemos que concretar cada objetivo con alguna forma concreta y objetiva de verificar su xito. Dos elementos de particular inters Las particularidades de las iniciativas sociales hacen pensar que valdra la pena examinar dos elementos de este marco conceputal con especial inters: especificacin del objetivo final: la especificacin del objetivo final obliga a interpretar el contraste de la situacin existente y la situacin deseada, y la consecuente visin de una transformacin deseada. Este paso requiere de una lectura de la realidad y la elaboracin (preferiblemente consensuada) de la visin de una situacin mejorada y alcanzable (no utpica). El resultado de ese contraste debe ser una transformacin deseada, que podramos especificar en forma de un objetivo bien delimitado. El paso de la interpretacin de la transformacin deseada a su expresin en un objetivo bien delimitado resulta, a veces, abismal. Las transformaciones deseadas frecuentemente se expresan con una terminologa que requiere de mucha interpretacin y anlisis para convertirse en un objetivo. Por ejemplo, reducir la exclusin social podra ser transformacin deseada en muchos pases actualmente. La conveniencia de expresar el fenmeno de esa manera radica en lo atractivo moral, poltico y tico de apoyar un objetivo aparentemente tan meritorio. Rpidamente se genera apoyo detrs de esta expresin. No obstante, al preguntar cmo reconoceremos el xito de haber disminuido la exclusin social? Nos damos cuenta que falta claridad sobre el significado de este fenmeno. Si vamos a disminuirla, tenemos que 16

poder observar modificaciones en el grado o magnitud de la exclusin. Por ende, nos vemos obligados a explicitar nuestra interpretacin de un concepto que podra entenderse de mltiples maneras. Las transformaciones deseadas en los sectores sociales frecuentemente presentan estas dificultades de interpretacin. Consideremos los siguientes ejemplos: aumentar la calidad educativa al nivel primario contribuir al fortalecimiento institucional de los gobiernos locales fortalecer la estrategia de atencin primaria en salud

Los tres ejemplos tienen las mismas caractersticas que el deseo de reducir la exclusin social: primero, se proponen de tal manera que generan apoyo fcilmente; segundo, son lo suficientemente ambiguos que no queda claro cmo reconocer el xito del logro del objetivo; y tercero, pueden ser interpretados o entendidos de mltiples maneras, hecho que crea la necesidad de consensuar un entendimiento del fenmeno. Cmo enfrentamos este tipo de objetivo en la construccin del marco conceptual? (Aunque no se caracterizan por los atributos de un buen indicador). Lo meritorio de los enunciados y sus capacidades para generar apoyo son suficientes para que se consideren buenos objetivos de iniciativas sociales. Podramos considerarlos objetivos sombrilla una visin amplia y emotiva que nos da una causa comn. Luego, habra necesidad de avanzar sobre los objetivos sombrilla, intrepretarlas y traducirlas en unos objetivos que podran ser observables.
13

especificacin de las hiptesis causales: los elementos representados con flechas en el marco conceptual son relaciones causa-efecto o medios-fines. Por tanto, el proponer un objetivo intermedio para lograr un objetivo final bsicamente consiste en proponer una hiptesis causal entre los dos elementos. De igual forma, proponer una estrategia, representada por unos objetivos operativos para lograr un determinado objetivo intermedio es lo mismo que proponer la hiptesis de que dicha estrategia sea capaz de conducir al logro de los objetivos intermedios.

13

Es este paso que conduce a que la evaluacin sea acusada de ser un ejercicio de reduccionismo. Reduce un objetivo complejo, multi-dimensional y multi-causal a un objetivo verificable. Donde bien existe elementos de reduccionismo, nos engaamos si pensamos que ocurre por el proceso evaluativo. Ocurre en el mismo momento que tratamos de utilizar estrategias fsicas y programticas para acercarnos a una solucin del problema. Ocurre cuando planteamos que entendemos el objetivo complejo no suficientemente bien como para proponer una manera en que nos podemos atrever a proponer una estrategia para su logro. El proceso evaluativo nos obliga a especificar las interpretaciones del objetivo complejo, multi-dimensional que hemos utilizado en nuestro proceso de formular dicha estrategia. En otras palabras, fuimos capaces de proponer un conjunto de acciones para lograr nuestros objetivos ms complejos por haber incurrido en algn reduccionismo. Es el momento de la especificacin del marco conceptual para la evaluacin que nos obliga a revelar nuestra estructura mental de causalidades esperadas y nos obliga a demostrar al mundo las interpretaciones implcitas que hemos dado al fenmeno tan complejo que buscamos afectar.

17

A manera de ejemplo, cuando proponemos una campaa de educacin o concientizacin de mujeres sobre rehidratacin oral con el fin de reducir la morbilidad infantil por enfermedades diarreicas, estamos proponiendo dos hiptesis: primero, que la adecuada aplicacin de rehidratantes sea capaz de afectar significativamente la morbilidad infantil por enfermedad diarreica; y, segundo, que una campaa educativa/informativa sea suficiente para lograr que las madres no slo aprendan a utilizar los rehidratantes sino que sea suficiente para promover que las madres efectivamente los utilicen. Algunas de las hiptesis causales que utilizamos en los marcos conceptuales son de alta certidumbre: por ejemplo, que la vacunacin de nios menores de cinco aos que hasta entonces no han sido inmunizados reduce la morbi-mortalidad por enfermedades inmuno-prevenibles. Otras van a ser ms inciertas: por ejemplo, que una campaa callejera de vacunacin vaya a atraer a los nios menores de cinco aos que hasta entonces no han sido inmunizados. Podemos haber probado experimentalmente unas de las hiptesis: por ejemplo, que una determinada metodologa pedaggica ha sido efectiva en la superacin de fracaso en lectura bsica en nios entre 10 y 15 aos. Otras hiptesis habrn sido menos probadas: que una determinada capacitacin d a los maestros las habilidades necesarias para efectivamente aplicar dicha metodologa. Las relaciones causales en las iniciativas de los sectores sociales son particularmente complejas, porque son afectadas por una amplia gama de elementos del entorno (econmicos, culturales, sociales, epidemiolgicos, climticos), como ya discutimos en nuestra referencia a las tecnologas blandas (inciertas) de las iniciativas sociales.

Figura 3: Marco conceptual: monitoreo y evaluacin como seguimiento y prueba de las

Transformacin deseada

Actividades

Objetivos operativos
(Productos)

Objetivos intermedios
(Efectos)

Objetivo final
(Impacto)

18

hiptesis sobre relaciones causales esperadas El marco conceptual como mapa del monitoreo y evaluacin Combinando las dos perspectivas de la cadena, podemos esbozar un mapa para el monitoreo y la evaluacin tal como aparece en la Figura 3. Esta presentacin grfica tiene la bondad de permitir diferentes entendimientos de la progresin de la cadena, siempre relacionando los elementos de la cadena con la transformacin social que se desea provocar. La presentacin de la Figura 3 en forma circular nos obliga a explicitar que nuestra interpretacin de la transformacin conduce a la definicin de unos objetivos interrelacionados (jerarquizados) y la gestin de las actividades y objetivos operativos solo llega a tener en un contexto amplio, relacionado con la transformacin deseada. La especificacin del marco conceptual constituye el primer paso de la evaluacin. Esta especificacin nos da el mapa de lo que vamos a evaluar.
14

La explicacin de la cadena de objetivos y su presentacin en una forma transparente nos permite realizar una revisin crtica de la conceptualizacin de la iniciativa que vamos a evaluar. Nos permite revisitar la relevancia y prioridad de la transformacin deseada que la iniciativa propone promover y la revisin del raciocinio de las relaciones causales propuestas. As, el proceso evaluativo siempre deja abierta la posibilidad de proponer modificaciones en los eslabones de la cadena, bien sea porque se observa que la dinmica social hace que la transformacin deseada deja de ser pertinente o prioritaria o bien sea porque la experiencia de gestin de la iniciativa indica que las relaciones causales esperadas no se estn produciendo. Proponemos las siguientes recomendaciones para la construccin del marco conceptual (o cadena):
15

La explicitacin del marco conceptual nos arroja una gua de los fenmenos que se van a analizar en los procesos de monitoreo y evaluacin. Ya hemos dicho que debemos entender la cadena de objetivos en forma flexible. Los modelos ilustrados en las Figuras 1, 2 y 3, que incorporan cuatro eslabones, son meros ejemplos. No hay ninguna obligacin a que el nmero de eslabones sea concretamente cuatro. A su vez, cada elemento del marco conceptual tiene que expresarse de tal forma que sea observable y evaluable. Como tal, tiene que ser expresado en elementos objetivamente verificables. Este requerimiento es particularmente desafiante para el objetivo final (o mximo) que refleja una interpretacin de la transformacin social deseada. En la construccin del marco, la especificacin del objetivo final resulta particularmente crtica, ya

14

De hecho, es el primer paso del anlisis de evaluabilidad. Ver Wholey (1981). Si no contamos con un marco conceptual bien especificado y racional en las relaciones causales esperadas, la iniciativa no va a ser ni evaluable ni gerenciable dentro de un contexto de transparencia y accountability verdadero. 15 Esta apreciacin es fundamental, pues algunos crticos encuentran muy limitante el sometimiento del proceso evaluativo a unos objetivos pre-especificados. (Por ejemplo, Scriven, 1973) Si proponemos que el marco conceptual de una iniciativa no es escrito en sangre, sino es un entendimiento de la iniciativa que siempre est abierto a revisin y modificacin, la limitacin se reduce significativamente.

19

que da las pautas con respecto al juicio mximo al cual vamos a someter la iniciativa. Debemos tener en cuenta que el objetivo mximo es una interpretacin observable de la transformacin deseada. Por tanto, el objetivo mximo debe reflejar el cambio social que se desea promover. Esto hace difcil aceptar que un objetivo final podra ser la puesta en marcha o la continua oferta de un determinado programa o la entrega no interrumpida de un determinado servicio. El objetivo mximo no podra ser ofrecer un programa de educacin a distancia, porque el programa (o el servicio) no es un fin en s. No deseamos el programa como una transformacin social en s, sino porque modifica algn comportamiento o alguna condicin de vida de algn grupo poblacional. El criterio que tiene que primar en la especificacin del objetivo final de la cadena es uno de valor: el objetivo final nos indica el punto hasta donde vamos a evaluar y, por ende, la especificacin del objetivo mximo involucra un juicio que el cumplimiento de dicho objetivo representa la generacin de valor para la sociedad. Si eligiramos que el objetivo final fuese ofrecer un programa de educacin a distancia estaramos sealando que la mera existencia del programa representara un valor para la sociedad. De hecho, estaramos diciendo que el programa en s (aunque no se produjera ninguna otra consecuencia) genera un valor suficiente como para justificar el uso de los recursos necesarios para ejecutar el programa. El objetivo mximo que se especifica en el marco conceptual para el proceso evaluativo no necesariamente tiene que ser el ltimo beneficio que se espera de la iniciativa que proponemos evaluar. Puede haber otras consecuencias esperadas, y se elige por determinados motivos, no entrarlos en el proceso evaluativo. Por ejemplo, un fondo de financiamiento de proyectos de infraestructura social a los municipios de menor desarrollo relativo cuyo objetivo final aumentar el acceso a escuelas y servicios mdicos para la poblacin de dichos municipios podra en realidad estar aportando al logro de un amplio conjunto de objetivos de mayor jerarqua: la mayor escolaridad y el mejor estado de salud de la poblacin objetivo; el desarrollo eficaz y equitativo de capital humano; la apertura de oportunidades de futuro empleo, entre otros. La definicin del objetivo mximo del m arco conceptual sencillamente nos delimita el proceso evaluativo. Nos indica hasta dnde vamos a evaluar. La nica respuesta generalizable sera que el objetivo final seleccionado tiene que incorporar valor en s mismo. Supongamos una iniciativa que promueve un aumento de la escolaridad de nias pobres. La iniciativa podra considerarse beneficiosa porque cumple con el derecho garantizado a la nia de tener una educacin de calidad y/o porque mejora su potencial productivo para su futura participacin en el mercado laboral y/o porque afectar el nmero de hijos que llega a tener y la salud y educacin de sus hijos. Genera unos beneficios encadenados: Mayor escolaridad de la nia Ms aprendizaje Mayor productividad futura Mayores ingresos futuros Menor pobreza futura Mayor escolaridad de la nia Hijos de mayor nivel educativo y mejor estado de salud 20

Uno podra extender las cadenas, teniendo en cuenta los impactos intergeneracionales: Hijos de mayor nivel educativo y mejor estado de salud Ms aprendizaje por parte de los hijos Mayor productividad futura Mayores ingresos futuros Menor pobreza futura Nietos de mayor nivel educativo y mejor estado de salud Ms aprendizaje por parte de los nietos Mayor productividad futura Mayores ingresos futuros Menor pobreza futura Evidentemente, aqu la pregunta relevante consiste en hasta dnde extender la cadena?, teniendo en cuenta que nuestro propsito consiste en generar valiosa informacin para educar los procesos decisorios y gerenciales. Hasta dnde verificamos que efectivamente se hayan producido los beneficios esperados? Para responder estas inquietudes, necesitamos volver al concepto de valor. Es necesario extender la cadena hasta aquel punto donde podamos decir que habra un consenso que el logro de ese objetivo incorpora valor por si mismo, aunque no se produjera otro impacto o consecuencia. Por tanto, cabra en la mente pensar que sera suficiente verificar que efectivamente hay mayor escolaridad de nias, ya que la escolaridad es un derecho que la sociedad garantiza a todos sus ciudadanos. O, alternativamente, se podra argumentar que no es suficiente que haya mayor escolaridad, sino que queramos que hay mayor aprendizaje, lo que nos obligara a verificar el aumento en aprendizaje asociado con la mayor escolaridad.
16

En otras palabras, no hay una respuesta correcta a la pregunta de hasta dnde extender la cadena? La respuesta tiene que depender de una reflexin sobre lo que la sociedad apreciara como valioso. Una vez construido el marco conceptual, hay que someterlo a un anlisis crtico que examina la sensatez de las hiptesis planteadas. De esa manera, el diseo y desarrollo del marco conceptual del proceso evaluativo educa el mismo anlisis y dilogo con respecto a posibles alternativas de solucin para un determinado problema o desafo. La informacin recopilada y generada en la evaluacin permitir verificar el logro de las relaciones causales esperadas. Asimismo, indicar relaciones causales que aparentemente no se estn produciendo, para motivar el repensar de esas relaciones y los ajustes necesarios a la luz de la falta de logro con respecto a esa relacin causal. Al construir el marco conceptual, resulta importante distinguir la evaluacin de la iniciativa de la evaluacin del gerente o del equipo gestor. Claramente el programa o la poltica debe ser accountable con respecto a la generacin de los impactos y efectos esperados, y su evaluacin tiene que seguir toda la cadena de resultados esperados hasta aquel punto donde se determina que se produzca un valor para la sociedad. La evaluacin del gerente y/o del equipo gestor no necesariamente obedece a las

16

Estrictamente y abstractamente, obligara a determinar que el valor que la sociedad asignara a este beneficio sera suficiente para justificar o compensar el uso de los recursos que se sacrifican en la generacin del beneficio.

21

mismas pautas. Es claro que la evaluacin del gerente o del equipo gestor comparte una parte del marco conceptual con la evaluacin de la iniciativa. Quizs la evaluacin del gerente y del equipo gestor incluye los elementos intramurales del marco conceptual, concentrados en las actividades y los productos. Es el gerente responsable y accountable por una deficiencia en el logro de los impactos esperados, que se atribuye a una equivocada conceptualizacin del problema existente? Es el equipo gestor responsable por la falta de xito en la generacin de compromisos y de participacin por parte de la poblacin objetivo, que eran indispensables para lograr los efectos e impactos esperados? Al mismo tiempo, el equipo gestor no tiene ninguna responsabilidad o accountability frente a la no participacin de la poblacin objetivo? el gerente no debe reaccionar frente a la evidencia de que las iniciativas programadas, aunque muy bien gestionadas, no estn generando los impactos esperados? Es nuestro pensar el equipo gestor y el gerente deben ser evaluados en un esquema que juzga su desempeo en la gestin del lado izquierdo de la cadena de objetivos jerarquizados las actividades y productos, en el monitoreo y la evaluacin de la cadena en su conjunto y en su capacidad de informar y reaccionar frente a las evidencias de la generacin o no generacin de los efectos e impactos esperados. El equipo gestor debe ser responsable por la recopilacin y discusin de informacin sobre los efectos e impactos de lo que estn produciendo, con el fin de asegurar que sus labores estn siempre vinculadas con un esfuerzo por vincular actividades concretas con la generacin de valor social. Esta propuesta responsabiliza a los gerentes sociales no slo de la buena administracin de un plan de trabajo o, sea, del buen desenlace de un programa de actividades. Adems les responsabiliza por una conciencia continua del vnculo de sus actividades cotidianas con la generacin de los efectos e impactos sociales deseados. De no producir dicho vnculo, se convierte la responsabilidad del gerente en la responsabilidad de informar y de abrir un dialogo sobre la bondad de continuar las actividades y de redefinir o reajustar, con tal buscar mecanismos que efectivamente produzcan los efectos e/o impactos deseados. Segundo desafo: superar la brecha entre lo cuantitativo y lo cualitativo Las discusiones sobre la evaluacin en los sectores sociales suelen caer rpidamente en un debate cualitativo-cuantitativo. Frecuentemente se citan diferencias abismales entre los enfoques y/o mtodos de estas dos orientaciones, y se atribuye a dichas diferencias alguna parte de la falta de voluntad o viabilidad para poder evaluar en los sectores sociales. En aos recientes, el debate cuantitativo-cualitativo ha tomado dimensiones exageradas. Indudablemente, el fervor por buscar rigor en los procesos evaluativos ha generado una sobre-promocin de aplicaciones cuantitativas. Al extremo cuantitativo, algunos esfuerzos por aplicar el anlisis costobeneficio a la evaluacin de iniciativas sociales generaron un rechazo que se ha extendido (en algunos contextos) a todo esfuerzo de cuantificar y/o medir en los sectores sociales. Este fervor, a su vez, alimenta una posicin que a veces toma tonos radicales, en contra de todo esfuerzo por medir o aplicar indicadores 22

de manera sistemtica para fines evaluativos. Ahora bien, el desafo que proponemos enfrentar con el fin de convertir el proceso evaluativo en un aliado de los gerentes sociales, consiste en superar las brechas exageradas entre lo cuantitativo y lo cualitativo. Para irnos acercando a esta superacin, vamos a iniciar con un anlisis de tres lneas de pensamiento con respecto a las diferencias y posibles incompatibilidades entre lo cuantitativo y lo cualitativo. Los tres argumentos ms frecuentemente citados para explicar la brecha entre lo cualitativo y lo cuantitativo son los siguientes: los fenmenos afectados por las iniciativas sociales son de naturaleza cualitativa y, por ende, no se prestan al anlisis o evaluacin cuantitativa; los mtodos cualitativos de recoleccin de datos son ms idneos para la exploracin de las iniciativas sociales; el enfoque del anlisis cuantitativo se basa en una forma de entender y explorar el mundo profundamente diferente de la forma que el enfoque cualitativo lo entiende y lo explora. Por tanto, son irremediablemente separados.

La primera lnea de argumentacin que postula y explica una brecha cuanti-cualitativa indica que la evaluacin tradicional (que claramente ha tendido a favorecer lo cuantitativo) ha resultado muy limitada para manejar la verificacin de los objetivos de las iniciativas sociales, que suelen ser de naturaleza cualitativa. Se argumenta que los fenmenos que se proponen afectar por medio de las iniciativas sociales tienen una naturaleza compleja, multi-dimensional y, por ende, no se prestan a la cuantificacin. Tpicamente la naturaleza cualitativa resulta ser en realidad un eufemismo por la naturaleza ambiga de algunos de los objetivos que proponemos o unos de los efectos que esperamos generar. Se argumenta que los impactos intangibles o simblicos no se prestan al anlisis cuantitativo. Frecuentemente, el impacto no es ni intangible, ni simblico, sino no ha sido intrepretado o definido de manera que resulte gerenciable y evaluable. Para estos casos, la superacin del primer desafo, consistente en la especificacin del marco conceptual, conducir a la definicin ms concreta de los objetivos e impactos esperados y, por tanto, a la superacin de lo que equivocadamente se identificaba como una brecha cuantitativa-cualitativa. Los fenmenos sociales, o los impactos o efectos sociales, generalmente tienen dimensiones tanto cuantitativas como cualitativas. En este sentido, se parecen al crecimiento econmico, al desarrollo de infraestructura productiva y a las preferencias de consumo-- que tambin tienen elementos tanto cuantitativos como cualitativos. Los indicadores e informaciones seleccionados para entender y analizar estos fenmenos tendrn que capturar las dimensiones cuantitativas y las cualitativas tambin. Por supuesto, tenemos que reconocer que los cambios generados por las iniciativas sociales frecuentemente se manifiestan en cambios intangibles en conocimiento, valores, comportamiento, actitudes y/o otros fenmenos intangibles. Son cambios cuya dimensin cualitativa es clave. Muchos de los cambios propuestos slo se producen plenamente en un largo plazo. No por ser intangibles o de naturaleza 23

cualitativa o de largo plazo resultan ser no medibles o no verificables. Por tanto, resulta limitada esta primera lnea de argumentacin que parece sugerir una incompatibilidad entre lo cuantitativo y cualitativo. El argumento slo nos conducira a concluir que en cualquier evaluacin, es necesario profundizar en las dimensiones y caractersticas tanto cuantitativos como cualtitativos de los diversos fenmenos que se proponen analizar. El segundo argumento que se suele citar para justificar o explicar una brecha entre lo cuantitativo y lo cualitativo se relaciona con los mtodos de recoleccin de datos. Los anlisis cuantitativos aplican mtodos para recopilar datos con el fin de analizar o probar un modelo, una teora o una hiptesis. Dichos mtodos tienden a sintetizar informacin mediante indicadores originados en los datos e informaciones provenientes de encuestas, estadsticas y registros. Los mtodos cuantitativos frecuentemente dependen del uso de un grupo control (experimental, quasi-experimental o estadstico) para determinar el efecto o impacto atribuible a la iniciativa que se est evaluando. En contraste, los anlisis orientados por el enfoque cualitativo, proponen desarrollar conceptos e ideas mediante la identificacin de patrones o tendencias en los datos. Por tanto, los mtodos cualitativos tienden a ser ms flexibles y menos mecnicos. Dependen de tcnicas de entrevistas, sesiones de grupos focales, observacin participante, anlisis de contenidos, estudios de casos y otros mtodos asociados con la etnografa. Podemos concluir, en sntesis, que los mtodos cualitativos y los cuantitativos son muy diferentes. No obstante, la diferencia no implica que existe una brecha entre lo cuantitativo y lo cualitativo. Al contrario, quizs en la diferencia surge las oportunidades de generar complementariedades y sinergias. En una determinada evaluacin se pueden aplicar mtodos cuantitativos y tambin cualitativos, para generar diferentes tipos de informacin que, en su conjunto, responden las diferentes preguntas propuestas por el proceso evaluativo. Por ejemplo, los mtodos cuantitativos podran dimensionar un determinado problema, cambio o impacto y los mtodos cualitativos podran ayudar a entender por qu se presentan, teniendo en cuenta las caractersticas y condiciones del contexto y las caractersticas y comportamientos de los actores involucrados. El tercer argumento que justifica o explica una brecha entre lo cuantitativo y lo cualitativo lo hace con base en diferencias en el enfoque epistemolgico. No hay duda que el abordaje cuantitativo a un anlisis o investigacin tiene diferencias de fondo con el abordaje cualitativo. Por tanto, esta lnea de argumentacin delimita bien las diferencias o brechas de las cuales tenemos que estar sensibles y conscientes. El abordaje o enfoque cuantitativo se asocia con la teora o paradigma positivista, que surgi en las ciencias naturales y agrcolas y se empez a aplicar en las ciencias sociales al final del siglo XIX y comienzos del siglo XX. El positivismo pretende identificar los hechos y las causas del fenmeno social; trata los fenmenos sociales como eventos o sucesos que influyen o afectan a las personas. El enfoque cuantitativo cuenta con el anlisis de variables y estadsticas para sintetizar y describir la dinmica social. En contraste, el enfoque cualitativo tuvo su origen en la antropologa social y la sociologa. Se alinea con las perspectivas interpretivistas y fenomenolgicas, que proponen entender los fenmenos sociales desde la 24

perspectiva de los diversos actores involucrados o interesados. Los anlisis cualitativos son inductivos, holsticos y humansticos. Por supuesto, tanto el enfoque positivista como el fenomenolgico presenta sus propias ventajas como sus limitaciones. No corresponde a este texto delinear las ventajas y limitaciones de cada una. Cook y Reichardt (1979) presentan diferentes reflexiones sobre los dos enfoques. S, cabe destacar que el positivismo lgico y deductivo puro ha sido severamente cuestionado. Se ha criticado la estrechez de entendimiento del conocimiento en el positivismo puro. De hecho, el primer argumento de Howe contra la teora de incompatibilidad (Howe, 1985) propone que la cada del positivismo puro diluye la obligacin de elegir entre uno de los dos paradigmas epistemolgicos que supuestamente definen la brecha cuantitativa-cualitativa. El proceso evaluativo promovido por este texto claramente se caracteriza por muchos atributos del enfoque positivista, sin ser una aplicacin positivista estrecha o pura. Al haber definido el marco conceptual como la propuesta de unas hiptesis causales y el proceso evaluativo, como la prueba de dichas hiptesis o como el seguimiento de la cadena de relaciones causales, nuestro enfoque se alinea claramente con la orientacin positivista. La forma de ver el mundo asociada con el marco conceptual propuesto es lgica y deductiva y, por ende, asociada con el paradigma cuantitativo. Ahora bien, al seleccionar dicho enfoque para guiar el proceso evaluativo no quiere decir que no hay ningn espacio para un anlisis fenomenolgico en el proceso o en los procesos interrelacionados de formacin y gestin. De hecho, estos procesos benefician profundamente de los anlisis cualitativos. Dichos anlisis resultan ser la herramienta idnea para el entendimiento de un determinado problema social, la exploracin de posibles causas o de posibles caminos de solucin y el anlisis de diversas perspectivas, entre otras cosas. Ahora, volviendo a nuestro proceso evaluativo orientado por las premisas del enfoque cuantitativo, queda una duda por resolver: el anlisis del proceso evaluativo as definido y orientado tiene que limitarse al uso de mtodos cuantitativos de recopilacin y anlisis de datos? Nuestra respuesta contundente, por cierto sera que no. La orientacin cuantitativa del proceso evaluativo da una cierta marca y orientacin al tipo de preguntas que vamos a proponer. No nos indica ni nos limita los mtodos que debemos aplicar para responder dichas preguntas. Por tanto, proponemos un proceso originado en un paradigma asociado con el positivista, usuario de mtodos tanto cuantitativos como cualitativos. Algunos autores y acadmicos han argumentado en favor de lo que Kenneth Howe (1988) denomin la tesis de incompatibilidad: que los paradigmas positivistas e interpretivistas o fenomenolgicas proveen la base epistemolgica para los mtodos cuantitativos y cualitativos, respectivamente, y dada la incompatibilidad de los paradigmas, resultan tambin incompatibles los dos tipos de mtodo. Estos acadmicos, que incluyen a Guba (1987), Smith y Heshusius (1986) y Parlett y Hamilton (1972), 25

consideran que cualquier compatibilidad entre los mtodos es meramente superficial e ignora dificultades profundas de naturaleza epistemolgica. Howe (1988) descarta la teora de incompatibilidad y propone la teora de compatibilidad que aboga por la combinacin de mtodos cuantitativos y cualitativos, negando la incoherencia epistemolgica propuesta por los incompatibilistas. Examina los cuatro componentes bsicos de investigacin: datos, diseo, anlisis e interpretacin. Concluye que al nivel de los datos la distincin cuantitativa-cualitativa es ambiga y al nivel de diseo, anlisis e interpretacin, los elementos cuantitativos (mecnicos) y los cualitativos (no mecnicos) son interdependientes e inseparables. Sera imposible imaginar un estudio sin elementos cualitativos en el diseo, anlisis e interpretacin, ya que son esos elementos que caracterizan y definen la exploracin cuantitativa. Reichardt y Cook (1979) analizan once atributos de los paradigmas cuantitativo y cualitativo y concluyen que no resulta inconsistente el acatar la filosofa de un paradigma y utilizar los mtodos del otro. Su conclusin principal es que los paradigmas no son determinantes exclusivos de la seleccin de mtodos. Reichardt y Cook avanzan este argumento an ms, proponiendo que no es claro que ninguno de los dos paradigmas necesariamente provee un marco adecuado para una evaluacin. Sugiere que se podran combinar ciertos atributos de los dos paradigmas: El mero hecho de conducir una investigacin de manera holstica o naturalstica, por ejemplo, no necesariamente obliga a uno a adherir a los dems atributos del paradigma cualitativo, como el de ser exploratorio y orientado por los procesos. En su lugar, uno podra combinar los atributos naturalistas y holsticos del paradigma cualitativo con otros atributos, tales como el ser verificador y orientado por resultados, del paradigma cuantitativo. ( p. 18) Esta conclusin entrega el golpe fatal a la existencia de una brecha entre lo cuantitativo y lo cualitativo. Es consistente con el cuestionamiento, ya de larga data, del positivismo lgico puro, y con las tendencias observadas en las prcticas investigativas actuales que combinan atributos de los diferentes paradigmas epistemolgicos. Esta superacin de la brecha nos borre una excusa por no evaluar en los sectores sociales y por ser poco riguroso en nuestras evaluaciones. Nos abre el camino para combinar los mejores atributos de diferentes escuelas del pensamiento y de diferentes mtodos investigativos, con el fin de definir un proceso evaluativo enriquecido y riguroso. Tercer desafo: identificar y concertar un conjunto relevante de indicadores e informaciones El proceso de monitoreo y evaluacin sintetiza informacin relevante sobre las actividades, los efectos e impactos y las relaciones entre ellos. El elemento de sntesis facilita el anlisis y el posterior dilogo al respecto. Un instrumento importante del proceso evaluativo, utilizado para facilitar la sntesis, es el indicador. Los indicadores se disean y se seleccionan de tal forma que contribuyan al entendimiento del desempeo de la 26

iniciativa que se evala y que sean tiles en el contexto del dialogo de polticas. Tiene valor descriptivo y explicativo, que contribuye al anlisis y dialogo sobre los logros de las polticas, programas y proyectos. Un indicador se puede entender como una expresin que sintetiza informacin cuantitativa y/o cualitativa sobre algn fenmeno relevante. El indicador indica o seala. Permite caracterizar los fenmenos (acciones, actividades, logros, efectos) que necesitamos describir en un proceso de monitoreo y evaluacin. En los sectores sociales, se presenta cierta resistencia al uso de indicadores, pues muchos indicadores resultan limitados para el anlisis de fenmenos complejos, cualitativos y multi-dimensionales. No obstante, esta resistencia confunde la bondad del indicador la de facilitar una sntesis de informacin abundante y valiosa con una superficialidad de tratar los fenmenos que intentan describir. No hay ninguna limitacin intrnseca de los indicadores para describir fenmenos cualitativos o complejos. Por supuesto, aquellos indicadores que miden exclusivamente las dimensiones cuantitativas o fcilmente observables de los fenmenos que queremos entender o describir resultan insuficientes para muchos de los anlisis necesarios en un proceso evaluativo de una iniciativa social. En general, un indicador no se limita a un mero conteo. Por tanto, en lo que sigue, vamos a entender las referencias a indicadores como las expresiones que reflejan un anlisis y una sntesis de datos tanto cuantitativos como cualitativos relevantes para nuestro propsito. Ejemplos de los indicadores que se pueden utilizar en los procesos evaluativos incluyen ejemplos clsicos de tasas recopiladas con mtodos tradicionales cuantitativos: la tasa anual de mortalidad infantil en el Estado de Chiapas; el nmero de nios de edad escolar en la Regin Nororiental que no se han matriculado en escuela durante el ltimo ao escolar o el porcentaje de nios menores de seis aos cuyo perfil pesotalla-edad est inferior al estndar. Otros ejemplos menos clsicos de indicadores podran ser: razn predominante citada por las mujeres de no utilizar anti-conceptivos o factores que conducen a las comunidades a recomendar el despido del director de su escuela. Un buen indicador se caracteriza por los siguientes rasgos: es preciso: puede ser interpretado de manera clara, de tal forma que sea plenamente entendible; es relevante para los usuarios de la informacin: refleja elementos o fenmenos que forman parte de lo que se busca entender; en el caso del proceso evaluativo, se relacionan con algn aspecto del marco conceptual de la iniciativa que se evala; es apropiado por los usuarios de la informacin: los usuarios se identifican con el indicador; tienen confianza que est reflejando fielmente informacin relevantes; es sensible a ser afectado por las iniciativas que se estn evaluando; es prctico: el costo de recopilar los datos y producir la informacin a ser sintetizada por el indicador es razonable.

Los indicadores relevantes para el proceso evaluativo tienen que definirse teniendo en cuenta tres dimensiones del proceso evaluativo: 27

el marco conceptual de la iniciativa que se evala; los criterios de evaluacin, que deben incluir, como conjunto mnimo de criterios, la eficacia, eficiencia, equidad y sostenibilidad los diversos actores y sus correspondientes perspectivas y demandas de informacin.

El flujo de la cadena de objetivos que constituye el marco conceptual puede ser resumida con indicadores. Por tanto, habr: indicadores que describen las actividades e insumos indicadores que describen los productos indicadores que describen el logro (o no) de los objetivos intermedios indicadores que describen el logro (o no) de los objetivos finales

Por tanto, recomendamos el uso de una construccin mental matricial para la construccin de indicadores, que podra tener la siguiente conformacin:

28

Actividades

Productos

Objetivos interm.

Objetivos finales

Indicadores que describen:

- cantidad y calidad de los insumos y actividades - cantidad y calidad de servicio ofrecido cantidad y calidad de la ejecucin de componentes - utilizacin del servicio por la poblacin objetivo - cambios en el bienestar de la poblacin objetivo

Eficacia

Eficiencia

- costos unitarios y totales de insumos y actividades - distribucin de costos por tipo de insumo o actividad

- costo por unidad de capacidad instalada - indicadores de eficiencia tcnica - discriminacin de costos por rubros relevantes

- costo por persona o familia atendida -indicadores de eficienciainterna: permanencia, uso servicios

- indicadores de eficiencia externa - costo por unidad de impacto

Equidad
-distribucin por regin, dcil de ingreso, grupo de poblacin -evidencia de puesta en marcha para incorporar a todos los grupos relevantes -distribucin de la oferta por regin o por grupo relevante - utilizacin sostenida del servicio, por regin dcil de ingreso, u otro grupo. - cambios en los indicadores del bienestar, por regin, dcil de ingreso

Sostenibilidad
-fuentes y montos de recursos financieros -grado de susceptibilidad a decisiones polticas -evidencia de elementos de sostenibilidad del flujo oportuno de insumos - evidencia de puesta en marcha de estrategias para lograr la sostenibilidad - evidencia de participacin comunitaria y solidaridad comunitaria, con respecto al programa - evidencia de sostenibilidad del impacto

Es importante recordar que hay una tercera dimensin que se debe tomar en cuenta: la de los mltiples actores de los procesos de monitoreo y evaluacin: tanto los demandantes de la informacin como los que toman roles en la recopilacin y registro de datos. Los indicadores deben definirse tomando en cuenta las perspectivas de estos actores, sus intereses en la informacin y sus interpretaciones del marco conceptual. Cuarto desafo: definir y manejar flujos de la informacin generada por el proceso evaluativo e introducir estrategias e incentivos que promueven el uso de dicha informacin La evaluacin llega a servir de verdadero herramienta de la gerencia social en la medida que se utilice para 29

educar los procesos gerenciales y decisorios. Por tanto, los flujos efectivos de la informacin y las estrategias para promover el uso de la informacin constituyen componentes clave del diseo y manejo de los procesos de monitoreo y evaluacin. El diseo y la construccin de flujos de informacin deben guiarse por la definicin de las necesidades de informacin por parte de los diferentes interesados en el proceso evaluativo. El flujo de informacin debe asegurar que cada actor tenga informacin de buena calidad para guiar y enriquecer el papel que juega en la iniciativa. Como consecuencia, resulta lgico que un flujo de informacin tenga su base en los puntos de entrega de los servicios o los puntos de encuentro con la poblacin objetivo. Por tanto, los flujos de informacin se pueden conceptualizar inicialmente con flujos que surgen desde abajo para arriba. Los gestores en los puntos ms descentralizados o ms cercanos a los afectados claramente tienen oportunidades para generar y/o recopilar datos y producir informaciones que alimentan todo el proceso evaluativo. No obstante, hay un gran peligro en pintar flujos de informacin meramente de abajo hacia arriba. Donde bien los gestores ms en contacto con los afectados y con el entorno donde se entrega el servicio o donde se desenvuelve la iniciativa pueden generar mucha informacin, no toda la informacin que podran generar es relevante para sus responsabilidades en la gestin del programa. Por ejemplo, en un programa de hogares comunitarios para el cuidado de nios de edad pre-escolar, las madres comunitarias podran facilitar algunos datos para facilitar el anlisis del desarrollo nutricional de los nios bajo sus cuidados. Asimismo, podra facilitar la recopilacin de datos sobre la participacin de los padres de familia en la gestin del hogar o en el mercado de trabajo. Estas informaciones podran ser de inters a aquellos actores responsables por generar impactos o efectos en la nutricin, en la participacin ciudadana o comunitaria y sobre el empleo y los ingresos familiares. No obstante, tpicamente son elementos que se consideran ms all de las responsabilidades de las madres comunitarias, quienes se responsabilizan por la alimentacin, la estimulacin temprana y la actividad cotidiana del hogar y de los nios atendidos. En la medida que vamos a pedir a las madres comunitarias facilitar los datos o la informacin sobre algunos de los posibles efectos o impactos de su gestin, tenemos que generarles incentivos o motivaciones para ese trabajo. De no proveerles las adecuadas motivaciones, se corre el peligro de no contar con los datos de manera consistente y oportuna y/o de contar con datos de dudosa confiabilidad. Este riesgo se presenta porque la percepcin de irrelevancia o de poca importancia del dato hace que el sencillo acto de mandar alguna informacin baste para cumplir con el requisito, sin importar el cuidado de la calidad del dato. Si los que proveen la informacin no ven la relevancia y no ven ningn beneficio directo de participar en la recopilacin de datos, poca motivacin van a tener para invertir esfuerzos en la recopilacin y el registro. Por tanto, es necesario definir y manejar motivaciones para incentivar el trabajo en la recopilacin y/o el registro de datos necesarios para los procesos evaluativos que deben despertar alguna identificacin de la relevancia de la informacin para los gestores quienes estn participando en dicho trabajo. Las motivaciones, entonces, no consisten en un pago por el dato entregado. Mas bien, consisten en algn incentivo relacionado con la informacin misma. 30

Los mismos flujos de informacin pueden ser motivadores, siempre y cuando sean bi-direccionales o multidireccionales. Es decir, la provisin de informacin que sea de inters o de utilidad para los gestores puede por si mismo incentivarles para que continen participando en el registro o recopilacin de datos de buena contabilidad. Si los gestores ms cercanos a la poblacin objetivo registran datos y los remite a un nivel de gestin ms agregado, ese nivel puede agregar los datos, analizar la informacin y volverla a remitir a los establecimientos ms desagregados, para que stos puedan comparar los indicadores sobre su gestin en relacin con los de otros establecimientos, en relacin a sus gestiones pasadas y/o en comparacin con algunos estndares. Esta informacin de alguna forma les sirve de retroalimentacin y les indica caminos para mantener y/o fortalecer su gestin. A su vez, le seala que los datos que recopilan tengan algn uso o inters y les motiva a continuar y/o mejorar su recopilacin. Otra motivacin que promueve y enriquece una percepcin de la relevancia de los datos recopilados en el proceso evaluativo consistira en una retroalimentacin por parte de los gestores ms centralizados hacia los gestores ms locales, con base en la informacin proveniente de dichos datos. Si existe una fluida comunicacin que indica lo que se est concluyendo sobre el diseo, la gestin o la dinmica de la iniciativa, con base en el anlisis y la comparacin de datos, los gestores inmediatamente perciben la utilidad de los datos y suelen ser ms comprometidos con la recopilacin. Por supuesto, esta comunicacin, a su vez, puede estar orientada a la introduccin de mejoras en el programa, por medio de dialogo y asistencia tcnica. El dilogo resultante puede introducir nuevas percepciones o perspectivas a los procesos de anlisis e interpretacin de los datos evaluativo. As, la incorporacin de flujos bi-direccionales o multidireccionales de informacin pueden facilitar que la evaluacin brinde sus frutos inmediatos por medio del enriquecimiento del programa y tambin sus frutos indirectos, por medio de la mejora de los compromisos en los procesos de recopilacin, remisin y anlisis de datos. La Figura 4 ilustra un flujo de informacin de esta naturaleza: los datos recopilados al nivel de establecimiento (adems de retroalimentar directamente al establecimiento) se remiten al nivel local, donde pueden ser analizados, agregados y/o comparados con los provenientes de otros establecimientos en la misma localidad. Los resultados de estos procesos se devuelven a los establecimientos, con el fin de guiar o fortalecer la gerencia y, a su vez, motivar el enriquecimiento de la informacin. La localidad puede basarse en los resultados sealados por los datos locales para reconocer xitos, para ofrecer asesora o para ajustar sus estrategias con respecto a los establecimientos. Los datos locales fluyen tambin a los niveles regionales, donde pueden ser analizados, agregados y/o comparados con los que provienen de otras localidades. Las regiones, a su vez, remiten datos a los gestores del nivel nacional y tambin devuelven informacin valiosa para los gestores locales. Esta retroalimentacin tambin se produce en el nivel nacional, en sus esfuerzos para apoyar a los niveles regionales. De los flujos bi-direccionales o multi-direccionales de informacin, lo que esperamos promover en un uso efectivo de la informacin generada en el proceso evaluativo. Si vamos a implementar efectivamente un paradigma de gerencia que est enfocado en el logro de mejoras eficientes y equitativas en las condiciones de vida, indudablemente los gerentes necesitan contar con una herramienta que les permite conocer continuamente el estado de las actividades y productos que estn manejando, los logros sociales que 31

pueden estarse produciendo y las relaciones entre los dos. Es decir, el gerente requerir de un proceso continuo de monitoreo y evaluacin. Figura 4.

Nivel nacional
Datos regionales, locales y/o de establecimiento Informacin, anlisis y/o comparacin de datos recopilados al nivel regional y/o local. Asistencia tcnica para reaccionar y ajustar .

Nivel regional (estado, provincia, departamento,regin )

Datos locales y/o de establecimiento

Informacin, anlisis y/o comparacin de datos recopilados al nivel local y de establecimiento . Asistencia tcnica para reaccionar y ajustar.

Nivel local (ncleo , municipio, etc)

Datos recopilados al nivel de establecimiento Informacin , anlisis y/o comparacin de datos recopilados al nivel de establecimiento . Asistencia tcnica para reaccionar y ajustar .

Establecimiento de entrega del servicio (escuela , puesto de salud, etc)

Un gerente totalmente comprometido con este nuevo paradigma tendra incentivos naturales para usar un proceso evaluativo. De hecho, este uso conducira a los gerentes a introducir consecuencias distinguibles para resultados evaluativos diferentes: ciertas consecuencias para aquellas iniciativas que indican que se logran los objetivos buscados y otras consecuencias, claramente diferentes, para aquellos que indican que no se logran los objetivos buscados. La cultura gerencial que facilitaran y promovera el efectivo uso de la evaluacin, como instrumento aliado del gerente, tendra por lo menos cuatro caractersticas particulares: Sera una cultura gerencial que permita la equivocacin y el ajuste. Una cultura gerencial moderna, orientada a logro de cambios sociales eficientes y equitativos, incentivara la flexibilidad y la innnovacin, como mecanismos para asegurar el logro de los objetivos mximos deseados. Permitira a los equipos gestores probar estrategias que parecen ser caminos idneos para el logro de las transformaciones deseadas, siempre y cuando hubiera instrumentos que les indican de manera oportuna la efectividad y eficiencia de los resultados. Por supuesto, puede haber una tolerancia a la equivocacin siempre y cuando haya la capacidad de reconocer una estrategia no eficaz, para hacer cambios y ajustes sobre la marcha. La cultura gerencial que promueve innovacin dinmica, entonces, no slo promueve el uso de la evaluacin, lo demanda como instrumento indispensable de la gerencia. 32

Sera un contexto gerencial en que los que reciben la informacin tengan autoridad dentro de la organizacin para utilizarla y hacer las modificaciones del caso. Por qu pedir a los directores de escuela evaluar al desempeo de los docentes, si no tiene capacidad o autoridad para implementar cambios, para exigir modificaciones en el desempeo e, incluso, para no renovar el contrato del docente? Por qu pedir a las madres comunitarias pesar y medir a los nios en su cuidado, si ella no cuenta con la flexibilidad de recursos y de asignaciones para modificar la alimentacin de los nios, con tal promover el crecimiento de todos? Un contexto gerencial que promueva el uso de la informacin tambin permite que los que tengan la informacin pueden actuar sobre ella, siempre en funcin de los objetivos deseados. Sera un contexto en que los incentivos organizacionales y gerenciales favorezcan la utilizacin de informacin. Los contextos gerenciales siempre tienen incentivos explcitos o implcitos. Hay incentivos en forma de premios o pagos por mrito o logro; hay incentivos en forma de reconocimientos. De no existir incentivos de esta naturaleza, hay incentivos por omisin, que tpicamente incentivan comportamientos no consistentes con los objetivos organizacionales. En un contexto gerencial moderno idneo para las iniciativas sociales, los incentivos sean monetarios, o de reconocimientos, o en forma de los criterios que se utilizarn en las evaluaciones de desempeo promovern el uso de las informaciones generadas en los procesos evaluativos. Los incentivos marcaran hitos o valores meta o reconoceran logros en funcin de datos o informaciones generados por el proceso evaluativo. De esta manera, enfocarn a los equipos gestores en lo que realmente importa el cumplimiento de diferentes objetivos especificados en el marco conceptual del proceso evaluativo. Finalmente, sera un contexto gerencial e que existan mecanismos de ajuste. Usar la n informacin generada en el proceso evaluativo slo resulta viable si hay mecanismos de ajuste o, sea, que hay flexibilidad suficiente para facilitar que los gerentes utilizan la evaluacin para reconocer que hay necesidad de redefinir caminos y que efectivamente los pueden redefinir. Esto implica mecanismos que permitira la reasignacin de recursos humanos, fsicos y financieros; implica autoridad para redefinir las estrategias operativas y/o para modificar las caractersticas del bien, servicio o informacin que se est ofreciendo, con tal lograr los objetivos deseados. Este contexto gerencial se caracteriza por regulaciones muy diferentes a las que tpicamente han caracterizado las administraciones pblicas de finales del Siglo XX.

Ahora bien, sabemos que el cambio en los paradigmas gerenciales no se producen de la noche a la maana. La cultura gerencial va a cambiar paulatinamente, particularmente en el sector pblico donde sigue siendo rgidamente reglamentada. Debemos esperar, entonces, que haya un cambio en las actitudes y en las reglamentaciones y convenciones gerenciales-administrativas, para luego responder a las demandas de procesos evaluativos rigurosos? Nuestra respuesta sera un contundente no. En lugar de esperar que se produzcan cambios gerenciales de fondo para luego avanzar sobre los procesos evaluativos, podramos utilizar los mismos procesos evaluativos para promover profundos cambios gerenciales. Procesos evaluativos en que participan mltiples involucrados y que generan valiosa informacin para mejorar la gestin podran ser fuerza motivadora de otros cambios. La fuerza de la informacin generada podra ser utilizada para aplancar 33

cambios de fondo en los reglamentos y en las prcticas cotidianas de la gerencia en los sectores sociales. Por tanto, recomendamos utilizar la evaluacin como un instrumento que motive y facilite cambios gerenciales de mayor profundidad. No obstante, esto implica que va a tener que haber esfuerzos proactivos por parte de individuos y organizaciones convencidos y comprometidos, para promover el uso de la evaluacin o ms especficamente, el uso de la informacin generada por la evaluacin. Es decir, mientras que la transformacin gerencial avance lo suficiente para que una nueva cultura gerencial demande evaluacin como instrumento indispensable, se debe tomar medidas especficamente diseadas para promover el uso de la informacin evaluativa. Entre las posibles medidas que se podran considerar figuran las siguientes: Definicin de valores objetivos y valores de referencia: Una primera dificultad para el uso de la informacin se presenta cuando no hay experiencia en trabajar con un dato o un indicador especfico. En ese caso, los usuarios de la informacin (los gestores y/o los interesados en la iniciativa que se evala) requieren de referencias que les faciliten la interpretacin de la informacin. Estas referencias pueden venir en forma de estndares especificados por algn referente tcnico o por experiencias previas. Los valores de referencia para datos sobre costos se podran venir en forma de un rango determinado con base en los costos de experiencias previas en la implementacin de estrategias parecidas. Vnculo de los indicadores o informaciones con los procesos decisorios: Los datos o indicadores utilizados en los procesos decisorios adquiriran una relevancia inmediata en la medida que formaran parte del dialogo conducente a la toma de decisiones con respecto a los recursos asignados a las iniciativas. Por tanto, en la medida que los equipos gestores demanden datos sobre ciertos fenmenos o ciertas actividades, su monitoreo va a adquirir una relevancia automtica. En la medida que los decisores estipulen que van a prestar atencin a la evolucin de ciertas actividades o ciertos resultados, van a animar a los gestores a prestar atencin tambin. Especificacin de puntos de decisin: Para concretar el vnculo de los datos o la informacin con los procesos gerenciales y decisorios, se pueden especificar algunos puntos de decisin, fijados por plazos de tiempo o por valores objetivo de ciertos indicadores. Por ejemplo, se podra decir que de no lograr reducir el costo de pavimentacin por metro cuadrado en un 20% dentro de los siguientes 90 das, habra que reconsiderar las tecnologas aplicadas. Asimismo, se podra decir cuando los costos lleguen a bajar en ms de 20%, se reabrira el debate sobre la extensin contractual. Igualmente, se podra decir que si no se observa un aumento en la satisfaccin de los padres de familia al cabo del prximo ao escolar, se suspender la nueva iniciativa de estudio independiente en lecto-escritura. Definicin de pactos, contratos de gestin o desempeo. El pacto o contrato de gestin ( o de desempeo) puede comprometer a los gerentes o al equipo gestor en el logro de determinadas metas, medidas por datos incluidos en los procesos evaluativos. Reconocimiento, incentivos para el cumplimiento de objetivos: Se pueden definir reconocimientos 34

o incentivos vinculados con datos o indicadores incorporados en los procesos evaluativos. A manera de ejemplo, la administracin de las pensiones de seguridad social en el estado de Sao Paulo ha fijado un conjunto de cuatro o cinco indicadores para monitorear la eficiencia administrativa en la tramitacin de pensiones. Peridicamente, publica los valores que cada municipio ha registrado para cada uno de los indicadores y destaca el municipio de mejor gestin y el municipio que ms ha mejorado su gestin de las pensiones. Desincentivos en caso de no cumplir: En la misma forma de incentivar el cumplimiento, se puede desincentivar o sancionar el incumplimiento de ciertos objetivos. Nuevamente, la explicitacin de expectativas y las consecuencias de incumplir las expectativas puede conducir a los equipos gestores a guiar sus esfuerzos por un seguimiento sistemtico de los fenmenos que se desean afectar.

Conclusiones
Es hora de convertir el monstruo diablico de la evaluacin en aliado. Es ms, el proceso que tantas veces se ha considerado como diablico puede, en s, enriquecer y promover la modernizacin de los paradigmas y procesos gerenciales. Como tal, ha llegado la hora para la evaluacin tome un papel no slo importante sino indispensable en los procesos de gerencia de las polticas, programas y proyectos sociales. En este texto, se ha propuesto que las iniciativas sociales (llmense polticas, programas, planes o proyectos) consisten en hiptesis causales que proponen realizar un conjunto de inversiones y/o actividades de tal forma causen un conjunto de modificaciones deseadas. Visto as, el monitoreo y evaluacin son procesos que hacen un seguimiento sistemtico de los esfuerzos de invertir y de gestionar actividades y prueban la hiptesis causal. Visto as, el monitoreo y la evaluacin son procesos que nos permiten aprender: aprender lo que est resultando y lo que no resulta. Aprender que en determinados entornos, una determinada relacin causaefecto se produce, mientras que en otros entornos, no se produce. Nos permite detectar los ajustes que hay que hacer para facilitar que las actividades se hagan de manera oportuna, en forma eficiente y con la calidad esperada. Identifica los ajustes o las actividades adicionales que tienen que incluirse, con tal producir los efectos esperados. En sntesis, la evaluacin permite enriquecer los procesos gerenciales con un aprendizaje dinmico. Lejos de ser un monstruo diablico, entonces, la evaluacin se puede tomar una nueva imagen, la de un tutor aliado. Para facilitar la transformacin de la evaluacin en un aliado que promueve el aprendizaje y fortalece la gerencia, el primer desafo que tenemos que enfrentar consiste indudablemente en explicitar lo que queremos lograr (y, por tanto, explicitar lo que queremos evaluar). La especificacin del marco conceptual de la iniciativa social que se propone evaluar, en forma de una jerarqua de objetivos interrelacionados, no slo permite definir los procesos evaluativos, sino tambin constituye un insumo clave para orientar la gerencia de las iniciativas. La superacin de ese primer desafo, por si solo, consolida y fortalece los procesos gerenciales y evaluativos. 35

Una vez superado el desafo de la explicitacin de lo que se propone lograr, el proceso evaluativo se fortalece en la medida en que superemos los dems desafos: la eliminacin de la brecha cualitativa/cuantitativa; la concertacin de indicadores e informaciones necesarios para el proceso evaluativo y la introduccin de estrategias e incentivos q asegurar flujos relevantes de la informacin y que ue promueven su uso. Al avanzar en estas reas, se puede ir construyendo un proceso evaluativo que nutre y apoya el proceso gerencial y que alimenta al proceso decisorio de valiosa informacin.

36

REFERENCIAS

Attkisson, C.C. et. Al. (compiladores). Evaluation of Human Service Programs. New York: Academic Press. BID.Oficna de Evaluacin. 1997. Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos. Washington, D.C.: Banco Interamericano de Desarrollo. BID. Oficina de Evaluacin. 1994. Hacia la transformacin del sistema de evaluacin, documento de trabajo. Washington, D.C.: Banco Interamericano de Desarrollo. Carvalho, Soniya and Howard White. 1994. Indicators for Monitoring Poverty Reduction. World Bank Discussion Paper #254. Washington, D.C.: Banco Mundial. Chelimsky, Eleanor. 1997. (comp.) Evaluation for the 21st Century A Handbook. Beverly Hills: Sage Publications. Cohen, Ernesto y Rolando Franco. 1992. Evaluacin de proyectos sociales. Siglo Veiuntiuno de Editores. Cook, Thomas D. y Charles S. Reichardt. (comp.) 1979. Qualitative and quantiative methods in evaluation research. Beverly Hills, California: Sage Publications. Freeman, Howard y Marian Solomon. 1981. The Next Decade in Evaluation Research in Robert Levine et al, Evaluation Research and Practice: Comparative and International Perspectives. Beverly Hills: Sage Publications. Guba, E. 1987. What have we learned about naturalistic evaluation? en Evaluation Practice, 8 (1),2343. Guerrero, P. 1993. Desarrollo de la capacidad nacional de la evaluacin: Resumen de la experiencia y posible accin en BID, Seminario Regional sobre Seguimiento y Evaluacin. Washington, D.C.: Banco Interamericano de Desarrollo. Howe, Kenneth. 1988. Against the Quantitative-Qualitative Incompatibility Thesis or Dogma are Hard en Educational Researcher, 16, noviembre, pp.10-16. Howe, Kenneth. 1985. Two dogmas of educational research en Educational Researcher, 14(8), pp. 10/18. Kliksberg, Bernardo. 1993. Pobreza: Un tema impostergable: Nuevas respuestas a nivel mundial. Caracas: CLAD-FCE-PNUD Levine, Robert A. 1981. Program Evaluation and Policy Analysis in Western Nations: An Overview in Robert Levine et al, Evaluation Research and Practice: Comparative and International Perspectives. Beverly Hills: Sage Publications. Miles, Matthew B. y A. Michael Huberman. 1994. Qualitative Data Analysis: An Expanded Sourcebook. Thousand Oaks, California: Sage Publications. Mokate, K.M. 1993. La evaluacin econmica de proyectos sociales en Desarrollo y Sociedad, No. 31. Bogot: CEDE, Universidad de los Andes. Moliner, Mara. 1998. Diccionario de Uso del Espaol. Segunda Edicin. Madrid: Editorial Gredos S.A. OECD. Comit de Asistencia para el Desarrollo. 1991. Principios de Evaluacin de Asistencia para el Desarrollo. Pars: OECD. OECD, Centro para Investigacin e Innovacin Educativa. 1992. Los indicadores educativos internacionales de la OECD: Un marco analtico. Paris: OECD. 37

OPS. Organizacin Panamericana de la Salud. Oficina de Anlisis y Planificacin Estratgica. 1996. Enfoque lgico para la gestin de proyectos en la OPS. Washington, D.C.: Organizacin Panamericana de la Salud. Osborne, David y Ted Gaebler. 1992. La Reinvencin del Gobierno. Buenos Aires: Paids. Parlett, Malcolm Richard y David Hamilton. 1972. Evaluation as Illumination: a new approach to the study of innovatory programs. Edinburgh: The University of Edinburgh, Center for Research in the Educational Sciences. Real Academia de la Lengua. 1992. Diccionario de la Lengua Espaola, 21a. edicin, Madrid: Espasa Calpe, S.A. Reichardt, Charles S. y Thomas D. Cook. Beyond Qualitative versus Quantitative Methods en Cook, Thomas D. y Charles S. Reichardt. (comp.) 1979. Qualitative and quantiative methods in evaluation research. Beverly Hills, California: Sage Publications. Rossi, Peter H. y Richard Berk. 1981. An Overview of Evaluation Strategies and Proceduresin Human Organization, Vol. 40, No. 4. pp. 287-299. Rossi, Peter H. y Howard Freeman. 1989. Evaluation: a systematic approach. Cuarta edicin. Newbury Park: Sage Publications. Scriven, Michael. 1973. Goal-free Evaluation en Ernest R. House (comp.), School Evaluation: The Politics and Process. Berkeley: McCutchan. Shadish, William, Thomas Cook and Laura Leviton (compiladores). 1991. Foundations of Program Evaluation: Theories of Practice. Newbury Park, CA: Sage Publications. Smith, J.K. y L. Heshusius. 1986. Closing down the conversation. The end of the quantitative-qualitative debate among educational researchers en Educational Research, 15 (1), 4-12. Stufflebeam, Daniel y William Webster. 1980. An Analysis of Alternative Approaches to Evaluation in Educational Evaluation and Policy Analysis, mayo-junio, pp.70-85. Sulbrandt, Jos. 1992. Evaluacin de polticas y programas sociales masivos en el sector pblico en Bernardo Kliksberg, Cmo enfrentar la pobreza? Aportes para la accin, Buenos Aires: Grupo Editorial Latinoamericano, pp. 149-182. Sulbrandt, Jos. 1993. La evaluacin de los programas sociales: una perspectiva crtica de los modelos usuales en Bernardo Kliksberg, Pobreza: Un tema impostergable: Nuevas respuestas a nivel mundial. Caracas: CLAD-FCE-PNUD, pp. 309-352. UNICEF. 1991. Gua de UNICEF para Monitoreo y Evaluacin: marcando una diferencia? New York: UNICEF, Oficina de Evaluacin. Valadez, Joseph y Michael Bamberger. 1994. Monitoring and Evaluating Social Programs in Developing Countries. A Handbook for Policymakers, Mangers and Researchers. Washington, D.C.: World Bank, Economic Development Institute. Van Herpen, Max. 1992. Conceptual models in use for education indicators en OECD. Centro para Investigacin e Innovacin Educativa. 1992. Los indicadores educativos internacionales de la OECD: Un marco analtico. Paris: OECD. Vedung, Evert. 1997. Public Policy and Program Evaluation. New Brunswick: Transaction Publishers. Wholey, Joseph. 1981. Using Evaluation to Improve Program Performance in Robert Levine, et al, Evaluation Research and Practice: Comparative and International Perspectives. Beverly Hills: Sage Publications. 38

Wholey, Joseph. 1983. Evaluation and Effective Public Management. Boston: Little, Brown & Company. Wiesner Duran, Eduardo. 1993. From macroeconomic correction to public sector reform: the critical role of evaluation. World Bank Discussion Paper #214. Washington, D.C.

39