La evaluacin de programas: entre el conocimiento y el compromiso

363

Revista de Investigacin Educativa, 1999, Vol. 17, n. 2, pgs. 363-377

EVALUACIN DE LOS RESULTADOS Y DEL IMPACTO

Pedro M. Apodaca
Unidad de Evaluacin Universidad del Pas Vasco

1. ACLARANDO TRMINOS Cuando hablamos de evaluacin del impacto en realidad estamos refirindonos a la evaluacin de los efectos producidos por un programa o intervencin. Es decir, aquellos cambios habidos debidos a la citada intervencin. Sin embargo, no todos los cambios ocurridos durante o despus de un programa o intervencin son debidos a la propia intervencin. En efecto, numerosos fenmenos y factores acompaan la intervencin provocando, de forma directa o indirecta, sus propios efectos en los destinatarios del programa. Por lo tanto, debemos distinguir entre el conjunto de cambios/resultados habidos tras un programa o intervencin que denominaremos efectos brutos y aquella parte que son efecto real de la propia intervencin o programa y no de otros factores o circunstancias; efectos netos. Cuando hablamos de los resultados de un programa nos referimos frecuentemente a los efectos brutos del mismo. Cuando hablamos de evaluacin del impacto deberemos referirnos siempre a los efectos netos. Sin embargo, no es sta la nica clarificacin diferencial que podemos encontrar al respecto. Frecuentemente se utiliza el trmino evaluacin de resultados como sinnimo de evaluacin del impacto. Resulta difcil identificar matices diferenciales de ambos trminos debido a que se utilizan profusamente como si fueran equivalentes. Una de las pocas aclaraciones terminolgicas nos la proporciona Alvira (1991) para quien la evaluacin de los resultados hara referencia al

364

Pedro M. Apodaca

intento de analizar los efectos que un programa o intervencin tiene en los sujetos directamente destinatarios del mismo. En la evaluacin del impacto se tratara de analizar los efectos del programa en un marco ms amplio, en el conjunto de la poblacin que, sin ser directamente destinataria del programa o servicio, es influida de alguna manera. El libro de Schalock (1995) tambin introduce una particular estructura terminolgica al distinguir tres tipos de evaluacin basada en los resultados. Se trata del anlisis de la efectividad, del anlisis del impacto y del anlisis coste-beneficio. De esta manera, la evaluacin del impacto sera uno de los tipos de anlisis en la evaluacin basada en los resultados. En esta misma obra aclara que entiende por impacto la diferencia entre los resultados obtenidos por dos programas o intervenciones. Esto viene a ser equivalente a la formulacin de Rossi y Freeman (1993) quienes entienden por impacto los efectos netos de un programa. Del resultado o efecto bruto descubierto habra que desglosar los efectos de los factores extraos y los efectos del diseo para extraer el efecto neto del programa. En definitiva, podemos concluir que el trmino evaluacin del impacto resulta ms operativo e induce a menos confusiones que el trmino evaluacin de resultados. En un intento de acotar y clarificar podramos definir el trmino evaluacin del impacto como la denominacin genrica para toda estrategia de evaluacin que trate de analizar y verificar los efectos producidos por una intervencin o programa concreto. 2. CAUSALIDAD Y EVALUACIN DEL IMPACTO El problema de la causalidad sigue siendo uno de los grandes quebradores de cabeza en las Ciencias Sociales y Humanas. Existen diversas concepciones alternativas de la causalidad y diversos procedimientos o requisitos para su afirmacin (Dendaluce, 1994). Esta situacin de cierta confusin y de teoras alternativas es tambin vigente en la evaluacin. La evaluacin del impacto, en su formulacin tradicional (Rossi y Freeman, 1993), presupone que determinados resultados o productos aparecidos durante o despus de un programa son efecto de la intervencin. Desde un orientacin experimental clsica, esta inferencia causal se garantizara mediante la aleatorizacin y la manipulacin. Sin embargo, la inferencia causal necesita tambin de generalizacin y no slo de validez interna ya que la induccin de un caso particular a una regla universal no est justificada lgicamente. En cualquier caso, la evaluacin del impacto no puede proporcionar seguridad plena de que determinados resultados son efecto del programa. nicamente puede proporcionar diversos grados de plausibilidad. Lo riguroso del diseo en que se fundamente la evaluacin del impacto aade plausibilidad a la inferencia causal. Sin

Evaluacin de los resultados y del impacto

365

embargo, no todos los tipos de diseos son viables puesto que en su eleccin deben tenerse en cuenta tambin consideraciones de tipo prctico, econmico, tico, poltico, etc. As pues, desde los paradigmas clsicos de la investigacin y de la evaluacin de programas, podemos afirmar que la evaluacin del impacto presupone causalidad. Esta causalidad se apoya en la aleatorizacin a todos los niveles y en la manipulacin de la variable independiente o intervencin. Sin embargo, desde otros paradigmas ms participativos, la explicacin formalizada de los fenmenos pierde relevancia frente a la comprensin de los mismos; el pensamiento emprico, tcnico y racional frente al pensamiento simblico, mitolgico y mgico; la denotacin frente a la connotacin (Ander-Egg 1990). Bajos estos paradigmas, la idea clsica de causalidad y el inters por la demostracin de los efectos del programa (impacto) no seran prioritarios en la evaluacin. Una de las formulaciones ms clarificadoras en este sentido la podemos encontrar en la obra de Guba y Lincoln (1981, 1989) quienes aportan una buena sntesis de los principios ontolgicos, epistemolgicos y metodolgicos que contraponen los paradigmas positivista-cuantitativo y naturalista-cualitativo. Bajo su paradigma respondente-constructivista postulan, a nivel Ontolgico, que no existe una realidad objetiva y la ciencia misma es una construccin social. A nivel Epistemolgico afirman que no cabe plantear una dualidad entre sujeto y objeto de la evaluacin. Los resultados de la evaluacin son el producto de las interacciones entre observadores y observados. A nivel Metodolgico rechazan el enfoque clsico de control y manipulacin (experimental) y lo sustituyen por un proceso dialctico-hermenutico que ha de dar cuenta de la interaccin entre observador y observado. Un proceso continuo de interaccin, anlisis, crtica y reanlisis. La obra de Shadish, Cook y Leviton (1991) contiene tambin un buen anlisis crtico de los diferentes paradigmas o estrategias de construccin del conocimiento presentes en la evaluacin de programas. 3. LA EVALUACIN DEL IMPACTO EN DIFERENTES MODELOS DE EVALUACIN La evaluacin del impacto tiene una mayor relevancia en determinados modelos de evaluacin. Los modelos de consecucin de Metas (Tyler et al 1989, Tyler 1991) establecen como criterio principal de mrito o valor la consecucin de los objetivos explcitos y planificados del programa. Es decir, el anlisis de la efectividad del programa es quizs el elemento principal de este modelo. Dentro de estos modelos existen numerosas variantes y, entre ellas, podemos destacar la propuesta de Vedung (1997) que denomina evaluacin de los efectos colaterales en la que se seala la importancia de analizar tambin todos aquellos efectos no planificados o perseguidos por el programa. Otros modelos de evaluacin acentan la importancia de los criterios intrnsecos en la formulacin de los juicios de valor. Estos criterios se refieren a caractersticas del programa, de la institucin, etc. Suelen ser denominados tambin modelos orientados

366

Pedro M. Apodaca

al juicio, evaluacin colegiada, etc. An admitiendo grandes variantes de esta orientacin, podemos decir que la caracteriza una escasa atencin a los efectos, resultados o productos del programa. Por el contrario, otros modelos de evaluacin tienen en cuenta criterios de mrito de tipo extrnseco, es decir, del impacto real del programa. Dentro de estos modelos existen orientaciones diversas como las de Scriven (1983, 1991), Stake (1983, 1991), Cronbach (1982, 1983), Rossi y Freeman (1989, 1993), Stufflebeam y Shinkfield (1987). Otras modelos han tomado orientaciones ms radicales al establecer como criterio nico de valor o mrito de un programa la valoracin que del mismo hacen sus actores principales. Es lo que podramos llamar el enfoque del participante o la evaluacin como negociacin que Guba y Lincoln (1981, 1989) denominan evaluacin de cuarta generacin o respondente-constructivista. Bajo este paradigma la evaluacin del impacto del programa queda diluida en una valoracin interpretativa y constructivista de los implicados, los cuales pueden estar ms interesados en los aspectos procesuales y no necesitar apoyar sus juicios en evidencias sobre los efectos reales de un programa. TABLA 1 DIFERENCIAS ENTRE EVALUACIN TRADICIONAL Y PARTICIPATIVA
Evaluacin tradicional Quin Qu Expertos externos Indicadores preestablecidos de xito, de productividad Centrado en la objetividad cientfica,... Frecuentemente al finalizar y algunas veces durante el proceso Rendicin de cuentas, normalmente sumativa Objetivo bsico de la evaluacin. La aleatorizacin puede apoyar la validez externa de poblacin. El control y manipulacin pueden limitar la validez ecolgica Se basa en la manipulacin, la aleatorizacin y el control; siguiendo el enfoque experimental clsico. Impacto como efectos netos de un programa desglosados los efectos de los factores extraos y del diseo. Evaluacin participativa Comunidad, facilitador, gestores,... Los participantes identifican sus propios indicadores de xito, los cuales pueden incluir la productividad Autoevaluacin y mtodos simples adaptados a la cultura del grupo Se mezclan la monitorizacin y la evaluacin realizndose pequeas y frecuentes evaluaciones. Otorgar capacidad al grupo participante para iniciar, controlar o modificar su accin El objetivo est centrado en el cambio y la mejora en el entorno de aplicacin ms que en su generalizacin a otros colectivos o situaciones.

Cmo Cuando Porqu Generalizacin

Validez Interna Eval. del Impacto

Se basa en la triangulacin de informacin y en el consenso como validez intersubjetiva. El impacto se valora a partir de la percepcin social o comunitaria de los efectos/utilidad del programa o intervencin.

Evaluacin de los resultados y del impacto

367

Una buena clasificacin de los diferentes modelos de evaluacin segn diversos criterios podemos encontrarla en el trabajo de De Miguel (1998). Sin embargo, para los fines de este trabajo nos contentaremos con proponer una simplificacin, probablemente excesiva, contraponiendo la evaluacin tradicional a la evaluacin participativa. Esta contraposicin es muy clarificadora y podemos encontrarla tanto en manuales de iniciacin (Alvira, 1991) como en obras de mayor alcance (Vedung, 1997, Rebien, 1997). Tomando algunos elementos de estas obras y aadiendo otros de elaboracin propia, la Tabla 1 puede mostrar algunas de las caractersticas diferenciales de estos modelos: El trabajo de De Miguel (1995) subraya la necesidad de tomar en consideracin la participacin activa de los implicados, y del ciudadano en general, en la evaluacin de las polticas pblicas, as como que sta debe llevarse a cabo por equipos externos a la propia Administracin. Seala asimismo que ... el ejercicio del control democrtico sobre las polticas pblicas no se ejerce plenamente mientras que no exista una participacin generalizada de la audiencia relativa a la ciudadana en los comits de evaluacin externa... (op. cit., p. 213). Los enfoques que otorgan un gran protagonismo a los actores principales del programa ofrecen tres tipos de ventajas. Por un lado, aprovechan el conocimiento de la realidad que slo pueden aportar los implicados. Por otro lado, garantizan el compromiso de stos con la puesta en marcha de las acciones de mejora fruto del proceso de evaluacin. Finalmente, dan cumplimiento al mandato de participacin ciudadana propio de las democracias representativas. Las propuestas y postulados de FlocHlay y Plottu (1998) bajo la denominacin de evaluacin democrtica van en esta lnea. Fetterman, Kaftarian y Wandersman (1996) prefieren hablar de evaluacin por delegacin (empowerment). Esta contraposicin entre enfoque tradicional y participativo se modera rpidamente al abordar evaluaciones concretas. As, si tomamos como referencia el modelo respondente-constructivista de Guba y Lincoln entenderemos la evaluacin como un proceso negociador, interpretativo y hermenutico. Bajo el paradigma tradicional, el criterio fundamental de verdad es la correspondencia con los hechos, con los datos. Por el contrario, bajo este paradigma el criterio fundamental de verdad es el consenso. La verdad y lo real no es sino el consenso entre las audiencias. Enfatiza por tanto los juicios adecuadamente contextualizados y compartidos frente a los anlisis ms tcnicos y supuestamente objetivos realizados por expertos. Ahora bien, esta orientacin presenta dos importantes limitaciones: operativa y democrtica. Por el lado operativo, en el contexto de grandes organizaciones o amplios programas de intervencin, la bsqueda del consenso puede llegar a resultar inviable. La bsqueda del consenso en pequeos grupos que analizan una realidad limitada y un contexto prximo puede ser factible. Sin embargo, cuando el conjunto de aspectos a analizar es amplio y cuando las dimensiones del programa hacen difcil o imposible conocer directamente la realidad, se hacen precisos procedimientos y herramientas para la recogida y sistematizacin de la informacin. El uso de indicadores (tanto cualitativos como cuantitativos) se convierte en herramienta fundamental para acelerar el consenso y dinamizar y simplificar el trabajo de las comisiones. Esta informacin de base podr ser adecuadamente

368

Pedro M. Apodaca

valorada e interpretada por las comisiones en relacin al contexto del programa y a los intereses y preocupaciones de sus integrantes. Por otro lado, de esta manera se hace factible la participacin directa (siquiera como fuente de informacin) de amplios colectivos de implicados que, de otra manera, debieran ser representados. De alguna manera, entramos de lleno en un enfoque plural. Ahora bien, la eleccin de un determinado enfoque de evaluacin debe estar supeditada fundamentalmente a los objetivos o funciones que desea cumplir. El trabajo de De Miguel (1999) introduce adecuadamente esta cuestin formulando la tensin entre dos funciones necesarias: generar conocimiento y lograr el cambio social. A estas dos funciones aade las de rendicin de cuentas y mejora. Analizaremos a continuacin estas funciones: a. La rendicin de cuentas. Los actores principales de un programa o servicio no son los nicos propietarios del mismo. Todo programa puede identificar numerosos tipos de audiencias y, en definitiva, es la sociedad en general la propietaria ltima de cualquier intervencin. De esta manera, la evaluacin deber cumplir tambin una funcin de rendicin de cuentas sobre el desarrollo y resultados de un programa. Esta rendicin de cuentas contar como destinatarios a los directamente afectados por el programa, a los gestores pblicos y a la sociedad en general. En las democracias representativas el debate poltico sobre el xito/fracaso de los programas educativos y sociales pervierte de tal manera un anlisis riguroso de la realidad de los resultados obtenidos que se hace preciso un tipo de arbitraje. La evaluacin del impacto, pretendidamente neutra, debe jugar este importante papel. Los grupos comprometidos con el xito del programa tienden a arrogarse los xitos y externalizar los fracasos. Sus adversarios utilizan un mecanismo contrario, imputan los xitos a causas externas y los fracasos al propio programa. La falacia post hoc ergo propter hoc es utilizada sin tapujos en este debate. La visin tcnica y cientfica debe clarificar el debate en lo posible y deslindar los efectos atribuibles al programa de aquellos que no lo son (Vedung, 1997). b. Fuente de conocimiento. La evaluacin debe cumplir tambin una funcin de descubrimiento y desarrollo de la teora que fundamente las intervenciones y la ciencia en general (Shadish et al. 1991). c. La mejora y el cambio social. La evaluacin debe tambin ejercer un compromiso con la mejora de las condiciones de vida de la comunidad. Bajo esta perspectiva el evaluador debe procurar poner en marcha dinmicas que comprometan a las diferentes audiencias en un papel activo. Evaluacin y participacin de los implicados seran un binomio indisoluble. Como puede verse, esta diversidad de funcionalidades puede generar confusin y la percepcin de que son mutuamente excluyentes. Sin embargo, queremos afirmar que estas funcionalidades son complementarias y, como consecuencia, los modelos y diseos de evaluacin a emplear en cada caso debern ser pluralistas.

Evaluacin de los resultados y del impacto

369

Desde esta perspectiva los modelos de evaluacin debieran tener un enfoque participativo de forma que los directamente implicados cobren protagonismo en la valoracin y en la toma de decisiones. Sin embargo, estas evaluaciones deben contener tambin importantes elementos de la mejor tradicin de los mtodos de investigacin del rea. En definitiva, las evaluaciones debern tener una gran fundamentacin en los datos, en su contenido emprico (Shadish et al. 1991). El juicio de los participantes o de los afectados por un programa no podra constituir el nico criterio de mrito en la valoracin. La evaluacin del impacto de un programa debiera constituir una actividad rigurosa y planificada que permitiera compilar evidencias en las cuales apoyar los criterios de mrito. Esta orientacin pluralista es la que puede garantizar el cumplir con las diferentes funcionalidades enumeradas anteriormente. 4. DISEOS PARA LA EVALUACIN DEL IMPACTO Bajo una orientacin tradicional, los diseos para la evaluacin del impacto tratan de deslindar el efecto neto de un programa de aquello que es atribuible a otros factores o circunstancias que lo acompaan. Por lo tanto, estamos plenamente en el terreno de la experimentacin cientfica en el rea de Ciencias Sociales y Humanas. Los diseos y estrategias elaborados en estos campos son los que se emplean en la evaluacin del impacto. Sin embargo, la evaluacin de programas ha sabido introducir tambin diseos de tipo opintico en los cuales expertos o implicados formulan juicios sobre los programas e intervenciones. En el fondo de toda evaluacin del impacto subyace el principio de la comparacin entre el grupo que ha sido objeto de la intervencin y algn grupo equivalente que no lo ha sido. Aqu reside precisamente la gran dificultad de los diseos para la evaluacin del impacto: encontrar grupos de referencia realmente equivalentes con lo cuales comparar el grupo objeto de intervencin. Los diseos proporcionan diversas estrategias para identificar los efectos debidos a la intervencin de todo un conjunto de factores extraos o intervinientes. Tomando como referencia el esquema propuesto por Rossi y Freeman (1993), en primer lugar, debemos distinguir entre los diseos apropiados para programas de cobertura total y aquellos apropiados a los programas que slo afectan a una parte de la poblacin denominados de cobertura parcial. Los programas de cobertura total, impiden tomar como referencia grupos que no hayan sido sometidos a la intervencin y cuyas caractersticas sean similares a aquellos que s lo han sido. En definitiva, impiden la comparacin con grupos de control. La comparacin deber realizarse con el propio grupo en lo que se denominan controles reflexivos dentro de los cuales el diseo pretest-postest es la modalidad ms conocida aunque menos recomendable. A continuacin presentaremos algunos de los principales diseos para programas de cobertura total y parcial. Debemos aclarar que los diseos que se presentan dentro del apartado de Cobertura parcial no pueden ser aplicados en programas de Cobertura Total. Sin embargo, los diseos de Cobertura total s pueden ser de aplicacin en programas de Cobertura parcial aunque, en la mayora de los casos, no son aconsejables.

370 4.1. Algunos diseos para Programas de Cobertura Parcial

Pedro M. Apodaca

Desde el punto de vista de la validez interna, los diseos experimentales con aleatorizacin a todos los niveles seran la solucin ideal para una correcta evaluacin del impacto. Sin embargo, este tipo de diseos presentan, al menos, dos tipos de dificultades. Por un lado, en muchas ocasiones no son operativamente viables. Por otro lado, dado el nivel de control requerido, la generalizacin de los resultados a situaciones naturales puede ser cuestionable. Dentro de los diseos experimentales con aleatorizacin, existen numerosas modalidades dependiendo del nmero de grupos que intervienen, el tipo de aleatorizacin, el nmero de medidas tomadas a travs del tiempo, etc. Los diseos experimentales garantizan la comparabilidad/equivalencia entre los grupos experimental y control mediante la aleatorizacin. Cuando sta no es viable, podemos hacer uso de los denominados diseos cuasi-experimentales que intentan emular dicha comparabilidad mediante el emparejamiento u otras alternativas. Estos diseos, para ser realmente efectivos, debern partir de un conocimiento profundo del rea objeto de intervencin y, por lo tanto, la especificacin del conjunto de variables o factores que pudiendo interferir en los resultados del programa debern ser controlados. Existen diversos diseos cuasi-experimentales que se adaptan a las diferentes situaciones y necesidades de la evaluacin. Los ms relevantes podran ser los siguientes (Rossi y Freeman 1993, Alvira 1991, Dendaluce 1994, Vedung 1997, Anguera 1995): Diseo de discontinuidad en la regresin. Estos diseos se acercan notablemente a las garantas ofrecidas por los diseos experimentales aleatorios a la hora de estimar los efectos netos reales de las intervenciones. En estos diseos la asignacin al grupo objeto de tratamiento o al grupo control se realiza a partir de una puntuacin de corte obtenida en una medida pretest. Son diseos con medidas pretest-postest que permiten comprobar si las diferencias pre-post del grupo objeto del tratamiento son mayores, similares o menores que el grupo de control o de referencia. Diseos con grupos de comparacin construidos por emparejamiento. El grupo de referencia con el cual comparar los resultados obtenidos con el grupo objeto de intervencin se selecciona en funcin de que tenga caractersticas similares a este ltimo en las variables clave. Controles estadsticos como garanta de comparabilidad. En el diseo anterior, la comparabilidad se garantiza mediante el emparejamiento. En estos diseos se garantiza estadsticamente utilizando tnicas de tipo multivariado que neutralizan o controlan las variables en las cuales podran diferir el grupo control y el grupo destinatario del programa. La tcnicas utilizadas suelen ser el anlisis de varianza o de covarianza, la regresin mltiple, etc. Controles genricos. En ocasiones resulta viable disponer de datos estadsticos sobre las variables objeto de intervencin en la poblacin general. De este modo, resulta plausible la comparabilidad de los resultados obtenidos con el grupo objeto de tratamiento y los datos normativos de la poblacin general que no ha

Evaluacin de los resultados y del impacto

371

sido objeto de tratamiento. Las dificultades de estos diseos radican en la disponibilidad de datos sobre la poblacin en general y en que los grupos objeto de intervencin suelen ser seleccionados precisamente por tener caractersticas distintas a la poblacin general. Sin embargo, podemos destacar por su viabilidad en el campo educativo, los diseos de lnea base no-causal construida en sus versiones de regresin-extrapolacin y de comparacin baremada (Peracchio y Cook, 1987). 4.2. Algunos diseos para Programas de Cobertura Total En este tipo de programas resulta inviable obtener grupos de comparacin que no hayan sido objeto de intervencin. Por lo tanto, la comparacin debe hacerse con el propio grupo objeto de intervencin realizando comparaciones pretest-postest. A este tipo de diseos se les denomina reflexivos o de controles reflexivos. Entre los ms utilizados podemos destacar los siguientes (Rossi y Freeman 1993, Alvira 1991, Dendaluce 1994, Vedung 1997, Anguera 1995): Diseos simples pretest-postest. Son quizs los ms conocidos y constituyen una alternativa viable cuando pueden ser obtenidas medidas de las variables relevantes con carcter previo a la intervencin. Sin embargo, desde el punto de vista de la validez interna, aporta pocas garantas. La diferencia entre las medidas pre y post pueden ser debidas a factores ajenos a la propia intervencin y este tipo de diseos no permite deslindar el efecto neto del programa. Diseos transversales para programas no-uniformes. Numerosos programas presentan diversas modalidades de aplicacin por lo que, en determinada medida, podramos hablar de varios programas distintos. Los diseos de tipo transversal son pertinentes en estas situaciones y permiten comparar los resultados de grupos sometidos a diferentes modalidades o niveles de tratamiento. Diseos de Panel. En estos diseos se realizan medidas sucesivas de las variables relevantes antes, durante y despus de la intervencin. Este anlisis longitudinal permite discriminar con mayores garantas los efectos netos reales de la intervencin frente a otros factores explicativos. Este tipo de diseos son tambin de aplicacin cuando se intenta evaluar programas de aplicacin no-uniforme. Diseos de series temporales. Este tipo de diseos son de aplicacin cuando podemos disponer de un nmero importante de medidas de las variables relevantes tanto previas a la intervencin como durante la intervencin y posteriormente a la misma. El investigador comprobar si las tendencias observadas a travs del tiempo mantienen su continuidad o cambian con claridad con motivo de la intervencin. En definitiva, se comparan las series pre y post tratamiento. 4.3. Otros diseos opinticos y la evaluacin participativa En numerosas ocasiones los diseos enumerados anteriormente no son viables por razones ticas, econmicas, temporales, etc. Por otro lado, en determinadas reas de

372

Pedro M. Apodaca

intervencin resulta fundamental tomar como criterio de mrito o valor de un programa la opinin o satisfaccin respecto al mismo de sus destinatarios, de los gestores del programa, de expertos en el rea, etc. Por otro lado, si nos situamos en modelos de evaluacin con enfoque participativo, las opiniones de todos las diversas audiencias pueden convertirse en elemento fundamental en la evaluacin de una intervencin. Por estos motivos, frecuentemente se recurre a consultar a diversas audiencias sobre su percepcin del impacto real de un programa. Es lo que se denominan shadow controls o controles a la sombra (Rossi y Freeman 1993, Vedung 1997). En estos manuales tradicionales suelen distinguir entre las evaluaciones con base en los juicios de expertos, las que utilizan los juicios de los gestores del programa y las que toman en consideracin los juicios de los destinatarios del programa. Estas alternativas no son excluyentes sino complementarias usndose con frecuencia una combinacin de ellas. As pues, en la operativizacin de una evaluacin que tome en consideraciones las opiniones de diversos agentes, nos podemos encontrar con una gran variedad de soluciones. Podemos destacar el modelo sueco de participante denominado comisiones polticas ad hoc (Vedung 1997). Este modelo intenta dar cumplimiento al mandato de participacin ciudadana en el debate sobre la gestin de las polticas pblicas. Segn el modelo, la evaluacin se lleva a cabo en cinco procesos: trabajo de la comisin, consulta, debate sobre poltica pblica, decisin del gobierno, decisin del parlamento. En este procedimiento, el gobierno nombra la comisin y especifica los objetivos y alcance de su labor. Estas comisiones estn formadas por miembros polticos, por expertos y por un secretariado. De sus debates surge un informe que es ampliamente difundido y sometido a anlisis y valoracin por parte de las instituciones y asociaciones afectadas. Esta modalidad tiene un gran valor como referente de la posible operativizacin de una evaluacin basada en opiniones y a la bsqueda del consenso en el ms alto nivel de la planificacin y decisin poltica. Desde un abordaje menos poltico y ms prximo, podemos rescatar aqu viejas tcnicas de monitorizacin de equipos de trabajo que tienen una gran utilidad en los enfoques de evaluacin participativa. La obra de Pineault y Davaluy (1989, p. 172) nos realiza una apropiada descripcin y clasificacin de estas tcnicas que puede verse en la Tabla 2. TABLA 2 TCNICAS PARA ALCANZAR EL CONSENSO
Tcnicas que utilizan un tipo de encuesta . Enfoque a travs de informadores clave . La tcnica Delphi . La tcnica del grupo nominal . El brainwriting . El brainstorming . El forum comunitario . Las impresiones de la comunidad

Tcnicas que utilizan la reflexin individual

Tcnicas que utilizan la interaccin

Tcnicas combinadas

Evaluacin de los resultados y del impacto

373

Estas tcnicas sirven tanto para identificar problemas y necesidades como para el anlisis y evaluacin del funcionamiento de un programa y, en definitiva, de su impacto. Algunas de estas tcnicas se basan en la reflexin individual (grupo nominal, brainwriting). Con ello se intenta evitar la superficialidad en la argumentacin, los estereotipos y el parloteo. Otras tcnicas intentan aprovechar la enriquecedora dinmica de la interaccin en el grupo (brainstorming, frum comunitario). En estas tcnicas es muy importante una adecuada dinamizacin del grupo por parte de un especialista. Otras tcnicas utilizan la encuesta como herramienta (informadores clave, tcnica Delphi). La tcnica a travs de informadores clave, no trata de alcanzar el consenso entre estos debido a que se basa en entrevistas individuales en la cuales no hay contacto o comunicacin con otros informantes. El resultado de tales entrevistas podr constatar el mayor o menor acuerdo entre los informantes. La tcnica Delphi s es una tcnica de grupo que puede utilizarse para alcanzar el consenso si bien la interaccin entre los miembros del grupo es indirecta. Se trata de un proceso en espiral en el cual los integrantes del grupo van contestando cuestionarios que son formulados en funcin de las respuestas recogidas en la fase anterior hasta alcanzar el consenso o hacerse estables las divergencias. La interaccin indirecta entre los informantes que asegura el anonimato de stos es una de las grandes ventajas de este mtodo. La tcnica del grupo nominal, combina una primera fase de reflexin y anlisis individual (apropiada para la generacin de ideas y dimensiones del problema) con una segunda fase de reflexin colectiva y una tercera de votacin individual. As pues, combina procedimientos distintos y pertinentes para cada fase de desarrollo del trabajo. La tcnica del brainwriting se distingue de la anterior en que la formulacin de las ideas iniciales la realiza el propio evaluador o monitor del grupo. La tcnica del forum comunitario viene a ser lo que entendemos como audiencia pblica. Finalmente, el mtodo denominado las impresiones de la comunidad, permite integrar y contrastar la informacin oficial con la informacin de los participantes. Combina las tcnicas expuestas anteriormente en la siguiente secuencia: entrevistas con informadores clave, recogida de indicadores y datos, frum comunitario. 4.4. Enfoques integradores en la evaluacin del impacto No puede afirmarse la superioridad de ninguna de los diseos y enfoques expuestos hasta ahora respecto a los dems. Las caractersticas concretas del programa o intervencin a evaluar y aspectos de tipo econmico, poltico, tico o temporal son los que pueden definir, en cada caso concreto, los diseos ms apropiados a utilizar. En cualquier caso, es preciso subrayar la superioridad de aquellas evaluaciones que utilizen de forma integradora diseos o enfoques diversos. En definitiva, si polarizamos la evaluacin en un nico tipo de diseo, aparecen sus debilidades. La diversidad de funcionalidades que debe cumplir toda evaluacin hace necesaria la diversidad metodolgica. Los enfoques participativos pueden ser ms apropiados para una funcionalidad de compromiso con el cambio y la mejora. Sin embargo, las funcionali-

374

Pedro M. Apodaca

dades de rendicin de cuentas y desarrollo del conocimiento pueden requerir el uso complementario de enfoques ms cuantitativos tales como indicadores de rendimiento, diseos cuasi-experimentales, etc. Por otro lado, la triangulacin que puede significar la integracin de resultados obtenidos con diseos de tipo cuasi-experimental y diseos de tipo participativo u opintico es lo que puede dar una mayor solidez a las conclusiones finales de una evaluacin. De alguna manera, venimos a repetir aqu los tan citados argumentos manejados por Cook y Reichardt (1986) respecto a la complementariedad de los mtodos cualitativos y cuantitativos en la investigacin evaluativa. Apostamos por lo tanto por la complementariedad e integracin de enfoques diversos en lo que puede denominarse evaluacin pluralista, multimtodo. Segn recoge apropiadamente De Miguel en esta misma obra, la investigacin social en general y la investigacin evaluativa en particular, destacan por ser reas donde esta complemetariedad est ms extendida y las discusiones paradigmticas ms superadas. Las diversas funciones que ha de cumplir la evaluacin (rendicin de cuentas, compromiso con el cambio social y desarrollo del conocimiento), as lo demandan. 5. PRODUCTIVIDAD Y EFICIENCIA: LA EVALUACIN ECONMICA La valoracin del xito de un programa de intervencin debe considerar tambin los recursos utilizados. La continuidad o generalizacin de los programas suele depender en gran medida de la rentabilidad constatable de los recursos o esfuerzos requeridos. La dimensin de productividad simplemente divide un indicador de los resultados de un determinado programa o servicio entre los recursos utilizados. Esos recursos pueden estar medidos en trminos monetarios, en horas trabajadas, locales utilizados, etc. Las ratios resultantes resultan difciles de valorar en trminos absolutos por lo que es recomendable tomar como referencia medidas de productividad en ejercicios anteriores, productividad de programas o servicios similares, etc. La aparente simplicidad operativa del clculo de la productividad esconde grandes dificultades en la operativizacin de la medidas de resultados y de costes. Por un lado, los programas o intervenciones suelen dar lugar a resultados mltiples. Por otro lado, no todos los resultados resultan sencillos de cuantificar. En definitiva, la elaboracin de un ndice de resultados obtenidos suele ser parcial y cuestionable. Por otro lado, determinar los costes en trminos monetarios o en cualquier otra unidad resulta tambin especialmente complicado. Los costes pueden ser directos pero tambin indirectos. Los programas y servicios desarrollan una diversidad de funciones siendo difcil la imputacin de recursos consumidos a cada una de dichas funciones o propsitos. Adems, la productividad puede olvidar con facilidad el criterio de calidad/ utilidad de los resultados o servicios prescindiendo de los fines ltimos de stos. La evaluacin econmica de un programa puede ser ms o menos completa. Una buena clasificacin de los diversos tipos o niveles de evaluacin econmica podemos encontrarla en obras tales como: Drummond, Stoddart y Torrance (1991). Para estos autores, una evaluacin econmica completa debiera comparar dos o ms alternativas

Evaluacin de los resultados y del impacto

375

de intervencin y examinar tanto los costes como los resultados. La no consideracin de alguno de estos elementos o de ambos da lugar a diversos tipos de evaluacin parcial. La Tabla 3 adjunta, tomada de la citada obra, clarifica esta clasificacin. TABLA 3 LA EVALUACIN ECONMICA SEGN DRUMMOND, STODDART Y TORRANCE (1991)
Se examinan tanto los costes (entradas) como los resultados (salidas) de las alternativas? NO Se examinan slo los resultados Se examinan slo los costes S Descripcin del costeresultado

NO Hay comprobacin entre dos o ms alternativas?

Descripcin del resultado

Descripcin del coste

EVALUACIN ECONMICA COMPLETA

Evaluacin de la eficacia o la efectividad

Anlisis del coste

Anl. coste-minimizacin Anlisis coste-efectividad Anlisis coste-utilidad Anlisis coste-beneficio

Como puede observase slo podemos considerar como evaluaciones econmicas completas aquellas que toman en consideracin tantos los costes como los resultados adems de comparar entre dos o ms alternativas. A continuacin describiremos brevemente tres de los tipos de evaluacin econmica ms frecuentes. En la dimensin de eficiencia podemos distinguir entre el coste-beneficio y el costeefectividad. El coste-beneficio divide el valor (en trminos monetarios) de los efectos de un programa entre el coste (tambin en trminos monetarios). El coste-efectividad divide un indicador de los efectos (sustantivos en relacin a los objetivos) de un programa en unidades fsicas entre los costes en trminos monetarios. La estimacin de los beneficios de una intervencin presenta especiales dificultades en los programas sociales donde resulta difcil asignar un valor monetario a sus resultados. En general, resulta ms viable asignar un valor monetario a los inputs de un programa que a sus resultados. Esta es una de las razones que apoyan el uso de los anlisis coste-efectividad en lugar de los anlisis coste-beneficio. El coste-efectividad cuantifica en trminos monetarios solamente los inputs o recursos utilizados por el programa mientras que, en el denominador de la funcin, emplea una cuantificacin

376

Pedro M. Apodaca

de los beneficios en unidades fsicas o de otro tipo. Estos beneficios deben referirse a elementos sustantivos de los objetivos del programa. No podemos finalizar sin hacer mencin a la evaluacin del coste-utilidad. Este tipo de evaluacin es cada vez ms utilizada en todos aquellos programas o intervenciones de carcter pblico que tengan que ver con la prestacin de algn servicio directo o indirecto al ciudadano. En definitiva, se trata de comparar los costes con su utilidad operativizada a travs de las percepciones que los destinatarios tienen del programa-intervencin Con ello, la evaluacin econmica enlaza tambin con los modelos de evaluacin participativa donde la percepcin e interpretacin de los destinatarios del servicio se convierte en elemento esencial de la misma. REFERENCIAS ALVIRA, F. (1991). Metodologa de la evaluacin de programas. Madrid: C.I.S. ANDER-EGG, E. (1990). Repensando la Investigacin-Accin-Participativa. Vitoria-Gasteiz: Servicio de Publicaciones del Gobierno Vasco. ANGUERA, M.T. (1995). Diseos. En R. Fernndez-Ballesteros (Ed.): Evaluacin de programas. Una gua prctica en mbitos sociales, educativos y de salud. Madrid: Sntesis. COOK, T.D. y REICHARDT, Ch. S. (1986). Mtodos cuantitativos y cualitativos en investigacin evaluativa. Barcelona: Morata. DE MIGUEL, M. (1995). Participacin ciudadana en la evaluacin de las polticas pblicas. Aula Abierta, 66, 211-218. DE MIGUEL, M. (1998). Modelos y diseos en la evaluacin de programas. Documento no publicado. DE MIGUEL, M. (1999). La evaluacin de programas: entre el conocimiento y el compromiso. IX Congreso nacional de modelos de investigacin educativa. Mlaga 21-23 de Octubre. DENDALUZE, I. (1994). Diseos cuasiexperimentales. In V. GARCA HOZ (Eds.), Problemas y mtodos de investigacin en educacin personalizada (pp. 286-304). Madrid: Rialp. DRUMMOND, M.F., STODDART, G.L. y TORRANCE, G.W. (1991). Mtodos para la evaluacin econmica de los programas de atencin de la salud. Madrid: Daz de Santos. FETTERMAN, D.M., KAFTARIAN, S.J. y WANDERSMAN, A. (1996). Empowerment evaluation: Knowledge and tools for self-assessment & accountability. Thousand Oaks CA: Sage. FLOCHLAY y PLOTTU, E. (1998). Democratic Evaluation. Evaluation, 4, 3, 261-277. GUBA, E.G., & LINCOLN, Y.S. (1981). Effective evaluation. San Francisco: Jossey Bass. GUBA, E.G., & LINCOLN, Y.S. (1989). Fourth generation evaluation. Newbury Park, California: Sage. PINEAULT, R. y DAVELUY, C. (1989). La planificacin sanitaria: conceptos, mtodo, estrategias. Barcelona: Masson. PERACCHIO, L.A. y COOK, T.D. (1988). Avances en el diseo cuasi-experimental. En I. DENDALUZE (Ed.): Aspectos metodolgicos de la investigacin educativa. Madrid: Narcea.

Evaluacin de los resultados y del impacto

377

REBIEN, C.C. (1997). Development assistance evaluation and the foundations of program evaluation. Evaluation Review, 21, 4, 438-460. ROSSI, P.H., & FREEMAN, H.E. (1989). Evaluacin. Un enfoque sistemtico para programas sociales. Mxico, D.F.: Trillas. ROSSI, P.H., & FREEMAN, H.E. (1993). Evaluation: A systematic approach. Newbury Oark: Sage. SCHALOCK, R.L. (1995). Outcome-Based Evaluation. Plenum Press: New York. SCRIVEN, M. (1991). Beyond formative and summative evaluation. In M. W. McLAUGHLIN & C. PHILLIPS (Eds.), Evaluacin and Education: At quarter Century (pp. 19-64). Chicago: NSSE. SCRIVEN, M.S. (1983). Evaluation Ideologies. In G.F. MADAUS, M.S. SCRIVEN, & D.L. STUFFLEBEAM (Eds.), Evaluation models: viewpoints on educational and human services evaluation Boston: Kluwer. SHADISH, W.R., COOK, T.D. & LEVITON, L.C. (Ed.). (1991). Foundations of program evaluation: theories of practice. Newbury Park, California: Sage. STAKE, R.E. (1983). Program evaluation, particularly responsive evaluation. In G.F. MADAUS, M.S. SCRIVEN & D.L. STUFFLEBEAM (Eds.), Evaluation models: viewpoints on educational and human services evaluation Boston: Kluwer. STAKE, R.E. (1991). Retrospective on The countenance of educational evaluation. In M.W. McLAUGHLIN & C. PHILLIPS (Eds.), Evaluacin and Education: At quarter Century (pp. 67-88). Chicago: NSSE. STUFFLEBEAM, D.L. & SHINKFIELD, A.J. (1993). Evaluacin sistemtica: gua terica y prctica. Barcelona: Paids-MEC. TYLER, R.W. (1991). General stament on program evaluation. In M.W. McLAUGHLIN & C. PHILLIPS (Eds.), Evaluacin and Education: At quarter Century (pp. 3-17). Chicago: NSSE. TYLER, R.W., MADAUS, G.F. & STUFFLEBEAM, D.L. (Ed.). (1989). Educational evaluation: classic works of Ralph W. Tyler. Boston: Kluwer. VEDUNG, E. (1997). Evaluacin de polticas pblicas y programas. Madrid: Instituto Nacional de Servicios Sociales.