Evaluación de Servicios y Programas Sociales1

Maria José Aguilar Idéfiex Ezequiel Ander-Egg Evaluacion de servicios y programas sociales Editorial LUMEN i 55) 1 49-7446 / 375-0452 / 814-4310 / FAX (54-1) 375-0853 Buenos Aires « ReplicaColeccién Politiea, servicios y trabajo social | ‘A Antonio Segura y Teresa Serrano Director y Secretaria Técnica de la Directors: Dr. Eze y rr ioe eos gee tae Escuela Regional de Salud Pablica, de Talavera de la Reina, “Tope: Oscar Stochez Rocha en testimonio de gratitad, porque ellds, como profesionales J, sobre todo, por la calidez de su amistad y la confianza que depositaron en nosétros, | alentaron y ayudaron a la realizacién de este libro. ISBN 950-724.402-6 © 1994 by LUMEN Hecho el depésito que previene Ia ley 11.723 ‘Todos los derechos reservados LBRO DE EDICION ARGENTINA PRINTED IN ARGENTINA,INTRODUCCION ss noeenn {NDICE, PRECISIONES CONCEPTUALES ¥ TERMINOLOGICAS. 4. UNA PRIMERA APROXIMACION AL CONCEPTO DE EVALUA: BSN ER EVALOACION EN SENTIDO LATO ¥ SU DIFERENCI ION DE OTROS CONCEPTOS SIMILARES. i Diferenciacién del concepto de evaluacidn de otros términos similares: mediciOn, estimacion, seguimiento, control y programacion 7 2. ACERGA DE LA NOCION DE EVALUACION Tricro. a i Lo aye seh dio acre dl alence significado del eér- 3, ELEMENTOS PARA UNA DEFINICION DE EVALUACION .. Es una forma de investgacion socal aplicada Siscemitiea,planificada y dirigida eee Sncaminada's identifier, obtener y proporcionar de manera vida y fable i ‘Datos e informacion suliciente rel jis : ‘Acerca del mario y ef valor z Devos sheets components den ogra ase de diagnStica, programacidn 9 ejecuei) © dete Sonjento de actividades expectficas que se raizan, than realizado o talizaria, con el propésito de producir cefoctos y resultados concretos.. Comproband la extensia y el grado en que dichos logros Ea ao a De forma tal que sirva de base 0 gala para una toms dccisones saconale ineigente entre cursos de accin Para solucionar problemas y promover el conocimiento ¥ “Comprension de [or faetores asociados al éxito al fraca- s0.de sus resultados. : |. LAS PSEUDO-EVALUACIONES ¥ LAS CUASI-EVALUACIONES fen que apoyar un Las pseudo-evaluaciones Tas cuasi-evaluaciones, x 2 24 a 65. TIPOSDE EVALUACION. Segin ef momento en gut se evais.. ‘Seguin las funciones que cumple la evaluacién. Soi rec ee alr = ‘programa que son objero de evauacign Esco del doy cnerpeaacion del am Evaluaién de enemas rentabilidad ecoaSmice Evaluacion de la eficiencia 0 Programa deun CUESTIONES BASICAS EN TORNO A LOS OBJETIVOS, BRINCIPIOS Y REQUISITOS DE LA INVESTIGACION EVALUATIVA. 1. OBJETIVOS DE LA EVALUACION, 2. Entablecr l grado de perinenia,idoncidad, fectvi dad/eficacia y eficiencia/rendimiento de un programs, las razones de los éxitos y facasos Ferd poo dom de dees pur ae 70 modificar a0 Ezablecer en qué gro se han prodecida ours conse. cuencias o efectos imprevistos. e.. Otros objetivos que se pueden lograr 2 PRINCIPIOS INHERENTES A LA INVESTIGACION EVALUATIVA... ‘Principio que resulran de las exigencias dei método cientifico a. Valider, 52. Fabilidad, 54 Principios de caricter prictico. 4. Practcidad'y wiidad, 54—b, Oportnidad, 55. 3. REQUISITOS PREVIOS A LA EVALUACION oe EL PROCESO DE EVALUACION: CUESTIONES PRE- VIAS A TENER EN CUENTA. 1. LOSACTORES SOCIALES IMPLICADOS EN EL-TRARAJO EVALUA 55 39 | | | Indice DEBE RESPONDER LA EVALUACION DE 2 PREGUNTAS A LAS. PROGRAMAS! a. Preguntas para la evaluacion del diseio y conceptual zacion del programa... Evaluacion del esedio-in 9 Erlucin, del ingnéstico, 69—Pvaluacign dal disebo del programa, 70 b. Preguntas para Ia evaluatién de la instrumentaci Say se ‘uiieto del programa, 0 evaluaiéa del proses. —ralacién dele implemen, 'Y soguimieno, 72-——Evaluacién del rendimienco del Ferme Pe ~Erdain coey bee ot Meenas pra a rani de cea y fienia el programa o evaluacion de resiltados y efectos lain dees 9 elcid I cain dl ro Sones Pe Brcaacon dea chvencis © erauacion ds fe Sratidad econdaca del programa 7 4. EL PROCESO DE EVALUACION: ASPECTOS CLAVES DESDE EL PUNTO DE VISTA METODOLOGICO run LAS TAREAS PRELIMINARES 1. Las negocaines etre fos gue encomiendan a vas ibn y el equipo de evaluscion. 2 Delmicin conceal dos apes» estudin, 9.— Bererminacign de los recursos les para realizar la cloaca, 85. on Respuesta preliminar a cuestiones que condicionarin el Aiseho de f investigacion evaluaiva a. :Cailes son las nectsidades de informacién y las posbi- iiaides de obvenedas 87-—b. En qué medids puede ser ase- aaa wad de stews: vedo execs Eider y fiabildad de lor mismon?, 87-~‘- Qué metodo 1 métodos usizaren Ia 3, ggue prosedimientos {ont omen max nda Bnd Que Boe dice adrccnmente in nvohcods enor reuaos elrevaluacon?, #ho—e. Gen que medida cs viable esa era- Inacio, 59 2 ELAPORACION DEL DISENO DE LA INVESTIGACION 3. Formulacién del marco de referencia, escenario o encua- dee. 2. Delimitar con wn aleance bien preciso el paca qué de la Tivesigacign, 91,—b. Determinacion © Menteacion de los Spector que sein evaluados (ipo de evalucion), 1. ° a ” 0Indice 4+ Scion dn stg metodo y de bs prose iment nico que seria walizedos pun eons in de datoeere eee 105 5. Sdlecen de varices ip TRABAODE cANPO. ee 6 6 Recoplacion de datos y de informaci 17 ELADORACION' PRESENTACION DE RESULTADOS osvoscvnsee NZ 7. Elaboracin de la informacion .. 17 8 Andis incerpretaion de los scales ie 9, Discusién de los resultados. Formulacién de conch ery eeomenddonetne nee us UA APLICACION DE L08 RESULTADOS DELA EVALUACION sus 121 10. La adopcién de decisioness aplicacién de las recomenda- eee ee : 1 ANEXO. Algae propuetasconectas de indicedores de eva Gibn de Propgnas tn erices seas» sen iy aon pl tnaria oh beds emneeh 2s 1 Tadd ec esos es pun oe 2. Indians de Salsa So cahaden oes a ps we de educseo pot eed 3. Restadores de evlosea de procecs &e pasidpacisn coment a ala eer eae LA EVALUACION ECONOMICA DE LO: SOCIALES, ec cemaniarereuurererateer lle! 1 ross EvaLuncro Ecoventcn : 154 2 EL COSTO-BENEFICIO COM rc PARA MEDIR LA EMCHENCIA. Seco egy 3 MMEMENTACON DEL ARALREDE OOO BENERGO HS 2. Explicacién del marco de referencia...... ball 162 B. enefcseon dels mes y obecyos dl proven, te €) Reslsacion del anti coso-beneic propaente di don me 163 4 IPERENCIAS ENTRE LA EVALUACION PRIVADA ¥ La EVALN- GION sOctaL BN LA ATLICACION DEE anges Be ETO BREE ee 63 5. EL Anau ‘bE COsRO.SENERiO’ Coli i eae cei woe : CLONES FEACTICAS SOBRE FL ANALRIS DECOSTS: tao, cowo moceDinewT PaKA TaLUAR Yt CIONAR PROGRAMAS ALTERNATIVOS ene Ee ay INTRODUCCION Desde hace mas de dos décadas se ha ido produciendo una abundante literatura sobre evaluaci6n, o para ser mas precisos, sobre in- vvestigaci6n evaluativa. Sin embargo, hasta €poca muy reciente, casi ‘todos los libros sobre el tema se han cefido a los aspectos concer- nientes a la evaluacién econémica. Dado que los recursos son limi- tados, lo que ha preocupado metodol6gicamente, ha sido desarrollar procedimientos que sirvan para indicar la rentabilidad (0 no) de determinados programas 0 servicios, aungue.hayan existido evaluaciones que iban mas allé de este enfoque. ‘Otro aspecto que nos parece importante sefialar en esta historia de la evaluacién es que los procedimientos desarrollados, durante largo tiempo estuvieron como atrapados en una perspectiva casi ex clusiva de los modelos experimentales y cuasi-experimentales, apo- yada como cabe en estos modelos, en la utilizaci6n de métodos cuan- tativos. “Todo esto resulta inaplicable en muchos campos de la interven cién social, No es extrafio, entonces que, a pesar de lo que se ha- blaba de la importancia de la evaluaci6n, todo quedaba en propuestas, En este punto nos parece oportuno recordar que hace mas de 30 afos se pretendis impulsar la investigacién evaluativa en el campo el trabajo social. En el IV Congreso Panamericano de Servicio So- cial realizado en noviembre de 1961 en Ja ciudad de San José de Costa Rica, se «sefial6 la necesidad y la importancia de la evaluacién para adecuar ios objetivos y los servicios que se ofrecens.... que las sinstituciones acepten los ajustes que se puedan desprenders, como resultado de las evaluaciones que se realicen... Estas sugerencias nun- a se pudieron llevar a la practica. ‘A medida que se fue desarrollando y perfeccionando la metodologia evaluativa y su aplicacion fue més alla de los programas eco ‘némicos, ésta se centr6 principalmente en la evaluacién de progra~ mas educativos. La experiencia prictica y la abundante literatura sobre el tema, da cuenta de ello. Solo muy recientemente se banxm Ms José Aguilar y Ezequiel Ander-Eeg intentado elaborar propuestas de evaluacién, aplicables a programas de accién social y de servicios sociales. La obra que el lector tiene fen sus manos ¢s una de ellas. Este libro se ha escrito pensando en los profesionales y estudian- tes de las diferentes disciplinas de intervencién social (trabajo social, servicios sociales, animacién socio-cultural, ete.) que quieren y deben realizar evaluaciones sistemiticas, pero no han tenido una for- macién tebtica-metodoldgica especifica en el campo de la evaluacién Hemos pretendido realizar un libro didéctiéo y comprensivo, a la ‘vez actualizado y riguroso, que sirva de ayuda —por sus referencias précticas concretas— en la iniciacién y realizacién de evaluaciones sisteméticas de los diferentes programas de intervencién social. Freto de la experiencia de ambos, el libro es parte de un trabajo ‘mis amplio que realizamos en el campo de los métodos de interven i6n social. Esta edicién, que ¢s una versin nueva y totalmente reelaborada de lo que hemos venido realizando desde 1981, tiene dos objetivos principales: @ presentar los fundamentos metodol6gicos los procedimientos operativos de Ia investigacién evaluativa; © servir como material de apoyo para los cursos sobre evaluacidn que se solicitan a muestro Instituto y que impartimos en varias universidades. Los autores, una de manera directa y otro de forma indirecta, rnos hemos visto beneficiados en la elaboracién de este libro y en la formulacin de sus propuestas sobre investigacién evaluativa, por los conocimientos, experiencia y nivel metodolégico de uno de los principales expertos espafioles en evaluaci6n: el Profesor Francisco Al- vira Martin, A través de sus aportes sobre investigacién evaluativa, 10s hemos enriquecido de sus conocimientos y nos hemos podido introducir en la rica y amplisima experiencia que en materia de eva~ luacién se ha desarrollado en Estados Unidos. Gracias a la Escuela Regional de Salud Pablica de Talavera de la Reina hemos tenido acceso a la experiencia canadiense y a numerosos trabajos de evalua- cia de programas de salud de diversos paises y continentes. Y, por nosotros mismos estudiamos lo que se hizo en Francia y lo que se intent6 y se realiza en América Latina. Obviamente, como en todos los casos similares, ni F. Alvira, ni ninguno de los investigadores que, en una y otra medida, nos sirvieron de orientacién, son res- Ineroduccion xu ponsables de la propuesta que hacemos, ni de los errores y deficiencias de nuestro trabajo. tS pecoeipaaes como estamos en desarrollar y mejorar los métodos de intervencién social, y preocupados por ofrecer a quienes estin en cla linea de fuego» en el trabajo con la gente un material de apoyo, prictico y operatives este libro pretende ofrecer un texto que, ™man- teniendo el mayor rigor metodolégico y conceptual, procura con un lenguaje accesible los trabajadores sociales, que éstos tengan la comprensién necesaria para ir introduciendo elementos de evalua ion en su propio quehacer profesional. Mania JOsé AGUILAR EZEQUIEL ANDER-EGG Albacete, 24 de junio de 1992En gran parte la evaluacién de los programas de accién social ha sido irregular 9 muchas veces se ha basado en las opiniones personales de ‘us defensores 0 detractores, en impresiones, anécdotas, referencias y otros datos. En los iiltimos aiios, sin embargo, se ha obseroado un cambio sorprendente en las actitudes con respecto a las actividades evaluativas y al tipo y calidad de las pruebas que se deben considerar validas cuando se trata de determinar el éxito o fracaso relativo de un programa de sccién social. Dos caracteristicas principales se observan en esta nueva actitud con respecto a la evaluacin © primera: boy dia se supone que todo programa racional de ‘accion social ba de ir acompatiado de un proceso de evaluacién; © segunda: se observa wna tendencia a exigir unas pruebas mas sistematicas, vigurosas y objetivas del éxito. CHARLES R. WRIGHTi | | | | | Capitulo Precisiones conceptuales 1. Una primera aproximaci6n al concepto de evaluacién: la | evaluacién en sentido lato y su diferenciacién de otros conceptos similares. 2. Acerca de la nocién de evaluacién en sentido estricto: lo que se ha dicho acerca del alcance y significado del té- ‘ino evaluacién. 3, Elementos para una definicién de evaluacién. 4, Las pseudo-evaluaciones y las cuasi-evaluaciones. 5. Tipos de evaluacién: —Segtin el momento en que se evalia. —Segtin la procedencia de los evaluadores. —Segtin la funcidn de la evaluacién, —Segtin Ios aspectos o naturaleza del1, UNAPRIMERA APROXIMACION AL CONCEPTO DE EVALUACION: LA EVALUACION EN SENTIDO LATO Y SU DIFERENCIACION DE OTROS CONCEPTOS SIMILARES ‘A poco que examinemos las conversaciones de la gente comtin, nos fencontramos con el uso bastante frecuente del térmnino evaluacién u ‘otros similares. Y si, ademés, observamos las précticas cotidianas de esas mismas personas, veremos cOmo las acciones evaluativas com- prenden un gran ntimero de aspectos y se realizan con mucha frecuencia. Pero cuando decimos que la accién de evaluar forma.parte de la vida cotidiana: ga qué nos estamos refiriendo? Para responder al interrogante formulado y como primera aproxi- maci6n al concepto de evaluacién, queremos examinar de una forma~ ‘general, qué se entiende por evaluacién. En cuanto intentamos precisar el concepto de evaluaci6n y exami- namos el empleo que se hace de él, constatamos que se trata de un término elastico, ya que tiene usos diferentes y puede aplicarse a una gama muy variada de actividades humanas. Si consideramos el érmi- zo evaluacién en su acepcién amplia, nos encontramos con definiciones como la de la Real Academia Espaiiola: evaluar es «sefialar el valor de una cosa». Y si tomamos la definicién genérica de uno de los principales autores en materia de investigaci6n evaluativa —Se encontramos que para él evaluar es un «proceso por el cual estimamos el mérito o el valor de algo». Asi pues —y siempre como una primera aproximacién—, podemos decir que evaluar es una forma de estimar, apreciar, calcular. En sentido lato, a palabra evaluaci6n hace referencia al término valor y supone un juicio acerca de algo. Dicho en otras, palabras, la evaluacion es un proceso orientado a emitir un juicio de valor. Se trata, pues, de un juicio en el que se hace una valoracién 0 estimacion de «algo» (objeto, situacién 0 proceso), de acuerdo a determinados criterios de valor con que se emite dicho juicio.4 ME José Aguilar y Ezegneel Ander Eee De acuerdo a esta primera. respuesta a la pregunta qué es la evaluacién, en sentido amplio y general del término, podemos consta- tar que la evaluacién, en cuanto a ponderacién basada en valores, es ‘una actividad que realizamos con bastante frecuencia, ya sea para valorar lo que hacemos o las decisiones que tomamos. Después de hacer algo, solemos valorar Jo que hemos logrado y lo que no hemos hecho teniendo en cuenta nuestros propdsitos iniciales. A: veces eva- Tuamos la forma en que intentamos alcanzarlo y, en otras circunstan- que, de algiin modo, es una forma de evaluar logros Por el momento no profundizaremos mis en el concepto de medicién y su relacign con el de evaluacin, y2 que lo relavo 2 ello 0 los aspectos de medicibn splcados 1 la investgacion evaluatva los abordafemos en este libro, ea la parte ". La Unesco, en el Glosario de términos de tecnologia "© A. Donabedian, «Evaluating the Quality of Medical Cares, en Milbesk Memo- Tal Fund Quarter, vl. 4,196 "RW, Tyler, «General Sutement on Evaluations, en Journal of Educational Research, nim, 3 1942. *2"R. Kaulinan y FW. English, Needs Auesment. Concept and Aplion, Englewood Cliffs, Edveational Technology Pub, 1979 TL Rothman, Eoaluation Research Methods « Bri Guide, Londres, Sage, 1977 Grondlond, ado sn referencias en G. De Landseere, ob ie Precisionesconcepeulesy terminolipicas n de la educacién, oftece tres acepciones distintas de evaluacién: «1 ‘Término genérico para designar el conjunto de operaciones de apre- ciacién, de control y de medici6n de un resultado, de una estrategia, de un sistema, de una persona, etc.». (Aqui podemos observar cémo se elude la nocidn de juicio o de valor.) «2. Proceso tendente a delimitar, obtener y reunir Ia informacién ttl para juzgar alcernativas de decisién, controlar la eficacia de la cjecucién de una actividad y juzgar su interés. 3. Proceso de cuantificaciGn o de calificacién del rendimiento de un individuo, grupo, dispositive © material». Las diferencias existentes entre esta tres acepciones son légicas, ya que se trata de un organismo internacional, cuy2s definiciones tienen consecuencias pricticas en contextos y situaciones reales muy distintas y debe conciliar intereses no siempre complementatios. En el campo del trabajo social o el desarrollo comunitario, nos encontramos con definiciones que contienen un fuerte elemento practico de cara a la solucién de problemas: la evaluacién es el ‘andlisis de los efectos y las consecuencias de los diferentes modos de actuacién sobre una situscién, para definir en un plazo cusles son los ‘mas productivos de soluciones» '§. La evaluacién, por tanto, en el ‘campo de las tecnologias sociales se entiende como un mecanismo de regullacién de acciones y politicas sociales, que puede permiir dismi- rnuir notablemente las posibilidades de fracaso que tiene un programa de interés social '*. Es decir, «la evaluacién s6lo sera sti si se utiliza como medio para mejorar un programa. Es necesario conocer las ccualidades y las debilidades de un programa para poder modificarlo segtin vaya siendo preciso. Un buen programa requiere de un diag- nnéstico y una evaluacién permanente para eliminar los errores y corregirlosy ”. : "Petes definiciones precedentes nos ponen de manifesto la uildad de la evaluacién, como medio para corregir errores y poder modificar cursos de acci6n. Dicho en otras palabras, la evaluacién sélo tiene sentido en la medida que sirve para tomar decisiones concretas. Asi se expresan autores tan reconocidos como Stufflebeam 0 Cronbach: «la evalusci6n es el estudio sistemstico, planificado, dirigido y realizado 8 J. M. Dutrenit, «Evaluation du travail social Aide & la Mutations, en Reve Rencontre, nm. 51, 1984, 3M Marette, (dir), Guide de développment local, Pari, Syros, 1980. R. Rezsoha- zy, El desarrollo comaitaio, Madrid, Narcea, 1988, °K, Narsjan, «Adult Education Program: Methodology for Evaluation», en Indian Journal of Adult Education, mayo 3e 19832 Me Jost Aguilar y Ezequiel Ander-Egg con el fin de ayudar a un grupo de clientes a juzgar y/o perfeccionat el valor y/o el mérito de algiin objeto» !. O bien, «proceso sistemitico de recogida y valoracién de informacién stil para una eventual toma de decisiones» ". En esta tiltima cita de Cronbach encontramos una importante consideracién: de toda la informacién posible, solo hay ‘que recoger la que es relevante para tomar una decisi6n. El énfasis de la evaluaci6n, por tanto, lo pone en la utilidad para Ja toma de decisiones y no tanto en los procedimientos de recogida de dicha informacién. En la misma linea se expresan algunos pedagogos al afirmar que la evaluacién tiene sentido si esta encaminada a tomar las decisiones necesarias para una mejor aplicacién de los objetivos del programa que se esté realizando ”°, Scriven, por su parte, define la evaluacién como una actividad metodolégica que «consiste simplemente en la recopilacién y combi- nacién de datos de trabajo mediante la definicin de unas metas que proporcionen escalas comparativas o numéricas, con el fin de justifi- cat 1. los instrumentos de recopilacién de datos, 2. las valoraciones y a seleccién de las metas» *. Ademas, diferencia la evaluacién como actividad metodologica, de la evaluacién en un contexto particular, En el primer caso, la define como el «proceso por el cual estimamos el mérito o el valor» de algo. En el segundo, sefala que las funciones de {a evaluacién son muy variadas y «se relacionan con el uso que se hace de la informacién que se recoge, es decir, con el tipo de decisidn a la que sirves, Uno de los aportes mas interesantes de este autor es la distincién ‘que realiza entre mérito y valor, y la importancia de su diferenciacién, Asi, el valor de una accién viene dado por el grado de necesidad que existe de hacerla. Dicho de otra forma, cuanto mis necesario es hacer algo, més valor tiene. El mérito, en cambio, tiene que ver con la buena realizacién de algo, independientemente del valor que tenga. Una acci6n es meritoria, cuando hace bien y con eficiencia aquello que se Propone. De ahi que pucdan cxistir servicios y prograinas meritorios "* D. L. Suuliebeam y A. J. Shinkfild, Eealuecin sistemétice. Gute tvbrice y Priatcs, Madrid, Pads ec, 1987, * J. L, Cronbach, Designing evaluations of educational and social programs, ‘Chicas, The Jossey-Bass series in Social and Behavioral Science and Higuer Educa” tion, 1983. ® G. de Landsheere, ob. cic 2 M. Scriven, «The Methodology of Evaluations, en + on Currcnlam Evaluation, Chicago, Rand McNally, 1367. Pevpestive Praciionesconceptuales 9 terminolégicas B pero sin valor. Lo que no puede haber es servicios y programas vlidos sin que —ademés— sean meritorios. ; Scriven, al establecer esta distincidn, facilita algunos aspectos de trabajo de evaluaci6n, encaminado a establecer y aplicar criterios de enjuiciamiento, Por tanto, en la tarea de evaluar, hay que sefalar criterios y normas que permitan establecer tanto el mérito como el valor del objeto evaluado, : Suchmnan, agrega—ademés— una nota de realismo y humildad, en cuanto a las posibilidades de la investigacin evaluativa, al definirla como un «conjunto de procedimientos para la recogida y anilisis de datos que aumentan la posibilidad de “probar”, mis que de “afirmar”, el valor de una actividad social» * - Hasta ahora hemos, recopilado y examinado superficialmente al- sgunas definiciones de evaluacién. Sin embargo, no queremos pasar por alto las relativas a autores latinos, ya que si bien en estos paises no abundan especialistas que hayan escrito sobre el tema, el hecho de que este libro forme parte de ese capitulo gcografico justifica por si solo ‘nuestro detenimiento en autores tales como Alvira, Caride, Espinoza Vergara, Cabrera y otros. E "Flayes (autor de no de los primeros libros taducdo a castlla no sobre evaluacién) sefala: «la evaluacién es, primero y necesaria- rene, una colecin de concepts y prictias que han demostado su utilidad (en el campo de las Ciencias Sociales) y que se-aplican de modo tal que pueden contribuir al perfeccionamiento de las actividades pricticasy *. ‘Ya-en la década de los ochenta, donde la evaluacién de programas sociales comienza a ser una preocupacién en Espafia, merece la pena destacar dos aportes importantes que provienen del campo pedagégi- co (Carde y Cabrera) y otro de ls sociolgia (Alva). En general, xodemos decir que, en Espafia, en Ia década de los ochenta, existe un Consenso genevalizado sobre lacaracterizacin de la evaluaci6n, como los esfuerzos de estimacién de los cambios debidos a programas 0 royectos, En orden eronolégico, podemos citar, en primer término, Elgunas consideraciones respecto a la evaluacion por parte de F. ‘Alvira %, Para este autor, evaluar R. Franco, Algunas reflecones sobre le evaluacién del desarollo, Santiago de ile, Lees, 1971 » Unesto, Evaluation Terms: Unesco Glossary, Pais, BEP-79/WSI, 1979. % Naciones Unidas, ob. cit. 2% Ons, Evalaaciin de los programas de salud, Gincbrs, 198 » eno; Paxtas para la coaluacin de proyector de eooperaciin téonice, Roma, 1984. Precsones concepeialesy tomninoligicas 7 mente su formulacién del «modelo cipp> de evaluacién®” la de Pineault y Daveluy 5 y las de"Weiss *, La evaluacin es el proceso de identifcar, obtener y proporcionsr informacién Gul y deseriptiva acerca dl valor y el mérito de las meta, 1a planifcacin, ia realizacion y el impacto de uin objeto determinade, con’el fn de servir de guia para la toma de decisiones,solucione los problemas de.responssbilidad y promover la comprension de los fenémenos implicados. D. L. STUPFLEBEAM, ¢ al. Laevaluacién es un proceso que consiste en determinar y cn aplicer ‘riterios y normas con el fin de realizar un juicio sobee los diferentes ‘componentcs del programa, tanto en el estadio de su concepcidn, como de su ejecucin, asf como sobre las tapas del proceso de planificacion ‘que son previas ala programacién. R. PIVEAULT y C. DavELUY Laevaluacin analiza ln relacin programa/necesided social, midiendo el grado, y si es posible, la profundidad, en que sus fines son logrados, por lo tanto, ls necesidades cubierzas,o los problemas solucionados, : CH. Weiss 1a Investigacion en evaluacion es una empresa racional, que examina los efectos de las politcas («policies») y los programas de sus poblaciones-objeto (targets) (individuos, grupos, instiuciones, co- ‘munidades) en sérminos de los fines que intencan alcanzar. Por méto- ddos objetivs y sistemiticos, la evaluarién mide la extension con la que dichos fines son alcanzados y observa los faetores asociados con el io oe fracaso de sus resultados. Se supone que aportando «hechos», Ja evaluaci6n ayuda ala toma de decisiones para la eleccidn inteligente ‘entre cursos de accion, Los datos precisos y no sesgados sobre las consecuencias dé los programas mejoraria dicha toma de decisiones. CoH. WEBS 2D. LSet eal, Educational Evaluation and Decion Maing Ine Mlinois, Peacock, 1971 * R. Pineault y C. Davelay, La plenficaciin senitari. Conceptos, métodos, ‘strategist, Barcelona, Masson, 1987. 7 41°C. Hi. Weiss, Investigicin evaluation, México, Tells, 1970, una investigaci6n que se ha «vendi- do» como evaluativa, pero que, en la prictica, slo sirve para realizar una evaluacién posterior. De esta forma, se asegura un nuevo contrato donde se «prometes hacer una verdadera evaluacién... Esta, que es una forma de ganar dinero o aumentar el curriculum, nos parece deshonesta, tanto desde el punto de vista ético como profesional En otro orden de cosas, como han sefialado Luque y Casquete *, en Espaia los programas e intervenciones sociales suelen ser poco y mal evaluadas, ya que étas «suelen valorarse junto al programa matriz, con lo cual su aleance particular es bien son evaluadas «enfatizando los éxitos, minimizando los fracasos ¥ proponiendo correcciones que escapan al disefo inicial de la evaluacién». En otras ocasiones se evalian los efectos producidos cuando éstos son ya rutinarios. En definitiva, para estos autores, estas siruaciones revelan que: la evaluaci6n no se considera un componente esencial del disefio; ademés no se realiza con rigurosidad; y los ‘evaluadores suelen actuar con gran condescendencia, porque generalmente son sus mismos diseftadores y ejecurores. ‘A.Laque y A. Casquete de Prado, s Jo que nos lleva considerar la evaluacién sumativa como de més dificil aplicacin, dada Ia dificultad para formulat metas estables y permanentes en las organizaciones. Estas circunstancias son las que llevan a Patton a plantearse la «evaluaci6n centrada en la utilizaci6n» (Utilization-Focused Evaluation), consistente en adaptar continua- mente los métodos seleécionados por el evaluador a las situaciones particulares. El elemento esencial aqui es la participacién continua en todo el proceso evaluativo, tanto de los decisores como de los destinatarios de la informacién ®*, Segiin la procedencia de los evaluadores De acuerdo.a este criterio-pueden distinguirse cuatro tipos de evalua- cién: a. Evaluacién externa: ¢s aquella que recurre a evaluadores que zo pertenecen, ni estin vinculados (directa o indirectamente) a la institucién ejecutora del programa o proyecto que se evahia. Cuando se realiza este tipo de evaluaci6n, de ordinario se recurre a la partii- patién de expertos contratados por la instituci6n que quiere evaluar alguna o la totalidad de las actividades que realiza, dreas de actuacion © programas/proyectos especificos. b. Evaluacién interna: esta modalidad de evaluaciGn es la que se realiza con la participacién (como evaluadores) de personas que pertenecen a la institucién promotora o gestora del programa o proyecto a evaluar, pero que no son directamente résponsables de la ejecucion. ® J. D. Thompson, ob. cits S. Terreberry, «The Evolution of Organizational Environments, en Adm. Sci, Quant, vol. 12, 1968; P. R. Lawrence, ob ct wR Dmenlty © Davchyrobe i Peete earns © M. Q. Patton, ob. cite Mz José Aguilar 9 Ezequiel Ander-Ege c. Evaluacin mixta: este tipo de evaluacién ¢s una combina~ ci6n de las anteriores; se realiza por tn equipo de trabajo que incluye valuadores externos (ajenos ala instirucidn cuyo programa o proyec- to se evalia) y evaluadores internos (pertenecientes a la institucién ejecurora). d. La autoevaluacién: las actividades evaluativas estan a cargo de aquellos que estan implicados directamente en J ejecucién o realizacion del programa o proyecto, ¥ que valoran y enjuician sus propias Zctividades para determinar si estin cumpliendo las metas propuestas ‘Ahora bien, realizadas estas distinciones/clasificaciones, descen- diendo a preocupaciones précticas antes de realizar cada. investiga- Gin evaluativa cabe preguntarse qué tipo de evaluacién es la mas adecuada?: zevaluacion externa 0 evalvacién interna? mixta a auto- evaluaci6n? Existen ventajas y desventajas para una u otra opcién. Veimoslo. ‘Cuando se procede a realizar una cvaluacién con el personal de la misma insticuciOn 0 unidad administrativa, sobre todo si se rata de la administracion piiblica, se corre el riesgo de que los responsables de cesta tarea, consciente 0 inconscientemente, raten de resaltar lo bueno del programa y de minimizar los aspectos negativos o menos positi wvos, En otros casos se busca el «chivo expiatorio» responsable de los Fracasos, ya sea externos 3 la instituci6n o dentro de ella. También puede ser una buena ocasién (en el easo de conflictos 0 tendencias Eontrapuestas al interior de la institucién) para que los evaluadores ‘tomen desquite con algunos responsables del programa con quienes tienen una sitiacién conflictiva o de enfrentamiento. ‘Las ventajas de la evaluacién interna vienen dadas bésicamente por el mayor conocimiento y famniliaridad que se tiene de lo que se va 2 ‘evaluat, Pero tiene sus desventajas derivadas de los riesgos de subjeti- idad 0, si se quiere, de menor garantia de objetividad como conse~ ‘cuencia de la implicaci6n de los evaluadores con lo que se evala. Son a la ver, juez y parte. Por el contrario, los evaluadores ajenos a Ja organizacién cuyos programas 0 proyectos son evaluados, son personas que no estin {mplicadas en el programa a evaluar. Existe a ventaja de una mayor “objetividad, aunque también hay desventajas: no es ficil que un eva Iuador externo pueda captar plenamente todos los factores en juego (y que tienen su historia dentro del programa o de la organizacion) y con la naturaleza y funcionamiento del programa. Preciione comcepnals 9 trminolgics 8 sec fene a extas ventas y desvenajs, puede pensarse en a conveniencia de una evaluacin mixta que, en principio, permitiria equili- brat los factors desiavorabley selonsar los fworsblen Segiin los aspectos del programa que son objeto de evaluacion Una de las clasificaciones més diiles es la jiza atendi si que se realiza atendiendo a los aspects o components del programa qe on objeto de crac. 0s tipos de evaluacién que resultan de este critero, tienen implica. cies metodolgie y tenis muy importants, haa punto que cuando se habla de tipos de evaluacién, se suele encia a forma de claifcacién. eee eaters ‘Ahora bien, en este punto no existe una coincidencia los distintos ralundoresy autores que han cro sobre In nace Antes de explicar nuestra tipologia de evaluaciones con arreglo al criterio del objero de evaluacién, queremos pasar revista a las clasifi- casonesy ropuestas de algunos autores. ‘or comenzat con un ejemplo que nos es més citar la clasificacin que hacen Luque y Casquete ay a autores espatioles, las evaluaciones que pueden realizarse son las siguientes: evaluacin de necesidades cevaluacién de procesos evaluacién de resultados cevaluacién de eficacia evaluacién de costos, eecee Esta clasficacién, desde nuestro punto de vista, presenta algunos problemas conceptuales; ya. que Ia evaluscién de Is efiacia pucde ser incluida en la evaluacién de resultados (de hecho, cuando se realiza vuna evaluacidn de resultados, se comprucba —entre otras cosas— la cficacia real del programa). Por otra parte, al hablar de evaluaci6n de costes (seria més correcto hablar de evaluacién econémica), se hace referencia a un tipo de evaluacién cuya naturaleza no es similar al resto de los tipos antes indicados. Lo que distingue a la evaluacién * A Luque y A. Casquete de Prado, ob. cit.“ Me Jost Aguilar y Ezequiel Ander-Egg econdmica del resto de las evaluaciones son los procedimientos , evaluncién del disefio 0 fase de rogramacion- tvaluaclin del proceso y desarro- lg del programa (comparar lo ‘que se esta realizando con Jo pla- nifcado). 4. evaluacién de Tos insumos (cantidad, calidad y disponibilidad de ‘eoursos para implementar el pro- game). e, evaluacion del perfil esractoral y funcional de la instruci6a desde Ia cual se celia el programa {f exaluai6n de los procedimientos wtlzados, ai {g evaluacién de la coordinacién del programa con otros similares 0 fon aquellos que debe coondinarse- ©, Ander Egg, 0b. ct. cionados separadémente por Pineault y D Seeegs se trata solamente de un cambio en la denominacién de Me José Aguila y Ezequiel Ander-Egg ‘esta clasificacién se entremezclan algunos de los aspectos men- ee A anor Pineau y Daveluy y Donabedian. Es sea parte, y dentro del capitulo latinoamericano, encontramos Pot ciiccciSn de las evaluaciones seendiendo 8 los sspezos que Serdn evaluados (reas). En este sentido, a clasificacién que propo Memos © hace més de una década, y que en algin sentido también [BVALUAGION SUSTANTIVA “ead nga penn de oe Togs del prog en aacisn con ioe problanar necedades gue ecu la poblacim desinaaray ue dieronchjro 2 imervencion Sieve prtnencia ral dl pro- von Areas de coherencia externa «4, evaluacién de los resultados efec- ths (nina vara juga os logros). Puede ser una evaluacion de productos, efectos 0 impact. + opinin de los beneficiarios, des- sinatarios 0 wsaatios. e exaluacign de los efectos indirec- tos y de los efectos no experados. Preaisiones conceptualer 9 terminoligias 7 ‘es compartida por Espinoza Vergara“, distinguia diez areas de eva- luacién: siete de ells se refieren a la coherencia interna del programa © proyecto, y las tres restantes a la coherencia externa. En el primer caso se trata de una evaluacién formal, mientras que en el segundo 5 una evaluaci6n sustantiva. Ahora bien, como se decia en ese mismo libro, «en la prictica, toda evaluacién comporta el anilisis de determinadas areas de coherencia interna y otras de coherencia externa. Depende de cada caso concreto, segiin las necesidades e intereses de quienes encomiendan la realizacién de una investigacin cvaluativa. La distincién que hace- ‘mos en diez areas tiene, fundamentalmente, un propésito pedagogico: ayudar a una mejor comprensién de los diferentes aspectos que abarca Ja tarea evaluativa de un programa realizado en una institucién u organizacién» ©, Hoy, como explicamos de inmediato, proponemos una clasficacién diferente, que incluye los elementos que antes ha~ bfamos considerado dentro de las éreas de evaluacién *, En nuestra propuesta concreta, ala hora de clasificar los tipos de ‘evaluacién segiin los aspectos a evaluar, hacemos una triple distin- © Evaluacion del disefio y conceptualizaci6n del programa., © Evaluaci6n de Ia instrumentacién y seguimiento del programa (evaluacién del proceso). © Evaluacién de la eficacia y eficiencia del programa (evaluacién de resultados). Evaluacién del disefio y conceptualizacion del programa Este tipo de investigacién evaluativa —tal como su denominacién lo indica— evakia bisicamemte un trabajo de gabinete por el que se © M Eaginoza Vergara, ob. ic ‘© E, Ander Egg, ob ce “ Gonsderamos qu ea clasificacign, sibien ex bastante diferente dels restates <=, en dens aspects, compatible con algnat de aya shenconadss AS, eomo veremos mis detnidsnente ene capita, dento de lesen de oberon itera, lar dor primers on equvleter© pueden inclurse en In evahscon dl dese y cooceptaliraciéa de programas. El reso de las fens de coherenca interna puede stcuadrarse deto del eguimiento dela insrementacén y Sxrrll del programa, Y Istotalidad desiree decoberenia exter o evalua snare puede ena se com la valoracin dela fetvidady efienca del programa. Sin embargo, bemos ‘ado de lado eta claficcin por la que proponenor en ee miso copulo” Ms Joué Aguilar y Ezequiel AnderEgg juzga la pertinencia formal y potencial de un programa, teniendo ‘en cuenta bésicamente la coherencia interna entre sus distintos componentes. Comporta tres aspectos fundamentales: ‘© Evaluacin del estudio-investigacion. © Evaluacién del diagnéstico, © Evaluacién dal disefio y concepcién del programa. Si se han seguido los pasos 0 requerimientos del método cientifico, cl paso previo a la elaboracién de un programa es el estudio/ investigacién de aquella situacién-problema 0 aspecto de la realidad sobre la que se va a actuar. Esta investigaci6n, como todas las que se realizan con un propésito de intervencién social, es una investigacion aplicada, Consecuentemente debe culminar’con un diagnéstico de la situacign-problema, En esta investigacion y en el diagnéstico, se trata de establecer la naturaleza, magnitud y caracteristicas bisicas del problema que seré objeto de intervencién, asi como los recursos y ‘medios operacionales de intervencién, susceptibles de utlizacién, y los factores relevantes contextuales que inciden en el mismo. ‘Ahora bien, si la investigacién y/o el diagnéstico no reflejan adecuadamente la realidad, todas las elaboraciones posteriores (desde el disefio hasta la programaci6n y ejecucién) se iran montando sobre uuna base falsa. De ahi Ia necesidad de este tipo de evaluacién, cuya realizacién tiene un mayor sentido si se efectéa en la fase de formu- lacién y planeamiento del programa. Si bien hemos denominado de manera general a estos tres aspectos, que pueden ser evaluados «disco y conceptualizacién del programa», fen sentido estricto evaluar ef disefo y concepcién del programa es evaluar e] modelo de intervencién social al que se recurre para resolver determinada situacién problemética. Esto comprende en sus aspectos mas formales las estrategias de accin, las actividades concretas que se han propuesto y, sobre todo, los métodos, técnicas y procedimientos que se piensan utilizar. Sin embargo, en este punto serfa importante que la evaluacién pusiera de relieve (en'el sentido de que explicitase), cual es el modelo o paradigma subyacente. De © Hiemos explicado en otro trabajo (Invesigacin 3 diagndstico para el trabajo social, Buenos Aices,13A-Homanitas, 1986), que la realizacin de un diagnéstico algo mis que a ealizacion de wna investigation. Se puede realizar una buena inv Tigacion y un diagadsico deficient, Sin embargo, un diagnénico no puede hacerse sin la base de un estudio previ. Precisiones conceptalesy terminolégieas » ordinario no se suele tener una conciencia plena de estos elementos fubyatents, ni por pare de quienes formulan el programs, ni de quienes lo evakian, Evaluacién de la instrumentacién y seguimiento del programa Cuando ya se ha puesto en marcha un programa de intervencién social puede ser necesario evaluar c6mo esta funcionando. Esta cevaluacién puede ser global o de alguno de los aspectos puntuales que comporta el proceso de ¢jecucién del programa y que puede ser objeto de seguimiento. La evaluacién del proceso aborda diferentes componentes relacionados con’ el funcionamiento del programa y con los servicios producidos. Comprende varios aspectos y dimen- siones: en primer lugar, la cobertura del programa (en qué medida aleanza a la poblacién-objeto), los aspectos técnicos de la implemen- tacidn (cémo se operacionaliza el programa), los aspectos estructurales y funcionales del organismo responsable del programa o de la prestacién de los servicios y, por iltimo, el rendimiento del personal responsable de llevar a cabo el programa. Veamos en qué consiste, fn términos generales, cada una de estas evaluaciones puntuales. Evaluacién de Ja cobertura. Todo programa de accién social tiene uunos destinatarios y pretende cubrir una determinada rea de actua- cid, De lo que se trata es de establecer en la evaluacién de la cobertura lo siguiente: —en qué medida se llega a la poblacién destinacaria, * | poblacin-objeto conoce el programa: euitos, en qué # el programa es accesible; si no lo es, qué barreras u obstécu- los dificultan la accesibilidad. es aceptado el programa por la poblacién. ~ gn qué maida se cube l fre de acraci6n; cule a eoberta- ra efectiva. Evaluacién de la implementacién, Para llevar a cabo cualquier tipo© Mz Joré Aguilar y Ezequiel Ander-Egg de actividades es necesario que lo programado sea implementado. Esto significa que se hayan previsto los instrumentos necesarios para raducir operativamente lo que queria realizarse en un espacio y tiempo determinado. ‘A veces un programa no esta alcanzando los objetivos, resultados 0 efectos deseados, porque hay deficiencias en la implementacién, es decir, porque los instrumentos y medios utilizados no son Jos adecuados. Para esto hay que establecer si estos.medios e instrumentes son: © necesarios: cuando no se puede prescindir de ellos porque comtribuyen significativamente al éxito del programa. ¢ suficientes, en el sentido de que bastan para alcanzar las meras y objetivos propuestos. @ idéneos, e3 decir, tienen la capacidad de cumplir con Jas metas cestablecidas (obtener resultados en cantidad y calidad dentro de los plazos propuestos)- ; «© potentes:en cuanto tienen la capacidad de aacar Is sitwacin- problema y de sortear obsticulos y dificultades. « eficaces, puesto que los medios utilizados son los mas idéneos en relacion a los objetivos y propésitos que se buscan. Evaluain del ambient orgazaconalen el ques desacrolla wrograma. De lo que se trata. es de valorar hasta qué punto la Geganizacién responsable del programa favoreceodifculta la marcha del mismo, ya sea en sus aspectos estructurales como funcionales. Este tipo de evaluacin implica analizar tanto el aspecto organizativo formal como el psico-social, a lz luz de los objetivos y fines de la instizucién y el ambiente © contexto social en que se inserta, Entendiendo Ja organizacion —desde una perspectiva sistémi- ca— como un sistema abierto compuesto de cinco sub-sistemas: objetivos. y valores, tecnolégico, estructural, psico-social_y administrativo “; la evaluaci6n del ambiente organizacional incluiria temas componentes, en su relacién con el progra~ y el contexto © supra-sistema en que se inserta F, Kast y J. Rosenzweig, Adminisracdn on las organizaciones. Un enfoque de sistemas, México, Mae Graw Hill, 1979, Precisionesconcrptuaer 9 terminoligicas Evaluacién del rendimiento personal. L evaluacién del rendimiento personal consiste en medir Ia capacidad, competencia y habilidad de un individuo para efectuar determinadas actividades'y tareas que le son asignadas, como propias de su trabajo, dentro de un programa. Descrito de una manera general lo que comporta el rendimiento personel, pareciera facilmente delimitable aquello que queremos eva- Iuar, pero en cuanto comenzamos a desglosar los componentes y elementos observables que comportan, el problema se torna mucho ‘més complejo, habida cuenta de que hay muchos aspectos 2 consi derar en lo que configura el rendimiento personal; de aqui algunos: © las habilidades y aptitudes necesarias para la tarea; © la actitud frente al trabajo y las motivaciones para realizarlo responsablemente; © Ja capacidad de aplicar conocimientas (teéricos y pricticos) y de sistematizar la propia experiencia; © forma y capacidad de organizar el trabajo y de solucionar los problemas coneretos. Cada uno de estos elementos refleja una parte del rendimiento total; evaluar uno solo de estos aspectos puede ser totalmente insufi- ciente, Hemos de decir, ademas, que para la evaluacién del rendimien- to personal, la actuacién primera y basica que hay que realizar es la de idemtificar las actividades y areas que hay que evaluar. Evaluacién de la eficacia (resultados) y eficiencia (rentabilidad) En cuanto 2 la evaluacién de la eficacia © efectividad (que es la evaluacién de resultados), consiste en analizar en qué medida se est alcanzando los resultados previstos, aunque en algunos casos seria ‘oportuno evaluar resultados o efectos no previstos. Esta evaluacin de resultados se establece en relaci6n a los usuarios/beneficiarios del programa. Cuando se tiene en cuenta al conjunto de la poblacién (de la que forma parte los destinatarios del programa) se realiza lo que se denomina evaluacién de impacto. De todos los aspectos que hemos venido considerando, cabe sefalar que Ja evaluacién de resultados tiene una importancia y centralidad indiscutible. Y lo es hasta tal punto, que todos los otros2 Me Jost Aguilar y Ezequiel Ander Egg Precisiones concepeules y terminoligicas * aspectos pueden ser interesantes y tiles para una investigacion tevaluativa, pero siempre lo son en funcién iltima de los resultados, 8 ge $83 8 {De qué vale o sirve que funcione la institucién responsable del 5 gs> 228 2 programa, si no se logran resultados esperados?, ¢de qué vale o sirve ° BE q Sea 3 una adecuada implementacién, si luego no se alcanzan los resultados | 8 si a 08 z previstos?, gde qué vale o sirve alcanzar la cobertura prevista, si no 8 3228 gaz 5 se obtiene el efecto deseado?... & geek g £ 4 Sg 33 g z Evaluacién de la eficiencia o rentabilidad econémica 38| #3533 of aad 8 3éi2 3 éas de un programa La evaluacion de eficiencia es bésicamente una evaluaci6n de renta- | bilidad econémica (existe también la rentabilidad politica y social) | que en algunos casos conviene considerar dentro de la evaluacién. | Cuando hablamos de evaluaci6n econémica, aludimos a un tipo de { andlisis que tiene en cuenta: | Evaluacién de la cobertura | Evaluacién de la eficacia 0 *, es decir, de que los resultados obtenidos sean vélides en otras circunstancias, situaciones, contextos o unidades de analisis. * D. Campbell y J. Stanley, Diseios experimentales » cuasiesperimentales en la investigecn social, Buenos Alses, Amorrerc, 19734 Me Jost Aguilar y Erequiel AnderE pg b. Fiabilidad Podemos decir que una evaluacién es fiable 0 segura cuando, aplicada repetidamente y en igual situacién 2 un mismo individuo 0 ‘grupo, 6 al mismo tiempo por investigadores diferentes, proporciona resultados iguales o parecidos. Desde el punto de vista téenico el problema de la confiabilidad de una evaluaci6n se presenta con relacién a una serie de factores: Jos instrumentos que se utilizan, los sujetos que realizan la evalua cion y la metodologia utiizada. El uso de uno u otro tipo de instrumentos hace que la evaluacién ‘sea mas o menos fiable. Para la determinacién de la fiabilidad de los instrumentos, se suelen utilizar dos medios principales: dl analisis de estabilidad de los resultados mediante la aplicacin de medidas repetidas, y —dl estudio de la equivalencia de los resultados, cuando los instrumentos son administrados por diferentes personas. Pero no basta la fiabilidad de los instrumentos: éstos estn con- dicionados por la fiabilidad del sujeto (0 sujetos) que realizan la evaluacién y los factores personales que influyen en la lectura e interpretacion de las observaciones También hay que considerar la fiabilidad del proceso mismo de evaluacién, del modo de realizarlo, de la metodologia utilizada, y del modelo o disefio de evaluacién empleado. No todos tienen ia misma confiabilidad, y en cada uno de estos modelos sucle variar segiin lo que se evalia, Digamos, por dltimo, en relacién a este punto, que no puede haber validez sin fiabilidad, pero podria existir fiabilidad sin validez. Principios de carécter préctico a. Practicidad y utilidad Este principio o criterio debe entenderse en un doble aspecto. Por ‘una parte, fa evaluacin debe ser practica, en el sentido que de poco sirve realizar una evaluaci6n con instrumentos muy sofisticados, cuando lo que se pretende puede lograrse por procedimientos més ‘Cuestiones basices en toro « los objetivas, principiog y requis 55 sencillos. Tampoco debemos olvidar que la «practicidad> de una evaluacién viene dada por la adecuacién del disefio utilizado con el destino que se quiere dar a las conclusiones y recomendaciones. Y decimos dil, porque la evaluacion debe servir para mejorar el programs, proyecto, actividades o servicio que se esté evaluando. En otras palabras: los resultados de la evaluaci6n deben ser aplicables y utilizables por parte de quienes tienen Ia responsabilidad de admi- nistraci6n gestion. b. Oportunidad Es necesario no perder nunca de vista dos cuestiones que hacen a la oportunidad de la evaluacién: — que se realice en un momento en el que sea posible introducir correctivas © modificaciones en el proceso de gestidn y/o rea- lizaciéa de un programa o proyecto, o de introducirlos con Ja rapidez suficiente, cuando se trata de procesos muy dind- micos, — que se haga con plena aceptacién de los responsables politicos, téenicos y administrativos que tienen facultades para tomar las decisiones ¢ introducir correcciones. Si no se hace asf se realizaré un esfuerzo de escasa o nula inci dencia préetica, En algunas circunstancias, porque los resultados y conclusiones de a evaluacién ya no podrin aplicarse. Y, en otras, porque el trabajo servird de muy poco, ya que no existe interés de tenerlo en cuenta, Para que una evaluacién sea efectiva, es necesario aque exista la voluntad politica de hacerla efectiva. Lo mismo que en Ja programacién, en dltima instancia todo depende de la decision politiea/adminiseative, mucho més que de a calidad venice del tax ajo. 3. REQUISITOS PREVIOS A LA EVALUACION Evaluar un programa o proyecto, no es algo que se pueda hacer en cualquier tiempo y lugar, ¢5 decir, no es algo que se pueda llevar a56 Me Jost Aguilar y Ezequiel Ander-Eeg cabo, simplemente porque se decide hacerlo. Tienen que darse cier- . tas condiciones y un ambiente apropiado para que Ja tarea de eva- Iuacion sea posible. Para Luque y Casquete S estos requisitos son de tres tipos: 16- gicos, cientificos y éticos. Segiin Stufilebeam y Shinkfield ° la eva- i + ttl, factible, ética y exacta. Estos y otros autores ‘en lo sustancial cuando hablan de requisitos 0 condiciones previas a la evaluacién, si bien algunas de sus aportaciones nosotros las considerariamos mis bien principios. Desde nuestro punto de vista, existe un requisito que esta en la base de todo lo demas. Es el que los responsables politicos y administrativos de los programas «estén plenamente convencidos de que la evaluacién es necesaria; deben estar de acuerdo sobre los propé- sitos de la misma, as{ como sobre sus aplicaciones y posibles consecuencias, y deben estar enteramente comprometidos con la deci- sién de incluir la evaluacién como parte de su programa» 7 Para'decirlo en breve: este requisito bisico condiciona la uilidad y viabilidad de toda evaluacién. Y si una investigacién evaluativa Iegase’ a realizarse sin tener en cuenta esta exigencia, apenas servird para cubrir el expediente de una formalidad burocratica. ‘Una vez expresada la voluntad politica y administrativa de evar a cabo una evaluaci6n, hay que tomar las disposiciones pertinentes para que ella se haga efectiva. Los problemas de implementacién que hay que resolver son los siguientes: — zexisten los recursos para pagar los gastos que demanda realizar una evaluacion? — equines scrén los responsables de realizarla? — gse realizar s6lo con personal de la instituci6n, o se recurriré 4 personal externo? — gqué equipo, consultoria o persona ajena a la instituci6n, es garantia de seriedad y responsabilidad en la realizacién del trabajo de evaluacibn? 5 A. Logue y A. Casquete de Prado, oLa evaluacién de programas de intervencién socials criterios y tenicase, en Revises de Trebail Sci, nim. 115, 1989. *'D. L, Seuiflebeam y A. J. Shinkfield, Evalsation sstemdtce, Gnie trios y prictce, Madrid, Paidés/usc, 1987. TE. Ander-Ege, Eoaluaciin de programas de trabajo socal, Buenos Airs, Ho smanitas, 1994, Cuestiones bisicas en tora a los ebjetves, principio: y requisites 7 —ecémo distribuir las responsabilidades cuando se integra el ‘equipo por personal externo e interno? — cqué garantias existen de que las personas que deben contestar a las entrevistas, responder 2 los cuestionarios, permitir que observen sus tareas, etc. estin dispuestos a cooperar? Visto el problema de la evaluacién desde la perspectiva 0 enfoque del trabajo social que proponemos, un aspecto sustancial de toda tarea evaluativa ¢s la de incorporar los beneficiarios o destinatarios de los programas. En este aspecto los problemas a resolver son de dos tipos: — «con qué criterios se seleccionan los usuarios 0 beneficiarios ‘que tomarin parte de la evaluacién?, y, en el caso de que Parcpen todos s6mo ategurar la pariipacion efectiva de imientos se utilizarén y qué informacién mas cua- able pueden brindar?i iii 6 ere El proceso de evaluacion: cuestiones previas a tener en cuenta | N = 7 —————————— + los responsables de la investigacién evaluativa * Tos que encomiendan o encargan realizar la evaluacién + Jos respondentes de la evaluacisn * Ios usuarios o destinatarios de los programas de accién social que son objeto de evaluacién 2, Las preguntas a las que debe responder la evaluaci6n de programas sociales: + preguntas para la evaluacidn del disefio y conceptualiza- ign del programa: —evaluacin det estudio-investigacién —evaluacién del diagndstico —evaluaci6n del disefio del programa + preguntas para la evaluacin de la instrumentacién y seguimiento del programa, o evaluacién del proceso: —evaluacién de la cobertura —evaluacién de la implementacién y seguimiento —evaluacién del rendimiento del personal —evaluacién de Ia esiructura y ambiente organiza~ cional | + preguntas para la evaluaciGn de la eficacia y eficiencia | del programa o evaluacién de resultados y efectos: —evaluacidn de la eficacia 0 resultados —evaluacin de la eficiencia o rentabilidad econé- | 1. Los actores sociales implicados en el trabajo evaluativo: micaEn este capitulo, y antes de entrar al proceso de evaluacién propia- mente dicho, queremos realizar algunas consideraciones, acerca de dos aspectos previos que serin de gran importancia por las consecuencias de tipo metodolégico que pueden acarrear. Nos referimos alo siguiente: © los actores sociales implicados en el trabajo evaluativo, © las preguntas a las que debe responder Ia evaluacién, de programas de accién social. La primera cuestién condiciona el proceso metodol6gico desde su inicio, ya que implica tomar decisiones acerca de quiénes parti- ciparén en la evaluacién, quién usaré los resultados, 0 quién deter- tminaré los aspectos del programa que serin objeto de evaluacién. En este sentido, la concepcién que se tenga sobre la participacion de la gente en los programas de accién social, o el protagonismo que se le otorgue 2 la comunidad, los técnicos 6 los responsables politicos, serd determinante a la hora de establecer los pasos a seguir y las decisiones a tomar durante el proceso de evalvaci6n. El segundo aspecto relativo a las preguntas de la evaluacién tiene también una gran importancia, ya que de las preguntas que se se~ leccionen dependers el tipo de evaluaci6n que se haga. Asimismo, de las preguntas a que se decida respondér, dependerin en gran medida las decisiones de caricter técnico y metodolégico relativas al disefio de la investigaciOn, los instrumentos de recogida de datos, e incluso el carécter 0 naturaleza de las recomendaciones al programa que se haran como resultado de la evaluacién. 1, LOS ACTORES SOCIALES IMPLICADOS EN EL TRABAJO EVALUATIVO, Hasta aqui hemos analizado la nocién de evaluacién (en sentido lato y en sentido estricto}, y los tipos de evaluacién. Ahora, realizaremos algunas consideracionés sobre aqucllos que deben intervenir en el proceso de investigacién evaluativa, como «actores sociales» implicados en el mismo. O, dicho en otros términos, examinaremos los distintos intereses y racionalidades que participan del trabajo evaluativo, en tanto que poseen un determinado grado de «preocupacion por el resultado de la accién» '. Desde la concepcién, perspectiva 0 enfoque evaluativo que proponemos surge la necesidad de la intervencién activa de cuatro 2c- tores principales: los responsables de la investigacién evaluativa; los que encomiendan o encargan realizar la evaluacién; los respondentes de la evaluacin; Jos usuarios, beneficiarios o destinatarios de los programas, proyectos, servicios o actividades que se evaliian. Veamos algunas de las cuestiones mis significativas que conviene tener presente en relacién a los actores sociales implicados en una investigacién evalvativa, Los responsables de la investigacién evaluativa En algin caso podria ser una persona, pero lo normal (y més reco- ‘mendable por otra parte) es que se trate de un equipo de investiga- cién en el que se distribuyen las diferentes tareas: © Director de la investigacién, responsable de las tareas de coor- dinacién del equipo y de la gestién administrativa. © Investigadores, cuyo niimero variard de acuerdo 2 la amplitud * J Medina Echavarcia, La planescién on ls formas de la raconalidad, Santiago Ae Chile, Cuaderos del sures, 1972.@ ME Jost Aguilar y Ezequiel Andergg de Ia investigacién. Es conveniente y recomendable que alguno de ellos sea experto en disefio evaluativo. © Ayudantes de investigacion, es decir, los responsables de recoger la informacién, organizar la documentacién, hacer entrevistas, eteétera, ‘© Especialistas: en algunos casos —segiin la indole del aspecto del programa que se evalia— serd necesario recurrir a especialistas en un determinado campo, y que podrian no sei vestigadores sociales. Los que encomiendan o encargan realizar Ia evaluacion Se trata de aquellos que, teniendo poder de decisién dentro de una instituci6n u organizacién, han demandado Ja realizacién de la eva- luaci6n. En este punto, y ateniéndonos a su poder de decision, se pueden ‘distinguir dos grandes categorias de ddan ser abjeto de evalacin. 2], Medina Echavarea, ob. cit. +E, Cohea y B. Franco, Eealuaci de proyectos socials, Buenos Aires, Gropo Eudvor Latinoamericano, 1988. ‘Guestionesprevas tener en enents 6 al hacer referencia a fos técnicos que pueden encargar la eva luacién —y que suelen orientarse por la racionalidad de los fines—, generalmente se alude a aquellos encargados de llevar 1 cabo las politcas decididas; siendo su campo de accién el de los medios e instrumentos, razn por la cual su tarea es (0 debiera ser) orientada por la «tacionalidad tecnol6gica». ‘Ahora bien, dentro de la categorta de los técnicos conviene distinguir como hace Espinoza Vergara— tres tipos o niveles distintos: © «Los directivos superiores, a quienes corresponde adoptar las politicas institucionales. Su interés en los resultados de una evaluacién podria estar centrado en el deseo de ampliar, reducir 0 cambiar un proyecto. © Los directivos medios y administradores, a quienes corresponde tomar decisiones sobre los insumos que se utilizan en la ejecucién de las actividades instica- cionales. Su interés en la evaluacién podria nacer la intenci6n de introducir modificaciones én la ut zacién de los insumos. © Los técnicos y ejecutores del proyecto, a quienes corresponde sugerir decisiones metodol6gicas, téchicas y operativas y cjecutar las decisiones adoptadas. Su interés en los resultados podria basarse en su deseo de mejorar las condiciones técnico-metodol6gicas del proyecto» 5 Con respecto a estos actores sociales, y en este caso concreto los que pueden encargar la evaluacién, es necesario tener presente los conflictos de roles que producen las diferentes racionalidades, y sobre todo, los distintos intereses implicados en la decisi6n, diseaio y sjecuci6n de servicios y/o programas sociales. En este sentido, las consideraciones y advertencias de Cohen y Franco * que comenta- ‘mos a continuacién nos parecen sumamente tiles: asi, la actuaci6n * M. Espinoza Vergara, Boaluaion de proyectos sociales, San José de Costa Rica, Ministerio de Cultura, 1980 TE. Cohen y K. Franeo, ob ctoe Me Jost Aguilary Ezequiel Ander Egg 5 politicos responde a las demandas y no a las necesidades ”*, yes nds las presiones de aquellos grupos que se organizan para defender sus intereses. Los burécratas, por su parte persiguen objecivos de supervivencia, estabilidad, poder y crecimiento”, y los administradores el incremento de los recursos para su organizacién © department, ya que mayores recursos se waducen eo mayor poser". Esa observacion también puede aplicarse a los profesio- rales y cientificos, especialmente cuando tienen a su cargo tareas de i6n administrativa. Tos diferenes inereses conducen a un conilico de roles a los que, con frecuencia, debe enfrentarse el evaluador. Ello tiene impli- caciones muy yariadas, que van desde la «adecuacién de los tiempos de evaluaciOn» hasta la necesidad de comprender y compatibilizar los distintos roles, Los respondentes de la evaluaci6n i 46n, organizacién 0 ser- Son aquellos que, perteneciendo a la instivucién, organizac velo cbjeo de evaluacin, responden a los requerimientos de infor- macién solicitados por los investigadores. Se trata de las personas {que contestan las preguntas de las entrevistas, rellenan los cucstio- narios y, en algunos casos, aceptan que se observe Su trabajo. SEIS gre wade dome or oqo nonin ce Dobe Gl ‘Sapa tanantyechefam gid ae Lie recamedein tn mtnacartes Sears J caalnyey a Marines Monn prone comepe era cabs iA tae ik aon oa wb ens in er Sce (ees Cha att Sl Soe he Securit ane i a (Cuestiones previa «tener em cnenta 6 Como ¢s obvio, de ellos dependen las posibilidades de realizar la evaluacion y, en kuena parte, el nivel de calidad del trabajo a realizar. Cuando los respondentes son los técnicos ejecutores del programa, hay que tener en cuenta sus intereses y roles, a fin de no agudizar un posible conflicto y lograr su colaboracién/aportacién de le manera mis valida y fiable posible. Si, ademis, son parte solici- ‘ante de la evaluacién, habré que realizar con sumo cuidado las com- probaciones y contrastaciones pertinentes. Los usuarios o destinatarios de los programas de accién social que son objeto de evaluacin ‘Son dos los motives 0 razones que indican la conveniencia y necesidad de implicar a estos actores sociales dentro del proceso de evaluacin, En primer lugar, un programa podria alcanzar sus objetivos, utilizar procedimientos adecuados y haber logrado una buena plementacién, pero sus resultados efectivos (satisfacer las necesidades 0 resolver los problemas de un grupo de personas) podrian no haberse alcanzado, puesto que no se ha transformado o cambiado la situacién-problema que ha dado origen al programa. ‘Todo esto conduce a la necesidad de intervencién de los mismos usuarios o beneficiarios. La falta de aceptacién de los mismos, reve- larfa que no se han tenido en cuenta sus aspiraciones, centros de interés, necesidades y problemas que son significativos para ellos. Estos actores sociales son tanto més importantes, cuanto mayor sea la importancla que se otorga a la participacién de la gente. Un programa que utiliza una metodologia de intervencién social parti- Cipativa, no puede dejar de incluir a los usuarios y de darle prota- gonisino en la tarea de evaluar. En segundo lugar, es conveniente implicar a los usuarios (0 re- presentantes de los usuarios) en el trabajo evaluativo, porque sus erspéctivas y concepcién de la evaluacién enriquecerdn las dimen- siones de la misma, aportando nuevos aspectos 0 nuevas utilidades Y¥, en lo posible, considerar la participacién tanto de los usuarios reales como de los usuarios potenciales, 0 los ciudadanos en general. Sin embargo, debemos sefialar que, en cuanto actores sociales que responden a intereses distintos y a veces contrapuestos, la par~ ticipacion de los usuarios en el proceso evaluativo suele presentar“ Ms Jost Aguilar y Ezequiel Ander-Ege bastantes resistencias". Ahora bien, desde la perspectiva metodols- gica en que nos situamos, la participacién efectiva de los usuarios y ‘Giudadanos tiene una importancia fundamental. Afirmar lo contrario fo ceder a las resistencias convencionales seria contradecir gravemente todo lo sostenido hasta ahora por nosotros en materia de accién social, de trabajo social, animacién socio-cultural y pedagogia. Por iltimo, para terminar este pardgrafo, queremos sefalar la gran dificultad que suele entrafiar el trabajo evaluativo, en Jo que a ‘onflictos de intereses —entre evaluadores y el resto de los actores sociales se sefiere. Por un. lado, los evaluadores pueden verse en- frentados a los gestores/administradores si éstos pereiben que Ia eva- Juacion dificultara sus objetivos, tendentes a obtener mayores recur~ sos (y por ende, més poder). Si los resultados de la evaluacién ponen. de manifiesto una mala implementacién 'y ejecucién del programa jgualmente habré tn conflieto potencial. En el caso de las relaciones entre evaluadorés y politicos, a veces suelen darse alianzas. Sobre todo cuando se encarga la evaluacién para «tener fundamentos> en. Jos que apoyar una reduccién de personal, presupuestos, etc. En ‘otros casos, porque quieren emplear los resultados de la evaluacién ‘con fines politicos. En estas circunstancias, con bastante frecuencia el trabajo evaluativo realizado termina siendo un tipo de pseudo-eva- luacién, Es por estas y otras razones que la tarea cvaluadora no suele ser Jo frecuente que debiera. Asimismo, la posibilidad de generar conflictos en el seno de una organizacién o con los niveles politicos de decisién, la convierte en algo «potencialmente peligroso» y que, de hecho, pueda no interesar a quienes serfan los principales destinata- tios o utilizadores de la misma, ‘Nuestra experiencia ext este campo nos ha revelado que el poco interés que manifiestan los responsables de los Ministerios de Asun~ tos Sociales o Bienestar Social (0 como se llamen en diferentes paises) es porque una evaluacién bien hecha, dada la caracterfstica a 7 El hecho de que la bibliografiaespecalizada no mencione de manera generali- saa la parispacign de los usuarios de lo prograras, bien pods ser una muestra Jello. Ast por eemple, consderando los libros en castellano, slo el de Sefflebeam J shinkieldy al de Cohen Franco hablan de os acores sociales, y ningano de Je hace referencira los asuarios/destnatarios de los programas objeto de evalacion. Cuertiones previas «tener on cuenta o eves vaga y vaporosa de ciertos programas, es peli veee 5 €5 peligrosa. Y Jo es por vats zones: porgue en sigunor coe pondta eae io inancierosconables posibles de scion penal; en ores caro, reveara ef mango dscrecional y arbitaio de determinadosfonlos Presupuestarios, ya sea con propésitos puramente electoraistas © por zones de simple amiguismo. ¥ To que es muy comin en Iz po- tia social, es el llevar a cabo politicas populistas que dan respuesta 4 problemas coyunturales pero que, 2 largo plazo, terminan por distorsionar la propia politica social. f seus forma —bastante i, por ciero— de resolver estos pro: leas, els que propene Paton cuando habla dela yz tmencionada seraluacin centrada en I willacidas.Segin esta perpesiva, los destnaaos.o riizadores evencnies posible de fos resultados jc la evaluacién, dehen partcipar en todas las cl pro eraluacién (dfinicén, metodologia, rauindot th" Cone Stic, todo dependers de los uizadores, y come el proceso de luacién (como a ‘ a investigacién social) ce sta en un context ideolgic,orgunzacional y sosiopoltic definido, e papel deleve, lusdor nunca puede ser neuuo ". En la mayor pare de las situa fone, su propio valores se onfrontan con oe dels viizadors Sin embargo, como muy bien sefalan De en sefalan Deniston y Rosenstock" no sempre facil conciliar los diferentes puntos de ites ersonas que intervienen en el proceso evaluativo. Por ello, una orien. tacién demasiado centrada en los utilizadores, tal y como Patton ropone, puede tener dificultades para ponderar equitativamente lie isintas psiions, No debemos olvidar que, generalments, sue ser dominanie el punto de vista de aquel que paga In evaluacién. Por cst ann, etcemes que és tl proponer que la cesponsabidad de a evalusciGn se asuma por personas diferentes, en funcién del elemento, aspectoo rea dl programa que se pretend evalua, segin la meta perseguida por la evaluacién. «Asi, para una evaluscién su. mativa, es decir, dirgida a deeerminar los efectos de un programa, cl lugar del investigador, externo a los procesos de implantacién, es ® Coma ya st hn desnrrallado absjon oor tabson Is prtendideoewaidad val sativa de la accibn social (ys i ix coc (pseu Eta verigadora,peifcadory cjecuor eve sor) no ee. Ves L Goldin, La cs bans 9 iy A rag Lirles, plc abajo si, Baens Aes, Hai 1988,) . L. Deniston y I. M. Rosenstock, «Evaluating Health Programs: Health Report, vol. 85, nim. 9, 1970. Soe“ (Ms Jost Aguilar y Ezequiel Ander-Egg preponderante; Por otra parte, en el momento de la implantacién Sel programa, cuando la investigacién formativa es particularmente la contribucién de las personas responsables de Ia implan- tacién del programa es esencial. La dosificacién entre las contribu- tiones de Jas personas que participan en la implantacién y de las responsables de la evaluacién se basa en cuestiones.de juicio y en ‘consideraciones de orden metodolégico y practico» “*. A esta opi- nién, que compartimos plenamente, s6lo le agregariamos Ja conveniencia que antes menciondbamos, de contemplar la participacién de los usuarios/ciudadanes los que se dirige la intérvencion social, objeto de evaluacién. 2. LAS PREGUNTAS A LAS QUE DEBE RESPONDER LA EVALUACION DE PROGRAMAS SOCIALES La investigaci6n evaluativa, cualquiera sea su naturaleza, trata siempre de responder a ciertas preguntas, buscando con su respuesta Enjuiciar y valorar los aspectos del programa que son objeto de eva Tnacién. Dependiendo de las preguntas a que trate de responder la aluacién, nos encontraremos frente 2 un tipo u otro de investiga ion evaluativa "A continuacién presentamos un listado de las preguntas mas fre- ‘cuentes que se pueden responder, sin que esto signifique que con la tevaluacién deban responderse todas. En la préctica, una de las pri cipales tareas que debe realizar el evaluador es seleccionar las pre- gguntas a las que se quiere responder. Nunca, por amplia que sea la jnvestigaciGn evaluativa, se puede responder todo. Ello supondria un ‘costo ¥ un esfuerzo dificilmente justficable y sl. ara facilitar y ayudar a una mejor comprensién de este punto, dividimos las preguntas en grupos y subgrapos, atendiendo al tipo ide evaluaci6n de que se trate; siguiendo la clasificacién que propu- simos al finalizar el capitulo primero. Es decir, considerando los aspects fundamentals del programa que serin objeto de evalua WR Pineault y © Daveluy, La planificacin sanitaria, Conceptes, métodos,e5- sratepias, Barslons, Masson, 1987. “PE lnado que se presenta no pretende ser exhaustivos por el consrario, hemos coprado por no abundsr en preguatas y cztramos s6lo eb aquellas que suclen for~ ‘Cuetiones previe «tener en cuenta » « a. Preguntas para Ja evaluacién del diseiio y conceptualizacion del programa Evaluacién del estudio-investigacién, ¢Se defini6 y delimité claramente el obj investigacis defn yente el objetivo de Ia investigaci6r Ia siuacidn-problema que es origen del programa? : eDesde qué marco te6rico-referencial se realiz6 el estudio? ue adecuado al disefio de la investigacién? Fue claramente delimitada la poblacién o universo a estudiar? Fucron adecuados los procedimientos de muestreo? - ; Los instrumentos de investigacién fueron adecuados a lo que queria estudiar? i ete Qué validez ha tenido el trabajo de investigacién sobre terreno? zCémo se realiz6 el anilisis? Fue apropiad. jet ae ipropiado a los objetivos de la ¢Las conclusiones son congruentes con los datos obtenidos? Evaluacién del diagnéstico Se ha establecido con claridad la nacuraleza it blemas y necesidades? peer a eee Se ha establecido-cul es el volumen del problema y dénde se en- ‘cuentra? @Se ha establecido claramente cual es el alcance del proble disuibucion de la poblaciGn-objetvo o potencilmente usuaria? . Se ha realizado. un pronéstico realista? {Se encuentra adecuadamente conceptualizado el problema social? ‘nolise con mis frecuencia. Ua litado de ss de 300 preguntas puede encomtrarie fn JA, King, LL, Morris y CT. Fis-Gibbon, How tosses program implemen tation, Newbury Park, Sage, 1987.n ME: Jost Apuiler y Ezequiel Ander-Eeg Se han jerarquizailo Jas necesidades y problemas? «Se han senido.en cuenta los factores contextuales més significatives que actian como condicionantes para superar la situaci6n-problema ‘que origina la necesidad del programa o intervencién concreta? Se ha cfecusaio un andlisis de viabilidad politica de las posibles intervenciones? ¢Se ha elaborado un inventario de recursos:disponibles? 2Se ha:establecido un perfil del usuario o beneficiario? {Puede haverse algo:para resolver el problema? @Funcionaré un;programa de'intervencién determinado en:condicio- ‘nes éptimas? 2Puede lograrse que un programa funcione.en un contexto-determinado? Evaluacién del disefio del programa gEsta disefiado el programa:para lograr los objetivos propuestos? @Subyace una base légica emvel programa? Seré eficiente un programa:determinado? ¢Y eficaz? ¢Cual es Ia relacién prevista entre costos y beneficios? ¢Se han maximizado las. posibilidades de que el programa Legue sin problemas a los usuarios o-beneficiarios potenciales? @Existe coherencia entre el programa elaborado y los resultados del diagnéstico? gResponde el programa a las necesidades y, problemas detectados en el diagnéstico? 2 Qué relacién tiene el programa con Ia politica general de la institu- ion? 4Se han fijado objetivos y metas a corto, medio y largo plazo? {Responden los objetivos y metas a las necesidades y_ problemas devectados? ¢En qué medida «lo programado» ayudari a resolver, de una forma CCuestionesprevias a tener en cuenta n significativa, el problema o necesidad para cuya superacién se ha elaborado el programa? {Se han relacionado las actividades. con los objetivos y las metas? {Se las ha relacionado.con la’ solucién de los problemas? Elemunciado de las actividades esti categorizado y estin conecradas centre si? {Se ha especificado un calendario-de ejecucién? {Se han previsto recursos suficientes, y en tiempo oportuno, para alcanzar los objetivos y metas propuestas? érxiste correlacién catre la finalidad o impacto esperado, los obje- ivos y mietas propuestas y los productos que seran resultado inmediato de las actividades? {Qué respaldo real tiene el programa por parte de los directivos politicos y técnicos de la institucién? ¢Se ha realizado una adecuada estructura financiera y calendario fi- nanciero del programa? @Se han tenido en cuenta los factores externos 0 pre-requisitos de &xito del programa? gEstos son realistas? {Son viables y factibles? 2Son completos? {Se ha previsto una estructura de gestién de! programa? {Se han especificado en el disefio del programa los indicadores de evaluacién de resultados y las fuentes y medios de comprobacién de dichos indicadores? b. Preguntas para Ia evaluacion de la instrumentacién y seguimiento del programa, o evaluaci6n del proceso Evaluacién de la cobertura Lega el programa a la poblacién objeto del mismo? Lega realmente el programa al segmento o grupo de poblacién que se desea que sea su destinatario?n ‘Me Jost Aguilar y Ezequiel Ander-Eeg sCusl es el grado de utlizacién de los servicios y el perfil del usuario? ¢Existe infracobertura 0 sobrecobertura? ~Por qué? eExiste conocimiento, accesibilidad y aceptacién del programa por parte de los usuarios potenciales y reales? {Cuil es el grado de participacién de la gente en el programa? Evaluacién de la implementacién y seguimiento Se implementa el programa como estaba previsto en el disefio? 4Se estén llevando a cabo los esfuerzos de intervencién en la forma indicada en el disefto del programa? ¢Se realizan las actividades y tareas del modo previsto? {Se han realizado las tareas de preparacién y motivacién necesarias para crear un clima favorable a la implantacién del programa? Cuil es la disponibilidad real de recursos para la ejecucién ¢ im- plementacién del programa? 2Existe un adecuado sistema de control operacional sobre la marcha del programa? @Existe un adecuado sistema de informacién para el seguimiento del programa? {Cuiles son los costos de funcionamiento del programa? {Se estén utilizando adecuadamente los recursos? gLos procedimientos utilizados son acordes 2 los objetivos que se persiguen? ¢Facilitan la consecucién de los mismos? gLos procedimientos utilizados son oportunos desde el punto de vista politico, econémico, social, cultural y/o institucional? 2EI programa tiene una coordinacién adecuada dentro y fuera de la Organizacién que lo promueve? Evaluacién del rendimiento del personal {Cuil es la aptitud y habilidad del personal en la aplicacin de nnicas y procedimientos a las tareas y actividades propias de su trabajo? Cuestones previas a tener en cuenta » {Cuiles son las actitudes y motivaciones para realizar responsable mente ¢l trabajo? Lo que hacen los responsables de la direccién, los cuadros medios ¥ los ejecutores del programa corresponde con lo establecido en el canilisis de puestos», «manual de organizacién» o «manual de procedimientos»? La competencia profesional del personal del programa se ajusta a los estindares de calidad exigidos? {Cuil es la capacidad que tiene el personal para organizar el trabajo y resolver problemas? El personal posee los conocimientos y habilidades necesarias para el correcto desarrollo de las funciones a su cargo? ¢¥ las aptitudes? El personal desarrolla sus funciones y actividades en los tiempos ‘oportunos? Si emplea més tiempo del necesario zPor qué? {Cuil es el nivel de satisfaccién del personal del programa? ¢Existen incentivos para el personal? {De qué tipo y con qué efectos? Evaluacién de la estructura y ambiente organizacional ¢La estructura organizativa de la institucién contribuye o perjudica el desarrollo del programa? {Elestilo de direccién y los mecanismos de woma de decisiones son coherentes con los objetivos del programa? {Son los mas adecuados para cl-logro de los objetivos previstos? {La naturaleza y contenido de las comunicaciones internas del pro- {grama se adaptan a las necesidades de gestién del mismo? {Son ex- cesivas 0 escasas? {Cua es el clima y nivel de satisfaccién existente en el seno de la organizac sn? zQué relacién existe con el rendimiento del personal? {La organizacién de los recursos humanos, técnicos y materiales es adecuada y stil para la prestacién de servicios que se persigue? {Los sistemas de supervisi6n del personal son adecuados?” Me Jost Aguilar y Ezequiel Ander-Eg {Las modalidades de coordinacién permiten articular adecuadamente las actividades de las diferentes personas implicadas en la realiza- ‘i6n del programa o en la prestacién del servicio? c Proguntas para la evaluacin de a eficacia y eficiencia del programa o evaluacién de resultados y efectos Evaluacién de resultados 0 evaluacién de la eficacia del programa zs efectivo el programa en Jo referente a la consecucién de los Objetivos que se persiguen? 2Cémo se ha modificado la situacién de los usuatios 0 beneficiarios con el programa? Las acciones realizadas'han sido ttiles, beneficiosas o nocivas? , , eatender a los disminui- dos fisicos, psiquicos y sensoriales», etcétera. Otras veces, se solicita evaluar un programa, pero nos encontramos con que se han establecido las actividades a realizar, sin que se hayan determinado los objetivos de una manera clara y’ precisa. Se aetia como si el valor de las actividades fuese evidente por ellas mismas, De ahi que una de las primeras tareas del evaluador (cuando se presentan esas circunstancias), sea tratar de especificar lo que qui- zis s6lo esta expresado como «vagas intencionalidades». Para ello, y con el propésito de reconstruir io que puede servir como marco referencial, conviene encontrar respuesta 2 las siguientes cuestiones relativas al programa o servicio que se quiere evaluar: — qué es lo que se desea obtener con Ia realizacién del programa2 Me Jost Aguilar y Ezequiel Ander-Ege © con la prestacién del servicio que se va a evaluars se trata de establecer cual es la naturaleza de la situacin deseada 0 esperada (objetivos); — grado o cantidad de la condicién a ser lograda (metas); — quignes constituyen el sector de poblacién beneficiaria del pro- ‘grama (destinatarios 0 usuarios); — dénde: qué irea geogrifica abarca la realizacién del programa (cobertura espacial); —cémo se realiza y qué procedimientos se utilizan (métodos y actividades 2 realizar); — cules son los componentes del programa; —euindo se realiza, en lo posible —si la indole del trabajo lo permite—, expresado en un eronograma de las diferentes 2c- tividades 6 cambios de situaciones deseados ‘Todo esto no es para definir el problema y/o los objetivos de la investigacién evaluativa, sino para tener un marco referencial acerca de lo que es, hace, de cémo lo hace, cuéndo, cuanto y.cudles son los propésitos del programa o servicio que se va 2 evaluar. A veces, con estas preguntas apenas se logra pasar de la nebulosa inicial a un cierto perfil del programa o servicio que se va 2 evaluar. Ello sirve como punto de partida. Examinar documentos (informes, proyectos, memorias, ete.) puede ser una forma de aproximacién @ lo que el programa es 0 pretende ser. Sin embargo, el solo estudio de la do- ‘cumentacién existente acerca del programa no basta: es necesario realizar entrevistas y reuniones con los responsables del mismo y con los que encargan 2 evaluaci6n para poder tener una idea mas acorde a la realidad, ya que, muchas veces, una cosa ¢s lo que s¢ escribe 0 publica, y otra muy distinta lo que verdaderamente se hace 0 se quiere lograr. Delimitacién del nivel organizacional en el que se va a hacer Ia evabacion ‘También es necesario definir y delimitar el alcance o nivel organizacional en que se pretende realizar la evaluacién. De ordinario, cuando una institucién, entidad v organizaci6n encargan hacer una investigaci6n evaluativa no pretende que se evalie la totalidad de sus, actividades o acciones, de abi la necesidad de esta delimitaci6n inical Aplicado a la salud, y en relacién con esta cuestién, en un do- “Aspects caves desde el punto de vista metodolégico 8 cumento de la OMS para la especificacién de la evaluacién se hacen las siguientes preguntas: «Qué debe evaluarse? Es decir: jun programa, por ejemplo, de salud materno-infantil; un servicio, por ejemplo, abastecimiento de agua y alcantarillado, o el uso de ambu- lancias y otros medios de transporte; o un servicio de salud local que atiende varios programas; 0 una instituciém, por ejemplo un centro de salud, un hospital o un establecimiento docente? Hay que cerciorarse de que el tema merece verdaderamente evaluarse por st aleance o posible imiportancia. No estaria justificado evaluar activi- ddades secundarias fuera del programa, servicio o instituci6n principal de que forman parter®. Expecificar qué se va a evaluar en cada uno de esos dmbitos Después de las delimitaciones antes indicadas, es necesario avanzar en otras éspecificaciones en estas negociaciones preliminares, a fin de establecer qué se va a evaluar. En este punto, el equipo técnico puede proporcionar una cierta orientacién, en cuanto a las alterna~ tivas posibles. A titulo indicativo sefialamos las siguientes cuestiones: © Revisar el progreso 0 desarrollo de un programa verificando si los objerivos del mismo han sido aleanzados (0 no) y en qué medida se han logrado. © Valoracién de la efectividad o eficacia del programa. © Valoracién de la eficiencia, analizando los resultados obte dos en relacién a los esfuerzos realizados y los recursos utilizados. © Evaluar el impacto o efecto global del programa en relacién al problema o necesidad que pretendia satistacer. © Evaluar el funcianamiento de una organizacién, de acuerdo los fines, funciones y actividades que persigue. © Identificar factores asociados al éxito y al fracaso de un pro- {grama, servicio o intervencién, Especificacién del para qué y para quién ‘Una dltima cuestién que es necesatio precisar en estas tratativas preliminares es el para qué de Ia evaluacién. Fs decir, qué pretenden 0 OMS, Fealuecién de programas de salud, Ginebra, OMS, 1981ro ML José Aguilar y Ezequiel Ander-Egs, ‘quieren los que encargan la investigacién. Qué utilidad o aplicacién piensan darle a los resultados de Ia evaluacién. El para qué y el para ‘quién estin estrechamente ligados. No puede hacerse una evaluacién para ser utilizada por quienes no tienen ningtin poder de decision a Ia hora de modificar 0 corregir el desarrollo de algin aspecto del programa o proyecto, 0 que no puede incidir en la marcha del mismo. Asi por ejemplo, si la evaluacién se hace para introducir cambios en la politica general de la institucién, los destinatarios de los resultados y conclusiones de la evaluacién no podrin ser los trabajadores sobre el terreno. Para decislo breve y sintéticamente, on esta primera fase de la negociaci6n, conviene dejar en claro las siguientes cuestiones: © quién necesita Ia informacion © qué tipo de informacion necesita © con qué finalidad la encarga PARA QUIEN PARA QUE El evaluador (0 cl equipo de evaluacién), no debe pasar a otras tareas hasta tanto no tenga respuestas adecuadas a todas estas cuestiones. Para ello ha de realizar todas las reuniones y entrevistas que sean necesarias y consultar todos los documentos, folletos, regla- ‘mentos, presupuestos, estadisticas, informes, etc. que puedan pro- porcionarle respuestas adecuadas y suficientes a todas estas cucstio- res basicas. Cabe hacer, por tlkimo, una observaci6n general sobre este pri- ‘mer aspecto de las negociaciones. Y es la siguiente: en lo tocante a las negociaciones éstas serin diferentes, segiin se trate de un equipo de investigacién externo 2 la institucién, un equipo mixto (evaluadores internos y externos) 0 simplemente de un equipo interno (vi se capitulo 1, punto 5}. En este altimo caso, cuando se trata de un equipo interno, también hay que hacer negociaciones, sabiendo de antemano que los condicionamientos serén mayores y el margen de maniobrabilidad/negociacién bastante mas estrecho. Pero cualquiera que sea la circunstancia, en las negociaciones no hay que pensar que, desde el punto de vista metodologico, se con- seguird una situacién dptima. Eso casi nunca se produce. Sabiendo qué ¢s lo deseable, se hace lo posible con la mayor competencia y setiedad profesional que permitan los medios disponibles y las cir cunstancias concretas en las que se realiza el trabajo. Aspector claves desde el punto de vite metodolgico 85 b. Determin: mn de los recursos disponibles para realizar Ia evaluacion La segunda gran cuestién objeto de negociacién previa, es la relativa 1 los medios existentes para. poder llevar a cabo la investigaciGn. Se trata de saber qué recursos existen, disponibles 0 asignados, para ser aplicados a la investigaciGn evaluativa. Las disponibilidades financieras condicionan muchos aspéctos de la evaluacién, como ocurre, por ‘otra parte, con, cualquier otro tipo de investigacién. ‘Cuando un gobierno (nacional, regional o local, 2 través de un ministerio, secretaria de Estado, direccién o, simplemente, a través de una unidad administrativa) o bien una organizacién no guberna- mental decide realizar una evaluacién, pueden darse dos circunstancias: —que haya disponible una determinada cantidad de dinero para realizarla, — que el equipo de evaluacién realice un estudio de cosios segin la demanda que se haya formulado. Esta mayor o menor cantidad de recursos disponibles determina, entre otros, los siguientes aspectos: —niimero de integrantes y cualificaciones del equipo de evalua- ci6n; lo que, a su vez, condiciona: —eL tiempo dentro del cual se puede realizar la investigacién: a mayor y mejor cualificacién y experiencia del equipo, menos tiempo para realizar el trabajo de una manera satisfactoria; —procedimientos a utilizar: sabemos que pueden emplearse desde técnicas muy costosas hasta otras de mas barata utilizacién, el'uso de unas u otras puede incidir ei la calidad de la investi- gacién, Aunque ya lo hemos mencionado en el parigrafo anterior, con- ‘viene secordar que cuando se alude a «recursos» éstos pueden ser humanos, técnicos, financieros y materiales. Una insticucién puede tener mayores © menores limitaciones financieras pero, al mismo tiempo, puede contar con recursos humanos altamente cualificados, sin que ello se exprese en el total del presupuesto destinado a la

Evaluación de Servicios y Programas Sociales1

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Evaluación de Servicios y Programas Sociales1

Cargado por

Copyright:

Formatos disponibles

También podría gustarte