ee V, La evaluacién como defensa® Jennifer Greene Introduccién nsu actual labor, los evaluadores de programas sociales inevitablemente se encuentran del lado de unos actores y no del de otros. Los bandos elegidos por los evaluadores se ex- presan, sobre todo, cuando eligen responder las preguntas de ciertos actores y, por lo tanto, cuando eligen los criterios que usardn para emitir juicios sobre la calidad de los programas. Re- conozco que muchos profesionales de la evaluacién se ¢sfuerzan intencionalmente no sélo por no tomar partido, sino Por promover equitativamente los intereses de varios actores. lo particular, apoyo enérgicamente esa postura y presento *gumentos a favor de ella més adelante en este articulo. Con coe afirmar también que los principales enfoques con- tin 1eos de la evaluacién —en teorfay en la practica— se Buen especialmente por la decisién de atender las pregun- t ee los criterios de ciertos actores. En lagran tradicién entacién de Campbell, ' la evaluacién se caracteriza Bay G fe artic a a " i Gene, “j uCulo es una traduccién al espanol del original en inglés: Jennifer 25.35 (,, *tluation as advocacy” . sane 1, 1997, PP- ‘Cay lvocacy”, Evaluation Practice, vol. 18, nim. Ts taf 8h © 1997, sage Publications, Permiso de reproduccion OFT Dana ld rations) 2 se Dein angen experiments ‘culo presen Dein , Methods for the experimenting society, articulo Pres “Gsigpy ual dela ao ee ce de Piclogiaen Washingt 179Jennifer Greene por tratar de responder las preguntas de los disefiadores de po. liticas en lo que concierne al logro de resultados, ala tendicién de cuentas ya la efectividad en términos de costos y beneticios, Laevaluacién orientada a la utilizacién, conforme alo Concep. tualizado y promovido tan vigorosamente por Patton, se centra de forma crucial en satisfacer las necesidades de infor. macién de los usuarios de evaluaciones identificados y comprometidos, que con mucha frecuencia son administrado- res de programa en campo y otros tomadores de decisiones, Algunos son miembros de la junta directiva de distintos orga. nismos. La evaluacién comprensiva de estudios de caso efectuada por Stake’ busca entender holisticamente los significados con- textualizados y basa explicitamente los juicios evaluativos en los criterios de los actores mAs cercanos al programa, prind- palmente los directores de programa ubicados en campo. Por su parte, la légica integral de la evaluacién como disciplina, propuesta por Scriven,’ se arraiga en la premisa de que la ev- luacién deberia satisfacer las necesidades de los consumidores de un programa. Por lo tanto, al orientarse a los intereses y P™ blemas de actores seleccionados, los marcos determinados ¥ fundamentales de la evaluacién de programas sociales const- tuyen, en si mismos, marcos regidos por intereses NO neutrales ni desapasionados. Con todo, la nocién misma de evaluacién como defenst Provoca estremecimientos de disgusto y horror a la mayor : los miembros de la actual comunidad de evaluacién, otis! profesionales por igual. Esto se debe a que la vision fundamen” tal de la evaluacién consistéa en racionalizar la formulacion 2 Michael Q. Pa -_ , Tho" 7 Nites 2 Mascon, Urilization focused evaluation, New cenvury eiiO™ ; . 995. hear of case study nscarc, sac, Thousand Oak 97 Hard-won lessons in evaluation’, New Direction ginal, advocacyalude a adocspor oi de inevtablemente en su trabajos on Reece aeons (nda 180La evaluacién como defensa politicas sociales al generar informacién cientifica imparcial y no sesgada sobre las opciones de politicas, quiz4 solamente con dl correspondiente compromiso con la objetividad y la neutra- lidad de valores. Segtin esas visiones y esos ideales creadores, la defensa constituye la antitesis de la evaluacién imparcial. De- fender consiste en casarse con una creencia o postura partidista promoverla, en acoger y fomentar el avance de una causa. Seguin la tradicion, evaluar es juzgar con justicia la calidad, el mérito y el valor de un programa con base en informacién im- ial y recopilada con métodos cientificos. Incluso en una era pluralista y posmoderna como la actual (donde numerosos marcos de investigacién social compi- ten por nuestra atencién y lealtad, y donde, en el mejor de los casos, la verdad es indeterminada y la certidumbre ambigua), lanocién de la evaluacién como defensa todavia resuena como una exquisita herejia en los ofdos de muchos. Y lo creo por dos razones interrelacionadas. Primero, para muchos, el término defensa en contextos de evaluacién se encuentra vinculado in- herentemente al programa que se evaltia, de tal manera que asumir el papel de defensor consiste en convertirse en amigo del programa. Como tal, la habilidad personal de emitir jui- cios justos e imparciales sobre la calidad de un programa se ve gravemente comprometida. Y eso constituye la segunda pre- ocupacién, de caracter mds fundamental: el término defensa levanta inmediatamente a los muchos espectros del sesgo, es decir, ala apropiacién y la contaminacién que merodean por °srincones y las sendas poco conocidas del disefio e imple- qentacién de las evaluaciones. Guiadas por nuestros ideales = ences muchas de nuestras metodologias se han ont 7 es para controlar el sesgo en el mundo real, es mas 0s politizados. Incluso temperados por visio- realistas sobre nuestra influencia,* los evaluadores ion research in the political context: Sixteen years en Milbrey Wallin McLaughlin & Denis Charles «and education: At quarter century, Chicago University 211-231. *Chiego, 1991, pp. 181Jennifer Greene todavia aspiramos a contribuir a la racionalizaci6n dela formy, laci6n de politicas con informacién cientifica e imparcial, independencia y no la apropiacién, el repudio al sesgo ¥no el partidismo, la neutralidad y no la defensa Siguen siendo lag doctrinas dominantes de nuestra profesién, La premisa de este articulo establece que la defensa es parte inevitable de la investigacion evaluativa y, de hecho, de toda investigacion social actual. Entonces, la pregunta importante que nos debemos plantear ya no es si debemos defender o ng como evaluadores, sino para qué y a favor de quién. Argumen- taré en este documento que la defensa se entiende mejor como ausencia de neutralidad de valores, y que la defensa implica, sobre todo, un compromiso explicito con los valores, mas que adoptar una postura partidista hacia un programa en particular o de una inclinacién hacia un grupo de actores determinado. Argumentaré también a favor de establecer un compromiso especifico de valores con el pluralismo democratico en la eva- luacién, aunque la esencia misma del pluralismo reconoce la legitimidad de otras posturas de valores. Con breves ejemplos de tres casos, ilustraré la manera en que una postura explici- ta de defensa en la evaluacién permite, e incluso mejora, la emisién de juicios imparciales, a la vez que replantea los sig- nificados y las preocupaciones tradicionales sobre el sesgo ya apropiacién. La defensa como parte inevitable de la evaluacion Me resulta estéticamente gratificante y metodoldgicamen® habilitador honrar la experiencia personal y la reflexion PO moderna, y reconocer miltiples realidades y conocimientS constructivistas, pero ja qué costo! Al difuminar las lineas ent el hecho y la ficci6n, entre la evidencia y la opinion, descub™ mos que “ya no se puede esperar que los esfuerzos de defen tanto los nuestros como los de nuestros patrocinadores, ques” atrapados en el tamiz de la objetividad, Honrar la construccion 182 eeLacvaluacién como def sxonal del conocimiento lleva a negar que pemaportante no cargo de valores que no proms Cte el reconocimiento filoséfico d afirmacion cientifica sobre el saber se encuentra eee mediablemente de la predisposicién teérica y los sara medlgador subyace als inevitables Fibra dea defena en la evaluacion. Como sostienen de manera amplia, mas no uni- versalmente, los filésofos de la ciencia de la actualidad, un jnvestigador no puede apartarse de su marco de percepciones (integrado por experiencias, intereses, conocimientos tedricos, valores y creencias) ni es capaz de ofrecer una visién del mundo no filtrada (objetiva).* Por el contrario, sélo podemos ver desde elinterior de nuestros marcos de percepciones que, a su vez, intan de colores lo que vemos. Entre esos tonos y matices que colorean el objeto que observamos, se encuentran nuestros ideales y nuestras ideologias. Por consiguiente, el conocimien- to totalmente desinteresado es inalcanzable. Segtin muchos tedricos y profesionales de la evaluacin, abandonar la posibilidad de la total objetividad es cuestién de antiguas certidumbres destronadas, aunque no abolidas,’ y la objetividad se sigue considerando un ideal regulativo vital”® para hainvestigacién evaluativa. Sin embargo, para algunos tedricos y profesionales del campo, la creencia en Ia objetividad se ha visto reemplazada por el acto de honrar “la experiencia personal [..-, les realidades miltiples y el conocimiento constructivista”." Esa "Ruben E, Stake, “Ac i son: A necessary evil”, presencacia Vitae ee eee a ional sobre Evaluacins rig ats¢ Richard J. Beste jeciviom andrea UBives watt Pin ison Phillips, Philosophy sien yes 10 Pres 987. a Denia i Thomas D. Cook, ramen ical nips Seiler and tear i . Smith, “Goodness criteria: J N ype re The pragma TS Ruben E Sek Peat aca oe » “Advocacy in evaluation. ..”» P- cit, ive research paradigmsand 183Jennifer Greene visién de que el conocimiento social significativo se cor invoca un ideal regulativo de comprensién holistica.2 Patan grupo mas de tedricos y profesionales, el compromiso con, objetividad se ha reemplazado por uno que se proclama a favor de un principio rector diferente: la justicia social,” la bueng sociedad y la sabiduria practica,"* la deliberacién y el didlogo de. mocraticos, y el empoderamiento."* El argumento aqui presentado es que todas esas alternativas que buscan alcanzar la total imparcialidad se sustentan en cier. tos valores. Los ideales regulativos representan una forma de compromiso con los valores; privilegian los puiblicos de acto. res que comparten esos ideales y retinen las metodologias que permiten su cristalizacién. Y si esas metodologias incluyen la triangulacién de varios métodos para controlar el sesgo de la deseabilidad social 0 de la participacién activa de los actores en el disefio de instrumentos y en la recopilacién de datos para fomentar el empoderamiento, los enunciados de conocimiento resultantes se encontraran imbuidos de los valores promovidos por los ideales regulativos del investigador. Nstruye La defensa como compromiso explicito de valores Alentender defensa como ausencia de neutralidad en términes de valores y presencia de un compromiso de valores especifion se rompe el vinculo que a menudo se supone auromatico enue ” Véase Harry F. Wolcott, “On seeking and rejecting validity in quaitatie = search’ en Elliot W. Eisner y Allan Peshkin (eds.), Qualizarive inquiry in eduste ‘The continuing debate, Veachers College, Nueva York, 1990, pp 121-152. " Vease Ernest R. House, "Methodology and justice” otk Ke (cd.), Evaluation and social justice: Issues in public education, New gram evaluation, Jossey-Bass, San Francisco, 1990, nim. 4 2 36. : __ Véase ‘Thomas A. Schwands, “Recapturing moral discourse in evaluation» Educational Researcher, vol. 18, niinn, 8, 1989, pp. L116. 34. sit "® Véanse David M. Fetterman, “Empowerment evaluation’, Eadiaton vol. 15, 1994, pp. 1-15; Elizabeth Whitmore y Patrick Kerans, “Participate g powerment, and welfare”, Canadian Review of Social Policy, vol. 22, 1988: P 184Laevaluacién como defe ladefensa y el apoyo programatico. Un compromiso de val en particular podria implicar una postura de apoyo ee hacia un programa, aunque también podria implicar ui a neutralidad, 0 incluso de escepticismo, hacia las intenci in Me ividades del mismo. saad Laconexién mas significativa entre la defensa y el progra- ma concierne a las distintas perspectivas sobre los ponies sociales y el cambio social invocadas por diversos compromisos de valores dentro de la evaluacion. ‘Tales perspectivas frecuen- temente se arraigan en nuestras metodologias y, por ello, constituyen posturas de valores ocultos. Como se reconocié hace dos décadas, Ininvestigacién en evaluacién podria validar una perspectiva espe- difica sobre los problemas sociales al resaltar unos impactos en vez de otros [...]. La metodologia empleada en la investigacién de la cvaluacién contribuyea la definicién de problemas sociales; prict- camente, toda cuestién técnica tiene un componente ideol6gico."* evaluacién no desafian los su- puestos ni las posturas que adoptan los desarrolladores de programas en lo relacionado con los problemas sociales y con el cambio social y, por lo tanto, apoyan implicitamente tales supuestos y posturas. Por ejemplo, muchos programas sociales ubican la esencia del “problema” dentro de los individuos nece- sitados y ofrecen educacién © desarrollo de habilidades como estrategia para “remediar tales déficits”, mientras otros en- cuentran la esencia del “problema” en Jas estructunras s0¢ iales ¢ institucionales circundantes. Por ello, tratan de moditicarlas con una infusin de recursos. También hay programas susten= tados en teorias establecidas del dambio del ales sobre cl cambio conductual o estructural Ponen que “una base valida de conocimlentos ¢ Algunas metodologias de Jas ciencias SOc mientras otros SU 4 partir de la s . fll A. Berk y Peter H. Ross Doing good or worse: valuation eseure lly reexamined”, Socal Problems, vol. 23; 1976, p.339- 185Jennifer Greene cual iniciar el cambio social es aquella que se origina en las periencias vividas por los participantes y no en los anales dely comunidad de cientificos sociales”.” La evaluacién de esos distintos tipos de programa Puede © no cuestionar sus estructuras subyacentes, Presupuestas axioligicas. De cualquier manera la evaluacién influye signi cativamente en nuestra conceptualizacién de los problemas, lag intervenciones y los cambios sociales. Con demasiada frecuencia, tales influencias y sus Cortespon- dientes posturas de valores quedan enmascaradas por Nuestras, metodologias. Es hora de desenmascararlas. Es hora de que los evaluadores declaren explicitamente los compromisos de valores, los supuestos de los programas y las posturas politi- cas que subyacen a la metodologia que eligen. Es hora de que los evaluadores reclamen y proclamen su defensa. Actuar en otro sentido equivale a tratar a nuestros publicos de manera hipécrita e incluso engafiosa. Es cubrimos con un viejo manto de imparcialidad que ya no protege a nuestro inquisitivo ser de as perjudiciales influencias de los valores y las creencias, Es negar las dimensiones de valores de nuestras metodologias y los idea- les regulativos que las enmarcan y guian. Compromiso con el pluralismo democratico Lavisién de la defensa como compromiso de valores implica que os principios superordinados para pensar en la evaluacion han dejado de ser nuestras apreciadas metodologias; ni siquiert so" Ya nuestras preguntas autocriticas sobre el papel que desempett™ mos en el mundo, sino, antes bien, las cuestiones sociopoliics del puiblico de la evaluacién y de los grupos interesados en olla : ing f “ " Madine Vanderplaat, “Beyond technique: Isues in evaluating fF ™™ ment”, Evaluation, vol. 1, 1995, p. 86, Véanse Ernest R. House, art ci Vanderplaat, art cit. ; Maine “Thomas A. Schwandt art. cits M 186Laevaluacién como defensa {Cables intereses de qué actores debe promover la evaluacién? ;Qué valores deberfa representar la evaluacién? Mi respuesta a esas preguntas cruciales sigue la linea de Ja evaluacion democratica,” la evaluacién de cuarta gene- racion,” la evaluacién comprometida desde el punto de vista moral,” la evaluacién participativa” y demds tradiciones que erciben la evaluacién como una fuerza que democratiza Jas conversaciones puiblicas sobre asuntos colectivos impor- rantes. Es decir, la evaluaci6n deberia trabajar para permitir que participen plenamente todos los intereses legitimos en la conversacion y en toda decisién relevante sobre el mérito y el valor de un programa en particular. Esta conversaci6n y latoma dedecisiones deben guiarse por los principios democraticos de dad, equidad y justicia. Ese compromiso con el pluralis- el ideal regulativo y el compromiso vision de la evaluacion. miso, los evaluado- igual mo democratico constituye esencial de valores de dicha ‘Al luchar por cumplir con ese compro! res de hoy deberian esforzarse, en especial, por buscar € incluir las voces y perspectivas que a menudo se ignoran o se excluyen dela conversacion evaluativa —porque no se as ha invitado, porque no son populares o porque carecen del lenguaje o de la fluidez verbal para que las escuchen—. Frecuentemente se exdluye del escenario de los programas a los grupos ¢ indivi- duos menos privilegiados, que comuinmente son los participantes previstos de un programa social, lo mismo que sus familias ¥ comunidades circundantes. La evaluacion democritica y plu- talista deberia asegurar que esos y OCTOS intereses de los actores Ag Viase Arthur B. MacDonald, Democracy and evaluation, Univerioy of East i Nowwich, 1978 Meal 4pm ba Yoonna Lie Fora generation coal S58 Vee oma A. Schwan at cit deg eas: ei “Paracipatory evauacion of developmen’ OTS” " saree and facilitative earning”, Fouluation, vol 2 1996, pp. 151- - and educc Siler Green n empowerment partnership for family 2p. 13-14ye ni rneeauns and evaluations”, Family Scien Elizabeth Whitmore y Patrick Kerans, art A 187Jennifer Greene fortalecer y lograr con el tie Garand are el todo equitativas dentton, se conversacidn de mayor aleance.” Sin eae el avance de esos intereses no se debe lograr a Ses ‘4 ‘ OtTOS, Pues resultarfa incompatible con el ideal regulativo del pluralismo, Més atin, aunque todas las posturas tienen limites, también conllevan el potencial de mejorar nuestra comprensién del mundo social. Privilegiar una postura o ignorar otras por com. pleto deja nuestra comprension del unde social todavia més incompleta de lo que es actualmente.: : ‘Al considerar la evaluacién como fuerza democratizadora del didlogo social sobre asuntos publicos importantes, el eva- luador asume las responsabilidades de un cientifico puiblico; aspira a participar activamente y a comprometerse en vez de distanciarse de los asuntos ptiblicos, y lucha por contribuir en vez de permanecer aislado de las discusiones y acciones rela- cionadas con dichos asuntos ptiblicos. Por lo tanto, la frontera entre la evaluacién y el programa no necesita ser alta y sélida, porque no se necesitan proteger mutuamente. En particular, a evaluacién no requiere proteccién contra las amenazas del sesgo 0 partidismo de los programas, porque conducir ev- luaciones democraticas y pluralistas significa establecer ut compromiso de valores con la participacién plena y justa de los actores en la toma de decisiones, Esta via rechaza el partidis mo de los programas. Por consiguiente, la evaluacion debertt establecer fronteras abiertas con el programa que evaltia, mis ae ce a er varias veces ya efectuar eee trabajar de a : @ evaluacién y el programa ee . a ae Hea atencién. equitativa a las personas re . ON generacional y espacial, sobre los ni que matan a otros nifios, sobre la seguridad ¢ idoneidad dels ministro alimentario, etcétera, ® Véase Ernest R. Hot USE, Art, ci 4 Ibid, p.91. i 188Laevaluacién como defensa A continuaci6n, se presentan breves ejemy la perspectiva de considerar | i los oe sobre la persp siderar la evaluacién como defen sa. En ellos, se presta especial atencién a la forma en que tal replantea las cuestiones del sesgo y el partidismo, perspectiva en siendo los espectros asociativos de la defensa. porque sigu Ejemplos de casos sobre la evaluacién como defensa La evaluacién participativa Pursley condujo una evaluacién participativa de una red de cuatro centros de apoyo familiar ubicados en una ciudad al norte del estado de Nueva York. Como muchos otros pro- ramas de ese tipo en el pais, los centros operan con base en una filosofia de empoderamiento, porque buscan ayudar a las familias pobres a adquirir un estado de autosuficiencia eco- némica y de realizacién personal. La red habia recibido un donativo por tres afios de parte de una fundacién reconoci- da para mejorar varios de sus programas (por ejemplo, el de educacién para los padres) y fortalecer su colaboracién como red. La evaluacién participativa cubrié el primer afto del pe- tiodo del donativo y atendié preguntas de implementacién € impacto. Los piiblicos importantes de Ja evaluacién eran los directores, el personal de los centros y el de la red, ademas dela fundacién donante. El marco participativo de la evaluaci6: primordialmente al estructurar el proceso evaluativo, con el in de incluir como socios a los participantes Y al personal t se Proprama, Los participantes, el personal de oie ane administradores del programa colaboraron cor fe a evalann para desarrollar las preguntas € instrumento i cién, para recabar y analizar los datos, y para afiacir yn se implementé » . eae ‘Arlene Pursley, “Empowerment and utilization through participatory + tesis, Cornell University, [taca (NY), 1996. 189Jennifer Greene sus opiniones a los significados interpretativos caciones de la accién. Conforme a lo previsto, participativa se mezclé con los ritmos de empoderami con las normas de los centros; incluso oftecié otra Oportuns dad para el desarrollo personal y el empoderamiento de! in participantes y los empleados. De esa mane: : entre el programa y la evaluacién se abrieron y se invité a cruzarlas, Esa evaluacién participativa incluso los ejercicios par. ticipativos de caracter mas general son compatibles con |g perspectiva que considera la evaluacién como un compromiso de valores con el pluralismo democratico descrito arriba, Dicho compromiso explicito sirvié para la inclusién y ampliacién de la participacién de los actores en los procesos, en las decisiones, en conversaciones y en acciones relacionadas con los pi de los centros. Se presté especial atencién durante la evaluacién a posibilitar la contribucién de los participantes del progra- ma y del personal de menor jerarquia. En virtud de su gran colaboracién, los intereses de esos actores se legitimaron y se promovieron de manera importante. Por lo tanto, jlos hallazgos de la evaluacién participativa de Pursley de la red de apoyo familiar presentan sesgos irreparables y carecen de credibilidad suficiente y valor prictico? } alas imp, la evaltiac: Valuacign ra, las fronteras €N ee contexto * Si se entienden los sesgos metodolégicos en el sentido de deseabilidad social, conjuntos de respuestas no aleatoriosY multicolinealidad, la respuesta seria “quiza”, aunque probs" blemente ni mas ni menos que los hallazgos de la mayo de otras evaluaciones del ambito comunicario. * Sise entienden los sesgos en el sentido de que favo! punto de vista en particular, la respuesta es negativa. 91 la evaluacién participativa de Pursley promueve intenct nalmente el avance de los intereses de los participants programa y del personal paraprofesional, esto se llevd noe con el fin de ampliar los intereses incluidos en la conve cién y de posibilitar una discusién mas pluralista. rece UN i bien 190« Sise entienden los sesgos en el sentido de partidismo de programa, una vez. mds la respuesta es negativa. La evalua- cién participativa no busca demostrar la efectividad de los programas, incluso cuando éstos compartan valores clave con la evaluacién, como fue el caso de Pursley; por el com, trario, se esfuerza por lograr la participacién de los actores en.un proceso disefiado para examinar, de manera reflexiva, critica y pluralista, el significado de sus propios Programas y de las intenciones y actividades de éstos, Por Jo tanto, la evaluacién de Pursley presentaba un sesgo im- portante sélo en cuanto al cumplimiento de su compromiso de valores con el pluralismo democratico. Las declaraciones evaluativas generadas en este caso se centraban en multiples intereses. En vez de disociadas, se encontraban integralmente relacionadas con las experiencias, los significados y las accio- nes de los actores; promovian los intereses de los participates —cuando, en general, estos intereses no tienden a figurar— y de otros actores, incluidos los lejanos patrocinadores del programa. Entonces, de forma significativa, las afirmaciones evaluativas son de cardcter menos partidista que las sustentadas enestandares y criterios de programas determinados unilateral- mente; es decir, son menos partidistas que las basadas en slo lun conjunto de actores o intereses de los programas. _ El éxito de la evaluacién participativa de Pursley lego mas lejos, en tanto establecié vinculos entre los intereses de diver- Sosactores para lograr una comprensién compartida y acciones COlectivas. Las conversaciones ptiblicas sobre los programas de *Poyo familiar —conversaciones dentro de ese contexto en Particular y fuera de él— se esclarecieron en virtud de la eva- lst i se hutrieron de ella. Ese tipo de vinculos y conexiones 105 mg a dela evaluacion participativa —y, en térmi- Puede ao ios, de la dimensién de la defensa en evaluacién. d Programa ene Puente entre el lugar especifico donde opens de ‘se ving Fi yla conversacién publica en general. Por medio fo, la informacién fluye en ambas direcciones y los 191Jennifer Greene Y cambios sociales se perciben, por lo tanto, como una Actividad reciproca que demanda accién individual y sistémica,« La evaluacién de grupos El segundo ejemplo es el de una evaluacién de BEUPO [clus ter evaluation) de las etapas tempranas de once proyectos . educacién en materia de politicas publicas, establecidos en los Ambitos de la agricultura y los recursos naturales, con e| pa trocinio de la Fundacién W. K. Kellogg.” Como la concibig dicha organizacién, la evaluacién de grupos busca apoyara los proyectos integrantes a realizar su propia evaluacién y sus actividades de programas mediante la provisién de asistencia evaluativa, la recopilacién y la retroalimentacién a escala in- dividual y de grupo. Para ello, como evaluadores de grupos, realizamos “conferencias sobre el trabajo en red” cada seis meses para el personal de los once proyectos. Las conferencias generaron un didlogo ininterrumpido entre la gente del pro- grama y los evaluadores, mismo que encapsulé un enfoque de fronteras abiertas a la evaluacién. Entonces, como evaluadores de grupos, ;quedamos por ello condenados a que se nos acuse de partidismo de programas: éLos evaluadores de grupos pueden trabajar estrechamente con el personal del programa y, con todo, emitir un juicio jus? sobre el mérito y valor del mismo? Como evaluadores comprometidos con el pluralismo, pa ampliar la conversacién, la integridad de nuestros juicios ® descansaba en nuestra imparcialidad, sino en nuestro éxito de incluir multiples intereses y promover la equidad de voces- En huestra evaluacién de grupo, en mi opinidn, fue precist™™ te nuestra postura haci o i; a la defensa como compromiso 6 » Ibid, pp. 88-89. 2 Néae Alan Joseph Hahn etal, Educating about public sues, infor i In evaluacién de grupo de los programas de educacin en politicas publics clada por la Fundacion W. K. Kellogg, Cornell University, Nueva York, 19% 192 |Lacvaluacién como defensa Juralismo lo que generé juicios imparciales y criticos sobre elavance de los proyectos. Estas valoraciones redirigieron sig- nificativamente una parte de las energfas y los recursos de los royectos en varias ocasiones, Como evaluadores de grupos, nos encontrabamos muy lejos de los participantes Previstos de los programas de educacién en politicas puiblicas. Traba- jabamos con el personal responsable de ensefiar técnicas para Jograr la participacion de las Personas en conversaciones y acciones relacionadas con cuestiones de politica publica (tales como las de agua subterranea limpia y la seguridad del suminis- tro alimentario). Sin embargo, por nuestro compromiso con el pluralismo, nos encontrébamos en una posicién adecuada para arender y promover los intereses de los menos privilegiados en ese contexto, es decir, ciudadanos que no se sentfan informados sobre los debates ptiblicos acerca de cuestiones también publicas ni empoderados para participar en ellos. Mds atin, la naturaleza de fronteras abiertas de la evaluacién de grupos resulté esen- cal para permitirnos promover efectivamente tales intereses. A continuacién se presentan dos ejemplos especificos tomados de nuestra evaluacién de grupos. Ejemplo 1. Durante el primero de los cuatro afios de la eva- luacién de grupos, en nuestros once proyectos observamos un énfasis distinto: uno en materiales y otro en eventos. Algunos de los proyectos iniciaban sus esfuerzos mediante el desarro- llo de materiales extensos, como manuales sobre cémo impartir educacién de politicas publicas y documentos oficiales sobre cuestiones especificas de politicas. Otros comenzaban sus programas con eventos, como debates ptiblicos sobre temas puntuales y reuniones comunitarias que visibilizaron preocupa- ciones ambientales de la localidad. Tanto por disefto como en laimplementacidn, los eventos atrajeron y lograron la partici- Pacién de mayor diversidad de personas que la buscada con los materiales. Durante una conferencia sobre el trabajo en redes efectuada el primer afio, compartimos dicha observacion conel Personal de los proyectos ¢ invitamos a que se analizara con Preguntas como las siguientes: ¢Qué papel desempefian los 193Jennifer Greene nntos técnicos especificos en la educacién de polit. cas ptiblicas? iCudl es el balance apropiado entre contenido proceso? Quiénes deberian ser los publicos primarios de los programas de educacién en politicas ptiblicas? De esas delibe. raciones, por lo menos dos de los proyectos que desartollaban materiales cambiaron la direccién de sus esfuerzos hacia la implementacién de mds eventos enfocados a lograr la partici. pacién de “ciudadanos comunes y corrientes” en la educaciény en laaccién en materia de politicas publicas. Ejemplo 2. En segundo lugar, y en relaci6n con el punto an- terior, hacia el final de nuestra evaluacién desarrollamos una tipologia de ideologias y practicas para la educacién sobre po- liticas pablicas: compartir informacién, invitar al didlogo y facilitar el empoderamiento de la ciudadantfa. La tipologia re- present6 varios afios de compromiso con nuestros proyectos del grupo y con nuestra propia postura de defensa en lo relativo ala importancia de atender los intereses de los menos privile- giados. Nuevamente, compartimos la tipologia con el personal de los proyectos y catalizamos extensas sesiones de discusioa al respecto y, una vez més, varios de los proyectos redirigieron, por ello, sus esfuerzos para intentar pasar de “compartir infor- maci6n’ ala siguiente etapa de “invitar al didlogo”. , Al igual que la evaluacién participativa de Pursley, las aft- maciones derivadas de nuestra evaluacién de grupos puedes considerarse relativamente sin sesgo partidista, imparciales y potencialmente efectivas, precisamente porque adoptamos unt Postura de defensa del pluralismo. Aunque trabajamos estrecha- mente con la gente del programa, nuestra agenda de evaluacio® y valores no buscaba promover sus programas 0 sus ide particulares sobre la educacién en politicas puiblicas. Por elcom trario, pretendfa incluir voces diversas en nuestra comprension del programa ycucstiones relacionadas con politica: NUS evaluativas pueden considerarse imparciales a se centraban en multiples intereses al promover ¢ avane® delos ane ee atrafan la atencién de actores Bienes ie pueden considerarse potencialmente fe“ conocimie! 194 a a ee \Lacvaluacién como defensa ue el cardcter dialdgico y de fronteras abiertas de nuestra evaluaci6n de grupos permitié que se escucharan, debut inter alizaran, y se actuara en consecuencia. : a La evaluacién con defensa te tercer ejemplo ilustra el papel vital que puede ie el evaluador como defensor del pluralisro en —- de evaluacién caracterizados por contienda politica. Las cir- cunstancias del ejemplo incluyen una innovadora reforma en ciencias implementada recientemente en un bachillerato del estado de Nueva York, Conjuntamente con las tendencias na- cionales, el programa subraya la importancia de la resolucién activa de problemas por parte del alumnado; un plan de estu- dios relevante para la vida de los alumnos; objetivos escolares que prioricen la comprensién de principios cientificos yelde- sattollo del razonamiento cientifico por encima del manejo de hechos especificos; procedimientos de “diagnéstico autén- tico”, y el aprendizaje cooperativo dentro de clases y grupos heterogéneos. El programa inicié y se desarrollé en virtud de los esfuerzos del profesorado local de ciencias, con la bendi- Cin de la administracién distrital. Sin embargo, los padres de familia y miembros de la comunidad, incluida la junea esco- eat hablar con toda franqueza, exhibieron a ah Vvididas sobre el programa. El principal punto de ea n era el cambio en el programa escolar que fusiono los . B'upos de preparatoria que habia (uno part alumnos los de desempeno pro- ar sobresaliente y otro para dese leteseg yan? S00, donde se reunia a estudiantes ¢ a cay veles de aprovechamiento. Quienes se pon es ACES 14 ae Se preocupaban de que los esta i ey NO aprey Tentaran retos suficientes en sus cursos Ge CET Besar a ‘idieran lo suficiente como para competir con ait f d CMmbig “hiversidades selectivas. Quienes simpatizaban con Fesaltaban los beneficios educativos Y sociales qu 195Jennifer Greene recibirfan los estudiantes de minorias y mayorfas por igual, en virtud de la mayor diversidad racial, étnica y de género que acompafiaria a los grupos de aprovecham| iento heterogéneo, Evidentemente, los actores menos privilegiados en ese con- texto son los estudiantes; a continuacién, estan sus padres y los miembros interesados de la comunidad, aunque hay considera- bles disparidades en términos de poder entre estos tiltimos. Sin embargo, en esas circunstancias, no queda claro qué significa promover los intereses de los estudiantes, porque el conflic- to bsico radica precisamente en determinar cudles de esos intereses constituyen una prioridad. ;Se atender mejor alos estudiantes al ofrecerles la oportunidad de adquirir los mayo- res conocimientos cientificos posibles, desempefiarse bien en exdmenes de ciencias estandarizados y competir de manera més efectiva para entrar a las universidades de su preferencia? En su defecto, ;se los atenderd mejor al ofrecerles la oportunidad de aprender de personas distintas a ellos y de la cooperacion,a cambio de adquirir un poco menos de conocimientos cienti- ficos? ;O se atenderd mejor a los alumnos al permitirles legit cudl de esas alternativas prefieren? ;Los estudiantes de bachille- rato pueden tomar esas decisiones atinadamente por si mismos? Seria un error posicionar al evaluador como individuo 9° comprometido y apartado de los conflictos medulares de v* lores en ese contexto (conforme a una postura de valores de objetividad). Se proporcionarian datos sobre la calidad del programa de ciencias ¢, incluso, probablemente se utiliza un rango de criterios de programa, pero los actores se quedaria® sin medios para lid ar con las interpretaciones diversas y OPUS tas de esos datos. Ese tipo de evaluacion quiza solo intensifique Ja controversia. Posicionar al evaluador como juez del meH® y la valia de ese nuevo programa de ciencias (como recomie?, da Scriven, conforme a una postura axioldgica de objet! orientada al consumidor) le conferiria una aucoridad y PO" sabilidad extraordinarias. ;Sobre qué estandares de pS" basaria ese evaluador sus juicios y los intereses de qué acto" verian favorecidos en consecuencia? 19%6 oe eeLa cvaluacion como defensa Por lo tanto, quiza el evaluador, dentro de ese polémico ntexto, se encuentre mejor Posicionado como defensor ex- oto del pluralismo para garantizar que el debate continuo incluya voces y perspectivas multiples. De €sa manera, los rf 10s evaluativos recolectados se encuentran vinculados direc- pare —en lugar de distanciados intencionalmente— con Jos conflictos centrales de valores. Y el evaluador desempefia su papel de cientifico puiblico al crear oportunidades para el did- Jogo abierto incluyente entre diversos actores respecto a los significados e implicaciones para la accién de los hallazgos y afirmaciones de una evaluacién. En ese contexto contencioso, el didlogo abierto hacia la mayor comprensién de las opiniones opuestas, sustentadas por diversos actores, representa un enfo- que promisorio para la promocién y el avance efectivos de los intereses del alumnado. Mediante un didlogo de esa naturale- zay conversaciones publicas continuas, el evaluador asume la responsabilidad, aunque no toda la autoridad, de emitir juicios imparciales sobre la calidad de un programa. Asimismo, esos juicios son imparciales y carecen de sesgo porque atienden inte- teses miiltiples, no porque sean imparciales en si mismos. Resumen Cuando “defensa” se entiende como ausencia de neutralidad £n términos de valores y como presencia de un compromi- So de valores en particular —constituido en parte por ideales fa tlvos metodoldgicos—, entonces se reconoce la defen- como dimensién inevitable de la investigacin evaluativa. tinge “blemas de Sesgo que acompaiian a la defensa no cons- automaticamente desafios para el partidismo de los miso de a el Contrario, se redefinen conforme el compro- compromy Ores especifico que se haya establecido. Cuando el Plifica en, 180 es Con el pluralismo democratico, como se ejem- 3905 on Ce articulo, las declaraciones evaluativas adquieren 4 medida en que los intereses de multiples actores se 197Jennifer Greene representan de manera estricta y no a grandes Tasgos, M4 atin las interacciones estrechas y comprometidas del evaluadg, con las partes interesadas en el programa —enfoque de fronte. ras abiertas— pueden contribuir significativa este compromiso con imparcialidad y efectivi con el vinculo entre compromiso y parciali mente se da por supuesto. Convendria elegir otra palabra en lugar de defensa para des. cribir esa inevitable dimensién de valores de la Mente a cumpi idad, en contra dad que comin, investigacién evaluativa, porque seguramente persistiran sus Connotaciones heréticas. La llamaremos “postura”, “sistema de creenciag’ ¢ las , “ideales”? No importa qué término utilicemos; hace mucho que llegé el momento de reconocerla y reclamarla. Notas finales Se presenté una version previa de este articulo como parte de un panel sobre defensa y evaluaci6n en la primera Conferencia Internacional sobre Evaluacién, que tuvo lugar en Vancouver €n noviembre de 1995, Deseo expresar mi agradecimientoa Bob Stake por concebir y organizar el panel, y a Blaine Wor- then por alentar la elaboracién de este articulo. r Evidentemente, la critica puede verse obstruida por sent mentos de lealtad y cercania, pero tambien se puede llegar@ Oscurecer Por posturas de distanciamiento y desapego. En b evaluacién Participativa, el poder para superar los obsticules s¢forja precisamenteen la diversidad de intereses que con® ra het compartir ka autor lad y responsabilidad de la crit ambién tienen, relevancia directa en este punto las implice ciones de esas alternativas de planes de estudio para el tipo ca tnunidad J Sociedad en donde elegimos vivir. QY nes morales conllevan tales opciones?* * Thomas A, Schwandt, art. cit,Lacvaluacién como defensa 3, Ciertamente, nuestros esfuerzos para implementar la vi- sién de la evaluacién como defensa a favor del pluralismo enese contexto de contienda todavia no han alcanzado gran éxito. En cuanto al didlogo publico, nuestros esfuerzos han subestimado consistentemente el rencor de algunas de las voces discrepantes; podriamos describir mejor nuestros foros publicos como “competencias de gritos”. Adems, al luchar por posicionarnos como defensores del pluralismo, no hemos ganado aliados, y la mayoria nos percibe como “el otro bando”. Sin embargo, nuestro compromiso hacia esa postura de defensa persiste, porque creemos que puede contribuir significativamente a ese contexto. Seguimos esperanzados y confiamos en que aprendemos lecciones va- liosas para su futura implementacién. Bibliografia Becker, Howard S., “Whose side are we on?”, Social Problems, vol. 14, 1967. Berk, Richard A. y Peter H. Rossi, “Doing good or worse: Eval- uation research politically re-examined”, Social Problems, vol. 23, 1976, tein, Richard J., Beyond objectivism and relativism, Uni- versity of Philadelphia Press, Filadelfia, 1983. Pbell, Donald T., Methods for the experimenting society, articulo presentado en la reunién anual de la Asociacién Es- ‘adounidense de Psicologia en Washington, D. C., 1971. dk, Thomas D., “Postpositivist critical multiplism”, Social Fen and social policy, sce, Thousand Oaks, 1985. "man, David M., “Empowerment evaluation”, Evaluation c ie, vol. 15, 1994, : Egon G.e Yvonna Lincoln, Fourth generation evaluation, SAGE, Thi Mahng ‘ousand Oaks, 1989. . me Aon Joseph et al., Educating about public issues, infor- inal de la evaluacién de grupos de los programas de 199Jennifer Greene educacién en politicas publicas financiada por la Fundac; W.K. Kellogg, Cornell University, Nueva York, 1994 House, Ernest R., “Methodology and justice”, en A, Siromiy Kenneth (ed.), Evaluation and social justice: Issues in subj education. New directions for program evaluation, Jos a Bass, San Francisco, 1990, nim. 45. me MacDonald, Arthur B., Democracy and evaluation, U; of East Anglia, Norwich, 1978. Parton, Michael Q., Utilization focused evaluation, New cen edition, saGE, Thousand Oaks, 1996. Phillips, Denis Charles, Philosophy, science, and socal nq, Pergamon Press, Oxford, 1987. Pursley, Linda Arlene, “Empowerment and utilization through participatory evaluation’, tesis, Cornell University, ftaca (NY), 1996. Reiben, Claus C., “Participatory evaluation of development assistance: Dealing with power and facilitative learning’, Evaluation, vol. 2, 1996. Schwandt, Thomas A., “Recapturing moral discourse in evalu- ation”, Educational Researcher, vol. 18, nium. 8, 1989. Scriven, Michael, “Hard-won lessons in evaluation’, New Di rections for Evaluation, nim. 58, 1993. Smith, John K., “Goodness criteria: Alternative research paradigms and the problem of criteria”, en Egon Gubt (ed, the paradigm dialog, Jossey-Bass, Newbury Pat 990. Stake, Ruben E., “Advocacy in evaluation: A necessary ei» Pesentacién incluida en un panel de la primera Conteren® Internacional sobre Evaluacién, Vancouver, 1995- 7 » The art of case study research, sac, Thousand Oaks 1995, fi Vanderplaat, Madine, “Beyond technique: Issuesin evauat®® for empowerment”, Evaluation, vol. 1, 1995. Weiss, Carol H. y Jennifer Greene, “An ‘empowerment Pal nership for family support and education progt™ evaluations”, Family Science Review, vol. 5, 1992. niversity 200 4“a evaluacion como defensa Weiss, Carol H., “Evaluation research in the political context: ‘Sixreen years and four administrations later”, en Milbrey Wallin McLaughlin 8& Denis Charles Phillips (eds.), Evalu- ation and education: At quarter century, Chicago University Press, Chicago, 1991. Whitmore, Elizabeth y Patrick Kerans, “Participation, empow- erment, and welfare”, Canadian Review of Social Policy, vol. 22, 1988. Wolcott, Harry F, “On seeking and rejecting validity in quali- tative research”, en Elliot W. Eisner y Allan Peshkin (eds.), Qualitative inquiry in education: The continuing debate, Tea- chers College, Nueva York, 1990. 201