VII. Evaluaci6n, gestién del conocimiento, mejores practicas y lecciones aprendidas de gran calidad" Michael Q, Patton nla era del conocimiento del nuevo milenio, promocionada hasta el cansancio, se pide a los evaluadores que generen “lecciones aprendidas” y “mejores prdcticas”. La presién para producirlas s6lo parece ir en aumento. Al final de este articulo, presentaré sugerencias para incrementar el rigor del uso de ambos términos entre los evaluadores. Antes de esto, examina- r€y ofteceré mis opiniones sobre el uso popular de los mismos ysobre el contexto actual. ' Lademanda de adquisicidn de conocimientos, que distin- §uea quienes forman parte de las élites de las organizaciones de aprendizaje, se ha transformado en una manfa por el desarrollo organizacional y por la evaluacidn de programas. Pero ;cudl es el Significado popular de mejores pricticas? (Qué significa aprender ‘na leccién? Y qué papel desempefia la evaluacién en todo ello? Tal vez lo podamos descubrir al examinar un metaejem- Plo. La gran leccién aprendida en la ultima década del pasado mnilenio fue que la informacién no es lo mismo que el cono- simiento (jqué sorpresal, ;quién lo hubiera dicho?). La era de informacién ha dado paso a la del hambre de conocimien- "En las corporaciones multinacionales, se ha reemplazado a Panu tatiulo es una traducctn al espaol del original en inglés: Michael Q Linsey iluation, knowledge management, best practices and high quay se (copyrigneay:merican Journal of Evaluation, vol. 22, nim. 3, 2001, Pp. 920-208 Publications) 2001 sac Publications. Permiso de reproduccién ororgado po! 253Michael Q Parton los directores de informacién (chief information officers), que causaron furor en la década de 1990, por los directores de co. nocimiento (chief knowledge officers). -Y cul es la funcién de esos directores? Capturar las lecciones aprendidas ¢ identificar las mejores précticas. En esta era de supremacia del capitalismo global, el conoci- miento se ha convertido en “capital intelectual”. Durante la era de la agricultura, la tenencia de la tierra surgié como la forma dominante de riqueza, mientras que en la industrial el capital financiero movia al mundo. Hoy, en la era del conocimien- to, las corporaciones se enfocan en el “capital intelectual”, que incluye las lecciones aprendidas y las mejores practicas. En la revista Executive Edge, se identifica la gestién del conocimiento como la prioridad innovadora del desarrollo organizacional y se explica de la siguiente manera: Lagestién del conocimiento [...] es un proceso que cosecha y com- parte los conocimientos colectivos de una organizacién para obtener resultados que generen avances en materia de productividad e in- novacién. Por el contrario, la gestién de la informacién tan s6lo recopila, procesa y condensa datos, La gestién del conocimiento es una disciplina de gestién colaborativa que busca crear empleados sms inteligentes e innovadores y mejores tomadores de decisiones." Una mirada mds profunda a la nocién de mejores practicas La insistencia en la generacién de conocimientos, divulga- da en forma de mejores practicas, se ha extendido a todos los sectores de la sociedad como un incendio fuera de control. El gobierno federal publica mejores practicas en educacién, salud, carreteras y en la reforma de la asistencia publica; las fundacio- nes filantrdpicas se muestran ansiosas por descubrir, financiat y difundir mejores practicas; las compafifas anuncian que s° 1 Executive Edge, “Strategic planner”, Executive Edge, 1998, p. 16. 254ee gps dl omocimiento, mejores pris yleionesaprendida de yan cli mejores practicas, mientras que los consultores en ad- nistracion las imparten. Medir, gestionar y mejorar el capital 2 jectual se ha convertido rapidamente en una de las prin- pals prioridades del mundo corporativo estadounidense, segun el informe Knowledge Management of Internal Best Prac- tices? Dicho estudio, considerado referente en el terna, y el sitio web Best Practice Database, también creado por Best Practices, uc, constituyen un ejemplo de lo que hoy se difunde. Como resultado de “estudiar practicas de talla mundial de servicio al dlente [que] promueven mayor calidad en el servicio y mayor satisfaccién”, los informes de Best Practices Benchmarking™ ofrecen “inteligencia y acceso rapido y efectivo a excelencia de dase mundial”: Con hallangos de investigacién en mejores practicas, el equipo de investigacin de Best Practices, tc identificé dimensiones clave del desempefio o subelementos que constituyen la piedra angular del sistema de gestién integrada. Entre las dimensiones clave del des- empefio, se encuentran las siguientes: . Vincular las mejores practicas con la ejecucién de estrategias. . Sistemas de identificacién de mejores pricticas. |. Sistemas de reconocimiento de mejores practicas. . Divulgacién de mejores practicas. .. Sistemas para compartir conocimientos sobre mejores practicas. . Desarrollo continuo de mejores practicas. pe aAYARw Evaluacién y mejores practicas To ses aquello que se considera novedoso en el mundo corpo- VO se filtra a los sectores gubernamental, filantrépico y no ve Pra tices, ah vv te Knowledge management of internal best pract (a8 idem, 2001, 255Michael Q. Patton lucrativo. Los evaluadores necesitan prestar atencién a esa te torica (go me atreverfa a decir “alharaca publicitaria”?), por ai comienza a afectar las expectativas de quienes 5 fees, en nuestro trabajo Fespecto al tipo de hallazgos que deberfamos Broducis Las mejores practicas se han convertido en la forma sca sanarnatte se lgen te ' a as, mejores. Ese es el estilo esta- dounidense: sé lo mejor que puedas ser. ;Pero cémo lograrlo? Aprendiendo lecciones (conocimientos locales sobre aquello que funciona) y convirtiéndolas en mejores prdcticas (conoci- mientos universales sobre aquello que funciona, por lo menos debido a que son las mejores). He analizado muchas listas de “lecciones aprendidas” y de “mejores prdcticas” y no he encontrado nada que sistem4- ticamente distinga unas de otras en términos de contenido o soporte empirico. Quienes exhiben inclinaciones més modes- tas parecen favorecer a las “lecciones aprendidas”, término que conlleva, por lo menos para mi, la connotacién de una forma de reflexién més personal y local. Quienes son mds audaces (aunque no necesariamente los que cuentan con més evidencia, segtin tengo entendido) prefieren la afirmacién més generali- zada y de mayor impacto (desde el punto de vista connotativo) de haber descubierto una “mejor practica”. Rara vez tales enun- ciados permiten jdentificar para quiénes una practica resulta la mejor ni en qué condiciones ni en qué valores 0 supuestos se fundamenta su cardcter de ser /a mejor. i a Me atreverfa a sugerir que el uso generalizado 7 indiscri- minado de los términos “lecciones aprendidas” y “mejores practicas” los ha devaluado, tanto en lo ene ee lo pragmatico, porque carecen de cualquier Ope ie la cado, cualquier estandar 0 definicién en comun. Si bien . profesién de la evaluacién se verd afectada ee por conceptos que giran rapidamente en el ae ete no politico, estamos obligados a examinar cuidados ie tales conceptos y a educar a los usuarios sobre sus re ra ciones més profundas. Por ejemplo, son muy debatibie 256Pa Pee so ga consi mes pricy less pend de an lad pe restos QUE fundamentan la frase “mejores pricti supl presion que indica que debe I s", €s : ir una forma Oe mejor de hacer algo. En un mundo que valora la act g, son muchos los caminos para llegar a nuesteo ae ‘algunos pueden parecernos mits dificiles, otros mas os pero son ctiterios que nos llevan mas all del lugar geseado y revelan la importancia de preguntar: gdesde qué spectiva y conforme a qué criterios se establece que algu- ngs son “las mejores pricticas”? Desde el punto de vista de los sistemas, un problema im- srante de muchas de “las mejores pricticas” es la forma en que se ofrecen sin prestar atencién al contexto. Supongamos que unos ingenieros automotrices identificaron el mejor sistema deinyeccién de combustible, la mejor transmisién, el mejor sistema de enfriamiento del motor, el mejor sistema de sus- pension, y asi sucesivamente (Michael Scriven facilitarfa ese proceso de identificacién usando el método més apropiado de pesos y sumas, con criterios y datos adecuados y demas. De esa manera, sabriamos que cada uno de esos sistemas es realmente el mejor de su tipo). Ahora, puesto que es posible, supongamos que esos subsistemas (de inyeccién de combusti- ble, etc,), los cuales son los mejores, se encuentran en distintos modelos de automéviles (Lexus, Infiniti, Audi, Mercedes, etc.). Sin embargo, si ensambléramos todos “los mejores” sistemas de todos los mejores automéviles, no obtendriamos como resulta- do un automévil funcional. Cada una de las mejores partes (0 ltsubsicema) se cred para operar conjuntamente con otras fiadas especificamente para un modelo dado de automévil. Noson intercambiables, No obstante, gran parte de la retérica mejores précticas” presume que pueden adoptatse pres- ‘ndo del contexto, Cindie guian notes Practicas” que representan ae que muy ae son utiles. Las ‘mejores pricticas” de Cea de prime, ‘scriptivo y especifico (por ejemplo, los pen lenos ae deben leer textos a los nifios en voz alta por "0 ‘ante quince minutos al dfa”, por mencionar un 257Michael Q, Patton ejemplo que me compartié una maestra) con: prictica inadecuada de las mejores pricticas. Para ilustrar ¢ punto con mayor detalle (y para ser provocativo), considero que el mantra de la utilizacién, el cual dice que las evaluacio. nes se deberfan centrar en el “uso deseado por los usuarios deseados”, constituye una mejor practica de evaluacién en principio. Sin embargo, sdlo se puede identificar usos desea- dos especificos y usuarios deseados especificos en un contexto ysituacin especificos. Una de las preguntas mas comunes que me plantean después de presentar ponencias sobre la evalua- cidn orientada a la utilizacién es: gcudntos usuarios deseados deberia tener una evaluacién? A la que respondo: los nece- sarios para apoyar los usos deseados, ni ms ni menos. Y cuantos usos deseados puede apoyar una evaluacién? Los necesarios para satisfacer las necesidades de la poblacién de- seada de usuarios primarios. El razonamiento circular es un maravilloso antidoto para el pensamiento mecanicista lineal, que caracteriza gran parte de la préctica de “las mejores précti- cas” (aunque no toda). Por lo menos, moverse en circulos evita que la gente llegue a un lugar donde pueda hacer dafio. Con todo, prefiero no usar el lenguaje de las “mejores prdc- ticas”. Decir que algo es “lo mejor” normalmente es mds una aseveracién politica que una conclusién empirica. Las frases sustitutas de “buenas practicas” o “practicas efectivas” tienden menos a la sobregeneralizacidn. Para ello, debe cumplirse la condicién de que exista evidencia razonable que apoye tal afit- macién en términos de criterios de validez interna y externa. Dicho esto, y para abonar a lo anterior, permitanme proponet una manera de rescatar el lenguaje de las “lecciones aprendidas’. uyen una La mania de las lecciones aprendidas imi iduria parece 0 0- El hambre popular de conocimiento y sabiduria p oS nocer limites. Hay libros que ofrecen lecciones aprendi sobre como vivir la buena vida a partir de la observaci6n 258Fr eee gon del conocimiemo, mejores pricticasy poses ee *Prenda de gan cadet pardoss* Ios gatos,’ los caballos,* los perros - ractica de detenerse y vender la naturalezay de ae en un centro comercial" o de una compra ncionar sélo al; ji jaches,”? por mencic ‘0 algunos ejemplos, aga Gingrich decidié postularse como candiisn pe Mroncia de Estados Unidos, publicé el libro titulado Lessa si sd the Hard Way (lecciones aprendidas duramente)® - demostrar que se encontraba al tanto de lo requerido orlean delconocimiento: la capacidad de aprender lecciones, La revis- a Bquire publica mensualmente una seccién titulada Lessons ‘Tve Learned (las lecciones que he aprendido), que oftece la “sa- bidurfa” de las celebridades a la gente comuin y cortiente. De hecho, al examinar cualquier publicacién de los medios masi- vos, se puede encontrar amplia variedad de consejos vanos bajo dlencabezado de “lecciones aprendidas”. caminata en los La evaluacién y las lecciones aprendidas Presenté todo lo anterior para entrar en contexto. Sin ser una ac- tividad que se realice desde una torre de marfil (por lo menos, no ‘Scott Memillion, Mark ofthe grizly: True stories of recent bear atacs and the urd esos earned, Falcon Publishing Company, Helena, 1998. as Dromgoole, What cats teach us: Lifes lessons learned from our feline iend, Willow Creek Press, Minocqua, 2000. : sm Mat Rashid y Ron Ball, Considering the bor Tales of problems solved and le earned, Johnson Books, Boulder, 1993. ee Dromgoole, What dogs teach us; Lifes lesons larned from our bess s Willow Creek Press, Minocqua, 1999. fon ae fon 88 Gly, 12 eons om lif lard from my garden Spiritual ge "the vegetable patch, Rodale Press, Emmaus, 1997- Ee “Jim McCann, Stop and ell he rses, Random Houses NUS ONT abrt da 90% Love Il, Every shot I take: Lesons learned about go neh & Schuster, Nueva York, 1979. dat the mall, Findhorn Press lames Ty ze Tlearnee Mani 299172 Ten spiritual lessons I leat ee eplt Pat A sme to walk: Lif eons learned an the APPA ayecatons, Memphis, 2000. Collins, Nueva York, 1998 Gingrich, Lesons learned the hard way, Harpe: 259Michael Q. Patton. en primera instancia, aunque hay excepciones) ) la evaluacion se encuentra sujeta a la influencia de las tenden. cias, las €speranzas y las modas del mundo. Como suele suceder, Scriven Se ade. lanté a su tiempo cuando publicé Hard-Won Lessons in Pagan Evaluation (\ecciones aprendidas duramente sobre evaluacién de programas), que contiene una serie de oj piniones y preferen. cias personales, y aunque seguramente se califican de incisivas e importantes, no por ello dejan de ser personales, Por el contrario, Alkin, Hofstetter y Ai'’ han oftecido Lessons Learned i from Stake. holder Approaches (lecciones aprendidas desde los enfoques de los actores), basadas en la revisién que efectuaron sobre la investi- gacion y la teorfa. En su ntimero de otofio de 2000, la revista especializada American Journal, of Evaluation incluyd ejemplos de que la tendencia a producir informes sobre lecciones aprendidas adquiere cada vez mayor fuerza: Stufflebeam esctibié el articulo principal de ese ntimero, con el titulo Lessons in Contracting for Evaluation (lecciones detivadas de los contratos de evaluaciones), A éste siguié un escrito de Bullock y Ory sobre la evaluacién dela implementacién de tecnologia de la instruccién, que oftece tres paginas de lecciones aprendidas. Se presenté también el and- lisis de un caso ético que concluye con “Lessons” (lecciones).” Finalmente, el ntimero incluye la revision del libro Building Ef fective Evaluation Capacity: Lessons from Practice (formacién de capacidades efectivas de evaluacién: lecciones aprendidas en la practica).'* Como corresponde a una profesién que se mantiene al dia, la evaluacién ha dejado de producir solamente hallazgos M Michael Scriven, “Hard-won lessons in program evaluation”, New Direction for Program Evaluation, nim. 58, 1993. © Marvin Alkin etal, “Stakeholder concepts”, Advances in Educational Produc tivity, vol. 7, 1998, pp. 109-111. "6 Daniel Stufflebeam, “Lessons in contracting for evaluation”, American Jour- nal of Evaluation, vol. 21, 2000, pp. 324-326. "” Dennis Affholter, “Commentary: Serious problems?”, American Journal of Evaluation, vol. 21,2000, pp. 377-380. ** Patrick Grasso, “Building effective evaluation capacity: Lessons from pra tice”, American Journal of Evaluation, vol. 21,2000, pp. 385-387. 260slings del conocimintoy mejores prices yleccones apenas de gan calidad a cionados con programas especificos para avanzar hacia la nesacion de conocimiento. En la tercera edicién de Utiliza- tion-Focused. Evaluation (evaluacién centrada en la utilizacién),” afadi al menti de propésitos de evaluacién la generacién de co- nocimiento ¢ incorporé el concepto de lecciones aprendidas a lalista de los usos de la evaluacién; ninguno de esos términos aparecfa en ediciones anteriores. En el mismo afio, Chelimsky destacé tres propésitos de la evaluacién: rendicién de cuentas, de- sartollo de programas y generacién de conocimiento.” La evaluacién orientada al conocimiento Tanto las evaluaciones orientadas a emitir juicios como las orientadas a producir mejoras implican un uso instrumental de los resultados. Este ocurre cuando después de la evaluaci6n se produce, por lo menos en parte, una decisién o una accién. En cambio, el uso conceptual de los hallazgos se distingue del instrumental en que no se espera ninguna decisién 0 accién; Por el contrario, implica el uso de las evaluaciones para influir en las ideas y profundizar la comprensién con un incremento los conocimientos. Dichos conocimientos pueden ser tan ‘specificos como clarificar el modelo de un programa, probar ‘una teorfa, distinguir entre varios tipos de intervenciones, ideas Para medir impactos, las lecciones aprendidas o la presenta- on més detallada de alternativas de politicas. En otros casos, so conceptual resulta mds vago, de manera que los hallazgos Podkfan disminuir la incertidumbre, aclarar ee ene oe cae nicaeiSn y facilitar intereas Participantes, mejorar la comuni Pe eabe mbio de percepciones. En los primeros ¢ century text SNGE> en Eleanor handbook, “th, Michael Q. p, ep sions Thousand ¢ eee Utilicasion-forused evaluation: The hein of Chelimsky, “The coming transformat Se cn The Willian Shadish (eds.), Evaluation for tions in evaluation”, the 2ist century: A ‘sand Oaks, 1997, 261Michael Q. Patton la utilizacién, los usos antes mencionados se denigraban o se pasaban por alto; sin embargo, en afios recientes, se aprecian y valoran més. Las generalizaciones derivadas de la evaluacién se pueden filtrar al acervo de conocimientos que utilizan los participantes. La in- vestigacién empirica lo ha confirmado [...]. Los tomadores de decisiones creen firmemente que reciben la influencia de ideas y argumentos originados en la investigacién y la evaluacién. Los es- tudios de caso de evaluaciones y decisiones tienden a revelar que las generalizaciones y las ideas derivadas de la investigacién y la evaluacién ayudan a conformar el desarrollo de politicas. Este fe- némeno se ha llegado a conocer como “iluminacién’ [..., una idea cautivadora. La imagen de la evaluacién como agente que au- menta los vatios de luz en el Ambito de las politicas llena de gozo el coraz6n de los evaluadores.”* En sus argumentos, Shadish establecié que la comprensién obtenida de las evaluaciones deberfa contribuir a la formu- lacién de “macroteorias” sobre “cémo producir cambios sociales importantes” Por su parte, Scheirer sostiene que los evaluadores deberian recurrir y contribuir a la “teorfa de la im- plementacién”, para entender mejor el “qué y por qué de los entregables de los programas”. Los esfuerzos de esa naturale- za, que generan conocimiento, van més alld de centrarse en la efectividad de un programa en particular; se enfocan en el di- sefio de futuros programas y en la formulacién de politicas en general. 2* Carol H. Weiss, “Evaluation for decisions: Is anybody there? Does anybody iy en Marvin Alkin, Debates on evaluation, SAGE, Newbury Park, 1990, pp- 177, ® William Shadish, “Program micro- and macro-theories: A guide for social change”, en Leonard Bickman (ed,), Using program theory in evaluation, Jossey" Bass, San Francisco, 1987, ntim. 33, p. 94. song AY Ann Scheiter, “Program theory and implementation theory: Implici- tions for evaluators”, en Leonard Bickman (ed.), Using program theory in evaluation, Jossey-Bass, San Francisco, 1987, p.59. 262etext, gia el conacimints Mo pice y leone peda de rn Como el campo oe ha madurado y ha acu- mulado enorme cantidad de evaluaciones, ahora se ticne la oportunidad de examinar los hallazgos sobre programas espe- cificos para desarrollar generalizaciones sobre la efectividad y sobre el ejercicio que implica sintetizar los hallazgos de diferen- resevaluaciones. Ese tipo de “lecciones” constituye un ctimulo de sabiduria —de principios de efectividad o “mejores préc- icas"— que puede y; de hecho, debe adaptarse a programas ificos o incluso a organizaciones enteras. En el mundo de la filantropfa, una “evaluacién de conjun- to” examina varios donativos independientes, normalmente conel propésito de aprender lecciones sobre su efectividad. Un equipo de evaluacién de conjunto visita distintos proyectos de donatarias que persiguen un objetivo similar (por ejemplo, el desarrollo de liderazgos de base) y recurre a evaluaciones indi- viduales de los donativos para identificar patrones en comin ylecciones de todo el conjunto. La Fundacién McKnight en- carg6 una evaluacién de ese tipo, producto de 34 donativos independientes dirigidos a ayudar a familias pobres. Un ejem- plo de leccién aprendida fue que “los programas efectivos han desarrollado procesos y estrategias para determinar las fortale- 728 las necesidades de las familias que viven en pobreza”. Teles hallazgos de evaluacion generalizables, relacionados con los principios de programacién efectiva, se han conver- tido en la base de los conocimientos de nuestra profesion. Conocer los patrones de efectividad de los programas permite que los evaluadores ofrezcan pautas para cme eo 2s iniciativas, politicas y estrategias de implementacion- contrbuciones constnuyen el to conceptual de los hallazgos. Este tipo de esfuerzos podrfan considerarse eee ae que evaluacién; sin embargo, dicha investigacion es fundamen- te de cardcter evaluativo e importante para la profesion. ining, Michael Q. Patton etal, The McKnight Foundation aid Se the (tie: A mins of heme, panes and lesons kame Fundacin : op Cis, 1993, p10, 263Michael Q. Parton Lecciones aprendidas de gran calidad Como se mencioné antes, un problema comtin que SUrge Cuan. do una idea se vuelve muy popular (en este caso, la busqueda de lecciones aprendidas) es que la propia idea pierde sustancig y significado. Ricardo Millett —ex director de evaluacién de |g Fundacién W. K. Kellogg— y yo revisamos los tipos de “lec. ciones aprendidas” y “mejores practicas” que se ofrecian en los reportes de un conjunto de evaluaciones. Encontramos que las partidas clasificadas bajo esos términos generales eran tan amplias ¢ incluyentes que las frases carecian de significado con- sistente. Al usarlas tan extensamente, empezaron a aplicarsea cualquier tipo de reflexién, basada o no en evidencia. Comen- zamos a pensar en qué consistiria una “leccién aprendida de gran calidad” y decidimos que la confianza que se tiene en la posi- bilidad de exportarlao la relevancia extrapolada de una supuesta leccién aprendida se incrementaria si dicha leccién se susten- taraen fuentes multiples y en distintos tipos de aprendizaje. En la Evidencia 1, presentada mas adelante, se establece una lista de distintas clases de evidencias que se pueden acumular para sustentar una propuesta de leccién aprendida. Esta evidencia po- dria lograr que las lecciones ameritaran aplicarse y adaptarsea nuevos escenarios si se basaran en el apoyo triangulado e inde- pendiente de distintas perspectivas. En esa misma secci6n, S¢ enlistan preguntas para generar “lecciones aprendidas”. Entonces, las lecciones aprendidas de gran calidad re- presentan principios extrapolados de numerosas fuentes ¥ triangulados de manera independiente para aumentar su @ pacidad de exportarse como conocimientos acumulados © como hipétesis funcionales que se pueden adaptar y aplicar 2 nuevas situaciones. Son pragméticamente generalizables, por decirlo de alguna manera. Se deberia juzgar la validez inter na de cualquier fuente tinica de conocimientos en términos Jos criterios apropiados para ese tipo de conocimiento. Por!o tanto, la sabiduria de los profesionales y los estudios de eval” cién se podrian validar internamente de distintas formas. N° 264jo, gestion del conocimiento, mejores pricticas ylecconesaprenidas de gran cal bstantes cuando diferentes tipos y fuentes de conocimiento seconstituyen en un todo, y se triangulan y refuerzan entre si, coalescencia aumenta la probabilidad de validez externa, iad lo suficiente para justificar la designacién de buena prdc- tica triangulada o de leccién aprendida de gran calidad. Uno de los desafios que enfrentard la profesién de la eva- Juacién en el futuro sera incorporar cierto grado de rigor a las nociones populares de “lecciones aprendidas” y “mejores pricticas”. La importancia de este rigor aumenta en tanto la contribucién sustantiva de la evaluacién adquiere cada vez més retos: ya no sdlo realizar evaluaciones de calidad, sino generar conocimientos basados en la capacidad para sintetizar los ha- llazgos de distintos programas, mediante la identificacién de patrones de intervenciones efectivas. Es decir, una contribu- cién sustantiva implica la identificacién adecuada de buenas pricticas de disefio y la generacién de lecciones aprendidas a partir de programas efectivos en general. En el futuro, la situa- cién y la utilidad de nuestro campo podrian depender del rigor ydela integridad que incorporemos a esos desafios. Implicaciones para el futuro Me Parece que las implicaciones para la evaluacién son las si- Bulentes: J) como campo, mediante nuestras conferencias, © Contactos y revistas especializadas, deberiamos conti- nuat con el monitoreo del uso y del significado de los términos artiba analizados y de los relacionados con ellos; 2) deberia- ine cmablar un didlogo para analizar de qué manera podemos i denne tigor a esos conceptos populares; 3) deberiamos ciones mad €sperar hasta encontrar modelos excelentes de lec- esta, Pendidas de gran calidad para emularlas; 4) deberiamos Prof, giencién en especial a la manera en que afecta a nuestra még, aa haber dejado de ser primordialmente un depésito de ientos © evaluacié6n para convertirnos en uno de conoci- Sobre patrones genéricos de efectividad de programas. 265Michael Q Patton q Evidencia 1 Lecciones aprendidas de gran calidad Lecciones aprendidas de gran calidad: conocimientos que se ue. den aplicar a acciones futuras y que se pueden obtener a partir de una seleccién basada en ctiterios especificos: 1. Hallazgos de evaluacién (patrones detectados entre distin. tos programas). 2. Investigacién basica y aplicada. 3. Sabidurfa y experiencia de los profesionales obtenidas dela prdctica. 4. Experiencias reportadas por participantes, clientes o benefi- ciarios deseados de los programas. 5. Opiniones de expertos. 6. Vinculos y patrones interdisciplinarios. 7. Evaluacién de la importancia de la leccién aprendida. 8. Fortaleza del vinculo establecido para el logro de impactos. Por lo tanto, a mayor cantidad de fuentes que apoyen una “leccién aprendida”, mayor rigor habré en la evidencia que la sustenta; y a mayor triangulacién de fuentes de apoyo, mayor confianza podremos tener en la importancia de una leccién aprendida. Las lecciones aprendidas basadas en un solo tipo de evidencia se considerarian una “hipétesis sobre lecciones aprendidas”. Los casos reales de los que se obtienen la sabidurla practica y los hallazgos de evaluacién deben tener referencias cruzadas y estar contenidos en las lecciones aprendidas. Aqui uno de los principios cruciales es conservar el marco cont de las lecciones aprendidas, es decir, mantenerlas arraiga ae su contexto. Para promover el aprendizaje continuo, el ~ radica en seguir de cerca las supuestas aplicaciones ey las lecciones aprendidas, para as{ poner a prueba su sabidur ; relevancia al paso del tiempo, con acciones y escenarios e dad Preguntas para generar lecciones aprendidas de gr” 266ees imiento, las sin stn dl ono 1 joe pcs ines pend de yn liad ‘ uiere decir “leccién”? a Suiere decir “aprendida”? ‘Guid aprendié la leccidn? What dogs teach us: Life’ lessons learned from our best fies Willow Creek Press, Minoogu 1999. Cina Edge, “Strategic planner”, Executive Edge, 1998, p. 16. ele Lessons learned the hard way, Harper Collins, Oye efor 1998. ck, Vivian, 12 lesons on life I learned from my garden: Piritual guidance from the vegetable patch, Rodale Press, tus, 1997, 267Michael Q. Patton srasso, Patrick, “Building effective evaluation capacity, G sath trom practice”, American Journal of | Evaluation, vol.2), 2000. Love, Davis III, Every shot take: Lessons learned about golf, life anda futher’ love, Simon & Schuster, Nueva York, 19757" McCann, Jim, Stop and sell the roses, Random House, Nueva York, 1998. Mamillion, Scott, Mark of the grizzly: True stories of recent begy attacks and the hard lessons learned, Falcon Publishing Com. pany, Helena, 1998. Patton, Michael Q., Utilization-focused evaluation: The new century text, SAGE, Thousand Oaks, 1997. Parton, Michael Q. et al., The McKnight Foundation aid to fam. ilies in poverty initiative: A synthesis of themes, patterns and Lesons learned, Fundacién McKnight, Minedpolis, 1993. Plate, Jay; A sime to walk: Life lessons learned on the Appalachian Trail, Eagle Eye Publications, Memphis, 2000. Rashid, Mark y Ron Ball, Considering the horse: Tale of prob- Jems solved and lessons learned, Johnson Books, Boulder, 1993. Scheirer, Mary Ann, “Program theory and implementation theory: Implications for evaluators”, en Leonard Bickman (ed.), Using program theory in evaluation, Jossey-Bass, San Francisco, 1987. Scriven, Michael, “Hard-won lessons in program evaluation’, New Directions for Program Evaluation, num. 58, 1993. Shadish, William, “Program micro- and macro-theories: A guide for social change”, en Leonard Bickman (ed.), Using program theory in evaluation, Jossey-Bass, San Francisco, 1987. cs Stufflebeam, Daniel, “Lessons in contracting for evaluation » American Journal of Evaluation, vol, 21, 2000. ; ; L Twyman, James, Ten spiritual lessons I learned at the mall Findhorn Press, Miami, 2001. se? Weiss, Carol H., “Evaluation for decisions: Is anybody the Does anybody care?”, en Marvin Alkin, Debates on fon, sace, Newbury Park, 1990, 268