Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Original en idioma Ingls. Traducido por el Programa para el Fortalecimiento de la Capacidad Regional de
Seguimiento y Evaluacin de los Proyectos FIDA para la Reduccin de la Pobreza Rural en Amrica Latina y el
Caribe (PREVAL): www.preval.org
Traductora: Susana Carrera Risco: carrerarisco1@terra.com.pe
decisiones basada en datos. Esto incluye exponerlos a y capacitarlos en la lgica y los valores de
la evaluacin (Patton, 1997, p. 89), a fin de impulsar la transformacin de la organizacin en
una organizacin de aprendizaje, un ejemplo de lo que yo he llamado el uso del proceso de la
evaluacin. ste ltimo trmino significa ayudar al personal de las organizaciones a aprender a
pensar evaluativamente, a fin de incorporar la evaluacin en la cultura institucional y participar
en la evaluacin como parte del proceso de desarrollo organizacional permanente (Patton, 1997,
pp. 87-113).
En segundo lugar, dado que los programas y proyectos suelen estar inmersos en contextos
organizacionales ms amplios, mejorar los programas y proyectos puede estar ligado a - e
incluso depender de - la posibilidad de cambiar las organizaciones de las cuales forman parte.
John Brandl, actualmente Director del Humphrey Institute of Public Affairs de la Universidad
de Minnesota, postul esta idea hace una dcada, en su discurso inaugural frente a la Asociacin
Americana de Evaluacin en Nueva Orleans en 1988. Focalizando su discurso especialmente en
la efectividad de los programas estatales, sostuvo que los evaluadores/as necesitaban examinar,
entender y evaluar las formas en que el ser parte de burocracias ms amplias afectaba la
efectividad de los programas y proyectos. Continu sugiriendo que los factores que afectaban la
motivacin del personal, la eficiencia de los procesos programticos y los incentivos para lograr
resultados se encontraran en el nivel organizacional ms que en nivel de los programas o
proyectos. En consecuencia, mejorar un programa pasa necesariamente por desarrollar una
mayor efectividad organizacional. Este punto amerita una mayor elaboracin, que intentar por
medio de un ejemplo y una revisin de los datos que lo sustentan.
INTERCONEXIONES SISTMICAS ENTRE NIVELES Y UNIDADES DE ANLISIS
En 1993 dirig un ejercicio de sntesis evaluativa cuyo objetivo era identificar los temas
centrales, patrones y lecciones aprendidas que tuvieran en comn las experiencias y
evaluaciones individuales de 34 programas de Asistencia a Familias en la Pobreza (AFP)
impulsados por la Fundacin McKnight en Minneapolis. El equipo de sntesis estaba formado
por cinco analistas. Yo tena la responsabilidad general de la integracin temtica, mientras que
mis cuatro colegas evaluadores se ocupaban principalmente de integrar los hallazgos de las
cuatro reas cluster (conglomerados) de la iniciativa AFP: empleo; pautas de crianza efectivas /
estabilidad familiar; atencin y cuidado infantil; y programas integrales de lucha contra la
pobreza.
Nuestro proceso de anlisis se inici con una revisin de los hallazgos especficos de las
evaluaciones de los proyectos individuales. Acto seguido, empezamos a buscar patrones
comunes a los diferentes proyectos. Examinamos patrones tanto en trminos de resultados entre
los participantes como de ejecucin de los proyectos. Descubrimos que los proyectos efectivos
tenan algunas caractersticas comunes, entre ellas las siguientes:
Los proyectos efectivos respaldan la receptividad del personal, manteniendo una actitud
flexible y otorgndole discrecin para acometer cualesquier medidas que pudieran
ayudar a los participantes a salir de la pobreza.
Los proyectos flexibles y receptivos afectan a los sistemas ms amplios de los cuales
forman parte, al empujar los lmites, arreglos, normas, procedimientos y actitudes que
interfieren con su capacidad para trabajar de una manera flexible y receptiva y por lo
tanto efectiva con los participantes.
Desde luego, la importancia para la efectividad de los proyectos de factores tales como la
individualizacin, la receptividad, la flexibilidad y el empoderamiento no era exclusiva de esta
iniciativa de apoyo a familias en la pobreza. De hecho, a medida que dichos temas iban
emergiendo de la informacin, nos llam la atencin el grado al que reforzaban la sabidura
existente acerca de cmo optimizar el trabajo con la poblacin, dirigir organizaciones efectivas e
impulsar el desarrollo de la comunidad (Schorr, 1988). Lo que resulta de inters para nuestros
fines en el marco del tema que nos ocupa es el grado al que observamos una interconexin entre
dichos patrones a distintos niveles, tanto operativos como en trminos de impacto.
Un hito importante en nuestra sntesis tuvo lugar cuando entendimos que la cultura de un
proyecto y la cultura institucional se encontraban sistmicamente interrelacionadas. En trminos
ms generales, los cambios en los participantes, el personal, los programas, las organizaciones
de desarrollo, las polticas pblicas y el entorno de la pobreza se encontraban interconectados y
se influenciaban mutuamente. Descubrimos una coherencia en el significado y la direccin de
los patrones a estos distintos niveles de anlisis. Los sistemas estn formados por elementos
interdependientes, de modo tal que un cambio en un elemento afecta a los dems elementos, as
como a todo el sistema. Al examinar los patrones de la iniciativa AFP comunes a los proyectos y
organizaciones anfitrionas, establecimos que la forma en que las personas son tratadas afecta a
su vez la forma en que ellas tratan a otros:
Como ya hemos indicado arriba, descubrimos que los proyectos efectivos subrayaban la
importancia del trabajo individualizado, receptivo y respetuoso con las familias en la pobreza.
Pero tambin descubrimos que el personal en general no poda (o no quera) mostrarse receptivo
ni solidario a nivel individual si formaba parte de entornos organizacionales rgidos y
burocrticos. Descubrimos que los miembros del personal tendan a tratar a los participantes de
la misma manera en que ellos/as eran tratados como profesionales al interior de sus
organizaciones. Si la administracin y el entorno del programa eran rgidos, se aferraban a las
normas y mantenan una actitud punitiva, el personal tenda a ser rgido, aferrarse a las normas y
culpar a los participantes. Si el entorno y la administracin del programa eran flexibles,
receptivos, afectuosos y solidarios, el personal que operaba dentro de ese entorno mostraba una
mayor tendencia a interactuar con los participantes de una manera receptiva, afectuosa y
solidaria.
Bajo los auspicios del Consejo sobre Fundaciones de Minnesota y el Foro de Liderazgo sin
Fines de Lucro (un grupo que impulsa el liderazgo de ejecutivos/as de organizaciones sin fines
de lucro), hemos desarrollado Laboratorios de Aprendizaje sobre Resultados para Lderes,
dirigidos a ejecutivos/as y financistas de organizaciones sin fines de lucro. Esta iniciativa de tres
aos de duracin est siendo apoyada por la Fundacin McKnight, que nos ha puesto a
disposicin a un facilitador a tiempo completo (un ex ejecutivo de una organizacin). Cada
mdulo del Laboratorio sobre Resultados consiste en un compromiso de seis meses de aprender
haciendo por parte de los ejecutivos/as y altos directivos/as de organizaciones. Yo ejerzo la
funcin de consultor sobre resultados y aprendizaje adulto, y facilito la jornada completa inicial
de capacitacin. Luego de un taller inicial de un da de duracin sobre resultados, evaluacin,
aprendizaje institucional y cambios sistmicos, se forman pequeos grupos de laboratorio, que
se reunirn en 10 sesiones de tres horas cada una durante los seis meses siguientes. Los
participantes de los laboratorios son una combinacin de ejecutivos/as del rea de servicios
humanos y financistas de organizaciones sin fines de lucro (por ejemplo, ejecutivos/as del
gobierno, funcionarios/as pblicos, ejecutivos y personal de organizaciones filantrpicas). Cada
participante de un laboratorio, ya sea ejecutivo/a o financista de una organizacin, tiene que
acometer algn tipo de proyecto basado en resultados en su organizacin. Estos proyectos de
cambio organizacional constituyen el foco de las interacciones, anlisis y discusiones del
laboratorio. El profesional a cargo de los laboratorios facilita todos los grupos. Los participantes
aprenden a explorar temas en profundidad a travs del cuestionamiento profundo, la certeza
sobre el contexto y la realizacin de anlisis sistmicos, antes de enfrascarse en la bsqueda de
soluciones entre ellos. En un perodo de seis meses dado, 100 participantes toman parte en el
proceso de laboratorio, divididos en 10 grupos pequeos. Al trmino de los seis meses,
celebramos un taller de clausura. La mayora de los grupos contina reunindose por su cuenta.
El proyecto cuenta con financiamiento para tres aos, en que se tiene previsto realizar seis
secuencias, de manera tal que al trmino de dichas secuencias 600 ejecutivos/as y financistas
habrn pasado por los Laboratorios de Aprendizaje sobre Resultados. Esta oportunidad se ofrece
sin costo econmico alguno para los participantes, pero a condicin de que se comprometan a
asistir a todas las sesiones. Estos laboratorios han sido diseados especialmente para
desmitificar resultados, desarrollar sofisticacin respecto de la ejecucin de la evaluacin a nivel
de toda la organizacin y elevar el compromiso de la comunidad frente a la evaluacin
permanente. Las advertencias sobre el uso equivocado de la medicin de los resultados y el
monitoreo del desempeo forman parte de los talleres y laboratorios, al igual que ejercicios para
examinar teoras del cambio y modelos lgicos como parte del pensamiento y la evaluacin
orientados a resultados. Adems, los laboratorios cuentan con movers y shakers2 clave, que
realizan efectivamente evaluaciones de resultados. Un objetivo central de los laboratorios ha
sido promover el mensaje de que la gestin y evaluacin de resultados son funciones de
liderazgo entrelazadas, que se refuerzan mutuamente. sta es la razn por la cual los
laboratorios han elegido como grupo objetivo a ejecutivos/as y altos directivos/as. Nuestra
estrategia ha residido en colocar los resultados en la agenda de la comunidad, obteniendo el
compromiso de los lderes y ayudndolos a sentirse cmodos con - y conocedores de - la gestin
de resultados como una funcin de liderazgo. El proyecto aspira a desarrollar una masa crtica
de lderes informados y hacer de sta una experiencia prestigiosa (y por lo tanto atractiva) para
lderes de organizaciones sin fines de lucro, altos funcionarios/as estatales y ejecutivos/as de
sociedades filantrpicas. Un tema central es la evaluacin como liderazgo orientado a
resultados y al examen de realidad.
La mayora de los tratados que se han escrito sobre evaluacin interna presuponen la existencia
de una unidad separada o un cargo especializado con la responsabilidad de efectuar
evaluaciones. Desde la perspectiva del desarrollo organizacional, sin embargo, resulta ms
efectivo y sostenible enfocar la evaluacin como una funcin del liderazgo de todos los
gerentes/as y directores/as de programas de la organizacin. La persona responsable de
evaluacin interna ejerce por consiguiente una funcin de facilitacin, recurso y capacitacin, en
apoyo de los gerentes/as, en vez de invertir tiempo en realizar las evaluaciones en s. De acuerdo
con este esquema, cada gerente/a recibe capacitacin para aprender a incorporar la evaluacin
orientada a resultados en los procesos permanentes de logro de los objetivos programticos y
cumplimiento de la misin de la institucin. La medicin del desempeo est ligada a los
sistemas de informes y presupuestacin. Las llaves para hacer que este enfoque de evaluacin
2
Un mover es un dinamizador, catalizador, organizador o facilitador, es decir, una persona que "mueve" (organiza,
facilita, cataliza) cosas (recursos humanos y materiales, etc.) para convertir en procesos ideas o iniciativas y
as obtener resultados concretos. Un shaker, en contraste con lo anterior, es una persona cuestionadora,
innovadora, que formula ideas novedosas y originales, lo que permite a una organizacin crecer y desarrollarse. No
se preocupa por los procesos; suele ser un mal organizador / facilitador, pero abre caminos nuevos. Es una persona
que por lo general est en la "frontera" y, como tal, no es muy querido por los burcratas (N.T.).
interna funcione son, a mi parecer, triples: (1) la medicin del desempeo orientada a resultados
pasa a ser definida como una funcin del liderazgo de cada gerente/a, y no solamente como una
funcin de presentacin de informes a ser delegada al escaln ms bajo posible dentro del
departamento; (2) la responsabilidad general por el uso de la evaluacin reside en los niveles
ms altos de la institucin, en el equipo de gerencia y la junta de directores; y (3) el evaluador/a
interno tiene la responsabilidad explcita de impulsar el aprendizaje institucional y el desarrollo
organizacional, y no solamente de producir informes. Este ltimo aspecto es especialmente
importante dado que en tantos casos la evaluacin interna se delega a niveles relativamente
bajos de las organizaciones, y se maneja como una funcin de presentacin de informes, en
ocasiones incluso clericales. De hecho, recibir el encargo de realizar una evaluacin a menudo
constituye una forma de castigo que utilizan los directores/as de las organizaciones de
desarrollo, o una forma de mantener ocupados a miembros intiles del personal con una tarea
carente de sentido. Est claro que, para que los evaluadores/as internos sean tiles y crebles,
tienen que tener una posicin alta al interior de la organizacin, as como poder real para dotar
de sentido a la evaluacin.
La elevacin del estatus de la evaluacin tal como se indica arriba tiene posibilidades ptimas de
ocurrir cuando la evaluacin se concibe como una funcin de liderazgo, antes que como una
tarea de bajo nivel de gestin de datos. Los Laboratorios de Aprendizaje sobre Resultados para
Lderes, en consecuencia, identifican y enfatizan cuatro funciones para un liderazgo orientado a
resultados y al examen de realidad. En este contexto, la evaluacin se convierte en una
responsabilidad de la alta gerencia, que la utiliza para tomar decisiones, antes que en un
ejercicio de recoleccin de datos para fines de presentacin de informes internos rutinarios.
Hacer que la medicin de los resultados sea un ejercicio reflexivo y creble y que tenga
sentido;
Utilizar los resultados y al mismo tiempo servir de modelo para que otros hagan un uso
serio de los resultados.
LECCIONES APRENDIDAS
El problema es que toda clase de tonteras pasa por lecciones aprendidas (incluyendo una buena
cantidad generada por evaluaciones de clusters). Yo regularmente me encuentro con toda clase
de listados no diferenciados ni priorizados de supuestas lecciones aprendidas, pocas de las
cuales estn acompaadas de evidencia emprica. Una de ellas consiste en amonestar al personal
para que empiece las reuniones a tiempo. La siguiente pontifica acerca de mantenerse
focalizados en la misin institucional. Y el siguiente sermn se refiere a dar importancia a los
incentivos. En este momento estoy trabajando con varios/as colegas (entre ellos Ricardo Millett
y Kathy Zurker, de la Fundacin Kellog) y organizaciones en lo que estamos llamando lecciones
aprendidas de alta calidad, es decir, el conocimiento derivado de una seleccin basada en
criterios especficos, por ejemplo:
La idea es que, cuanto mayor sea el nmero de fuentes que sustenten una leccin aprendida,
cuanto ms rigurosa sea la evidencia de respaldo, y cuanto mayor sea la triangulacin de las
fuentes de respaldo, tanto mayor confianza se tendr en la importancia y la relevancia de una
leccin aprendida. Las lecciones aprendidas que cuenten con apenas una clase de evidencia de
10
respaldo seran consideradas, dentro de este modelo, como hiptesis de lecciones aprendidas.
Los casos reales de los cuales se ha extrado tanto sabidura prctica como hallazgos de una
evaluacin se encontrarn anidados en lecciones aprendidas, con las cuales se habr
establecido, adems, vnculos. Un principio fundamental aqu es mantener el marco contextual
de las lecciones aprendidas, es decir, mantener las lecciones aprendidas vinculadas a su
contexto. Para un aprendizaje permanente, el truco radica en dar seguimiento a las supuestas
aplicaciones futuras de las lecciones aprendidas, a fin de probar su sabidura en accin. Yo me
reno ahora cada tres meses con funcionarios/as de alto nivel y de campo de algunas
organizaciones, con el fin de ayudarlos a identificar y probar lecciones aprendidas. Estos
encuentros son vistos como sesiones de desarrollo organizacional y de recursos humanos,
aunque mi funcin se centra en mantener la discusin focalizada en el pensamiento evaluativo
as como en referentes empricos para lecciones hipotetizadas.
USO DEL PROCESO
Pensar en trminos de lo que es claro, especfico, concreto y observable no es algo que le fluya
fcilmente a la gente que se encuentra a sus anchas en, e incluso depende de, la vaguedad, las
generalidades y las creencias no probadas como base para la accin. Dichas personas
constituyen la mayora. Quienes practican la lgica de la evaluacin son una pequea minora.
11
La buena noticia es que nuestra forma de pensar, una vez experimentada en carne propia, suele
ser altamente valorada. Eso es lo que genera la demanda de nuestros servicios. Aprender a ver el
mundo como lo ve un evaluador/a con frecuencia tiene un impacto duradero en los y las que
participan en una evaluacin un impacto que puede ser ms profundo y duradero que los
hallazgos que resulten de esa misma evaluacin. El uso del proceso se refiere entonces - y se
manifiesta en - los cambios tanto personales como grupales en trminos de pensamiento y
comportamiento - as como los cambios programticos o institucionales en materia de
procedimientos y cultura - que se generan entre quienes participan en una actividad de corte
evaluativo (independientemente de si se le conoce bajo dicho nombre o no), como resultado del
aprendizaje que ocurre durante dicha actividad. La evidencia del uso del proceso se refleja en
afirmaciones como la siguiente, formulada luego de una evaluacin: El impacto sobre nosotros
provino no tanto de los hallazgos que generamos sino del hecho de transitar por el proceso de
raciocinio que exiga el trabajo de desarrollo.
EVALUACIN DEL DESARROLLO
Yo introduje el trmino evaluacin del desarrollo (Patton, 1994) para describir ciertas
relaciones o alianzas a largo plazo con clientes que estn a su vez inmersos en procesos de
desarrollo programtico u organizacional. Estos clientes me incorporan en su proceso de toma
de decisiones, como parte de sus equipos de diseo, porque valoran la lgica y el rigor
conceptual del pensamiento evaluativo, as como el conocimiento que he extrado acerca de
programas efectivos basados en la sabidura acumulada de la evaluacin. Mi funcin consiste en
hacer preguntas evaluativas y someterlas a la prueba del fuego del examen de realidad. Si bien
es cierto que se recogen y utilizan datos de evaluacin como parte del proceso de desarrollo
organizacional permanente, por otra parte, y muy por encima y ms all del uso de los
resultados, estos decisores orientados al desarrollo desean que sus ideas sean examinadas bajo la
fulgurante luz de la lgica de la evaluacin.
Los programas orientados al desarrollo tienen como propsito la nocin general, a veces vaga,
del desarrollo permanente. El proceso es el resultado. Evitan decididamente las metas claras,
especficas y mensurables porque la claridad, la especificidad y la mensurabilidad son factores
limitantes. Han identificado un asunto o problema y desean explorar algunas soluciones o
intervenciones potenciales, pero son conscientes de que el punto donde terminen ser diferente
para cada participante y que los propios participantes deben cumplir un papel central en la
12
fijacin de las metas. Los lderes de las organizaciones aprenden a observar dnde se encuentran
en diversas etapas a lo largo de una travesa y realizan ajustes basados en el dilogo acerca de lo
que es posible y deseable, aunque los criterios para establecer lo que es deseable pueden
depender en gran medida de la situacin y estn siempre sujetos a modificacin.
Hicimos lo que mejor sabamos hacer, con lo que sabamos y los recursos con
que contbamos. Ahora nos encontramos en otro lugar de nuestro desarrollo
haciendo y pensando cosas diferentes. Eso es desarrollo. Eso es cambio. Pero
no es necesariamente mejora.
Los programas de desarrollo requieren una evaluacin del desarrollo en la cual el evaluador/a
pase a formar parte del equipo de diseo que est ayudando a forjar lo que est pasando, tanto en
trminos de procesos como de resultados, en un entorno en evolucin y de rpido cambio,
13
Confo en que, a estas alturas, el lector/a habr concluido que mi funcin de evaluacin en cada
iniciativa de desarrollo organizacional aqu tratada supuso un grado de compromiso que
trascenda la recoleccin e interpretacin independiente de datos, que tradicionalmente ha
definido las funciones de una evaluacin. Las lneas divisorias entre evaluacin y desarrollo
empezaron a desdibujarse a medida que empec a trabajar con los clientes de manera
colaborativa y en equipos. En mi experiencia, estas relaciones han sido sustancialmente distintas
a las evaluaciones de corte ms tradicional que efectuaba en una etapa ms incipiente de mi
prctica profesional. He asumido un papel ms desarrollista.
Una reaccin que he recibido de colegas es que los ejemplos que he compartido arriba no
constituyen para nada evaluaciones, sino ms bien iniciativas de desarrollo organizacional. No
voy a rebatir este punto de vista. Existen argumentos slidos para definir la evaluacin en
trminos estrechos, a fin de distinguir las iniciativas genuinamente evaluativas de otras formas
organizacionales de perder el tiempo. Sin embargo, en cada uno de los ejemplos que he citado
y hay muchos otros ms tanto mi participacin como mi identidad y mi funcin fueron
considerados evaluativos por las personas con las cuales estuve trabajando (y que me pagaban).
No existieron las pretensiones de independencia externa. Mi papel vari, de facilitador de una
14
evaluacin a miembro pleno del equipo. En ningn caso mi funcin consisti en presentar
informes externos y rendir cuentas.
La evaluacin del desarrollo ciertamente entraa un rol que va ms all del rol del simple
evaluador/a, pero la incluyo entre las cosas que los evaluadores/as podemos hacer porque el
desarrollo organizacional es un uso legtimo de los procesos de evaluacin. Lo que perdemos en
trminos de claridad y pureza conceptual al prescindir de una definicin de evaluacin estrecha,
focalizada nicamente en juzgar el mrito o el valor, lo ganamos en apreciacin de la experticia
en evaluacin. Cuando Scriven (1995) advierte que nos abstengamos de cruzar la lnea divisoria
entre emitir juicios de valor y ofrecer asesora, creo que subestima el valioso rol que los
evaluadores/as pueden desempear en el diseo y el desarrollo organizacionales a partir del
conocimiento cumulativo. Parte de mi valor para un equipo de diseo es que yo aporto una
reserva de conocimiento (desarrollada a lo largo de muchos aos de prctica y de la lectura de
un cuantioso nmero de informes de evaluacin) acerca de los tipos de cosas que tienden a
funcionar y dnde anticipar problemas. Como profesionales de la evaluacin, sabemos un
montn acerca de patrones de efectividad, creo y sabremos ms a medida que transcurra el
tiempo. Ese conocimiento nos convierte en contrapartes y facilitadores/as valiosos en las
iniciativas de desarrollo organizacional. Cruzar dicha lnea divisoria, sin embargo, puede reducir
la independencia del juicio. Los costos y beneficios de un cambio de roles de esas caractersticas
tienen que ser debatidos, reconocidos y evaluados abiertamente.
15