P. 1
Cuaderno de Trabajo Taller 5 Proyectos Sociales Version Actualizada 2011

Cuaderno de Trabajo Taller 5 Proyectos Sociales Version Actualizada 2011

|Views: 745|Likes:
Publicado porOtto Edvin
Cuaderno de trabajo, para comprender el proceso de monitoreo y evaluación de programas y proyectos sociales
Cuaderno de trabajo, para comprender el proceso de monitoreo y evaluación de programas y proyectos sociales

More info:

Published by: Otto Edvin on Jul 20, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

12/28/2012

pdf

text

original

CUADERNO DE ESTUDIO SEMIPRESENCIAL

Fuente plaza central San Andrés Itzapa, Chimaltenango

TALLER 5: PROYECTOS SOCIALES II
Lic. Otto Edvin Arenales Callejas oearenales@yahoo.com

0

INTRODUCCIÓN
Actualmente es creciente la preocupación existente en el sector público, privado y de la Cooperación Internacional en relación a conocer la eficiencia y eficacia de los resultados u objetivos obtenidos en los proyectos sociales; situación que a partir de la década de los años noventa ha llevado a todos a orientar y centrar esfuerzos ya no sólo en la formulación de los programa y proyectos sociales sino, también, en los aspectos de evaluación formativa y sumativa de los mismos. Desde ésta perspectiva, muchos organismos internacionales han dedicado esfuerzos en generar concepciones, metodologías para la implementación de estos procesos. La evaluación esta dirigida a contribuir en la toma de decisiones en la gestión de proyectos, para mejorar las intervenciones, superar las limitaciones y aprender de las lecciones y experiencias que nos dejan. Su importancia radica en ello y no debe confundirse con los procesos de información, rendición de cuentas y auditoria. Son cosas muy distintas, aunque la mayor parte de las veces, complementarias. La evaluación también es una forma de brindar componentes esenciales para un buen desarrollo de las actividades comunitarias que se llevan a cabo a través de proyectos que buscan el mejoramiento de la calidad de vida de un gran número de personas, Se presenta a continuación un cuaderno de estudio semi presencial sobre la evaluación de programas de gestión social, de manera práctica, para que el lector y estudioso del tema, pueda navegar con orientación dentro del mar de información disponible en relación con el tema. Se trata de proporcionar elementos para hacer una evaluación no solo cuantitativa, sino cualitativa, además de los logros obtenidos y el impacto causado por cualquier tipo de proyecto social. El presente cuaderno se construye de una forma sencilla y ágil para que todas aquellas personas que trabajan o estudian la forma de realizar una evaluación de proyectos, cuenten con herramientas que les faciliten su labor y aprendizajes. Este cuaderno fue preparado, pensando en las personas que desean aprender más sobre el control y la evaluación de su trabajo. Está fundamentado en un trabajo de recopilación bibliográfica, así como en años de experiencia facilitando procesos de evaluación de proyectos sociales. Muchos y muchas utilizan ya métodos de seguimiento como parte de su trabajo en el área de desarrollo. Otros muchos utilizan métodos de evaluación y realizan levantamientos, principalmente antes de iniciar un nuevo proyecto o programa, o de ampliar o mejorar uno que ya se encuentra en marcha. Por otro lado, muchas personas tienen poca preparación o poca experiencia en lo que a control y evaluación se refiere. Lo que todas estas personas tienen en común es que están involucradas en los más diversos programas de desarrollo rural y urbano; trabajan, por ejemplo, en el campo de la salud, del desarrollo comunitario, de la educación de adultos o de agricultura. Participan en esos programas personas con diferentes niveles de educación y experiencia. Se pueden encontrar personas con poco o ningún nivel de escolaridad. Se pueden encontrar personas altamente calificadas. Sin embargo, tienen algo en común: trabajan juntas en un mismo programa y necesitan brindar seguimiento y evaluar un trabajo conjunto. Muchos, principalmente los que trabajan directamente en contacto con una comunidad, manifiestan la urgente necesidad de un apoyo como la presente herramienta gerencial. Creen que gran parte de las técnicas de seguimiento y evaluación existentes complejas, caras e inadecuadas a las condiciones reales en las que viven y trabaja, por lo que acá se presentan una serie de técnicas participativas que se espera faciliten esa labor de seguimiento y evaluación.

Otto Edvin Arenales C.

1

CRÉDITOS BIBLIOGRÁFICOS
Es importante indicar que la compilación de las lecturas del presente cuaderno de trabajo, han sido tomadas de los documentos y páginas Web, descritas a continuación:

Referencias bibliográficas
1. Aguilar Idáñez, M. J. y E. Ander Egg. 1,985. Diagnóstico Social. Argentina: Lumen. 2. Berum Milburn, Jaqueline. Monitoreo y evaluación de proyectos. Cuadernos de cooperación para el desarrollo. Escuela Latinoamericanda de cooperación y desarrollo. Colombia 2,010-.Cohen Ernesto, Martínez Rodrigo. Formulación, monitoreo y evaluación de proyectos sociales. CEPAL. 3. INDES. Banco Mundial. Material curso monitoreo y evaluación. 2,008. 4. Stockmann Reinhard. Evaluación y desarrollo de la calidad. Costa Rica. 2,006. 5. Vásquez, Enrique Aramburú, Carlos E. Figueroa, Carlos. Gerencia Social. Diseño, Monitoreo y Evaluación de Proyectos Sociales. Lima, Perú. 2006.

Webgrafía
http://www.unfpa.org/monitoring/toolkit.htm http://www.siempro.gov.ar/ http://www.paho.org/spanish/hpp/hpf/adol/monitoreo.htm http://www.observacoop.org.mx/docs/Dec2009/Dec2009-0027.pdf http://www.impactalliance.org/ http://www.comminit.com/es/node/309740 http://www.stepstoolkit.org/

2

PRIMERA SEMANA UNIDAD I: Fundamentos conceptuales TEMA 1 Un marco conceptual para la evaluación de programas y proyectos sociales Objetivos de la semana
Al finalizar el estudio de la primera semana las y los estudiantes…. • Reconocen la importancia de los principales conceptos relacionados con el monitoreo y la evaluación de políticas, programas y proyectos sociales.

LECTURA
Tomada de: http://escuelahistoria.fcs.ucr.ac.cr/contenidos/ http://bibliotecavirtual.clacso.org.ar/ar/libros/secret/capital/08cap6.pdf

Conceptos básicos para el éxito o fracaso de proyectos de desarrollo.
El éxito o el fracaso de los proyectos de desarrollo, rara vez puede ser explicado por una sola causa. Las condiciones estructurales de un proyecto y los factores que pueden ser influenciados por las decisiones y actuaciones de los grupos involucrados en su ejecución, juegan un papel de gran importancia. Entre los instrumentos más importantes en materia de planificación y ejecución de proyectos, se encuentra el M&E, que es un “instrumento de gestión de proyectos que proporciona los elementos indispensables para llevar a cabo la conducción del mismo, basándose en la planificación del proyecto”.

Gestión.
El concepto de Gestión sería el de dirigir personas en un sistema dinámico de análisis, decisión y comunicación de manera que se logren objetivos por la actuación planificada, organizada y controlada (Definición del Comité Europeo para la Capacitación en gestión). El sistema de gestión equivale al término en inglés: "Management". Otro término relacionado conceptualmente, pero con otras connotaciones es la "Gerencia". Cuando se habla del "sistema de gestión", se refiere a un conjunto de elementos que constituyen funciones institucionales y se inter-relacionan entre sí de manera dinámica. Los "sub-sistemas" de un sistema de gestión son: definición de objetivos, planificación, organización, direcciónejecución y monitoreo (seguimiento) y evaluación, además de los procesos de comunicación-análisisdecisión. (Ver gráfico No.1) Algunos conceptos que se enuncian a continuación den ser de apoyo para la comprensión del sistema gestión y como partes del sub-sistema de M&E: a) Seguimiento: Es el examen continuo de la ción de las actividades para asegurar que progresen acuerdo con la planificación trazada, analizando, aplicación de insumos; los cronogramas trabajo y logro de los productos esperados conforme a los cadores establecidos y otras acciones necesarias permitan medir los efectos. puede cude la el indique

3

b) Control de Actividades: Del inglés: "Controlling" - término utilizado en la administración de empresas, que implica: "la comparación permanente entre la norma, por ej. de una planificación (pauta de la planificación) y de su realización/ejecución práctica; el análisis de divergencias y la introducción de medidas de corrección". c) Monitoreo: En instituciones de fomento al desarrollo, el monitoreo corresponde al "controlling" de la administración. Es la observación continua, tanto del funcionamiento de las actividades de la institución en el contexto del calendario de implementación, como del uso de los insumos por los grupos meta en el contexto de las expectativas proyectadas. Dentro de las funciones de la gestión institucional, es tarea interna de la instancia superior ó normativa, definida internamente como la responsable para la ejecución. (si es externo: "Supervisión"). Esta información es recogida periódicamente y se dirige a los responsables superiores de la ejecución del proyecto con dos finalidades: suministrar información procesada o retroalimentada a la dirección o gerencia para perfeccionar los planes operativos y adoptar correctivos en la ejecución; así como para establecer las referencias para la evaluación. En el Monitoreo se califica lo siguiente: • Comparación de las actividades y productos reales en relación a lo pretendido. • Oportunidad de las operaciones. • Relación entre actividades, insumos y productos. • Efectos e impacto. Todo esto se logra, siempre y cuando: • La planificación sea correcta y válida. • Los indicadores son precisos en la planificación • La ejecución de las actividades se trabaja en equipo y con sinergias. • Se puede observar, sistematizar, documentar la relación entre actividades, insumos y productos. Monitoreo financiero Los programas o proyectos implican el uso de insumos y recursos humanos con costos establecidos. En la fase de planeación se determina el presupuesto base del programa que incluye rubros como personal, equipos y materiales, espacios e instalaciones, viajes, entre otros. Para el control presupuestal existen herramientas financieras como los flujos de caja, ingresos y egresos mensuales. El monitoreo financiero, al igual que otros sistemas de monitoreo puede ser analizado según su capacidad de respuesta o adaptación, por cuatro criterios centrales: Existencia de datos: En esta área abunda la información ya que es la más controlada y sometida a sanciones administrativas e incluso legales. Periodicidad: El control se expresa en ingresos y egresos con base en cuentas anuales, mensuales e incluso diarias. Tipos de datos: Es una información de carácter secundario, registrada con fines administrativos, centrada en el control de caja, ítem usual de todo seguimiento de presupuesto. Influencia en la toma de decisiones: El monitoreo financiero es muy sensible a la toma de decisiones, por la dependencia central que tiene un programa o proyecto de la disponibilidad oportuna de recursos. Monitoreo administrativo. Es importante evaluar el contexto institucional y las regulaciones o trámites de la organización que acoge el programa. La evaluación conlleva el cumplimiento de los criterios administrativos racionales (pasos internos) de ajuste de desempeño a la descripción del cargo, niveles de productividad aceptables o mínimos, sujeción a estatutos administrativos o de contrato. El monitoreo administrativo permite detectar las posibles necesidades de cambio organizacional. Existencia de datos: Los datos del monitoreo administrativo son los que generalmente registra la oficina de personal de las instituciones: descripción de cargos, cumplimiento de funciones, asistencia, tareas realizadas y evaluación de cargos.

4

Periodicidad: Es continua en el control de deberes y discontinua en mediciones de autoevaluación de cargos. Tipos de datos: Son de carácter secundario (control de asistencia, de tareas entre otros). d) Evaluación. Es el proceso encaminado a determinar y valorar sistemáticamente, objetivamente y periódicamente la relevancia, funcionamiento, eficiencia, eficacia e impacto de todas las acciones en el contexto de los objetivos establecidos. Normalmente incluye comparaciones, que requieren de información del contexto/del ámbito externo del proyecto, en tiempo, áreas, población, etc. La evaluación se ocupa de quién o qué grupo se ha beneficiado (ó ha sido adversamente afectado), en qué cuantía (en comparación con la situación imperante antes de la actividad de que se trate), de qué manera (directa ó indirectamente) y por qué (estableciendo en la medida de las posibles relaciones causales entre las actividades y los resultados). Dentro de la gestión institucional, la evaluación es el cuestionamiento, la revisión y la adecuación de la planificación y de las realizaciones. Se realiza interna y externamente, antes de la ejecución, examinando la planificación: "Evaluación ex-ante"; durante la ejecución, para analizar si las hipótesis y supuestos de la evaluación ex-ante siguen válidos, a fin de introducir ajustes: "Evaluación continua" (Interna y/o externa); y al concluir la ejecución, para valorar el logro de los efectos y el impacto: "Evaluación fin de proyecto". También se realiza años después de terminar las actividades, para obtener enseñanzas para las futuras planificaciones: "Evaluación ex-post". Esta información se dirige a las instancias encargadas de la dirección y de políticas institucionales para tener una orientación óptima hacia la situación/problemas para la nueva planificación ó re-adecuación del sistema de gestión/ejecución. Con la evaluación se califica: Quién, en qué, de qué manera y por qué se ha beneficiado. Se debe considerar como supuesto que: la validez de la planificación es cuestionada y que se genere la información necesaria para realizar la comparación. e) Inspección y Auditoría: La inspección y la Auditoría son también formas de examen organizativo; pero las llevan a cabo personal "externo" u órganos independientes. Inspección y Auditoria significan: control y comprobación, por parte de niveles más altos en qué medida se ajustan los procesos ejecutados a los procedimientos y normas predeterminadas e informar sobre el grado de conformidad o la existencia de cualquier irregularidad en la ejecución de proyectos, programas o planes. La inspección se refiere más a la ejecución correcta de las actividades, la auditoría a las formas de utilización de los recursos/insumos. f) Desarrollo organizacional: Como parte del desarrollo organizacional, el sistema de M&E debe tener una planificación detallada, al margen de cualquier método de planificación que se utilice. Existe un alto grado de dependencia entre la calidad de la planificación y el sistema de M&E, pues obviamente no es posible diseñar un buen sistema de M&E si la planificación de base no es precisa; pero también no es posible modificar o ajustar la planificación sin un monitoreo y una subsiguiente evaluación de las actividades, resultados y objetivos.

Esta función en proyectos implica dos tareas básicas: • Monitorear y evaluar el desempeño del proyecto y las condiciones externas que son importantes para su ejecución exitosa. • Definir las acciones correctivas, para restaurar la consistencia con la planificación del proyecto, cuando sea necesario. Entre los atributos de la gestión tenemos dos la eficacia y la eficiencia:

5

• •

EFICACIA: Comparación de los objetivos con los resultados; apreciación de las diferencias entre lo que se realizó y lo que estaba previsto. EFICIENCIA: Comparación de los resultados objetivos con los medios empleados; análisis de los "costos" con lo "realizado".

g) Generalidades e influencia en la toma de decisiones • Los programas o proyectos son una organización formal que activa procesos interactivos que tienen una dinámica específica, no siempre bien prevista en la etapa de diseño. Hay que evaluar: Las relaciones entre quienes toman las decisiones y grupos técnicos y entre estos y el personal de apoyo. Estas relaciones se pueden analizar a través de los procesos de liderazgo, motivación y comunicación. Existencia de datos: Se deben hacer evaluaciones de los problemas presentados entre los grupos, especificando la frecuencia de los mismos, ya que estos retrasan la ejecución del proyecto. Periodicidad: No hay datos sistemáticos, aunque se debe recurrir a evaluaciones mensuales o anuales. Tipos de datos: La información es de tipo primario y se recoge mediante cuestionarios semiestructurados, entrevistas dirigidas o grupales. La sensibilidad en la toma de decisiones está dada por la relación a nivel local y la autogestión del programa. Organizacionalmente se deben compatibilizar tres instancias que implican diferentes alternativas de roles: Tomador de decisiones: Toma de decisiones, según la lógica administrativa, política o profesional. Grupo técnico: Conflicto de roles, estereotipos profesionales, estilos burocráticos Vrs. democráticos En los tomadores de decisiones pueden darse distintos tipos de liderazgo: por elección, por tradición, por imposición autoritaria. La comunicación es, también, de distintos tipos: Formal, expedita, difícil y abierta. En el grupo técnico son frecuentes los conflictos ideológicos, como también los celos profesionales. El grupo técnico y su destreza profesional influyen mucho en el desarrollo y en la estrategia de intervención del proyecto.

• • • •

• • • • •

Actividades de la primera semana Individuales
1. Ingrese al portal docente utilizando su password proporcionado por la universidad, descargue el programa del curso, luego revíselo y analícelo para definir sus expectativas sobre el mismo. Registre este producto en su diario de aprendizaje. 2. Realice la lectura de la semana. 3. Inicie su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren un cuadro comparativo entre los distintos conceptos de la lectura, identificando sus similitudes y diferencias. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluación
1. ¿Cómo se ha sentido con la lectura realizada?

6

2. ¿Qué sentimientos concretos han llegado a su mente? 3. ¿Puede señalar al menos tres valores que estén implicados en el trabajo de esta primera semana? Enumérelos en orden de importancia y justifique su respuesta.

7

SEGUNDA SEMANA Definiciones básicas de monitoreo y evaluación Objetivos de la semana
Al finalizar el estudio de la segunda semana las y los estudiantes…. • Definen lo que es monitoreo y evaluación.

LECTURA
SISTEMA DE MONITOREO Y EVALUACION
El Sistema de Monitoreo y Evaluación es un conjunto de procesos, actividades y recursos orientados a la identificación de datos, variables o información que permitan caracterizar la situación pasada, actual y prospectiva de un programa o proyecto de desarrollo. A continuación definiremos lo que se entiende por “Monitoreo” y “Evaluación”: Importancia y función del monitoreo y la evaluación Es bien sabido que la implementación de un programa o proyecto social o de desarrollo, de atención humanitaria, de fortalecimiento de capacidades o de incidencia no garantiza por sí mismo la consecución de los objetivos planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos de; por sí solos no garantizan resultados positivos. Para aumentar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con un diseño y una planeación cuidadosos, MyE apropiados. Si bien la planeación adecuada inalterable: si nuestro proyecto no está funcionando o si las circunstancias han cambiado, los planes deben cambiar también. El MyE permite darnos cuenta si los planes están fallando o si hay oportunidad de analizar y tomar decisiones sobre El monitoreo y la evaluación, generan información para mejorar la acción, reorientarla o hacer una planeación futura mucho más asertiva y efectiva. Sin un monitoreo y una evaluación efectivos, no encaminando en la dirección correcta, si el progreso o los cambios logrados se deben a nuestra acción específica, o si es necesario hacer cambios en la planeación a futuro. El monitoreo y la evaluación sirven para: -Mejorar el desempeño: permiten la detección de problemas de un proyecto en etapas iniciales de la implementación, y de esta forma reducen las posibilidades de fracaso y ahorran recursos y tiempo al posibilitar la adopción oportuna de medidas correctivas. - Fortalecer la toma de decisiones y la planeación: permiten aprender de los logros y las de decisiones y al diseño de iniciativas presentes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo, permiten aproximar los proyectos a la realidad y a los resultados alcanzables. - Contribuir al aprendizaje: permiten a la organización y a los involucrados en el proceso aprender de la experiencia, con lo cual no sólo se mejoran las acciones posteriores sino que se contribuye al aprendizaje institucional y al aprendizaje social. - Avanzar hacia el empoderamiento: el monitoreo y la evaluación permiten fortalecer las capacidades de la población involucrada, de los socios locales, del equipo encargado de la ejecución y de la misma organización, ya que favorece el conocimiento de la problemática, de los procesos y de las estrategias. - Mejorar la rendición de cuentas: permiten a las organizaciones responsables informar a de los recursos y el impacto de los proyectos. Esto puede también fomentar el apoyo público y político de las iniciativas.

8

- Contribuir al conocimiento general: el análisis de la evaluación permite compartir con otros, difundir los aprendizajes y las mejores prácticas, contribuyendo al conocimiento general de los procesos y proyectos de desarrollo. Esto puede servir tanto a la misma organización como a otras organizaciones o instituciones gubernamentales y académicas.

Definiciones básicas de monitoreo y evaluación
El monitoreo es un proceso continuo y sistemático para obtener y analizar información sobre el avance hacia la consecución de las metas y objetivos de un proyecto y de su primer impacto a través del proceso de recolección de datos y de sus análisis, informe y uso de la información” (Gosparini et al., 2004). El monitoreo es un proceso continuo durante toda la vida de un proyecto y proporciona a las personas involucradas los insumos necesarios para identificar a tiempo, logros oportunidades y amenazas, de manera que se faciliten los ajustes al proyecto y se direccionen. El monitoreo nos sirve, entre otras cosas, para conocer: 3. Si los recursos materiales y financieros son suficientes; 4. Si el personal encargado de la ejecución tiene la calificación y las capacidades necesarias; 5. Si el plan de trabajo ha sido implementado en los tiempos y en la forma planeada; 6. Si las actividades realizadas son coherentes con los planes de trabajo; 7. Si estamos progresando para avanzar hacia los resultados u objetivos propuestos; 8. Si la respuesta de la población involucrada en las actividades del proyecto es positiva; 9. Si hay participación y aceptación de las actividades y los procesos, y 10. Si existen circunstancias o eventos inesperados. La evaluación se define como una apreciación, lo más sistemática y objetiva posible, de un proyecto en curso o ya realizado, sobre su planificación ejecución o resultados. Su propósito es determinar la pertinencia y el cumplimiento de los objetivos, y la sostenibilidad (Organisation for Economic Development /Development Assistance Commitee [OECD/DAC], 2002). La evaluación, además de determinar la medida en que se ha logrado el cumplimiento de los objetivos de un proyecto ya finalizado, permite conocer el impacto (deseado y no deseado) del proyecto; así como verificar si la acción se ha implementado de manera eficiente, eficaz y sostenible. La evaluación es un instrumento fundamental para la toma de decisiones, pues permite reflexionar sobra la calidad y estrategias del propio trabajo, proporcionando valiosos insumos para la planeación futura. Los criterios básicos para la evaluación de un proyecto tienen que ver con la pertinencia (de los problemas y necesidades identificadas en relación a la formulación de las posibles soluciones) la eficiencia (de los procesos de conversión de insumos en resultados), la eficacia (en qué el proyecto puede producir los resultados), el impacto (cómo contribuye a la introducción de cambios a largo plazo) y sostenibilidad (permanencia o durabilidad de los cambios introducidos). Como se puede ver, el monitoreo y la evaluación están interrelacionados pero son procesos distintos. Mientras que el monitoreo es un proceso continuo y permanente en la ejecución del proyecto, la evaluación se realiza en periodos establecidos, entre lapsos más largos. El monitoreo es un proceso continuo de análisis, observación y sugerencias de ajustes para asegurar que el proyecto esté encaminado a alcanzar su objetivo. La evaluación, por su parte, permite la formulación de conclusiones acerca de lo que se observa a una escala mayor, del diseño del proyecto y sus impactos (Ortegón, Pacheco y Prieto, 2005). Los procesos de monitoreo y de evaluación son complementarios: la evaluación depende en gran medida de la información reportada y recolectada de forma periódica a través de los sistemas de monitoreo. Sin embargo,

9

cada proceso tiene funciones específicas y existen algunas diferencias fundamentales, como puede apreciarse en la gráfica siguiente:

Otros instrumentos
Existen otras actividades de revisión de proyectos, qué tienen una función específica y un enfoque particular, y por lo tanto no deben confundirse con el monitoreo y la evaluación. Estas son: • Auditoría: valoración de los procesos y procedimientos administrativos para asegurar el respeto a las políticas, normas y criterios previamente establecidos. El objetivo de la auditoría se limita a examinar la conformidad con las obligaciones contractuales. La pregunta guía de la auditoría es: ¿Estamos siguiendo los procedimientos adecuados? Estudio de factibilidad: es una valoración crítica de una propuesta de proyecto con el fin de tomar una decisión sobre su eventual financiamiento e implementación. La valoración está encaminada a determinar la pertinencia, la viabilidad técnica, financiera, institucional y socioeconómica, así como la sostenibilidad prevista de la propuesta. Revisión: es una valoración periódica de todo el diseño metodológico del proyecto para retroalimentar la planeación y la gestión y hacer recomendaciones de acciones correctivas. Una revisión puede devenir en una evaluación sobre la marcha, si se llega a un nivel suficiente de profundidad y de análisis. Investigación: una búsqueda y un análisis profundo y sistemático para desarrollar un tema específico o contribuir a su conocimiento. Generalmente la investigación documental sirve de insumo para la evaluación, pero por sí sola, no es suficiente para la toma de decisiones.

10

Monitoreo y evaluación en el ciclo del proyecto El proceso de diseño y desarrollo de un proyecto puede resumirse de manera sencilla en el Ciclo del Proyecto. Este ciclo consiste en una serie de pasos estrechamente vinculados entre sí y acomodados por el orden en que se desarrollan; la identificación del problema, la planeación del proyecto, su ejecución y seguimiento, y la evaluación que normalmente alimenta el análisis y la identificación de futuros proyectos. En el ciclo del proyecto, el MyE se debe considerar desde la etapa de diseño y formulación, planeando los componentes del proyecto de tal forma que se tomen en cuenta, se faciliten y garanticen procesos de MyE. La etapa de planeación y diseño es crucial para todo el desarrollo del proyecto, pues es este momento cuando se define el sistema de MyE, estableciendo claramente la información disponible antes de la intervención (línea base) y determinando las necesidades de información (a través de la formulación de indicadores) que permitan ir midiendo avances, efectividad e impacto. Antes de la ejecución del proyecto, se define el plan de MyE, proponiendo de manera específica, cómo se deberán organizar las actividades, responsabilidades y recursos, para realizar el monitoreo, durante el desarrollo del proyecto. Este monitoreo se realizará periódica y sistemáticamente durante todo el tiempo de implementación del proyecto. Esto implica el seguimiento de las actividades y revisión de los objetivos, así como la recolección, sistematización y análisis de datos. Posteriormente se lleva a cabo el proceso de evaluación, como una etapa misma del ciclo del proyecto. La evaluación producirá información que es fundamental para la rendición de cuentas, la implementación de recomendaciones y mejorar el desempeño. Estos aprendizajes pueden ser valiosos tanto para determinar las necesidades de reformulación del mismo proyecto o para ser considerados en la formulación de otros proyectos.

El Monitoreo y la Evaluación en la etapa de formulación del proyecto
Los primeros pasos de MyE se toman desde la etapa de formulación del proyecto. En esta etapa, las personas que formulan el proyecto tienen la responsabilidad de asegurar que su diseño lo haga evaluable y que disponga de un buen sistema de MyE. Un proyecto bien diseñado, con una cadena de efectos clara, será fácilmente monitoreado y evaluado. Un proyecto que no cumpla con esta característica muy probablemente fallará en la consecución de sus objetivos (o en la demostración de los mismos).

11

Asegurar la evaluabilidad es por lo tanto el primer control de calidad que se debe realizar sobre los documentos de formulación de un nuevo proyecto. Incluye cuatro momentos principales, que se recomienda asegurar en la etapa de diseño: 11. Que la lógica de intervención sea coherente y clara, que el diseño de los resultados, los objetivos, las actividades y las estrategias esté definido adecuadamente. 12. Que el marco de MyE sea factible y significativo con relación a los resultados y objetivos del proyecto y que existan los medios para verificar el avance y el resultado de la acción. 13. Que los planes del proyecto prevean actividades de monitoreo y evaluación adecuadas, y que exista un plan de monitoreo y evaluación con métodos, procedimientos y personas responsables claramente definidos. 14. Que las lecciones y las buenas prácticas aprendidas de los proyectos anteriores se incluyan en el proyecto actual.

La planeación a través del Marco Lógico
Existen distintos enfoques para la planeación de proyectos o programas de desarrollo, siendo algunos de los más comunes el Enfoque de Marco Lógico (EML). La planificación por Objetivos (ZOPP, por su sigla en alemán) y la Gestión Basada en Resultados (GBR)3. La Metodología de Marco Lógico es un enfoque de análisis, diseño, planeación, ejecución y evaluación de proyectos que busca, a través de una matriz, resumir de manera global la lógica de funcionamiento de todo un proyecto o programa. Esta metodología está basada en la planeación por objetivos y orientada a facilitar la participación de los grupos beneficiarios. La matriz empleada es una herramienta útil para hacer un diseño adecuado, pues permite definir y organizar los parámetros de desempeño del proyecto, puntos de referencia e indicadores. Al determinar los indicadores y sus correspondientes medio de verificación, se establecen las condiciones para futuras evaluaciones y ajustes al proyecto. Esto ayuda a formular, desde un inicio, el plan de MyE del proyecto que incluye el proceso de evaluación (Ortegón et al., 2005).

Esta metodología provee herramientas útiles para la etapa de identificación y formulación. La etapa de identificación del problema se basa comúnmente en cuatro tipos de análisis: el de involucrados, el de problemas, el de objetivos y el de estrategias. Cada uno de estos análisis se puede desarrollar a través de talleres y ejercicios participativos con la población involucrada4. En la etapa de planeación, estos análisis se retoman para diseñar el proyecto y el plan operativo para su ejecución. Todo este trabajo de diseño se resume en la matriz de marco lógico (ver Tabla 2), que sintetiza lo que el proyecto pretende hacer (Resultados, Objetivo específico y objetivo general), cómo lo va a hacer (Actividades), cuáles son los supuestos claves (Hipótesis) y cómo serán monitoreados y los insumos y productos del proyecto.

La lógica de intervención
La lógica de intervención indica la estructura de todo el proyecto y permite analizar las relaciones de causalidad de forma vertical:

12

• • •

Objetivo general Resultados Actividades

Las actividades que se llevarán a cabo para producir los resultados; los resultados que se producen a partir del proyecto permitirán la realización del objetivo específico una vez finalizado el proyecto y si se logra el objetivo específico, se podrá contribuir al objetivo general. En la última columna, los supuestos o hipótesis especifican aquellas circunstancias ajenas al proyecto que deben existir para que puedan implementarse las actividades y puedan producirse los resultados y objetivos específico y general. A continuación se describen de forma breve los componentes de esta lógica vertical. Objetivo general: es la descripción de la contribución del proyecto a un problema más amplio (sectorial, regional o nacional). El objetivo general, también llamado fin, ayuda a tener presente el contexto y la problemática general en la cual el proyecto se introduce, y describe el impacto que se espera tener en el largo plazo. Se espera que el proyecto contribuya de manera significativa a este fin, pero no implica que el proyecto, en sí mismo, será suficiente para lograrlo (diversos proyectos o medidas, desde distintos actores, pueden contribuir a la solución del problema identificado) Objetivo específico: responde al problema central identificado y describe el efecto o cambio directo que se quiere lograr al final del proyecto. Este se define en términos de beneficios sostenibles para la población meta. El objetivo específico está dirigido a reducir las causas que generan el problema central que el proyecto busca resolver. Resultados: son los componentes que deberá producir el proyecto una vez finalizado su ciclo de vida. Si se producen los resultados, se podrá alcanzar el objetivo específico del proyecto. En una formulación correcta, todos los resultados son los necesarios y los suficientes para el logro del objetivo específico y no falta ninguno para conseguirlo. Si un resultado planteado depende más de factores externos, que del propio proyecto, no es un resultado adecuado. Los responsables del proyecto deben responder por la consecución de cada uno de los resultados. Un objetivo o resultado correctamente planteado, debe ser: • • • • • Específico (describe una condición futura particular deseada) Medible. Realista en el contexto y con los recursos disponibles. Pertinente (responde a los problemas presentes identificados y hacer una contribución significativa) Ubicado en un tiempo definido, con una fecha límite de cumplimiento.

Actividades: son todas las acciones que se deberán llevar a cabo para producir los resultados e implican el empleo de recursos materiales y humanos. Las actividades dependerán. Las actividades dependerán de las estrategias seleccionadas en el diseño del proyecto. Deben ser realistas en tiempo y recursos y considerar el contexto local, así como las condiciones previas necesarias. Los términos empleados por distintos donantes para cada nivel de la lógica de intervención pueden variar. La lógica horizontal de la matriz permite evaluar o medir los alcances del proyecto y es, por lo tanto, la parte central del monitoreo y de la evaluación. Está formada por: Indicadores: son descripciones operativas de los objetivos y resultados del proyecto en términos de cantidad, calidad, grupos metas, tiempo y localización. Los indicadores sirven para medir y dar seguimiento a lo que queremos lograr con el proyecto, presentando información necesaria para determinar el progreso hacia el logro de las metas establecidas. Los indicadores de actividades se representan con los recursos y medios empleados para llevar a cabo las actividades.

13

Fuentes de verificación: establecen en dónde y cómo se pueden obtener los datos y comprobar la información para el cálculo de los indicadores. Supuestos o hipótesis: a partir de un análisis de los riesgos sociales y políticos que pueden limitar o hacer que fracase el proyecto, se desarrollan los supuestos, expresados como hipótesis positivas que deben cumplirse para poder avanzar en las actividades, resultados y objetivos. Los supuestos son externos: no dependen ni pueden ser controlados por el proyecto. El MyE debe prestar especial atención al cumplimiento de las hipótesis pertinentes y darles seguimiento a lo largo del proyecto, y en la evaluación revisar si han cambiado las hipótesis planteadas en un principio. El tener en cuenta las hipótesis ayuda a revisar y prever lo necesario para una mayor viabilidad del proyecto y sostenibilidad de sus resultados e impacto. Como ya se mencionó, un diseño de calidad de la Matriz de Marco Lógico es fundamental para poder llevar a cabo un monitoreo y una evaluación adecuados y pertinentes. Si el diseño de la lógica de intervención no es claro y los indicadores están mal formulados, el proceso de MyE será sumamente complejo y será muy difícil para el equipo y el responsable del proyecto analizar el progreso del proyecto e identificar las necesidades de cambios en la acción.

¿Por qué monitorear y evaluar?
La meta tanto de monitoreo como de evaluación es identificar debilidades en el programa o proyecto para que se pueda implementar acción reparadora, por ejemplo para contestar la pregunta ¿Hasta dónde hemos llegado? y ¿Cómo podemos hacerlo mejor? En cualquier proyecto o programa podemos identificar por lo menos tres niveles de partes interesadas: beneficiarios, administradores del proyecto y personal del proyecto (de una agencia o del gobierno local), y donantes. Todos requieren información específica de cómo se está desempeñando el proyecto. La información puede también ser requerida en un formato diferente por diferentes partes interesadas. La siguiente lista detalla algunas de las perspectivas de las diferentes partes interesadas con relación a una evaluación: • Beneficiarios: que necesitan saber si lo que están haciendo está funcionando y cómo puede hacerse para que funcione mejor. • Administradores del Proyecto y Personal: que desean tener información para la tomar decisiones sobre cómo mejorar el proyecto. • Donantes/Agencias de la Cooperación Internacional Externas: que desean saber si los fondos que han contribuido han sido bien empleados. • La comunidad más amplia en torno al área del proyecto: que podrían haber sido afectados por un influjo de refugiados o por la forma en que el proyecto está designado. • Otros proyectos de agua, saneamiento e higiene: que necesitan información para informar a sus propios proyectos. • Gobierno y los encargados de establecer políticas. A menudo los donantes prefieren evaluaciones que están basadas en métodos formales de recolección de datos porque se asume que estas son más válidas y confiables. No siempre es el caso; investigaciones continuas están tratando de averiguar la validez de los métodos participativos. En el pasado, las necesidades de información de los beneficiarios a menudo han sido ignoradas y los donantes aparecen como los que instigan el monitoreo y la evaluación para hacer que el proyecto resulte contable para ellos únicamente. Este tipo de evaluación no-participativa cialmente cuando se lleva a cabo por personas fuera del proyecto) es probable que sea visto con

14

desconfianza por el personal del proyecto y por los beneficiarios en lugar de verlo como una herramienta constructiva para proveer retroalimentación y qué es lo que está funcionando y qué es lo que no funciona. Cuando el personal del proyecto y los beneficiarios están involucrados en una evaluación participativa, la información se hace disponible a todas las partes interesadas, pero especialmente aquellos que más la necesitan (los beneficiarios). Se les da entonces el poder de tomar decisiones por sí mismos sobre el futuro del proyecto.

Midiendo cambios
El cambio raramente sucede en una forma lineal y ordenada como lo presuponen muchos modelos de planificación. Podrá por tanto ser difícil definir claramente si un proyecto ha tenido éxito o no. Un proyecto puede haber tenido un resultado muy positivo en términos de aumentar la autoestima de la gente, por ejemplo, pero puede que esto no sea medido por la evaluación. El resultado de la evaluación va entonces depender de qué es medido en realidad y de la selección de indicadores. El monitoreo y la evaluación tratan de medir el progreso contra los datos de línea de base obtenidos al inicio del proyecto al igual que identificar fallas en el diseño del proyecto y objetivos innecesarios o irreales. Una evaluación de resumen realizada una vez solamente usualmente compara la información obtenida en la línea de base con la información de las actividades del monitoreo y la nueva “línea de base” obtenida después de que el proyecto ha estado operando durante algún tiempo. Por ejemplo, si el proyecto está destinado a durar dos años, podrá decidirse que una evaluación de medio tiempo llevada a cabo después de un año y una evaluación final al final del proyecto sería útil. En la etapa aguda de una emergencia, un monitoreo continuo y una evaluación formativa limitada puede que sea todo lo que es posible, y una evaluación de resumen tendrá que esperar hasta que la situación se estabilice. Los grupos de la comunidad pueden decidir por sí mismos cuando evaluar o evaluar sus actividades. Se podrá sugerir que a finales de un período de dos semanas ya ciertas acciones habrán sucedido. Entonces esto puede ser evaluado en la siguiente reunión. Algunos proyectos tratan de evaluar los productos o el impacto cada tres a seis meses.

El monitoreo y evaluación como herramientas de aprendizaje
Durante mucho tiempo se ha pensado que los donantes fueran lentos en aprender de sus errores, y la responsabilidad de rendir cuentas ha sido una preocupación central para las unidades de M&E de las principales organizaciones de ayuda. Los conceptos de “gestión del conocimiento” y de “organización capaz de aprender” provenientes del sector empresarial, empezaron a ser utilizados a finales de los años 90. Hoy en día, la mayoría de las agencias de desarrollo identifica el área del aprendizaje organizativo como aquella que ofrece más oportunidades y desafíos. La noción de “aprendizaje organizativo” se refiere al proceso con el cual las organizaciones obtienen y utilizan

15

el conocimiento para adaptar las viejas políticas, programas y estrategias, o, más en general, para innovar. El Banco Mundial, una de las organizaciones líder en la aplicación de los conceptos de gestión del conocimiento, identifica tres tipos de aprendizaje: aprender haciendo, aprender de la investigación y aprender de la evaluación. El aprendizaje organizativo está por lo tanto relacionado con dos temas conectados: a) Si la organización absorbe los conocimientos y las intuiciones de las personas que la integran; si este proceso genera cambios en las acciones de la organización; y cómo se dan estos cambios. b) Si los nuevos conocimientos adquiridos se traducen en realidad operativa y de qué manera. Es útil observar como estos conceptos se pueden aplicar al M&E, especialmente para las organizaciones, que tienden a poner un mayor énfasis en el M&E como herramienta de aprendizaje. La pregunta es cómo las organizaciones pueden recoger los beneficios del M&E desde el punto de vista del aprendizaje organizativo, y cómo pueden resultar más efectivas como organizaciones capaces de aprender. La utilidad del M&E con respecto al conocimiento puede ser incrementada por: • Fortalecimiento de los donantes y de las organizaciones con la capacidad de aprender. • • • • Darle más atención a la gestión del M&E y a la retroalimentación que éste genera. Mejorar los flujos de información internos y externos en el sector del M&E, al igual que la coordinación entre las organizaciones de desarrollo y donantes. Experimentar nuevas herramientas de M&E, especialmente aquellas relacionadas con formas de comunicación basadas en Internet.

Fortalecimiento de las capacidades de M&E: a) Desarrollar las capacidades de M&E de los partners locales, involucrándolos todavía más en los procesos de evaluación, empezando por la fase de formulación. b) Utilizar las lecciones aprendidas de las experiencias de M&E para formular los nuevos proyectos y para mejorar las actividades en curso. c) Difundir las conclusiones y recomendaciones obtenidas de las actividades M&E a un público más amplio, incluyendo todas las partes interesadas más pertinentes.

Monitoreo y evaluación y la construcción de capacidades
En este marco, los desafíos que las organizaciones enfrentarán en el futuro, se pueden resumir de la siguiente manera: • Reducción de la brecha entre el interés teórico para el M&E y el uso práctico de sus herramientas, a través de la sistemática promoción y utilización de las técnicas participativas y de una verdadera «cultura de la evaluación». Incorporación del trabajo de evaluación en un marco más amplio, viendo la evaluación como un proceso que comprende el monitoreo y la estrategia global de planificación, y utiliza las lecciones aprendidas para la planificación futura. Fortalecimiento de las capacidades de planificación, y en particular la identificación de indicadores apropiados para detectar las diferentes dimensiones de impacto y afinar el análisis de los datos cualitativos. Investigación y experimentación de nuevos métodos y herramientas, tales como el fortalecimiento de la capacidad interna para llevar a cabo actividades de M&E.

16

Transferencia del conocimiento sobre M&E a los partners locales.

Seguimiento
La conceptualización de lo que es e implica el ‘seguimiento’ siempre dependerá del contexto del proyecto. Analicemos algunos aportes: Quintero (1995, 76) refiere al seguimiento de la siguiente manera: Se entiende por seguimiento la observación, registro y sistematización de la ejecución de las actividades y tareas de un proyecto social en términos de los recursos utilizados, las metas intermedias cumplidas, así como los tiempos y presupuestos previstos, las tácticas y la estrategia. El seguimiento consiste en tener diferentes momentos de medición de la situación del programa o proyecto para evaluar el proceso en marcha. Una vez obtenida la Línea de Base, se comienza con la implementación de las estrategias acordadas. En este proceso se podrán definir los nuevos momentos de “medición” del avance de la estrategia, que son la base de este sistema de seguimiento. Se debe informar el grado de avance de la estrategia de desarrollo comunitario para poder ver cómo está avanzando y qué ajustes se deben realizar. El Banco Mundial relaciona los términos de ‘seguimiento’ y ‘evaluación continua’, al expresar (Weaving y Thumm, 1998, 2): Se entiende por seguimiento la evaluación continua de la ejecución de los proyectos en relación con un programa acordado, y de la utilización de insumos, infraestructura y servicios por parte de los beneficiarios del proyecto. El seguimiento proporciona información constante a los administradores y otros interesados, retroalimentando la ejecución del proyecto. Permite identificar, con la mayor prontitud posible, éxitos y dificultades reales o potenciales, para facilitar la oportuna modificación de la operación del proyecto. Urzúa D. (2004, 19-…) plantea: El seguimiento es una acción permanente a lo largo del proceso de los proyectos, permite una revisión periódica del trabajo, tanto en su eficiencia en el manejo de recursos humanos y materiales, como de su eficacia en el cumplimiento de los objetivos propuestos. Es de vital importancia que el seguimiento se realice como una parte integrante del proceso del proyecto, acordada con los responsables de la gestión, para que no suceda como una mera supervisión. Recordemos que la función del sistema consiste en aportar aprendizaje institucional y no en emitir dictámenes. Los propósitos del seguimiento son: • • • Fomentar la cultura de la evaluación, la gestión del desempeño y la rendición de cuentas en función de los resultados esperados. Alinear la evaluación con el ciclo de los proyectos, como un elemento sustantivo de la planificación estratégica. Alentar el aprendizaje institucional de todos los actores involucrados en el proyecto con base en las evaluaciones efectivas y de calidad.

17

• •

Promover el uso de la evidencia proporcionada por el seguimiento. Elegir los resultados pertinentes y demostrar cómo y por qué producen los resultados previstos o cómo mejoran lo esperado.

El mismo autor indica como claves del seguimiento: Es indispensable realizar un seguimiento efectivo que sirva de base para una evaluación de calidad, por esto es necesario: • Integrar un DIAGNÓSTICO o LÍNEA DE BASE que sirva para identificar las expectativas, hipótesis, supuestos y resultados esperados. La línea de base es el punto de referencia contra el cual evaluaremos las informaciones obtenidas. Establecer los indicadores de cada caso, ya sea cobertura, eficacia, eficiencia, efectividad o proceso. Los resultados esperados son el germen de los indicadores, en estos se describe un punto de referencia que será reflejado en una medida estadística para cada caso. Es importante que en la definición de los indicadores participen los encargados de la gestión del proyecto y los aliados estratégicos involucrados formalmente. Programar el seguimiento conforme a plazos pertinentes y convenientes acordados con los encargados de la gestión de cada proyecto. Compartir en equipo el análisis de la información resultante, con la participación de los encargados de la gestión y los aliados estratégicos. Destinar recursos específicos a las actividades programadas para el seguimiento. Definir los plazos y los medios para la difusión de la información, así como las audiencias principales que deberán conocerla.

• • • •

Chassagnes (s.f., 15) plantea respecto al seguimiento: El seguimiento es acompañar, verificar y actualizar lo que estamos haciendo en nuestro proyecto. Es el modo que tenemos de rectificar y mejorar las acciones si las cosas están saliendo mal. Permite además controlar la utilización de los recursos y el logro de los resultados previstos. Los resultados del seguimiento contribuyen a consolidar la información necesaria para la toma de decisiones durante la etapa de ejecución, permitiendo el manejo de datos concretos y sistematizados al momento de abordar una evaluación. Este proceso ha de ser ágil, orientado y concertado, debe combinar elementos cuantitativos y cualitativos.

Actividades de la segunda semana Individuales
1. Realice la lectura de la semana. 2. Responda a la pregunta ¿Cuál es la relación entre el monitoreo y la evaluación con el diseño de un proyecto?. 3. Resuelva ¿Para qué sirve el monitoreo? 4. ¿Cuál es la diferencia entre monitoreo y seguimiento? 5. Actualice su diario de aprendizaje

Grupales
1. En grupos, identifiquen las principales razones para llevar a cabo el monitoreo, justificándolas.

Autoevaluación
1. ¿Qué conocimientos previos tenía usted acerca de lo que es el monitoreo? 2. ¿Qué aplicaciones encuentra para el concepto de monitoreo en el ámbito del trabajo social?

18

3. ¿encuentra similitud, cuáles entre el concepto descrito por la lectura para el monitoreo y lo que usted conocía? 4. Después de leer, apunte las ideas nuevas, que usted ha encontrado en la lectura y escriba en sus propias palabras qué quieren decir. 5. Luego, regrese al texto con la meta de encontrar todos los conceptos que eran nuevos para usted y que no recordó, o que recordó pero cuyo significado no entendió bien. Relea y apunte todos los que vaya encontrando, añadiéndolos a la lista generada en el numeral 4.

19

TERCERA SEMANA El monitoreo Objetivos de la semana
Al finalizar el estudio de la tercera semana las y los estudiantes…. • Expresarán conceptualmente lo que significa el monitoreo de programas y proyectos sociales.

LECTURA
En esta semana se revisa el monitoreo desde una perspectiva general, y se enfoca sobre todo en sus características y procesos operativos. El diseño del sistema de MyE se basa en la selección de la información que será requerida durante todo el proceso posterior de seguimiento y evaluación del proyecto, así como en la recolección de los datos, su sistematización y su análisis. El monitoreo es una continua comprobación de la ejecución del proyecto de acuerdo a lo planeado y de su impacto inicial a través del proceso de recolección y análisis de los datos, de elaboración de los informes y del uso de la información. Es un proceso continuo y estructurado de obtención y análisis de datos e información que involucra proyecto. El monitoreo debe ser visto como un proceso integral de la ejecución del proyecto, que se lleva a cabo de forma paralela a las actividades, las cuales son revisadas y actualizadas constante y sistemáticamente durante toda la vida del proyecto. El monitoreo está entonces tan ligado a las mismas actividades del proyecto que en muchas ocasiones es visto como una labor cotidiana de la implementación y no como un proceso independiente y adicional.

Planeación del monitoreo
Para realizar un seguimiento adecuado del proyecto, se recomienda contar con un plan de monitoreo que debe ser acordado entre los involucrados (responsables y beneficiarios) y debe hacerse desde la etapa de diseño del proyecto, pensando estratégicamente tanto en los procesos de monitoreo como en los de evaluación. Esto es fundamental para que puedan considerarse los recursos necesarios y para posibilitar la operación del monitoreo desde el inicio de las actividades. Este marco debe facilitar el monitoreo sistemático y debe responder a las siguientes preguntas: ¿Qué políticas y procesos deben guiar el monitoreo? En primer lugar, ser recomienda definir y acordar los detalles acerca del procedimiento de monitoreo. Algunas definiciones generales tienen que ver con la priorización que tendrá el MyE en el proyecto, las políticas de organización sobre MyE, la definición de tiempos y responsables. Otras definiciones más específicas, tienen que ver con las técnicas que serán utilizadas, quién lo prepara y quién lo lleva a cabo. Asimismo, se recomienda definir qué aspectos del MyE se delegarán a los propios beneficiarios o a otros involucrados en el proyecto. ¿Qué tipo de información será necesaria? ¿Qué se va a monitorear? Es fundamental discutir con los responsables y beneficiarios del proyecto que información se requiere y determinar las preguntas y los indicadores relevantes para obtenerla. Si bien la selección de los indicadores es importante desde la planeación, no siempre se podrán determinar todos los indicadores desde el inicio del proyecto, y será necesario irlos adaptando conforme éste se desarrolle. La información que se determine para el monitoreo será esencial para la evaluación y la toma de decisiones y se puede clasificar en tres categorías que corresponden a diferentes modalidades del monitoreo: - Información sobre la ejecución de las actividades planeadas y nivel de participación de los beneficiarios, reunida para apoyar la gestión cotidiana de los proyectos, sobre el terreno. Estos datos se obtienen sobre el terreno. Estos datos se obtienen con un monitoreo sistemático sobre la marcha que permite identificar y subrayar los problemas cuando surgen.

20

- Información sobre los resultados obtenidos y la respuesta de los beneficiarios, para comprobar los avances y revisar los planes de trabajo. Esta información se puede obtener a través de un monitoreo periódico, que permita analizar los problemas y obstáculos principales y sugerir medidas correctivas. - Información sobre la consecución del objetivo específico e impactos, para revisar la lógica de intervención y el avance hacia la transformación de problemas. Para este tipo de información se realiza el monitoreo en momentos específicos de la vida del proyecto (o en su caso, a través de evaluaciones intermedias), de manera que pueda sugerir ajustes en el diseño o la intervención. ¿Quiénes serán los responsables de levantar la información? Desde la etapa de diseño, es necesario que las funciones y procedimientos del monitoreo sean consideradas en algún lugar de la estructura organizacional del proyecto. Dependiendo del tipo de información que se vaya a recolectar, las fuentes y los métodos, habrá distintas personas responsables de reunirla. La asignación de responsabilidades debe estar clara y ser aceptada por todos los que van a intervenir. Es necesario determinar si las actividades de monitoreo y evaluación serán realizadas por personal en terreno, por personal externo al proyecto (de la misma organización) o por personas externas Esto dependerá de la confianza administrativa, la credibilidad, la objetividad, el conocimiento del proyecto y el potencial para utilizar los resultados. No debe olvidarse que un proceso de monitoreo requiere recursos humanos capacitados, lo cual significa que el propio proyecto debe asignar recursos para la capacidad del personal. ¿Qué presupuesto se requiere para las actividades de monitoreo? Es necesario incluir recursos financieros del proyecto para el monitoreo y la evaluación y asignar un presupuesto específico para estas actividades. Se recomienda considerar los costos del personal e instalaciones, talleres y reuniones de capacitación y costos de la recolección de datos (dependiendo de la técnica que se emplee, se deberán contemplar los recursos humanos y materiales necesarios). ¿Cómo se recolectará la información? ¿Qué métodos se emplearán para llevar a cabo las actividades de monitoreo? Existen múltiples métodos y herramientas para la recolección de información, la selección de las más adecuadas dependerá de la naturaleza del proyecto, así como de la capacidad del personal y de los involucrados, entre otros factores. Al decidir sobre la técnica para obtener información, es bueno tener en cuenta que dicha herramienta será empleada de forma sistemática y periódica, dado que el monitoreo es un proceso continuo. Tener esto en mente ayudará también a considerar la disponibilidad de recursos humanos y materiales.5 ¿Cuándo se planea la realización de las actividades de monitoreo? Si bien el monitoreo es un proceso continuo y sistemático durante toda la vida del proyecto, la recolección de datos debe ser realista, lo cual implica asegurar que la frecuencia y la cantidad de herramientas y datos requeridos no se vuelva una carga para los responsables del proyecto o para los beneficiarios. Como regla general, se recomienda una mayor frecuencia para indicadores y datos de proceso y una menor frecuencia para obtener información acerca del efecto o impacto del proyecto. Los cambios sociales por lo general toman mucho tiempo, e intentar comprobar los cambios, de forma demasiado frecuente dificulta ver la diferencia de un momento a otro. En la mayor parte de los casos, la información sólo es relevante cuando permite ver una tendencia, lo cual puede observarse solo a partir de la recolección de datos en distintos momentos de la vida del proyecto (Bakewell et al., 2003). ¿Quiénes se encargarán de organizar y analizar la información? En la mayor parte de los casos, el personal a cargo de la ejecución del proyecto es el responsable de organizar y analizar la información obtenida del monitoreo. Sin embargo, dependiendo de la organización, diferentes personas tendrán un rol distinto en el análisis de los datos. De tal forma que el personal sobre terreno podrá tener la función de organizar la totalidad de la información y hacer un primer nivel de análisis, mientras que el personal de la organización en la oficina central (en un país o región) se encargará de hacer un análisis de la información seleccionada y previamente analizada (Bakewell et al., 2003).

21

¿Cómo se emplearán los resultados del monitoreo? La difusión de los resultados del monitoreo es importante para el aprendizaje, pues sirve tanto para el mejoramiento del proyecto en ejecución como para proyectos futuros. Por lo tanto, es fundamental que el plan de monitoreo contemple mecanismos, tiempos y recursos de difusión de resultados, de lecciones aprendidas y de mejores prácticas (Bakewell et al., 2003). Asimismo, al diseñar el plan de monitoreo se recomienda considerar e incluir los riesgos posibles que pueden presentarse durante el proceso.

Participación de las partes involucradas en el proceso de monitoreo
El monitoreo debe contar con la participación de las partes implicadas en el proyecto de tal forma que estén involucradas en su diseño y ejecución desde el comienzo y comprendan claramente sus responsabilidades. Se recomienda identificar desde un inicio quién puede y quiere estar involucrado; así como aclarar las expectativas de los participantes en los procesos. Un buen monitoreo sólo se podrá efectuar si los involucrados lo consideran importante y valioso. Por esto, es recomendable que se tomen en cuenta los intereses de los beneficiarios y se les sensibilice sobre su importancia desde la etapa de diseño y preparación.

Formatos para el monitoreo
Como ya se mencionó, el proceso de monitoreo involucra a distintos actores; sin embargo, el personal responsable de la ejecución sobre el terreno es el que debe llevar el registro de las actividades y los resultados. Esta labor puede facilitarse si se tienen herramientas para registrar la información, tales como: • Formatos del Plan de Monitoreo • Formatos de reporte estandarizados (para información narrativa y financiera) • Reportes y minutas de reuniones • Reportes de visita • Reportes de las actividades de recolección de datos • Diarios del equipo, en donde se registra información adicional a las actividades específicas de monitoreo • Registro del proyecto por medios diversos como fotografías o notas en medios de comunicación (prensa, entrevistas, video) Como vemos, existen diversos formatos que pueden ayudar a organizar las actividades del monitoreo, así como los tiempos, recursos y objetivos de las mismas. Estos formatos pueden ser elaborados con la periodicidad que se estime necesaria (mensual, semestral, tc.). Es importante desarrollar instrumentos y prácticas de monitoreo que respondan a las estructuras y estrategias de intervención de cada organización, adaptando los formatos de acuerdo a las necesidades del propio proyecto u organización. A continuación se muestran dos ejemplos de formatos que pueden ser útiles, el primero para el diseño de un plan de monitoreo y el segundo para un registro o informe de monitoreo, los cuales pueden ser adaptados, según las necesidades de cada organización.

22

También puede ser útil resumir el monitoreo en un formato de informe de monitoreo, que pude ser adaptado, según las necesidades de cada organización:

El registro de los resultados del monitoreo se puede organizar de acuerdo a la lógica de intervención del proyecto, ordenando los indicadores para cada nivel y reportando sobre los avances y resultados de cada uno. En los comentarios y observaciones se pueden incluir explicaciones de la diferencia entre lo planeado y lo logrado, así como recomendaciones de cambios en el sistema de MyE (ya sea en los indicadores, la técnica de recolección de datos o la revisión de la fuente). A partir de la información reflejada en el formato se puede hacer un análisis esquemático del progreso logrado en el periodo, los puntos que se deben cuidar, las condiciones externas que estarían influyendo en el proyecto, la pertinencia de los indicadores y la utilidad de los métodos de recolección de datos. Con este resumen se pueden identificar las cuestiones que se deben cuidar y hacer recomendaciones para cambios en la implementación y en el sistema de monitoreo. De esta forma, el monitoreo puede servir no solo para alimentar la evaluación, sino también para la toma de decisiones en el día a día.

Desarrollo del monitoreo por niveles de la organización
Por lo general, el monitoreo de una organización se realiza en tres niveles diferentes: • Equipo del proyecto sobre terreno • Coordinadores nacionales o regionales • Responsables de la sede principal (por sector o área geográfica) Distintos niveles de gestión son responsables de distintos tipos y actividades de monitoreo, de acuerdo a las necesidades de información de la organización. Cada área determinará qué actores deben estar involu-

23

crados y las técnicas de recolección de datos más adecuadas. Generalmente, conforme los reportes del monitoreo son enviados a niveles más altos de la organización la información tiende a ser más resumida y simplificada. En cada área se analiza la información recibida y se incluye un nuevo análisis.

Nivel del equipo del proyecto sobre terreno
El primer nivel del monitoreo es responsabilidad del director y de los administradores del proyecto, que mantienen actualizados los documentos de registro y los archivos administrativos y de gestión. La información obtenida se resume en un formato de informe de monitoreo, aproximadamente cada mes o cada tres meses. El propósito principal del monitoreo en este nivel es el de apoyar la gestión cotidiana a través de la reunión de datos sobre las actividades diarias, para tener la información requerida en análisis posteriores (ya sea en este nivel o en el de los coordinadores regionales o nacionales).

Nivel de coordinadores nacionales o regionales
El segundo nivel de monitoreo es del de la oficina de coordinación (del país o región), que se basa en los informes y reportes entregados por los responsables del proyecto y otros materiales relacionados con la planeación. En esta etapa se hace una primera apreciación de la estrategia de ejecución, se revisan avances y limitantes y se sugieren posibles medidas correctivas para el seguimiento. A partir de este análisis, los coordinadores deciden si es necesario llevar a cabo misiones de monitoreo para visitar los proyectos que presentan problemas. Este tipo de monitoreo pretende valorar la efectividad de las actividades, los avances hacia la sostenibilidad del proyecto, el sentido de apropiación de los beneficiarios, las capacidades de manejo institucional y de gestión operativa, y la coherencia y complementariedad con otras acciones realizadas en la misma región o país. Permite además generar conclusiones generales sobre la ejecución de la acción, identificar problemas y limitantes y hacer recomendaciones para el siguiente periodo de ejecución. Toda esta información se reúne en un breve informe para los directores del proyecto y para la sede principal. Este informe revisa los cronogramas y el empleo de recursos, e identifica si es necesaria una extensión del plazo del proyecto o una reasignación del presupuesto.

Nivel de sede principal
La oficina de coordinación revisa y analiza los informes que llegan del proyecto y los transmite a la sede principal. Comúnmente, la sede principal organiza misiones al lugar del proyecto con el objetivo de revisar la lógica global de intervención e identificar las estrategias para enfrentar los problemas que se hayan presentado. Estas misiones también pueden ser útiles para revisar la eficacia del sistema de monitoreo adoptado. La definición de hacer o no, una misión sobre terreno dependerá de la duración, el presupuesto del proyecto, la importancia estratégica de la iniciativa o la dimensión de los problemas identificados. La siguiente tabla ayuda a tener una idea sobre cómo se pueden distribuir las actividades del monitoreo, bajo la responsabilidad de distintos actores comprometidos en la gestión del proyecto, desde el terreno hasta la sede principal.

24

Fases básicas para iniciar actividades de monitoreo
Las fases básicas que se sugieren para iniciar las actividades de monitoreo de un proyecto son: Fase 1. Análisis del Diseño del Proyecto En esta fase se revisan los indicadores anuales de monitoreo, observando la clara jerarquía de Insumos>Actividades->Resultados->Efecto->Impacto. Fase 2: Diseño del Plan de Monitoreo Para elaborar el plan de monitoreo el equipo retoma los indicadores anuales de monitoreo o de desempeño, de los resultados y decide sobre los datos necesarios para medirlos, la fuente y el método de los datos, la frecuencia de recolección, el análisis de los datos, la diseminación y utilización de la información. Preguntas que se responden con el Monitoreo • • • • • ¿Aumenta el acceso de la población objetiva a los servicios del programa? ¿Mejora la participación comunitaria en el programa? ¿Mejora la calidad de atención a los clientes? ¿Proporciona el volumen de servicios esperados? ¿Logra una proporción aceptable de costo por unidad de producto?

Fase 3: Elaboración de Instrumentos de Monitoreo Una vez realizado el plan de monitoreo, en donde se determinan los datos necesarios para la construcción de indicadores de productos/resultados seleccionados, el equipo elabora los instrumentos. En esta fase se definen las técnicas más adecuadas de medición de indicadores de monitoreo o de desempeño, de acuerdo a las características o naturaleza del indicador.

25

Características de los indicadores de desempeño

Algunas características de los indicadores anuales de monitoreo: • • • • Son reportados anualmente a la organización, donantes. Medidos por rutina de registros de los implementadores o por las encuestas escritas. Dan algunas indicaciones de la calidad y efectividad de las intervenciones y de los problemas en el progreso hasta el final de los objetivos. El universo medido generalmente esta restringido a la población beneficiaria del programa.

Ejemplo sencillo de la elaboración de un instrumento para el monitoreo de indicadores anuales de desempeño:

26

Actividades de la tercera semana Individuales
1. 2. 3. 4. Realice la lectura de la semana. Defina con sus propias palabra el monitoreo. Describa los aspectos a considerar en un proceso de monitoreo. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con los integrantes de su grupo su definición conceptual del monitoreo, luego realicen una construcción grupal, describiendo los aspectos o elementos fundamentales a considerar en un proceso de monitoreo.

Autoevaluación
1. ¿De las definiciones de monitoreo, encontradas en la lectura de la semanas, cuáles cree usted que son las más importantes y por qué? 2. ¿Qué recomendaciones haría usted a otra estudiante, para diseñar un proceso de monitoreo? 3. ¿Considera usted que a veces se fracasa en el monitoreo, por no seguir ciertos criterios como los enumerados en la lectura? 4. En una escala de 1 a 5, en dónde 1 es “no estoy listo o lista para usar estas ideas” y 5 es “estoy listo o lista para usar estas ideas”, ¿cuán preparado está usted, para utilizar en un proceso de monitoreo, las presentadas en la lectura? 5. ¿Cómo se considera usted para iniciar el diseño de un proceso de monitoreo, considerando lo anterior en una escala de 1 a 5, dónde 1 es “No estoy preparado” y 5 es “Si estoy preparado”?

27

CUARTA SEMANA La evaluación Objetivos de la semana
Al finalizar el estudio de la cuarta semana las y los estudiantes…. • Comprenderán en qué consiste el la evaluación de un programa o proyecto social. • Reconocen la diferencia entre monitoreo y evaluación.

LECTURA
La evaluación es una apreciación, lo más sistemática y objetiva posible, de un proyecto en curso o ya realizado, de su planeación, ejecución y resultados. Su propósito es determinar la pertinencia, el cumplimiento de los objetivos, la eficiencia en la realización del proyecto, la eficacia, el impacto y la sostenibilidad (OECD/DAC, 2002). La evaluación se construye a partir del monitoreo periódico y puede efectuarse en diferentes momentos del ciclo del proyecto, o incluso años después de completada la acción (en el caso de evaluaciones de impacto o sustentabilidad)(Ortegon et al., 2005). Una buena evaluación se caracteriza por: • • • • • • Ser imparcial y transparente Tener credibilidad: ofrece información confiable y de calidad y existe una clara relación entre resultados, conclusiones y recomendaciones. Ser útil: contribuye oportunamente al proceso de decisión de aprendizaje organizativo y de los involucrados. Tener elementos participativos: refleja intereses, necesidades y percepciones de las partes involucradas. Ser eficiente: relación equilibrada entre el costo y el beneficio. Retroalimenta la toma de decisiones y el aprendizaje organizativo y social: a través del análisis de la información y la difusión de los resultados.

Criterios básicos de la evaluación
La evaluación sirve para revisar si un proyecto está funcionando y si se están logrando los objetivos planteados. Esta valoración del avance y la calidad del proyecto se fundamenta en cinco criterios básicos (OECD/DAC 2002): Pertinencia: está relacionada con la formulación del proyecto, esto es, qué tanto el diseño de la intervención responde a las necesidades de los beneficiarios y con la medida en la cual, busca avanzar hacia la solución de los problemas identificados. Puede evaluarse con relación a la consistencia de diseño, de acuerdo a la situación local y a las prioridades de desarrollo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la acción son: • • • • Identificación y selección de grupos meta o beneficiarios Participación de las partes interesadas locales en la fase de formulación y en el ciclo del proyecto en general. Calidad del Marco Lógico, incluyendo las hipótesis y los riesgos identificados. Realismo en la selección de los objetivos y de los servicios que se pretende ofrecer. -Grado de flexibilidad en el proyecto.

28

• •

Apreciación de las capacidades locales de absorción y de ejecución. Coherencia con otras iniciativas de desarrollo en el mismo país, región o sector.

Eficacia: se refiere a la medida en la cual el proyecto produce los resultados esperados y estos permiten lograr el objetivo específico del proyecto. Se valoran: • • • • Los factores que influyen en la consecución del objetivo específico, incluyendo los factores externos. La capacidad de gestión para asegurar que los resultados conseguidos, permitan lograr el objetivo específico. La reacción y apropiación de los beneficiarios. Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos, podrá ser, por ejemplo, temas de género, medio ambiente, fortalecimiento de capacidades, etc.)

Eficiencia: se refiere a la medida en la cual se brindan y gestionan los servicios y se realizan las actividades previstas del modo más apropiado de acuerdo con los medios, recursos y tiempo disponibles para producir los resultados esperados. El análisis de la eficiencia se concentra en la calidad de la gestión del proyecto y en el uso de la alternativa económicamente más efectiva para conseguir los mismos resultados. Este análisis se puede hacer a partir de: • Gestión del presupuesto. • Oportuna prestación de los servicios según el cronograma establecido. • Aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores. • Calidad de los procedimientos y las prácticas. • Análisis comparativo del costo beneficio en relación con otros proyectos similares. Impacto: se refiere a los efectos del proyecto (positivos y negativos; intencionales o no; directos e indirectos) sobre los grupos meta o beneficiarios, así como sus efectos globales sobre un mayor número de personas, en un sector o un área geográfica determinada. El impacto es un cambio durable y significativo, puede se técnico, económico, sociocultural e institucional El impacto está vinculado a la relación entre el objetivo específico y el objetivo general o global del proyecto. Es importante tener en cuenta que en este nivel el proyecto es sólo una de muchas variables que contribuyen a un resultado más amplio. Así el impacto se evalúa, considerando el contexto general en el que se inscribe el proyecto, es decir tomando en cuenta el papel de otros actores y variables sociales, económicas, políticas y medioambientales, nacionales o globales. El análisis de impacto, normalmente se concentra en: • La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecución. • Los factores externos que han influido sobre el impacto global. • El impacto no planeado del proyecto. • Los posibles efectos a largo plazo del proyecto y su sostenibilidad. • El impacto del proyecto sobre temas transversales. Sostenibilidad: se refiere a la medida en la cual, los impactos de la intervención tienen la posibilidad de continuar después del cierre del proyecto. Del mismo modo, evalúa si los grupos meta, o beneficiarios quieren y pueden dar continuidad a los objetivos del proyecto (desarrollando actividades, gestionando apoyos, incidiendo en el gobierno local, etc.) aun después de la salida del personal del proyecto. Este criterio es muy amplio, y la importancia relativa de los diferentes temas depende de la naturaleza del proyecto y de su relación con el contexto local. Los análisis de sostenibilidad pueden centrarse en: • Sentido de apropiación de los objetivos por parte de las personas involucradas dependerá en parte de su participación en el diseño y la ejecución del proyecto). • Sostenibilidad institucional la medida en la cual el proyecto respeta e influye en las características de las organizaciones o instituciones locales y en la capacidad de éstas de desempeñar su papel después del cierre del proyecto. • Sostenibilidad financiera, si los servicios pueden seguir funcionando cuando se agoten los fondos externos, y si se genera una capacidad local para sostener los gastos de operaciones después del cierre del proyecto.

29

• •

Sostenibilidad sociocultural si el proyecto, tiene en cuenta el contexto social y cultural, así como la percepción local de las necesidades. También valora si los beneficiarios y las otras partes interesadas han aceptado y adoptado los cambios producidos por el proyecto. Sostenibilidad técnica, si la tecnología y el conocimiento brindados se concilian con las tradiciones, capacidades, conocimientos brindados se concilian con las tradiciones, capacidades, conocimientos y herramientas existentes y si los beneficiarios pueden mantener la tecnología adquirida sin asistencia externa.

Tipos de evaluación
En el marco de un proyecto, programa, sector o país se pueden hacer diversos tipos de evaluaciones. De forma general, se suelen dividir las evaluaciones en formativas y sumativas. Las evaluaciones formativas son evaluaciones intermedias y periódicas sobre el desempeño del proyecto, se consideran formativas porque su objetivo básico es mejorar el desempeño del proyecto. La evaluación sumativa o postproyecto examina el impacto del proyecto, una vez que este ha finalizado. Se examina el diseño original, con las modificaciones introducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del proyecto. También existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa sobre individuos, hogares, instituciones o el medio ambiente. Estas evaluaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son las siguientes:

Por etapas en el ciclo del proyecto
• • Evaluación Ex ante: es un análisis del contexto, de estudios preliminares o de intervenciones anteriores que permitan valorar la factibilidad o mejorar el diseño del proyecto que se pretende implementar. Evaluación sobre la marcha: se realiza durante la ejecución del proyecto para evaluar las actividades del proceso mientras estas se desarrollan, e identificar los aciertos, errores y dificultades, para brindar recomendaciones, para la introducción de ajustes. Evaluación al cierre: se realiza al final del proyecto con el fin de analizar y registrar los resultados y efectos tempranos de la intervención. También puede dar recomendaciones para intervenciones futuras. Evaluación ex post: se realiza después (desde meses hasta varios años después) de concluido el proyecto, evaluando los resultados con la intención de valorar el impacto del proyecto en el largo plazo y deducir indicaciones para futuras intervenciones similares.

• •

Por agente
Autoevaluación: la realizan personas involucradas directamente en la ejecución del proyecto. Las autoevaluaciones se llevan a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios locales. Existe una modalidad de autoevaluación asistida, en la que un externo apoya las acciones de evaluación, pero ésta es realizada por los actores locales, fomentando su empoderamiento. Evaluación interna: la realizan personas que forman parte del equipo de la organización, pero que son externas al proyecto. Evaluación externa: La realizan personas externas al proyecto y a la organización (sin ningún interés o relación en los resultados). Las evaluaciones que efectúan personas externas, a menudo se consideran más objetivas y se llevan a cabo con fines de trasparencia y responsabilidad.

30

Desarrollo de la evaluación Criterios de selección de los proyectos para evaluar
Por lo general, es difícil contar con recursos para evaluar todos los proyectos de un programa de una organización. Por otro lado, puede que no sea necesario evaluar todos los proyectos y bastará con algunas evaluaciones específicas de sólo algunos. Los siguientes son posibles criterios de selección de los proyectos a evaluar: • • • • • • Cuando un proyecto tiene un presupuesto muy alto. Cuando se está proponiendo una segunda fase o una ampliación del proyecto. Cuando un proyecto es considerado nuevo o estratégico, y se quiere ampliar el conocimiento para mejorar otras acciones futuras. Cuando un proyecto está teniendo muchas limitaciones, atrasos o no ha logrado avanzar hacia la consecución de los objetivos planteados. Cuando un proyecto tiene una larga duración. Cuando un proyecto se lleva a cabo bajo modalidades operativas particulares (por ejemplo, si es cofinanciado por diferentes donantes).

Al determinar qué proyecto se va a evaluar, es necesario preguntarse: ¿Qué nos interesa evaluar en particular? ¿Se quiere evaluar todo un proyecto o sólo un componente? ¿Se quieren evaluar todos los temas del proyecto o sólo una estrategia o tema transversal del mismo?

Planeación de la evaluación
Es fundamental que el ámbito de la evaluación sea claro desde un inicio, para asegurar resultados y recomendaciones precisas y realmente útiles. Si bien las evaluaciones pueden enfocarse en distintos aspectos o temas; por lo general, se centran en un proyecto, un programa, un sector, una estrategia, un tema transversal o en las relaciones de una organización. Este manual se centra en el MyE de proyectos, pero los criterios y principios pueden ser aplicables también para otros ámbitos. También se debe tener claro cuál será el propósito de la evaluación, ya sea que esté en función de las necesidades de la agencia implementadora, de la organización matriz o del donante. Las finalidades de la evaluación pueden estar relacionadas con la gestión del proyecto, para introducir medidas correctivas; con el aprendizaje,

31

para fortalecer el conocimiento de las organizaciones y mejorar el desempeño, o con el fortalecimiento de las capacidades de socios locales, el equipo del proyecto y los beneficiarios. La evaluación requiere asignación de tiempo y recursos para un trabajo especial, que puede involucrar la participación de profesionales especializados no asignados al proyecto. En este caso, la organización que solicite una evaluación debe tener claro los objetivos y metodologías, lo cual se puede facilitar mediante la elaboración de términos de referencia y la selección adecuada del evaluador.

Términos de referencia
Los términos de referencia (TdR) son elaborados por la organización que está solicitando la evaluación, sea ésta interna o externa. Sirven para guiar toda la evaluación al determinar su enfoque y propósito, y lo que se espera del evaluador. Los TdR deben desarrollarse en coordinación cercana con los beneficiarios del proyecto. Describen el objetivo ( por qué se realiza la evaluación; el alcance (qué se debe evaluar), y los parámetros generales para llevarla a cabo (actividades y metodología). Los términos de referencia de una evaluación por lo general incluyen: información básica sobre el proyecto (datos, antecedentes, alcance, características, e información básica de la organización que lo implementa); propósito y enfoque de la evaluación (objetivo general y objetivo específico); metodología (parámetros generales para realizar la evaluación: qué metodologías se necesita emplear, si se requiere llevar a cabo actividades particulares, preguntas clave, nivel de participación de beneficiarios, formatos de informe de evaluación, e c.) y condiciones del contrato de evaluación (capacidades requeridas en el evaluador, responsabilidades, tiempos y costos).

Selección del evaluador
Una vez que se tengan los términos de referencia, se puede seleccionar al evaluador o al equipo de evaluación. Tanto en una evaluación interna como en una externa, es recomendable que el equipo de evaluación esté formado por personas externas y personas involucradas directamente en la ejecución del proyecto. En la selección del evaluador es importante considerar la combinación de cualidades, habilidades (de evaluación o de conocimiento técnico específico) y experiencia necesaria. Las capacidades requeridas pueden variar, según las características del proyecto, el objetivo de la evaluación y los métodos seleccionados. En cualquier caso, es necesario lograr un buen equilibrio entre capacidades de evaluación, experiencia técnico sectorial y conocimiento del contexto local.

Plan de trabajo
El primer producto elaborado por el evaluador es el plan de trabajo o plan de la evaluación, que representa su propuesta para realizar el trabajo, teniendo en cuenta los términos de referencia. Es importante que dicho plan de trabajo sea compartido con el equipo del proyecto, pues es en este momento inicial cuando se puede hacer cambios al plan y asegurar la apropiación del proceso de evaluación. El plan de trabajo es fundamental, ya que será un punto de referencia para todo el desarrollo de la evaluación. Se recomienda incluir: • Visión general del proyecto y del contexto: comprensión del evaluador del contexto y los antecedentes, del proyecto y de la organización. Esto se desarrolla a través de la revisión de los documentos y de la consulta con el equipo del proyecto. Diseño metodológico indicativo: el enfoque de la evaluación, los objetivos (general y específico) de acuerdo a las demandas de la organización contratante y a la propuesta del evaluador, y las preguntas de evaluación o hipótesis.

32

• •

Matriz de evaluación: reformulación de las preguntas específicas vinculadas a los criterios de evaluación, los indicadores, las fuentes de datos y los métodos para su recolección Metodología: es la estrategia para conseguir los objetivos de la evaluación, teniendo en cuenta la información disponible, los tiempos y los recursos. Aquí se incluyen los métodos de recolección de datos, actividades y explicación de los pasos previstos para la evaluación. Si hay sistemas de MyE ya diseñados y adecuados a las necesidades de evaluación, se recomienda que el evaluador los emplee para aprovechar la información existente. Cronograma de actividades: tareas y fechas límite de las fases de evaluación (fase de preparación, visitas sobre terreno, elaboración del informe, presentación de los resultados al equipo y a los beneficiarios, etc.) Composición del equipo de evaluación: composición (evaluadores, coordinador sobre terreno, asistente de evaluación, etc.) y responsabilidades de cada uno. Perfil del informe: índice indicativo de los contenidos del informe de evaluación y la estructura de la presentación. En este apartado se incluyen también la extensión, el tiempo de la evaluación y las entregas específicas de reportes.

• • •

Implementación de la evaluación
Una vez que la organización gestora de la evaluación haya aceptado el plan de trabajo y se haya seleccionado y conformado el equipo de evaluación, se puede comenzar la evaluación. Como acciones previas, se recomienda: • Reunir y revisar la información disponible sobre el contexto y sobre el proyecto (propuesta inicial, reportes intermedios y finales, información de línea base, estadísticas oficiales, investigaciones y documentos sobre la problemática o el contexto, etc.).

Programar que el evaluador o el equipo realicen al menos una visita previa al lugar del proyecto para recolectar información que no esté disponible, y para asegurar una contextualización adecuada si el evaluador es externo. En esta visita puede haber una reunión con las personas que estarán involucradas en la evaluación (responsables de la ejecución del proyecto, y quienes darán la información). Entregar a los responsables del proyecto el cronograma, los itinerarios y el plan de evaluación. Considerar aspectos logísticos y organizativos antes de la salida, y planear agendas alternas a partir de un análisis de riesgos. Seleccionar y revisar las técnicas para la recolección de datos y los distintos métodos de evaluación, de acuerdo a los resultados de las visitas y reuniones preliminares.

• • •

33

Durante el desarrollo de la evaluación se recomienda la participación activa de diversos actores: beneficiarios, socios, autoridades, equipo del proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo del nivel local. El gestor de la evaluación deberá decidir sobre el nivel de inclusión de los beneficiarios o, en su caso, si es pertinente y existen las condiciones necesarias para realizar una evaluación participativa. Para guiar el trabajo de la evaluación se puede partir de los criterios básicos (pertinencia, eficiencia, eficacia, sostenibilidad e impacto), aplicando cada uno a los objetivos y estrategias generales y específicas del proyecto. Otra posibilidad es el enfoque de la evaluación se concentre en una parte del proyecto, un tema transversal, un problema o un solo criterio de evaluación (por ejemplo, en la eficiencia del proyecto). Al desarrollar la evaluación, es posible que el evaluador se enfoque en: • • • Aspectos técnicos y de proceso del proyecto (relacionados con las actividades y la eficiencia en el uso de los recursos). Nivel de cumplimiento con la lógica de intervención del proyecto, analizando la eficacia y la eficiencia, al producir los resultados, objetivo específico y objetivo general. Los resultados o impactos que se generaron en relación con las intenciones del proyecto.

También es posible que el evaluador establezca puntos de análisis más pertinentes o alternativos a diseñados en el sistema de MyE del proyecto, puede por ejemplo enfocarse en un tema transversal o una problemática específica (como una evaluación de vel de cumplimiento con parámetros de equidad de género, o una evaluación para medir el impacto ambiental). Durante el desarrollo de la evaluación quizá sea necesario incluir nuevos parámetros de medición, si se identifican problemas importantes considerados anteriormente y no incluidos en el seño del proyecto. En este caso, el evaluador puede desarrollar nuevas preguntas de evaluación e indicadores que respondan a las necesidades de información que considere más importantes.

los

ni-

no di-

Una vez identificado claramente el enfoque que tendrá la evaluación, se pueden seleccionar y desarrollar los instrumentos necesarios para la recolección de datos que permitan reunir la información necesaria. Esta etapa del proceso de evaluación es la que requiere más tiempo y trabajo, por lo que es fundamental planearla y llevarla a cabo cuidadosamente. Después de la recolección de datos, es necesario hacer una recopilación y análisis de los datos obtenidos y evaluarlos en relación con los criterios y objetivos establecidos anteriormente, para poder interpretar los resultados, deducir conclusiones y lecciones aprendidas.

Informe final de evaluación
El resultado de todo el proceso de evaluación se refleja en el informe de evaluación. Este debe ser coherente con los requisitos de contenido de los términos de referencia y la propuesta del Plan de Evaluación. Si bien los informes son extensos, basados en información diversa a partir de las múltiples fuentes de datos e información, el texto del informe debe ser lo más claro y conciso posible, e incluir solo la información más relevante de la evaluación y las recomendaciones a futuro. Esta claridad es importante para que la evaluación pueda ser realmente una herramienta de aprendizaje para las organizaciones y los beneficiarios. Algunos elementos esenciales que debe considerar un informe de evaluación son:

34

Resumen ejecutivo: en esta sección se responden brevemente las preguntas definidas en los términos de referencia y en la matriz de evaluación, y se exponen las principales conclusiones y recomendaciones de la evaluación. Metodología: descripción de la metodología usada durante la fase preparatoria de la evaluación y de la misión sobre el terreno, los métodos de recolección de datos y de análisis de la información. Resultados de la evaluación: es el texto principal del informe. Esta sección debe responder los objetivos y las preguntas concretas e hipótesis definidas en los términos de referencia y en la matriz de evaluación. Aquí se desarrollan al detalle los resultados de la evaluación y las recomendaciones, incluyendo evidencia concreta de la información y las conclusiones. Conclusiones y recomendaciones: puede ser útil separar las conclusiones de acuerdo a los criterios de evaluación y las recomendaciones en términos del objetivo general del proyecto, objetivo específico, resultados y las estrategias, o cualquier tema en particular que haya surgido como importante en los hallazgos de la evaluación. Anexos: Términos de Referencia (TdR), currículum del evaluador, figuras y tablas. Referencias bibliográficas

• •

• •

La evaluación participativa
“Es una dimensión participativa del desarrollo que abarca muchos conceptos similares, involucra a las partes interesadas y a los beneficiaros del programa o proyecto en el análisis colectivo y la evaluación del mismo. Está centrada en las personas: las partes interesadas y los beneficiarios del proyecto son actores clave del proceso de evaluación, y no solamente un objeto de esto (PNUD, 1997)”. La experiencia ha demostrado que los proyectos sociales tienen más posibilidades de éxito cuando la población local se apropia del proyecto y se involucra en los procesos de diseño, implementación, monitoreo y evaluación. Ya se ha mencionado la importancia de que los proyectos sean diseñados e implementados en respuesta a una necesidad expresada por los propios implicados. Si las iniciativas responden a una necesidad planteada por la población local, necesariamente las mismas personas deberán determinar también, qué es lo que significa un avance o mejora sustancial en cuanto a dicha problemática. Por eso es fundamental que las personas impactadas por el proyecto participen en determinar los parámetros del monitoreo y la evaluación. Así, la participación debe ser una parte fundamental y natural del proceso de evaluación, tanto en los procesos de diseño, como en las actividades de recolección de datos, el análisis y la evaluación de los resultados y la formulación e implementación de recomendaciones. Algunas de las ventajas de un proceso de evaluación participativo son: • • • • • • Promueve la definición de parámetros compartidos de resultado y desempeño. Fomenta la corresponsabilidad. Facilita la confianza entre las partes Crea compromiso entre los involucrados. Fomenta el aprendizaje, la gestión y otras capacidades locales de los beneficiarios. Al incluir a las partes involucradas en el análisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiación. Esto genera mayor apertura a las recomendaciones de la evaluación y facilita la introducción de cambios.

35

Principios básicos de la evaluación participativa
Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios básicos que los distinguen de los enfoques de evaluación convencionales: • Intervención: el mismo diseño del proyecto lo abre a la participación e intervención de las personas directamente afectadas por un problema y beneficiarias de la intervención. La población debe estar involucrada en todas las etapas de la implementación del proyecto, incluso en el seguimiento de las actividades y en la evaluación. Negociación: se negocia y acuerda con los beneficiarios, qué será monitoreado y evaluado, así como los métodos y las herramientas de recolección de datos. Por otro lado, las estrategias y los procedimientos para el análisis de información y la difusión de los resultados también deben retomar los aportes de la población local. Aprendizaje: se acuerda con las personas involucradas cómo se retomarán las lecciones aprendidas para lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener claramente definido cómo se difundirán las buenas prácticas y su promoción, de manera que el aprendizaje permanezca y sea apropiado por los beneficiarios. Flexibilidad: los proyectos de desarrollo se afectarán por una diversidad de factores fuera del control de los responsables. Por lo tanto, es importante estar conscientes de la necesidad de ser flexibles y adaptarse a cambios inesperados.

La evaluación participativa se distingue de las evaluaciones convencionales en diferentes aspectos.

Es recomendable lograr un equilibrio entre evaluaciones participativas y convencionales, buscando la opción más adecuada con relación al proyecto, a las necesidades de evaluación y al contexto. Así, puede ser que en ciertas circunstancias sea mucho más útil una evaluación convencional y en otros participativa. Al no haber ningún enfoque definitivo para la evaluación participativa, esta puede ser adaptada al contexto y a las necesidades y combinarse con evaluaciones convencionales. La evaluación participativa tiene la desventaja de que suele requerir más tiempo y recursos para llevarse a cabo, y por lo general exige mayor capacitación y preparación por parte del facilitador de la evaluación. Existen límites a la viabilidad de la evaluación participativa. A veces es demasiado ambicioso esperar involucrar a los beneficiarios en una evaluación, ya sea por el contexto, su disponibilidad o una limitada apropiación del proyecto (al no haber estado involucrados en todas las etapas de diseño, implementación y

36

seguimiento). En este sentido, es importante tener en mente ciertos factores acerca de la participación en los procesos de MyE del proyecto (UNESCO, 2009): • • No todos los beneficiarios del proyecto querrán involucrarse en el proceso de MyE. Esta participación requiere tiempo y energía que no todas las personas estarán preparadas o dispuestas a dar. Es necesario adaptarse al contexto y a las necesidades de la población. En este caso, se pueden obtener muy buenos resultados empleando y combinando diferentes técnicas y herramientas participativas de obtención de datos y de evaluación. La participación de la población en la recolección de datos puede, por sí misma, empoderar a los involucrados al asignarles una responsabilidad en el proyecto y fortalecer su formación en las técnicas y habilidades necesarias (investigación, entrevistas, etc.). Las evaluaciones participativas pueden contribuir a la construcción social de aprendizaje. El proceso de análisis colectivo sobre un tema en particular puede resultar en una comprensión y un aprendizaje mucho más profundos, a través de cuestionamientos, diálogos y generación de ideas.

Actividades de la cuarta semana Individuales
1. Realice la lectura de la semana. 2. Elabore un mapa conceptual sobre la planificación y su relación con el monitoreo. 3. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con su grupo de trabajo en clase, su mapa conceptual elaborado en casa, luego construyan uno en grupo para compartir con el resto de la clase.

Autoevaluación
1. 2. 3. 4. 5. ¿Qué esperaba encontrar en la lectura acerca de la evaluación? ¿Qué ideas tenía usted acerca de la evaluación? ¿Después de realizar la lectura, que aspectos nuevos ha aprendido acerca de la evaluación? ¿Para usted, cuál de las fases o etapas de una evaluación, es la más importante y por qué? ¿A qué le motiva la lectura anterior?

37

QUINTA SEMANA ¿Quiénes necesitan la información del monitoreo y la evaluación? Objetivos de la semana
Al finalizar el estudio de la quinta semana las y los estudiantes…. • Identificarán a los usuarios de la información del monitoreo y la evaluación.

LECTURA Usuarios de la información
Uno de los primeros pasos más importantes al desarrollar un sistema de información consiste en identificar quiénes son los usuarios de la información relacionada con el proyecto. Una vez identificados los usuarios, es entonces cuando se puede y se tiene que determinar qué tipo de información se necesita y para qué fines, qué preguntas o preocupaciones tienen los usuarios respecto a la información y qué es lo que constituye una información de calidad. Un gran número de personas y organizaciones están interesadas en cada uno de los proyectos. Todas estas personas pueden denominarse "usuarios de la información". Algunos estarán interesados en los resultados obtenidos y las lecciones aprendidas en un proyecto dado, por ejemplo, otras organizaciones no gubernamentales que trabajan con poblaciones objetivos similares en otra región o departamento. Otros podrían desear la información para poder participar en varias decisiones relacionadas con el proyecto. A este último grupo se los suele llamar frecuentemente "partes interesadas" o presuntos "propietarios" del proyecto. Las partes interesadas del proyecto son todas las personas o grupos que tienen capacidad para tomar o influir decisiones que tienen un impacto en el diseño o la ejecución del proyecto. Por último, todas las partes interesadas pueden participar en la fase de ejecución de un proyecto y, por lo tanto, deberán ser consultadas e informadas regularmente sobre la planificación de proyectos y sus progresos. El hacer participar a los presuntos usuarios (sobre todo, los administradores y el personal de los proyectos y la población beneficiaria) en el diseño del monitoreo y la evaluación no sólo contribuirá a aclarar los requisitos de información, sino también a asegurar su apoyo para el sistema de monitoreo y evaluación y la utilización de sus resultados. Preocupaciones sobre el contenido Entre las numerosas personas diferentes que están interesadas y participan activamente en el monitoreo y la evaluación de proyectos figuran la población beneficiaria de los proyectos, el personal encargado de la recopilación y gestión rutinarias de datos (por ejemplo, sobre finanzas y productos), los equipos de evaluación internos y externos encargados de las evaluaciones periódicas (como, por ejemplo, de los resultados y el progreso de los proyectos). Las diferencias que existen entre estos grupos consistirán en: • • • Sus percepciones del fin del Monitoreo y la Evaluación Sus razones para la recogida de los datos. Sus intereses en la información obtenida como resultado del Monitoreo y la Evaluación

Otro grupo de personas que influye en el sistema de monitoreo y evaluación de proyectos son los especialistas que participan en el proyecto, tales como economistas, ecólogos, agrónomos, sociólogos, trabajadores de salud, etc. Muchas de sus necesidades de información (y el tipo de información que creen que necesita el proyecto) serán determinadas en gran medida por su formación profesional (por ejemplo, los economistas que tienen tendencia a buscar información relacionada con el ingreso). Como consecuencia, aun cuando su experiencia y

38

formación pueden aportar unos puntos de vista valiosos al sistema de monitoreo y evaluación, estos grupos pueden introducir también un elemento de "sesgo" profesional. Deberá, por lo tanto, tenerse cierta cautela para asegurar que los puntos de vista de los profesionales no influyen desmedidamente el diseño del sistema de monitoreo y evaluación. Preocupaciones sobre la calidad Los usuarios de la información tienen muchas preocupaciones sobre la calidad de la información que están buscando. Consideración de las cuestiones de la calidad Exactitud • • • • • • ¿Cómo podemos asegurar que la información es exacta y confiable?

Planear por adelantado; ser específico respecto a la información requerida y los procesos para obtenerla. Simplificar las necesidades y los sistemas de información para su recogida y análisis. Ser selectivo en cuanto a la información recogida, las muestras, los métodos, etc. Elaborar lineamientos y normalizar el proceso de cómo recoger y analizar la información. Triangular las fuentes de información y los métodos de recogida siempre que sea posible (por ejemplo, utilizar más de un método o fuente para los mismos elementos de datos). Promover el compromiso a la recogida de información exacta o precisa. Cuando sea procedente, adquirir y utilizar un equipo moderno, por ejemplo, computadoras (pero recuerde que todo lo que se entre y no valga, fuera). ¿Cómo podemos asegurar que la información es pertinente para las necesidades del usuario?

Relevancia • • • • •

La "relevancia" varía en función de los distintos usuarios de la información. Obtener el punto de vista de las poblaciones objetivo del proyecto, haciéndolas participar en la recogida y el análisis de la información. Evitar una orientación hacia el donante, satisfaciendo al mismo tiempo los requisitos de éste. Ser selectivo y establecer un orden de prioridades respecto a las necesidades de información. Averiguar de antemano quién necesita qué información y cómo se va a utilizar. Asegurar que el proyecto pueda analizar la información y presentar los resultados de una forma accesible para los diversos usuarios o públicos (por ejemplo, no utilizar un informe escrito con miembros de la comunidad analfabetos o un informe de 200 páginas con un funcionario de la organización donante que está muy ocupado).

Oportunidad ¿Cómo podemos asegurarnos de que la información está disponible a tiempo? • • • Utilizar instrumentos o medios sencillos para la recogida y el análisis. Planear de antemano: consultar con los que proporcionan la información. Tratar de conseguir el compromiso de las organizaciones aliadas de contraparte y comunidades. Preparar un calendario con plazos establecidos. Delegar y compartir las responsabilidades relacionadas con la recogida, el análisis y la presentación de la información; sensibilizar a los participantes sobre la necesidad de la oportunidad.

Credibilidad ¿Cómo podemos promover la credibilidad de la información? • Diseñar los métodos de recogida de información con cuidado. Ser congruente (utilizando métodos repetibles que puedan indicar tendencias). Ser objetivo al recoger, analizar e interpretar la información.

39

Ser transparente sobre los procesos empleados. Explicar los métodos utilizados para obtener datos y sacar conclusiones (incluidos supuestos, enlaces estadísticos entre las fuentes, métodos de recogida, análisis y resultados). Tratar y debatir las cuestiones de la atribución (si los resultados pueden ser reclamados por el proyecto). Mantener la reputación personal y de la organización. ¿Por qué se necesita la información? ¿Para qué fines? ¿Qué decisiones o acciones van a verse afectadas?

• •

Fines de la información Las dos aplicaciones principales de la información producida por los proyectos y sobre los mismos son: a) Informar a quienes tengan que tomar decisiones (sea dentro o fuera del proyecto), y b) ofrecer una descripción a aquéllos que desean aprender del proyecto (incluidos resultados obtenidos, limitaciones y fracasos). Entre ejemplos corrientes de esos dos fines se pueden citar los siguientes: • Seguir el progreso físico y financiero, con el fin de que puedan tomarse (o revisarse) decisiones sobre los gastos y la asignación de recursos que mantengan el proyecto funcionando y dentro de sus límites presupuestario. Seguir la distribución de los beneficios del proyecto. Por ejemplo, algunas personas podrían beneficiarse más que otras. Esta información es de gran utilidad para los grupos que desean vigilar la equidad y el rendimiento de cuentas del proyecto. Examinar las respuestas de la población beneficiaria, a los servicios e insumos que está proporcionando el proyecto. Tal información podría ayudar a asegurar la aceptabilidad y utilidad de las actividades del proyecto. Estudiar problemas específicos de ejecución que afronta un proyecto, para que puedan identificarse la causa o causas y recomendarse soluciones prácticas. Determinar cuál es el impacto sobre la población beneficiaria, sobre todo, en la calidad de vida y los niveles de vida (ingreso, salud, adquisición de poder, relación con el medio ambiente, etc.) como un resultado directo del proyecto, o sea, evaluar el impacto atribuible del proyecto. Cuando los beneficios del proyecto son identificables, la información sobre su impacto puede ser de gran utilidad para el cometido de la defensa o promoción de los intereses de ciertos grupos. Cumplimiento y rendimiento de cuentas, o sea, cumplir con los requisitos de los donantes.

• •

40

Actividades de la quinta semana Individuales
1. Realice la lectura de la semana. 2. Visite una institución gubernamental o no gubernamental, identifique quiénes podrían ser los usuarios de la información en su sistema de monitoreo y evaluación. 3. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institución, luego elabore una propuesta común para compartirla con el resto de la clase.

Autoevaluación
1. 2. 3. 4. ¿Qué esperaba encontrar en la lectura acerca de la información y sus usos? ¿Qué ideas tenía usted acerca del uso que puede hacerse de la información? ¿Después de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la información? ¿A qué le motiva la lectura anterior?

41

SEXTA SEMANA TEMA Uso de la evaluación como herramienta gerencial Objetivos de la semana
Al finalizar el estudio de la sexta semana las y los estudiantes…. • Comprenderá cuál es el uso gerencial que puede hacerse de los resultados de una evaluación Comprender el rol de la evaluación para una buena gestión gerencial
Las organizaciones bien administradas y los programas efectivos son aquellos que pueden demostrar que han logrado resultados. Los resultados provienen de una buena gestión gerencial. Una buena gestión gerencial se basa en la toma de decisiones adecuadas. Este proceso de toma de decisiones depende de una buena información. La buena información requiere que se recopilen buenos datos y que éstos sean analizados cuidadosamente. Todos estos constituyen elementos críticos dentro del proceso de evaluación. La evaluación es un proceso periódico de recopilación y análisis de datos o el ordenamiento de los mismos de manera que la información resultante pueda ser utilizada para determinar si su organización o programa está llevando a cabo en forma efectiva las actividades programadas, y la medida en la que se están logrando los objetivos y resultados anticipados. Los administradores pueden y deberían efectuar evaluaciones internas para obtener información acerca de sus programas con el objeto de estar en condiciones de tomar decisiones adecuadas con respecto a la implementación de sus programas. Las evaluaciones internas deberían realizarse en forma constante y los administradores deberían aplicarlas concienzudamente en todos los niveles de una organización y en todas las áreas del programa. Adicionalmente, todos los participantes del programa (administradores, personal y beneficiarios) deberían tomar parte en el proceso de evaluación en una forma apropiada a la función de cada uno. Esto ayuda a asegurar que la evaluación sea plenamente participativa y logre un mayor compromiso y dedicación de parte de todos los participantes en lo que se refiere al uso de los resultados para lograr mejoras críticas a nivel del programa. A pesar de que la mayor parte de las evaluaciones se llevan a cabo a nivel interno y son realizadas por los administradores y el personal del programa, todavía es necesario que individuos ajenos al programa u organización realicen periódicamente evaluaciones externas. La evaluación es una de las herramientas más importantes a disposición de los administradores. El proceso de evaluación ayuda a los administradores a tomar decisiones críticas acerca de la forma de mejorar la implementación de sus programas y/o la administración de su organización. La evaluación ayuda a los administradores a: • Determinar si están logrando los resultados anticipados y qué modificaciones deberían efectuarse para mejorar la eficiencia y/o la efectividad de las actividades de su programa; • Determinar si las estrategias actuales del programa son apropiadas y efectivas; • Determinar qué tipo de personal se necesita; • Decidir a qué cargos se debería asignar al personal; • Supervisar y guiar al personal en la realización de su trabajo; • Efectuar un seguimiento de los insumos (dinero, recursos humanos, tiempo) y los resultados (productos, servicios, gente capacitada, clientes); • Determinar dónde ubicar los servicios; • Decidir cuándo es necesario adquirir equipo nuevo y qué tipo(s) de equipo se debe comprar; • Verificar si los clientes tienen otras necesidades que no están siendo cubiertas o si existen clientes potenciales que no han sido alcanzados por el programa.

42

Como administrador, usted es responsable de tomar este tipo de decisiones. La evaluación, cuando se emplea regularmente, constituye una herramienta gerencial poderosa que le puede reportar buena información para ayudarle a tomar las decisiones correctas en cuanto a la mejor forma de administrar su programa de modo que pueda continuar prestando servicios de calidad y cubrir las necesidades de sus clientes. A través del proceso de recopilación, análisis e interpretación de datos que usted ha llevado a cabo, la información que usted obtiene de una evaluación le permite escoger entre varias opciones y cursos de acción alternativos así como comprender y considerar las consecuencias de cada una de las acciones propuestas. Por ejemplo, al evaluar su programa o parte del mismo usted debería ser capaz de reconocer qué cambios deberían realizarse y cómo se está administrando el programa, qué nuevos servicios o actividades deberían llevarse a cabo para mejorar la calidad del programa o de los servicios, o si se debería implementar una nueva campaña de mercadeo o de recaudación de fondos.

Vincular la evaluación con el ciclo de planificación e implementación del programa
Los pasos que sigue una organización o programa para implementar sus actividades pueden ser presentados como un ciclo continuo de acciones administrativas que van desde la evaluación de las necesidades, a la planificación e implementación de actividades y la medición de los resultados finales del programa, los cuales son retroalimentados a la etapa de planificación con el objeto de volver a empezar el ciclo. Ya sea que la evaluación sea llevada a cabo internamente por el personal del programa o por un consultor externo, hay tres elementos principales en cualquier evaluación: • • • la planificación de la evaluación; la conducción de la evaluación; la utilización de los resultados.

Como se muestra en el diagrama a continuación, estos elementos de evaluación están directamente vinculados a los pasos que debe seguir para llevar a cabo la planificación e implementación de su programa o proyecto. La evaluación es parte de y se relaciona con cada etapa del ciclo, y como se hizo notar anteriormente, todos los participantes del programa—administradores, personal y la población objetivo (beneficiarios)— deberían participar a lo largo de todo el proceso. De esta manera, los participantes involucrados en diferentes aspectos del programa comprenderán la necesidad que existe de implementar cualquier cambio necesario indicado por la evaluación y estarán motivados para trabajar juntos con el objeto de lograr los resultados deseados.

43

44

Planificación de la evaluación
A pesar de que las presiones para obtener información pueden provenir de muchas fuentes—el Ministerio de Salud o Población, la oficina central de la organización, el gobierno local, las organizaciones patrocinadoras, los donantes, los entes reguladores o responsables del otorgamiento de certificaciones, o los clientes—es importante recordar que la razón primordial para evaluar su programa debería ser el mejoramiento del mismo. Es así que los resultados de la evaluación deberían centrarse más en las soluciones o acciones necesarias para revisar y mejorar los programa y no solamente en responder o solucionar los problemas identificados. Es responsabilidad suya, en su capacidad de administrador, lograr que los resultados de la evaluación sean bien utilizados. Como se explica en la siguiente tabla, la evaluación puede centrarse en varios aspectos diferentes de un programa dependiendo de cuál(es) sea(n) la(s) razón(es) primordiales para realizar dicha evaluación.

45

Los administradores a diferentes niveles de un programa u organización necesitan diferentes tipos de información para tomar decisiones que atañen a sus responsabilidades específicas. Estas decisiones se relacionan con las diversas etapas del ciclo de planificación e implementación. Los tipos de decisiones tomadas por los administradores y la forma en la que dichas decisiones encajan dentro del proceso de planificación e implementación se ilustran en la siguiente figura y se explican con mayor detalle a continuación.

46

Los administradores de nivel superior necesitan información que les ayude a responder a las preguntas concernientes al enfoque y a las estrategias utilizadas en todo el programa. Ellos necesitan recopilar y analizar los datos referente a cómo el programa u organización se están desenvolviendo en lo que respecta a su misión (o mandato legal) y su visión. También necesitan tener a su disposición información acerca de lo que está pasando en el medio dentro del cual operan (tal como el gobierno nacional o local o el medio social, religioso y económico) con el fin de determinar el impacto potencial que el medio externo podría tener en el cumplimiento de la misión de la organización. Los administradores de nivel medio necesitan información que los ayude a determinar la medida en la que su unidad, programa, o departamento está contribuyendo a la consecución de los metas y objetivos más importantes que la organización se ha fijado, así como los de su propia unidad o departamento. Los administradores de nivel medio deben también comprender y tener a su disposición información acerca de las tendencias dentro del contexto de la organización, tal como la misión de la organización y los objetivos y metas de la organización a corto y largo plazo. Al contar con esta información podrán asegurarse de que su trabajo y el del personal a su cargo serán consistentes con las metas y la dirección de la organización. Los administradores de base necesitan información confiable que los ayude a implementar y supervisar las actividades y tareas específicas del personal bajo su supervisión directa. Al contar con esta información ellos pueden asegurarse de que las responsabilidades, tareas y objetivos de la unidad de base se están logrando. Para poder desempeñar su trabajo en forma efectiva, los administradores de base también necesitan información con respecto a la orientación futura del programa o departamento, tales como nuevos servicios que serán provistos por su unidad, o nuevos requisitos de rendición de informes.

Realización de la evaluación
Una vez que se haya determinado el propósito de la evaluación, seleccionado los indicadores y estándares y hecho planes para la recopilación de datos, estará listo para llevar a cabo la evaluación recopilando y analizando los datos. Recopilación de Datos. Los datos que usted recopile pueden ser cuantitativos o cualitativos. Estos dos términos se emplean para hacer referencia a diferentes enfoques para la recopilación de datos. Al emplear un enfoque cuantitativo esto significa que usted estará recopilando y utilizando datos bajo la forma de números y estará convirtiendo estos datos en porcentajes, medias, medianas y otras figuras para ayudarlo a realizar el análisis de los mismos y encontrar un significado a los números. Los enfoques cualitativos (como la realización de entrevistas focales a los clientes) proporcionan una mayor profundidad y detalle y sirven para enriquecer y explicar los hallazgos cuantitativos. Al planificar para una evaluación, es importante recordar que ambos enfoques son valiosos y, si los recursos lo permiten, es mejor emplear ambos enfoques y varias fuentes de información. Emplear ambos enfoques le ayudará a confirmar y respaldar sus hallazgos. Podría emplear una diversidad de métodos de recopilación de datos en cualquier evaluación. Por ejemplo, cuando usted realiza una evaluación de las necesidades podría emplear varios métodos de recopilación de datos. Podría comenzar dicha evaluación tomando en cuenta los datos cuantitativos disponibles de los censos, encuestas nacionales, y datos sobre los clientes/la clínica para determinar la situación general de un aspecto en particular como los niveles de fertilidad o el uso de servicios de planificación familiar. Los hallazgos a partir de estos datos cuantitativos podrían llevarlo a la elaboración de un estudio más detallado de la situación utilizando metodologías cualitativas como la observación clínica, encuestas de los clientes o grupos focales utilizando preguntas abiertas, con el objeto de determinar con mayor precisión cómo diseñar un programa en particular. Sin importar qué métodos se usan para recopilar información, la utilidad que éstos tienen para usted, el administrador, depende de que los datos sean válidos (deben medir lo que usted desea medir), confiables (deben ser consistentes a través del tiempo) y oportunos (deben estar disponibles cuando se los necesite). La siguiente tabla proporciona un resumen de las diferentes herramientas y métodos para recopilar datos cuantitativos y cualitativos y las características de los dos últimos enfoques.

47

Análisis de los datos
Analizar los datos que usted ha recopilado es a menudo uno de los aspectos más difíciles de la evaluación y requiere de una cuidadosa planificación. Al analizar los datos, usted necesita desarrollar habilidades para encontrar ciertos patrones en los datos y tener la habilidad de aislar la información y los hechos críticos de otra información que no es tan importante. Como se puede ver en la tabla anterior, la manera en la que se analizan los datos depende mucho de la forma en que dichos datos fueron recopilados. En algunas evaluaciones, su mayor interés podría consistir en medir el progreso logrado en el corto plazo al comparar los números y la información de los diferentes centros de servicios de su programa u organización. En otras evaluaciones, es posible que usted desee medir el éxito de su programa mediante una comparación de los logros de su programa en contraposición con una línea de base establecida por el mismo.

48

Utilización de la información proveniente de la evaluación
Todo el tiempo y la energía que se invierten en la evaluación serían inútiles si los resultados no se usan para planificar, apoyar, cambiar, corregir y/o mejorar su programa. Por consiguiente, para beneficiarse de una evaluación usted debe formular las siguientes preguntas referentes a la manera en que se utilizará la información. • ¿Qué lecciones se aprendieron de la evaluación? • ¿Qué se debería hacer en forma diferente a raíz de los hallazgos de la evaluación?

Cómo vencer la resistencia a la evaluación
A menudo los administradores y encargados de formular políticas ven la evaluación como una amenaza en lugar de una herramienta útil. Al realizar cualquier tipo de evaluación, se debería pensar con anticipación acerca de las áreas de resistencia potencial y tratar de solucionarlas antes de comenzar la evaluación. Generalmente se pueden encontrar soluciones relativamente fáciles para estos problemas potenciales. La siguiente tabla proporciona algunas sugerencias con respecto a la manera de evitar cualquier resistencia potencial a la evaluación.

49

Cómo decidir si se debe realizar una evaluación interna o externa
La presente edición ha tomado como punto central la importancia de realizar evaluaciones internas, participativas por usted en su calidad de administrador así como por el personal a su cargo. Sin embargo, existen oportunidades en las que es útil e importante realizar una evaluación externa, como cuando usted desea aprender acerca del impacto de su programa en el largo plazo, en relación con la política y el programa nacional más amplio. A continuación se resumen algunas de las ventajas y desventajas de realizar evaluaciones internas y externas.

50

Introducción de la evaluación a su programa
Para asegurarse de que la evaluación se convierta en una actividad regular y aceptada en su organización y sea un instrumento participativo y útil para su personal y organización, es importante seguir unos cuantos pasos simples. Primero, la planificación de las evaluaciones debería convertirse en un elemento regular del proceso de planificación e implementación de programas a nivel de su organización. La evaluación debería considerarse como parte esencial de este proceso, de modo que al igual que se elaboran planes para implementar sus programas, también se elaboran planes para evaluar el proceso y el impacto de las actividades del programa. Segundo, cuando usted planifica y realiza una evaluación, debería emplear todos los datos disponibles primero, antes de siquiera considerar llevar a cabo cualquier esfuerzo especial de recopilación de datos—a menudo caro y que requiere de mucho tiempo, como ser la realización de cualquier tipo de encuestas especiales. Finalmente, al llevar a cabo evaluaciones internas es importante recordar que se deben enfocar las soluciones y acciones que mejorarán sus servicios y la administración del programa, en lugar de solamente centrar su atención en revelar y responder a los problemas inmediatos identificados en la evaluación. Es su responsabilidad asegurarse de lograr que los hallazgos de una evaluación sean bien utilizados, para mejorar tanto las actividades específicas de su programa como los aspectos administrativos en general, así como la efectividad y eficiencia de su organización y sus programas.

51

Actividades de la Sexta semana Individuales
1. Realice la lectura de la semana. 2. Visite una institución gubernamental o no gubernamental, identifique quiénes podrían ser los usuarios de la información en su sistema de monitoreo y evaluación. 3. Actualizar su diario de aprendizaje.

Grupales
1. Comparta con su grupo de trabajo en clase, los resultados de la visita realizada a una institución, luego elabore una propuesta común para compartirla con el resto de la clase.

52

Autoevaluación
1. 2. 3. 4. ¿Qué esperaba encontrar en la lectura acerca de la información y sus usos? ¿Qué ideas tenía usted acerca del uso que puede hacerse de la información? ¿Después de realizar la lectura, que aspectos nuevos ha aprendido acerca del uso de la información? ¿A qué le motiva la lectura anterior?

53

SÉPTIMA SEMANA Los pasos de una evaluación Objetivos de la semana
Al finalizar el estudio de la séptima semana las y los estudiantes…. • Identificarán los principales pasos para realizar una evaluación.

LECTURA
Paso 1: Identificar y empoderar al gerente de evaluación
El Rol del Gerente de Evaluación
El primer paso para llevar a cabo una evaluación bien planificada consiste en designar una persona como gerente de la evaluación. Esta persona suele ser el gerente del proyecto o el responsable de monitoreo y evaluación (M&E), pero podría ser cualquier otra persona con un claro compromiso hacia el proyecto. El gerente de evaluación es responsable de garantizar que se cumplan de manera oportuna las tareas específicas previas a la evaluación. En proyectos más grandes, con equipos múltiples y varios cronogramas, las responsabilidades de un gerente de evaluación se pueden distribuir entre varias personas. Sin embargo, cuando esto sucede, es necesario definir claramente la nueva distribución de funciones, y es fundamental que exista una buena comunicación entre las personas involucradas.

Ubicación del Gerente de Evaluación
Algunas organizaciones desean que el gerente de evaluación esté ubicado en la oficina sede, otros en la oficina regional, o en la oficina principal del programa de país donde se implementa el proyecto. Pero mientras la comunicación sea confiable (Internet, teléfono, etc.), la ubicación no es tan importante como la capacidad de la persona para organizar, coordinar y cumplir el trabajo. Sin embargo, si el gerente de evaluación no se encuentra en el mismo país en el que se llevará a cabo la evaluación, es necesario entonces que un miembro del personal local respalde el proceso, a fin de garantizar una adecuada representación desde el terreno y una óptima coordinación de campo durante toda la evaluación. Esto ayudará a facilitar la comunicación entre el equipo de evaluación y el personal del proyecto.

Paso 2: Clarificar los lineamientos y expectativas
Determinar los Requerimientos
Generalmente los donantes tienen estándares para las evaluaciones. Las organizaciones implementadoras también tienen estándares que a menudo son más rigurosos. Antes de redactar los términos de referencia, investigue cuáles son los requerimientos para la evaluación. Esto proporcionará la información necesaria para el proceso de evaluación, incluyendo el calendario de actividades y las destrezas requeridas para el equipo de evaluación. Existen dos documentos donde se pueden encontrar los estándares de evaluación: la guía original de la propuesta del donante y el plan de M&E aprobado para el proyecto. Existen además otros recursos que pueden brindar información sobre aquellos indicadores que los evaluadores necesitarán medir directamente, y aquellos que requerirán la recolección complementaria de datos (tales como encuestas). El personal del proyecto puede brindar insumos sobre quién puede responsabilizarse de los diferentes elementos (por Objetivo Estratégico, por ejemplo).

54

Necesidades de Comunicación
El siguiente paso es convocar a una reunión entre el gerente de evaluación, el gerente del proyecto y los gerentes senior para analizar los requerimientos para la evaluación. Esta reunión brindará información anticipada a los gerentes senior sobre la asignación de recursos y una reseña de antecedentes, antes de invitarles a revisar los términos de referencia de la evaluación (TdR). También los prepara para otras tareas organizacionales más importantes del proyecto.

Paso 3: Elaborar el Borrador de los Términos de Referencia y el Plan de Trabajo para la Evaluación
Desarrolle un Calendario
Establezca el calendario para la preevaluación, retrospectivamente desde la fecha de inicio de la evaluación. Para los proyectos, el gerente de evaluación debe reservar 15 días de trabajo, mientras algunos miembros del personal del proyecto deberán planificar 19 días. El gerente a nivel de la oficina de país y de campo probablemente requerirán alrededor de 4 días en cada caso. Esto puede implicar una inversión total de 42 días por parte del personal, antes de la evaluación, repartidos generalmente de manera no consecutiva entre los diferentes miembros del personal (vea la sección 2 del módulo completo para más sugerencias sobre el calendario). El número de días podría ser mayor o menor dependiendo de la complejidad del proyecto y la organización de los materiales existentes.

Elabore el Borrador de la Propuesta de Términos de Referencia y el Plan de Trabajo de la Evaluación
Cuál es la diferencia entre los Términos de Referencia y un plan de trabajo para una evaluación? Los TdR proporcionan detalles sobre lo que se hará y el por qué es necesaria la evaluación, mientras que el plan de trabajo describe quién hará qué, cuándo y cómo. Ambos son necesarios para organizar una evaluación de forma eficaz. El borrador de los TdR proporciona al equipo del proyecto la oportunidad de enfocarse en las preguntas más importantes a realizar durante la evaluación y en los métodos a utilizarse. El gerente de evaluación puede modificar un TdR ya existente para adaptarlo a las necesidades de la evaluación. El gerente necesita asegurar que el personal de campo y los actores involucrados cuenten con tiempo suficiente para revisar el borrador del TdR, formular observaciones, y analizar los requerimientos de la evaluación. El plan de trabajo ayuda a organizar la evaluación paso a paso, incluyendo la logística; y ayuda al personal de campo a administrar su tiempo en preparación para la evaluación.

Factores a Considerar
Existen muchos factores a considerar cuando se prepara los TdR y el plan de trabajo. Si se requiere mucho tiempo en el campo, quién organizará este proceso? ¿Existen permisos específicos por parte de las autoridades locales que deberían obtenerse con anticipación? ¿Existen preguntas de evaluación específicas que respondan a los criterios de diseño, tales como fortalecimiento de la capacidad del socio o la gestión del proyecto, que deberían incluirse dentro de un formato plantilla existente? Obtenga la mayor cantidad de respuestas posibles antes de avanzar al paso 4. En este momento una comunicación y organización adecuadas significan una correcta coordinación más adelante.

Un Evaluador Interno o Externo?
Un desafío adicional es determinar si quienes conduzcan la evaluación serán evaluadores internos o externos. Hay ventajas y desventajas en cada opción—el módulo completo analiza este tema en más detalle— pero la decisión final básicamente depende de tres factores: la curva de aprendizaje, el nivel de objetividad y la facilidad de acceso. Los evaluadores internos tienden a tener curvas de aprendizaje más cortas y un mejor acceso. Los evaluadores externos tienden a ser más objetivos, ya que ven los eventos sin el contexto institucional y aportan una perspectiva nueva. Establecer un equipo que combine las ventajas y minimice las desventajas de cada opción puede ser lo más eficaz.

55

Paso 4: Identificar al Equipo de Evaluación y Finalizar los Términos de Referencia
Seleccione Alguien Experimentado para Liderar el Equipo
Un buen líder para un equipo de evaluación debe haber demostrado experiencia en la evaluación de este tipo de proyectos o tener experiencia con proyectos similares. Este antecedente es importante para garantizar que la evaluación cumpla con las expectativas del donante. Los líderes de equipo también deben tener una capacidad demostrada para manejar y sintetizar los insumos y la participación de los principales miembros del equipo de evaluación, y equipos de trabajo del donante. Cada una de estas personas o grupos tienen una meta o agenda diferente. El trabajo del líder del equipo es involucrar a las diferentes personas y grupos para que cada miembro clave del equipo pueda encontrar respuestas a algunas de sus preguntas específicas de evaluación, mientras continua aportando a la meta común de una evaluación constructiva. Es esencial una alta capacidad de comunicación verbal y escrita. Tome en cuenta que la comunicación no significa sólo hablar, sino que también implica escuchar de manera activa. Esta es una habilidad clave que no se puede evaluar mediante ensayos escritos. Obtener referencias es importante!

Elegir al equipo de evaluación
El primer paso para contratar a un equipo de evaluación —especialmente al líder del equipo— es identificar un adecuado grupo de candidatos. Las organizaciones a menudo tienen una lista de personas con quienes han trabajado anteriormente y a quienes desean contratar nuevamente. Inicie con esa lista institucional, luego solicite recomendaciones a otras organizaciones —aquellas ubicadas en el mismo sector y país—. Inicie con un número moderado de candidatos, no más de cinco. Una vez que se han identificado los candidatos, envíe a todos el borrador de los Términos de Referencia y solicite a los candidatos que manifiesten su interés y presenten sus ensayos escritos. A continuación, elija un líder de equipo de entre los candidatos. Esta persona debe estar disponible para toda la evaluación, incluyendo tiempo adicional antes y después de la misma. El tiempo extra es necesario para que el líder del equipo discuta con el gerente de evaluación respecto a la metodología de evaluación y respecto a los otros miembros del equipo y la logística, a fin de garantizar que la evaluación esté debidamente organizada y asegurar que el informe de evaluación se presente a tiempo. El aporte del líder del equipo de evaluación es clave para finalizar los términos de referencia con el gerente de evaluación. Pueden existir metodologías de recolección de datos específicas que son preferibles en función de la estacionalidad u otros temas locales (por ejemplo, si es temporada de lluvias y muchas de sus comunidades están inaccesibles, —el muestreo aleatorio en visitas de campo será inferior al de un muestreo aleatorio completo). El líder del equipo debe incluir estas variables en los TdR finales.

Un Equilibrio de Experiencias
Asegúrese que el equipo de evaluación aporte un equilibrio de experiencias, en especial, experiencia a nivel del país, experiencia sectorial y otra experiencia específica de orden técnico. Una vez que se ha seleccionado al equipo, finalice los TdR con los aportes de este equipo, coloque la versión final en el manual informativo, y envíe una copia al donante y a la gerencia senior. Ahora que la decisión es aún reciente, el gerente o líder del equipo de evaluación también podría tener interés de adjuntar un memo sobre el razonamiento que fundamenta algunas de las opciones metodológicas seleccionadas. El donante y la organización implementadora pueden preferir determinados métodos de evaluación y, en algunos casos, requieren enfoques particulares. El líder del equipo de evaluación podrá recomendar alternativas, pero es importante respetar los requerimientos. En última instancia, el líder del equipo es responsable de la selección de los métodos de evaluación.

Paso 5: Organizar la Documentación del Proyecto
Definición de la Documentación del Proyecto
La documentación del proyecto se refiere al archivo existente de los documentos del proyecto, empezando con las evaluaciones iniciales. En el paso 5 se producirán dos productos: una bibliografía y un manual informativo del proyecto.

56

La Bibliografía y el Manual Informativo
La bibliografía del proyecto es el listado de los principales documentos del proyecto clasificados por categoría. El manual informativo del proyecto incluye sólo los documentos más importantes. Agregue una bibliografía del proyecto actualizada dentro del manual informativo. Organice todos los archivos del proyecto. Elimine los archivos que ya no se utilizan. Muchos documentos también estarán disponibles electrónicamente —indique cuáles son esos archivos en la bibliografía del proyecto. Grabe un CD (o coloque los archivos en una unidad extraíble) con los documentos más importantes del proyecto. El gerente de evaluación debe asegurar que el personal de campo organice sus archivos para el equipo de evaluación, antes de la llegada del equipo. Organizar todos los documentos del proyecto clasificados es algo que nadie quiere hacer después de 20 horas de vuelo, y no es algo por lo que el proyecto deba pagar a un consultor! He aquí una oportunidad de oro para que todos organicen y limpien sus estantes y archivos electrónicos. Si se conoce con anticipación la ejecución de una evaluación, esto significa que esta tarea se puede programar poco a poco, en lugar de hacerlo de prisa antes de que el líder del equipo de evaluación llegue. Con el gerente de evaluación supervisando y coordinando, todos en la oficina pueden asumir la responsabilidad de organizar los documentos más importantes, por lo general en revisteros o en alguna especie de cajas de cartón pequeñas que puedan guardarse en los estantes. Mantenga un suministro de etiquetas a la mano para organizar los documentos por caja.

Paso 6: Organizar la Información del Proyecto
La información del proyecto no es lo mismo que la documentación del proyecto. La información comprende las piezas clave del proyecto, figurativamente hablaríamos de las tuercas y tornillos, y requiere esfuerzo adicional organizarlo. La mayor parte de la información puede encontrarse en los informes anuales, pero por lo general no se la ha trasladado a cuadros sinópticos. En el recuadro de texto a la derecha, sobre Información Clave del Proyecto, se describen los principales elementos de la información de un proyecto. A continuación algunos elementos ilustrativos:

Cronología y Patrones para Dotación de Personal
Conocer la cronología de los acontecimientos del proyecto y los patrones para contratación de personal es muy útil al evaluar los resultados del proyecto. Por ejemplo, si tres gerentes de proyecto fueron contratados durante los dos primeros años del proyecto y esta información es revisada de la mano de algunos otros eventos en la historia del proyecto, tales como un disturbio civil, (vea la Tabla #2) se puede crear una imagen de los eventos externos que afectaron la permanencia del personal. Se requiere una visión global, o las conclusiones podrían ser erróneas. Que el personal contribuya a establecer este recuento histórico o cronológico es un ejercicio de grupo útil; este proceso puede incluir al personal de apoyo administrativo y financiero. Sus contribuciones al éxito del proyecto, con frecuencia son componentes ignorados en una evaluación, aún cuando esos funcionarios tienen por lo general la mejor memoria institucional, y no tienen un sesgo técnico. El equipo de salud puede hacer su propia cronología sectorial y el equipo de agricultura lo propio —se deben incluir factores relativos a la gestión general y factores externos, para no perder conexiones e interacciones clave.

Tabla de Seguimiento de los Indicadores de Desempeño
La mayoría de los evaluadores notarán que la tabla de seguimiento de los indicadores de desempeño (IPTT) es una herramienta muy útil para obtener una perspectiva general del proyecto. Sin embargo, muchos proyectos

57

no mantienen esta tabla actualizada, y con frecuencia cada año se genera un arduo y alocado trabajo para obtener las cifras actualizadas antes de la fecha de vencimiento de presentación del informe anual, pese a ser un requerimiento de un proyecto Título II. Esto no es un buen proceso ni para una evaluación de medio término ni durante la evaluación final. Y lo que es peor, los proyectos con frecuencia esperan que el evaluador llene, no sólo las cifras más actuales, sino todos los datos faltantes. Recolectar muchos de los indicadores que se requieren para la IPTT a mediados de la implementación es por sí mismo un desafío. El personal puede haber rotado y nadie más podría saber cómo volver a recolectar esa información. O el proyecto pudo cambiar de enfoque y un conjunto de actividades particulares pudieron suspenderse. Todas estas pueden ser buenas excusas para posponer la oportuna actualización de la IPTT.

Paso 7: Planificar la Logística de la Evaluación
Una buena planificación logística es clave para el éxito de una evaluación. Al igual que el ejército avanza sobre sus coordenadas, también lo hacen los equipos de evaluación. Si la logística está mal planificada y financiada, incluso el mejor diseño de evaluación fracasará. El resultado del séptimo, y último, paso de la evaluación debe ser un plan de logística bien detallado y claramente coordinado. Los Principales Elementos de una Pre-planificación incluyen: • • Disponer de una persona clave —que reporte al gerente de evaluación— responsable de la logística. Negociar las fechas preliminares y objetivos de las visitas de campo con las PVOs, organizaciones, funcionarios de gobierno y líderes comunitarios; y finalizar el calendario y horarios de visitas in situ, una a dos semanas antes de que el equipo de evaluación llegue al lugar del proyecto. Identificar las fechas en que los funcionarios del distrito serán notificados por los evaluadores sobre el cronograma de visitas a comunidades específicas. Elaborar un anuncio de una página, que deberá ser firmado por un representante de la pastoral anfitriona del proyecto, informando a las comunidades sobre la próxima visita. El anuncio debe incluir una breve descripción del propósito de la visita, las fechas previstas para las visitas de campo y los nombres de los miembros del equipo de evaluación (en el idioma local). Organizar temas logísticos como alimentación, transporte, espacio físico, facilidades de acceso a computadoras e impresión y alojamiento para el equipo.

• •

Actividades de la séptima semana
Individuales 1. Realice la lectura de la semana. 2. Elabore un mapa conceptual para los pasos de una evaluación. 3. Actualizar su diario de aprendizaje. Grupales 1. En grupo los y las estudiantes proceden a identificar una política, programa o proyecto social, para realizar un proceso de evaluación. Autoevaluación 1. ¿Qué sabía o conocía usted acerca de los pasos de una evaluación, antes de realizar la lectura? 2. ¿Qué nuevas ideas aprendió? 3. Explíquese a usted mismo o misma, cuál es la lógica que siguen los pasos de una evaluación.

58

OCTAVA SEMANA TEMA

Preparando el monitoreo y la evaluación
Objetivos de la semana
Al finalizar el estudio de la octava semana las y los estudiantes…. • Reconocen la importancia de preparar el monitoreo y la evaluación.

LECTURA
Tarea 1: ¿Por qué quiere realizar una evaluación?
Es importante saber por qué quiere comenzar el proceso de MyE ahora porque le ayudará a definir por dónde comenzar y cómo enfocar el proceso. Por ejemplo, si quiere usar el proceso de MyE para entender por qué un programa no funciona como se esperaba, lo primero que se puede hacer es hablar con el personal que implementa el programa y revisar algunos datos básicos de monitoreo. Si, en cambio, un financiador ha preguntado qué impacto tuvo un programa recién terminado, entonces se debe clarificar primero con el financiador cuáles son sus preguntas y necesidades respecto a la evaluación. Algunas razones comunes de querer realizar una evaluación: 1. Un programa existente tiene problemas y se quiere averiguar cuáles son los problemas y cómo resolverlos. 2. Se quiere entender qué es lo que un programa existente ha logrado o está logrando. 3. Se está desarrollando un programa y se quiere que el plan de MyE sea parte del plan del programa desde un principio. 4. Una persona u organización externa, probablemente un financiador, quiere saber el impacto del programa.

Tarea 2: Revisar objetivos, actividades e implementación del programa - ¿Es ahora el momento de invertir en el proceso de MyE?
Sin importar sus razones por empezar un proceso de MyE, es un buen momento para revisar la lógica detrás de sus objetivos y actividades de programa. Esto es, esencialmente, una “mini-revisión” de su trabajo para determinar si su programa está preparado para un proceso completo de MyE. • Es muy importante tener claridad sobre lo que se quiere lograr con su programa para diseñar una evaluación efectiva. Por ejemplo, si se revisa la razón por cada actividad y se descubre que algunas actividades no están bien conectadas a un objetivo, quizás quiera considerar cambiar esa actividad. O quizás si revisa su curriculum de capacitación, descubre que algunos mensajes ya no se relacionan a su actual forma de pensar. Entonces, a lo mejor querrá hacer los cambios a su curriculum antes de seguir con el proceso de MyE. • Hay que saber si el programa generalmente se está implementado como se había planeado antes de completar el proceso de MyE. Por ejemplo, si se descubre que las mujeres y los hombres a los que más se quiere llegar no asisten sus talleres, entonces quizás se debe enfocar en esfuerzos de reclutamiento para los talleres antes de empezar la evaluación. Si no es así, entonces ya se habrá logrado algo con su proceso de evaluación.

Tarea 3: Evaluar su programa: Manejar el riesgo
Realizar una evaluación de programa puede ser especialmente difícil para las personas que han desarrollado y están implementando el programa. Es importante abordar desde el principio lo que puede pasar con los hallazgos, particularmente qué pasará si los hallazgos no son los que se esperaban. Si se descubre que el programa no logró sus objetivos, ¿qué pasará? ¿Se usarán estos hallazgos para modificar el programa? ¿Se afectará el financiamiento del programa? ¿Se pondrá en riesgo algún empleo?

59

Paso 2: Formar un equipo de Monitoreo y Evaluación
Fundamento Se necesita un grupo principal de personas que son responsables para crear e implementar el monitoreo y evaluación (MyE) de su programa. Un equipo con experiencia y perspectivas diversas le ayudará a entender y medir mejor el impacto de su trabajo. Debe haber 3 o 4 personas en el equipo de MyE y debe haber otros actores interesados claves que participan cuando sea posible y necesario.

Tarea 1: Elegir un líder del equipo de MyE
Alguien tiene que dirigir el proceso de monitoreo y evaluación. Lo ideal es que esa persona tenga las siguientes características: • una visión de lo que el MyE puede hacer para la vida de un programa; • un entendimiento profundo del programa; • autoridad para realizar de verdad el MyE; • una buena relación de trabajo con el personal del programa.

Tarea 2: Identificar a los actores interesados que quiere invitar a participar y en qué momento quiere que participen
Los actores interesados o implicados (también conocidos como “stakeholders” en inglés) tienen un interés o compromiso fuerte en su programa y/o el problema al que quiere impactar. Por ejemplo, el personal del programa, financiadores/donantes, clientes y líderes comunitarios son actores interesados. Hay que tener participación de los actores interesados en su proceso de MyE; algunas deben formar parte del equipo de MyE y otras deben participar solo en ciertos momentos del proceso de MyE. Sin embargo, probablemente no será posible que todos los actores interesados participen en el proceso de MyE.

Los actores interesados deben tener por lo menos una de las siguientes características:
• • • • • • un conocimiento profundo del problema que el programa aborda un entendimiento completo del impacto deseado del programa un conocimiento profundo de la implementación real del programa Alguien que pueda y esté dispuesto/a a manejar el proceso de MyE de principio a fin Personal que esté involucrado en implementar el programa Personas que tengan un conocimiento profundo de los objetivos y actividades del programa y cómo se implementa en realidad. Incluya a personal que realice el programa además de personas que participen en el programa. Algunas personas, como personal clave del programa y participantes siempre deben ser una parte principal del equipo de MyE, mientras otros deben incluirse solamente cuando se necesiten y cuando sea factible. Lo ideal es que los tomadores de decisión de su organización, cuya participación puede legitimar el proceso de MyE y proporcionar recursos adicionales, se incluyan en alguna capacidad. Si es posible, el/la director/a de la organización debe participar en cierto nivel. Quizás no pueda participar en todas las reuniones del equipo de MyE, pero debe considerarse un miembro del equipo y estar presente en reuniones importantes si es posible. Alguien que entienda las implicaciones de una perspectiva de justicia social basada en derechos para la implementación y evaluación de programas. Alguien que tiene por lo menos un poco de conocimiento de monitoreo y evaluación y/o investigación. Si nadie de las categorías previas tiene esa especialidad o conocimiento. Pero si no puede encontrar a nadie, ¡no se preocupe! Este juego de herramientas será su acompañante en cada paso del proceso de MyE y recomendará referencias de las cuales puede aprender más cuando es necesario.

Para su equipo de MyE, considere a personas que tengan las siguientes características:

60

¿Cuándo y cómo involucrar a los actores interesados que no forman parte del equipo de MyE?
• • • • • Decida cuáles personas de interés quiere tener como participantes ocasionales y en qué punto del proceso quiere incluirlos. Explique el proceso de MyE que se está realizando y cómo la participación de ellas cabe dentro de ese proceso. Sea claro sobre los detalles de su participación, por ejemplo: cuántas reuniones, cómo tendrán que participar ellos, las opiniones y recomendaciones que se les pedirá, la importancia de mantener la confidencialidad, etc. Establezca si van a recibir alguna remuneración por su tiempo, gastos de viaje u otros, particularmente si viajan desde lejos y/o tienen que pasar la noche. Establezca la autoridad final de tomar decisiones. Si el equipo de MyE tiene esa autoridad, deje entender que es así, pero también que sus consejos se considerarán y se los agradecerá.

La participación de actores interesados que no son personal de su organización puede:
• • • • • • • • • • Ayudar a mantener una relación importante con la comunidad y las personas con las que se quiere trabajar Contribuir a hacer el programa y la evaluación responsables a las personas que se quiere servir Dar a los involucrados una voz y un rol en el proceso de realizar el programa Asegurar que se entienden y se toman en cuenta perspectivas diversas sobre el programa y sus objetivos Aumentar el involucramiento de la comunidad Ayudar a comprender cómo hablar sobre temas muy íntimos con clientes Asegurar que se tomen en cuenta normas locales, culturales, y de clase y género para facilitar un plan de acción sensata Ayudar a apalancar recursos adicionales y crear coaliciones Crear destrezas entre los actores interesados que les permite a influir la evolución del programa Crear un lenguaje común para hablar y pensar en los objetivos y actividades del programa

Las realidades:
• • Hay que ser sensible a los que se invita a participar y los que no. Las personas no incluidas pueden sentirse ofendidas o las que se invitan pueden sentir que es una obligación que no pueden cumplir pero no quieren decir que no. Algunas personas tomarán una invitación a participar como un acuerdo implícito de que se responderán y se incorporarán sus sugerencias en el proceso de planificar, monitorear y evaluar el programa. Incluir a las personas y escucharlas de verdad requiere una inversión. Si se incluyen las personas y no se toman sus perspectivas en cuenta, el resultado puede ser peor que si no se hubieran incluido. Además, no siempre es factible, ni tiene sentido, invitar a todos los actores interesados en el proceso de MyE para cada reunión. Use su tiempo, y el tiempo de Ud., sabiamente; enfoque su participación en momentos claves del proceso. Las organizaciones que tienen una misión parecida pueden ser participantes interesados de mucho valor. Sin embargo, invitarlos a participar puede ser difícil porque, de alguna forma, a lo mejor son sus competidores (compiten para la misma financiación y apoyo).

61

Hoja de trabajo: Herramienta para seleccionar a actores interesados

Categorías de actores interesados para considerar

Nombres de posibles candidatos y sus afiliaciones*

Especialidad, características que contribuirían al proceso de MyE Características para considerar:

Personal del programa

Participantes del programa

Otro personal

Líderes comunitarios

Donantes/Financiadores

Otras organizaciones

1. Familiarizado/a con los temas relacionados a los objetivos del programa. 2. Familiarizado/a con las problemáticas que serán medidas. 3. Disponible durante el tiempo planeado para el proceso de evaluación. 4. Cuyos gastos caben dentro de los recursos que tienes disponibles. 5. Conocen a la comunidad y tienen el poder de fomentar apoyo para la comunidad. 6. Grupos que han sido marginados e ignorados históricamente por los líderes de la comunidad, tienen alto riesgo para el problema que se está abordando y tienen acceso limitado a los servicios y programas.

Otros

62

Tarea 3: Nombrar a los miembros de su equipo de MyE
Puede utilizar la hoja de trabajo para generar su equipo de MyE. Hoja de trabajo: La hoja de trabajo para el equipo de MyE puede ayudar a decidir a quién va a incluir.

Nombre

Posición/Departamento de la Organización o Tipo de Persona Interesada

Especialidad (por ejemplo: conoce a la comunidad, tiene experiencia en análisis, etc.) • • • • • • Escoja de 3 a 4 personas. Incluya a alguien con experiencia en MyE. Incluya a alguien familiarizado con la perspectiva de justicia social basada en los derechos. Si es posible, incluya a un representante de su organización que tiene autoridad para tomar decisiones. Asegure la representación de todas las partes relevantes de su organización o el programa. Nombre a una persona responsable para coordinar el equipo.

63

Tarea 4: Crear una perspectiva de aprendizaje en su equipo de MyE • Asegúrese de que el/la director(a) enfatiza a todo el personal que considera el proceso de MyE una activi•
dad de alta importancia para la organización. Si los líderes apoyan el proceso de MyE será más fácil que los participantes inviertan el tiempo necesario y sean honestos respecto a buscar las verdaderas respuestas. Ayude a los miembros del equipo de MyE a expresar sus preocupaciones sobre el proceso de MyE. El proceso de MyE requiere la disponibilidad de examinar de verdad el impacto que el programa ha tenido; por eso tensiones y hasta luchas de poder pueden surgir. Ayude a los miembros del equipo a expresar sus preocupaciones. Aborde sus preocupaciones como grupo y busque llegar a un acuerdo sobre cómo manejarán los aspectos del proceso que tienen potencial a ser incómodos. Clarifique que los hallazgos no serán usados en contra de nadie. Cree un ambiente seguro y asegure que los hallazgos no serán usados para medir desempeño o penalizar al personal de ninguna manera. Enfatice que los hallazgos del proceso de MyE serán usados para mejorar el programa y podrán atraer financiación adicional. Hablen de lo que puede pasar si se encuentra que el programa no ha tenido el impacto esperado.

• • •

Actividades de la octava semana Individuales
1. Realice la lectura de la semana. 2. Elabore un diagrama de flujo para los pasos de una evaluación. 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, inicien la elaboración de la matriz de la evaluación. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluación
1. ¿Cómo se ha sentido con la lectura realizada? 2. ¿Qué sentimientos concretos han llegado a su mente? 3. ¿Puede señalar al menos tres valores que estén implicados en el trabajo de esta semana? Enumérelos en orden de importancia y justifique su respuesta.

64

NOVENA SEMANA TEMA Identificación del público y las preguntas de la evaluación Objetivos de la semana
Al finalizar el estudio de la novena semana las y los estudiantes…. • Reconocen la importancia de la identificación del público y las preguntas de la evaluación.

LECTURA
Paso 3: identificar al público y las preguntas para la evaluación
Las opciones para diseñar su evaluación serán formadas por los interesados en sus hallazgos (el público) y también las preguntas principales que hay que contestar. Uno de nuestros “principios guía” (los valores que nos motivan) del proceso de MyE es que el personal del programa debe ser una parte principal del público de la evaluación; deberán realizar el proceso por y para su personal mismo para aprender de los hallazgos y mejorar su trabajo. Sin embargo, reconocemos que son los financiadores en particular, además de otros públicos, que querrán ver, o quizás exigirán ver los hallazgos de la evaluación.
• • •

Determinar los diferente públicos principales de la evaluación Determinar qué preguntas quieren que se contesten Averiguar qué tipos de información será más útil para ellos

Reúnanse con su equipo de MyE y hagan las Tareas 1 y 2. (Incluya a actores interesados claves que no son parte del equipo si es factible y apropiado)

Tarea 1: Determinar el público y comprender sus necesidades
Piense en los diferentes miembros de su público – las personas que querrán ver los hallazgos de su evaluación. ¿Cuáles son las preguntas que más quieren contestar? Algunos miembros de su público (como los oficiales de gobierno o directores de programas públicos, asesores económicos y algunos financiadores) quizás tengan más interés en preguntas enfocadas en la magnitud del cambio, antes y después del programa y serán más convencidos por los números o datos cuantitativos. Otros (como periodistas y organizaciones colegas) buscarán preguntas enfocadas en cómo ocurrió el cambio y qué significa para los participantes y serán más convencidos por los datos cualitativos como las historias personales y las palabras de las personas involucradas. Su equipo de MyE y su organización probablemente querrán ambos tipos de información. Debe tratar de recibir aporte de algunos actores interesados, especialmente su personal y financiadores del programa, para pensar en los miembros de su público para el proceso de MyE y sus necesidades. Quizás quiera utilizar la hoja de trabajo “Necesidades de información de su público” para categorizar a los miembros de su público y su interés en la evaluación.

65

Hoja de Trabajo: Las necesidades de información de su público

Miembro(s) del público

potencial(es)

¿Quién(es) es/son? (Nombre(s))

Déles un número en orden de importancia (1,2,3, etc.)

¿Qué preguntas quieren contestar?

¿Qué tipo de información necesitan o prefieren? (¿Números? ¿Historias?)

Beneficiarios

1. Identifique quién necesita enterarse
de sus hallazgos.

Líderes comunitarios

2. ¿Cuán importantes son? El número 1 3. 4.
corresponde al público principal de los hallazgos de su evaluación. Sea claro sobre qué quiere Ud. que se haga con los hallazgos. Dé prioridad a los miembros del público que son más importantes para su programa en este momento. Identifique las preguntas que tienen los miembros prioritarios. Identifique qué tipo de información sería más útil y convincente para ellos.

Políticos

Otros de la comunidad o de otras instituciones

5. 6.

Financiador(es)

Periodistas y líderes de opinión

Miembros directiva

de

su

junta

66

Personal de la organización fuera del programa evaluado

Otros

Tarea 2: Definir las interrogantes de la evaluación: Monitoreo y Evaluación
Hay que contestar preguntas que tienen que ver con monitoreo y también evaluación: • Las preguntas de monitoreo se enfocan en el proceso – cómo su programa se realiza/fue realizado. • Las interrogantes de la evaluación se enfocan en el impacto – el cambio que el programa ayudó a crear o el que produjo en la población objetivo.

Cuando se escriben las interrogantes de la evaluación, tenga en mente: • El problema de enfoque • Los objetivos y actividades del programa • Los diferentes miembros de su público

67

Algunas preguntas comunes para una evaluación:

Monitoreo (Proceso): o ¿Cuáles estrategias fueron implementadas en realidad? o ¿Fueron implementadas las actividades cómo se pretendía? o ¿Hubo factores que cambiaron o hicieron más difícil la realización del programa? o ¿Quién participó? ¿Los participantes que querían? ¿Otros? Evaluación (Cambio): o ¿Qué impacto tuvo el programa? ¿Tuvo el impacto deseado? ¿Hubo algún impacto no esperado? ¿Hubo algún impacto negativo? ¿Cuál fue la diferencia cuando se hace una comparación antes y después de la participación en el programa? ¿Hubo alguna diferencia entre los que recibieron la intervención y los que no? o ¿A qué nivel tuvo impacto el programa? Individuo Pareja Familia Comunidad Institucional (por ejemplo, fomentar capacidades o cambiar políticas) o ¿Cuáles aspectos del programa tuvieron el impacto deseado? ¿Cuáles actividades produjeron el cambio deseado? o ¿Cuál fue la experiencia de los participantes del programa? ¿Desde su perspectiva, cuál fue el aspecto más importante del programa? Si los participantes experimentaron un cambio, ¿lo atribuyen al programa? Si así es, ¿cuál fue el cambio más importante para ellos? o ¿Fueron más beneficiados ciertos participantes en comparación con otros? ¿Cuáles factores formaron el impacto del programa respecto a los participantes? ¿Hubo alguna diferencia de impacto entre mujeres y hombres? ¿adultos y jóvenes? ¿personas de diferente estatus socioeconómico? ¿Personas de diferentes grupos étnicos? ¿Hubo alguna diferencia en la experiencia o impacto del programa para los que son marginalizados de alguna forma y los que no?

Tarea 3: Identificar un enfoque para su evaluación
Ahora hay que determinar cuáles de las necesidades del público y cuáles interrogantes de la evaluación deben y pueden ser contestadas. o ¿Cuáles son las preguntas que más quieren contestar el personal del programa y los actores interesados? o ¿Cómo puede el equipo de MyE priorizar las diferentes necesidades para información dados el tiempo, los fondos y los recursos humanos disponibles en este momento? Haga la lista de preguntas que se contestarán y compártala con los miembros principales de su público para aporte y retroalimentación. Podrá encontrar que este esfuerzo ayude a recaudar más fondos para el proceso de MyE, particularmente si el financiador es su público principal.

Actividades de la novena semana Individuales
1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Preparen el paso 3 del plan de evaluación. 2. Actualicen su matriz de evaluación. 3. Compartan su actividad anterior con el resto de la clase.

Autoevaluación
1. ¿Cómo se ha sentido con la lectura realizada? 2. ¿Qué nuevo ha aprendido durante esta semana? 3. ¿Qué cree que debe investigar más, para una mejor comprensión del tema?.

69

DÉCIMA SEMANA TEMA Selección de información para el sistema de monitoreo y evaluación Objetivos de la semana
Al finalizar el estudio de la décima semana las y los estudiantes…. • Seleccionan la información a considerar en una evaluación.

LECTURA
“El monitoreo y la evaluación no han sido pensados para espiar tu trabajo, sino para reflejar las marcas de tu desarrollo” - Mr. Casius Chuma Durante esta semana, veremos en mayor profundidad los procesos y las herramientas necesarias tanto para el monitoreo como para la evaluación. El diseño del sistema de MyE se realiza desde el inicio del proyecto (con posibles modificaciones sobre la marcha) y consiste en la identificación y la selección del tipo de información que será necesaria para el MyE y los medios para obtenerla. Un sistema completo de MyE consta de 6 fases (Guijt y Woodhill, 2002).8 Veamos: 1. 2. 3. 4. 5. 6. Identificación de las preguntas de desempeño. Identificación de las necesidades de información e indicadores. Conocer la información base que se requiere. Seleccionar los métodos de recolección de datos Identificar el apoyo práctico necesario para la recolección de datos. Organizar el análisis, la retroalimentación y el cambio.

Las necesidades específicas de información se pueden identificar reflexionando sobre las preguntas que se quieren responder (preguntas de desempeño clave) con el MyE; la identificación de los cambios que se espera observar (indicadores); la comparación de la situación inicial (línea base) con la situación intermedia y final (metas) y los medios para verificar los logros (medios de verificación).

Preguntas de desempeño
Comúnmente, cuando comenzamos a diseñar el sistema de MyE, se pasa directamente de elaborar los objetivos de la intervención a la formulación de los indicadores. Esto puede ser problemático, pues existe el riesgo de perderse en el detalle de los indicadores y su adecuado diseño, y no nos detenemos a pensar por qué los indicadores que proponemos son de utilidad y de qué forma podrían apoyar el proceso de adopción de decisiones. Formular preguntas de desempeño claves para cada nivel de objetivos (ver Tabla 8), antes de la elaboración de indicadores, puede ayudar de manera significativa a guiar el MyE de tal forma que realmente sirva a nuestras necesidades y permita mejorar el desempeño del proyecto. (Guijt y Woodhill, 2002).

70

En la siguiente tabla, se presentan ejemplos de preguntas de desempeño (generales y específicas) para cada nivel de intervención y los indicadores que se desprenden de ellas.

Una vez formuladas las preguntas, el siguiente paso consiste en identificar la información necesaria para responderlas. Con este fin, se definen indicadores para cada nivel de intervención.

Indicadores objetivamente verificables
Los indicadores son las descripciones operativas (cantidad, calidad, grupo meta, tiempo y ubicación) de los objetivos de un proyecto (Comisión Europea, 2002). Los indicadores permiten especificar la forma en que se verificará el grado de cumplimiento de los resultados y objetivos. Estos se formulan a manera del efecto esperado (o cambio que se quiere generar) para cada nivel de la lógica de intervención. En el caso de las actividades, los indicadores se formulan como medios (insumos) y recursos (presupuesto) necesarios. De manera general, los indicadores sirven para: • Clarificar la lógica entre las actividades, los resultados y los objetivos del proyecto. • Focalizar de forma más específica la intención del proyecto, al indicar qué se quiere lograr, con qué características, en dónde, en qué tiempo, para qué población, etc.

71

• • •

Medir el avance y los logros permiten saber si efectivamente se está realizando lo planeado y conocer el impacto de nuestra acción. Informar la toma de decisiones para hacer cambios en el curso de la acción. Revisar el desempeño del proyecto y del equipo encargado de su ejecución, así como los tiempos y recursos disponibles.

Los indicadores describen el avance del proyecto y son esenciales para todo su MyE. Una formulación correcta de los indicadores es crucial para todo el sistema de MyE, porque funcionan como “mapa” para guiar las actividades, al definir claramente las necesidades y el enfoque para la recolección de datos.

Formulación de indicadores
En la formulación de los indicadores, se debe tomar en cuenta que: • Se pueden emplear varios indicadores para cada resultado y objetivo, pero es recomendable usar los menos posibles para simplificar y evitar hacer un sistema de MyE complejo, caro y poco gestionable. En cualquier proyecto, el número de indicadores se reduce a medida que se sube en la lógica de intervención, con más indicadores para resultados y menos para el objetivo específico y general. • Usar diferentes tipos de indicadores (cuantitativos y cualitativos) ayuda a medir de mejor forma el avance y el impacto. Los cuantitativos permiten un análisis más simple y objetivo, mientras que los cualitativos son más difíciles de verificar pero miden mejor el cambio profundo que se esté dando (PNUD, 2009). • La definición de los indicadores debe ser un proceso participativo, para asegurar tanto la apropiación del proyecto y de los procesos de MyE, como la efectividad de los mismos. • Los principales involucrados en el proyecto tendrán una idea más clara sobre los cambios que esperan ver, cómo identificarlos y en dónde encontrar la información para medirlos. • La formulación debe ser flexible, lo que permite que los indicadores sean revisados ante cambios en el contexto y a partir de la experiencia de la implementación del proyecto. • Los indicadores deben poder emplearse en diferentes momentos del proyecto, no sólo al final. En este caso se pueden formular metas intermedias que permitan conocer el avance que tenemos para la consecución de un indicador final. Para formular indicadores, según la tabla siguiente, es necesario considerar los siguientes aspectos para cada resultado intermedio, para el objetivo específico y en caso de que sea necesario, para el objetivo general: • Los beneficiarios: ¿quién? • La cantidad: ¿cuánto? • La calidad: ¿qué? ¿cómo? • El periodo: ¿a partir de cuándo? ¿por cuánto tiempo? • El lugar: ¿en dónde? • El punto de referencia: ¿en comparación con qué o cuánto?

72

Si bien distintos tipos de proyectos requieren indicadores muy diferentes, cualquier indicador de calidad o “inteligente” debe cumplir ciertas características.

Si bien la selección de los indicadores es una parte importante de la planeación del sistema de MyE, desarrollado desde la fase inicial del proyecto, no siempre se pueden determinar todos los indicadores desde un principio. Por esto es necesario dejar abierta la posibilidad de que los indicadores formulados se adapten a nuevas circunstancias o necesidades y tener la flexibilidad de agregar nuevos indicadores cuando ya el proyecto y el proceso de MyE estén en marcha. Puede ser que los efectos no planeados de un proyecto hagan necesarios nuevos indicadores para medir el impacto. He aquí algunas de las razones por las que un indicador puede dejar de ser útil al proyecto (Bakewell et al., 2003): • • • La información que se requiere para medir el indicador es demasiado difícil de obtener o es poco confiable. Factores externos al proyecto generan más impacto y cambios en los indicadores que el mismo proyecto. No hay un cambio significativo en la información del indicador conforme pasa el tiempo, lo cual puede significar que el proyecto no está teniendo un impacto notable o que no hay una relación directa entre las actividades del proyecto y el indicador.

Categorías de indicadores
Por sus características Cuantitativos: son medidas estadísticas que miden los logros en: • Número • Porcentaje • Frecuencia • Tasa (por ejemplo, tasa de mortandad infantil, 100 de cada 1.000) • Proporción (por ejemplo, proporción de mujeres del total de la población) Cualitativos: Reflejan un comportamiento, una situación o una descripción de cómo se hacen o perciben las cosas. Pueden ser opiniones, actitudes, prácticas y comportamientos de la población hacia una situación o en relación con un tema. En las personas, los indicadores cualitativos pueden incluir cambios en actitudes, comprensión, conocimiento, sensibilización o empoderamiento. Miden los avances en términos de: • Cumplimiento con…. • Calidad de…. • Las características… • Grado en el que…

73

• •

Nivel de…. Percepción acerca de…. Indicadores sustitutos o “Proxy”: para aquellos casos en los que no hay datos disponibles para los indicadores ideales, o que es muy difícil o costoso obtener estos datos, se pueden emplear indicadores sustitutos o “proxy” para medir el objetivo. No es una medida directa de la situación sino una forma paralela de obtener la información con base en una relación conocida entre ambas variables. Por ejemplo, ante la falta de datos sobre la corrupción en algunos países, muchas agencias de cooperación emplean información de encuestas sobre la percepción del nivel de corrupción en el país como un indicador alternativo. De forma similar, la medición del Índice de Desarrollo Humano por agencias de la ONU emplea el indicador de “expectativa de vida al nacer” como un indicador sustituto de las condiciones de vida y de servicios de salud (se puede hacer una correlación entre el número de años que vive la gente y las condiciones de vida y de servicios de salud en un país) (PNUD, 2009).

Por el nivel de intervención
Se requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la jerarquía de intervención. Así, en el enfoque de marco lógico, se pueden identificar tres tipos de indicadores: • Indicadores de Proceso para las Actividades • Indicadores de Efecto (o impacto) para los Resultados • Indicadores de Impacto para el Objetivo general y el objetivo específico. Por lo general, a medida que se pasa de las actividades al objetivo general o meta en la jerarquía de intervención, la información del MyE tiende a perder concreción. En el nivel de las actividades y los resultados es mucho más fácil de medir y mostrar avances en los indicadores al ser información sobre procesos y productos. Sin embargo, el impacto del conjunto de productos o resultados es por lo general más difícil de determinar y más complicado de medir (Guijt y Woodhill, 2002).

Indicadores de Proceso
Son indicadores sobre la realización de las actividades, enfocados en medir eventos importantes que puedan reflejar el resultado de la ejecución de varias actividades. Si bien estos indicadores describen acciones, etapas y procesos que conducen a los resultados, por sí mismos no aseguran que se logren los resultados. Sin embargo, son importantes, debido a que son insumos básicos del proceso de MyE. Las fallas o el mal desempeño de resultados u objetivos muchas veces dependen de fallas en la implementación de las actividades, y estos indicadores permiten identificarlas. Los indicadores de proceso permiten además precisar la estrategia que se sigue al monitorear la calidad de los procesos en curso con la participación de la población involucrada. El nivel de cumplimiento con los tiempos y el presupuesto programado se puede medir como un indicador paralelo de proceso. La matriz de marco lógico no prevé la inclusión de indicadores de proceso (en la sección de actividades se incluye, en lugar de indicadores, un resumen de los recursos y costos del proyecto), aunque pueden ser incluidos para facilitar el monitoreo de los avances. Ejemplos de indicadores de proceso: • Número de participantes en un taller.

74

• •

Número de talleres de capacitación impartidos Número de beneficiarios de la entrega de ayuda alimentaria

Indicadores de Efecto
Son indicadores para medir el progreso y los cambios generados a nivel de resultados y objetivo específico. Para el caso de la medición de los resultados, los indicadores de efecto emplean descripciones específicas (de cantidad, calidad y tiempo) de los productos generados. Es importante que los indicadores de efecto no sean un resumen de los productos generados, sino el efecto de tener dichos productos: deben medir cambios en las condiciones o capacidades y no la entrega de productos o servicios. Para que estos indicadores reflejen la calidad del efecto que se produce, se recomienda considerar: • Descripción de la calidad: no basta con que algo se produzca, se modifique o se cambie. Es necesario que este cambio o logro tenga las cualidades que consideramos adecuadas. Así, los indicadores cuantitativos deben ir acompañados de especificaciones cualitativas que describan el cambio ideal y la utilidad para los beneficiarios. Sostenibilidad: un indicador esencial para medir la calidad es su capacidad de producir efectos aun después del cierre del proyecto. Algunos factores relacionados con la sostenibilidad son: aceptación cultural, social e institucional de las soluciones y los cambios propuestos e introducidos; continuidad económica y financiera; capacidades y conocimientos adquiridos; variables organizativas y participación de la población involucrada en el diseño y la ejecución del proyecto. Fortalecimiento de capacidades: aunque no todos los proyectos tienen como componente central el fortalecimiento de capacidades locales, es importante considerarlo y reflejarlo en la medición, pues está directamente vinculado con el empoderamiento de la población local y la sostenibilidad de los resultados. Participación: en la medida en que los grupos meta y beneficiarios del proyecto participen en su diseño y en su implementación, el proyecto tendrá más pertinencia con relación a las necesidades de la población local y tendrá más posibilidades de ser sostenible en el tiempo. En este sentido, es fundamental incluir indicadores sobre el nivel de participación que se ha logrado a raíz de la intervención.

Ejemplo de indicador de efecto: Resultado - Servicio mejorado: al final del cuarto año de ejecución del proyecto, 23 pueblos rurales de Sacatepéquez, cada uno con una población de 2.500, están servidos con 115/litros/persona por día de servicio continuo de agua potable.

Indicadores de Impacto
Son indicadores que miden el cambio logrado en el mediano o largo plazo, al final del proyecto o incluso después de su cierre. Están directamente relacionados con la medición de nuestro objetivo general (en algunos casos con el objetivo específico) y ayudan a revisar que el cambio positivo que se buscaba realmente se haya logrado. El impacto puede ser un cambio social, económico, político, ambiental o de comportamiento y se puede dar a nivel local, regional o nacional. Cuando se habla de indicadores de impacto más amplios, de contribución a un objetivo general a nivel regional o nacional, su medición puede ser más complicada, debido a que involucra datos y estadísticas macro sobre niveles de bienestar social y económico que en algunos países o en ciertos momentos no están disponibles. Además porque al ser problemáticas más amplias, es muy complejo determinar el impacto de nuestra acción específica en una situación sobre la cual pueden influir múltiples factores. En estos casos, para mejorar el alcance y la posibilidad de reunir los indicadores de impacto, se pueden emplear indicadores proxy o substitutos y es muy recomendable emplear indicadores complementarios, cuantitativos y cualitativos.

75

Ejemplo de indicador de impacto: Objetivo específico. Salud mejorada: Al final del cuarto año de ejecución del proyecto, el X% de diarrea infantil (niños de 5 años o menos) en los pueblos rurales de Sacatepéquez atendidos por el proyecto, ha declinado en un 15% con relación al año base.

El proceso de MyE se basa primordialmente en la comparación. Los indicadores que definamos nos permitirán obtener información sobre la situación generada por la intervención del proyecto. Para conocer el nivel de impacto de nuestra acción esta información debe ser comparada, y esta comparación puede hacerse de tres formas (Guijt y Woodhill, 2002): 1. Comparar la situación “inicial” o anterior a la del proyecto con la situación “después de la intervención”. 2. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en otros lugares similares. 3. Comparar las diferencias entre dos grupos: Uno que haya trabajado con el proyecto y otro que no (grupo de referencia). Para hacer una comparación de los indicadores y medir nuestro impacto, es recomendable emplear información de línea base, ya sea que haya sido recopilada antes de la intervención, en la primera medición de avances, o a través de fuentes secundarias (documentación existente: encuestas nacionales o estudios e investigaciones).También se debe definir las metas por alcanzar, estableciendo claramente el nivel de cambio que se espera conseguir (PNUD, 2009).

Líneas base y metas
La línea base es el estándar básico contra el cual se medirán todas las metas futuras. Es la base para medir el cambio. La línea base es importante porque establece el punto de comparación desde el cual se medirá el cambio; permite verificar el avance, el logro o el impacto contra una situación que prevalecía antes de nuestra intervención. Sin la información de línea base es muy difícil valorar el cambio generado y hacer el

76

MyE adecuadamente. En ocasiones, será necesario adaptar la información de indicadores a los datos disponibles en líneas base que ya existen, tales como encuestas o estadísticas nacionales. Idealmente, esta información se reúne en conjunto con los beneficiarios del proyecto en la etapa de diseño. Se puede reunir a partir de la información recogida en los estudios de factibilidad y otros documentos relacionados con la preparación del proyecto. Sin embargo, para algunos resultados programados o para ciertas actividades, es posible que esta información no haya estado disponible desde la formulación del proyecto, por lo que será necesario obtenerla durante la ejecución. Ya sobre la marcha, la línea base puede obtenerse de (Guijt y Woodhill, 2002): • • • Primeras mediciones como punto de partida. Levantamiento de líneas base durante la implementación, conforme se inician los procesos de cambio (por ejemplo, levantamiento de línea base al formarse el grupo de microcrédito, al iniciar las capacitaciones sobre manejo de residuos, etc.). Utilización de la documentación existente.

Recomendaciones para el desarrollo de la Línea Base
La mayoría de los proyectos tienen grandes dificultades con las líneas de base y pocos cuentan con una que sea útil para juzgar el cambio. Algunos de los problemas más comunes que plantean los estudios de base son que se hacen tarde o nunca, son excesivamente detallados o demasiado generales e irrelevantes, parten de una muestra demasiado grande que sobrepasa la capacidad analítica del proyecto o de los coejecutores, no prevén un grupo de referencia […] (Guijt y Woodhill, 2002). Para evitar estos problemas, se recomienda realizar la línea base una vez que se haya elaborado y revisado la matriz de marco lógico del proyecto, para asegurar que la información que se reúna, sea acorde con los resultados, objetivos e indicadores. Se recomienda asimismo tener en cuenta lo siguiente (Guijt y Woodhill, 2002): 1. Recoja solamente la información que va a utilizar. Como regla general, se debe recopilar información de línea base que esté relacionada directamente con las preguntas e indicadores que se hayan identificado. 2. Planee la obtención de información de línea base al igual que en los demás procesos de recolección y análisis de datos. 3. Asegure que sea un proceso viable y realista. Tenga en cuenta que una línea base siempre será una aproximación y nunca podrá ser exacta. 4. Adopte métodos creativos de recolección de la información. 5. Incluya información relativa al género.

Metas
Una vez que tengamos la línea base, existen elementos suficientes para establecer la meta de cambio del proyecto. Las metas se pueden fijar para el término del proyecto o para avances cada año, semestre o trimestre. La meta dependerá del periodo de intervención del proyecto, del programa en el que se inserta y de las actividades. También dependerá del tipo de intervención que sea, pues ciertos cambios toman más tiempo que otros (por ejemplo: cambios en prácticas agrícolas sustentables serán de más largo plazo, mientras que la atención inmediata en

77

situaciones de emergencia será una meta de corto plazo). Es importante tener en cuenta que aunque el desarrollo social sea un proceso de largo plazo, la inclusión de metas específicas en los indicadores del proyecto permite a los involucrados ir identificando señales del cambio o de un impacto más amplio. Es fundamental que la línea base y las metas sean coherentes y estén alineadas con los indicadores, usando las mismas unidades de medición. Las metas que se fijen, dependerán también del nivel de intervención y el tipo de indicador que se esté formulando (si es de proceso, de efecto o de impacto). Para el nivel de indicadores de efecto, las metas pueden ser mucho más realistas y en periodos de tiempo más cortos. Si no es posible fijar metas para periodos de corto o mediano plazo, es posible que el indicador que se haya formulado sea demasiado ambicioso y sea necesario reformularlo.

Medios de verificación
Para que un indicador sea medible, la información debe estar disponible fácilmente y a un costo razonable. Al definir los resultados, objetivos y los indicadores correspondientes, es importante considerar cómo y en dónde se obtendrán los datos durante el proceso de monitoreo y evaluación. Tener medios de verificación claramente identificados, facilita el establecimiento de sistemas de monitoreo y contribuye de forma significativa a asegurar que los proyectos sean evaluables. La columna de medios de verificación de la matriz de marco lógico, permite al responsable del proyecto, identificar fuentes existentes de información y hacer la planeación necesaria para reunir los datos. Esta identificación, ayuda mucho a aterrizar el proyecto, pues si los planes o indicadores son demasiado ambiciosos, puede ser muy difícil o muy costoso obtener evidencia acerca del avance y el impacto de la iniciativa. Así, los medios de verificación, son una buena forma de asegurar que los indicadores son medibles y que la iniciativa es realista y alcanzable (PNUD, 2009). Es muy importante revisar que los medios de verificación sean los necesarios y suficientes para obtener los datos requeridos. La identificación de los medios de verificación, se debe hacer en coordinación con los actores clave involucrados en el proyecto, pues serán en gran parte los responsables de ofrecer la evidencia sobre los cambios y avances.

Actividades de la décima semana Individuales
1. Realice la lectura de la semana. 2. Elabore un flujograma para describir el proceso a seguir en la selección de la información. 3. Actualice su diario de aprendizaje.

Grupales
1. Comparta con sus compañeros y compañeras de grupo, en la clase su flujograma, luego construyan uno de manera grupal.

78

Autoevaluación
1. ¿Qué sentimientos concretos han llegado a su mente al realizar la lectura anterior? 2. ¿Está usted de acuerdo con los criterios enumerados por la lectura para la selección de la información? 3. ¿Con cuáles criterios no está de acuerdo y por qué? 4. ¿Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuenta, cuáles? 5. ¿Cuán bien cree usted que ha comprendido esta parte? En una escala del 1 al 10, en la que 1 es "no la he comprendido" y 10 es "he comprendido todo muy bien", ¿dónde se ubicaría usted? Explique sus razones.

79

DÉCIMA PRIMERA SEMANA TEMA Importancia de los indicadores Objetivos de la semana
Al finalizar el estudio de la décima primera semana las y los estudiantes…. • Reconocen la importancia de los indicadores para un proceso de monitoreo y evaluación.

LECTURA
Para que un proyecto sea evaluable, sus objetivos deben tener especificidad con respecto a las medidas de intervención, deben ser realistas en relación con el marco cronológico de ejecución y deben ser mensurables. Todas estas características conducen a una conclusión: la importancia de los indicadores dentro del sistema de monitoreo y evaluación. Los indicadores permiten establecer los aspectos cuantitativos de un conjunto de objetivos. Se trata de enunciados sobre la situación que existirá cuando se alcance un objetivo. La capacidad de definir un indicador en consulta con los interesados y convenir en el valor y la oportunidad de lograr un objetivo demuestra que los objetivos del proyecto han sido enunciados claramente, son comprendidos y cuentan con respaldo social. Para disponer de información sobre el progreso logrado ya desde las primeras etapas de ejecución y a lo largo de todo el ciclo del proyecto es necesario estructurar un conjunto de indicadores. El enfoque del marco lógico permite una estructura eficiente al postular una jerarquía de objetivos para los cuales se requieren indicadores. Es necesario conocer su terminología en el contexto del sector al que se aplican, pero en el cuadro siguiente se ilustran los términos más comúnmente usados.

¿Qué son los indicadores?
Los indicadores son señales. Son instrumentos destinados a simplificar, medir y comunicar acontecimientos complejos o tendencias. Hay dos clases de gente en el mundo: los expertos en indicadores y la gente normal. Esta última constituye la gran mayoría. Todavía es posible para alguien escribir sobre monitoreo y evaluación de proyectos, sin mencionar las palabras "indicadores", "seguimiento" o "evaluación". Repentinamente se ha producido, sin embargo, una explosión de artículos, libros, manuales, conferencias, talleres y videos sobre el tema de los indicadores. Por lo tanto, se está haciendo muy difícil evitar esta palabra. Existen innumerables definiciones de indicador. La más fácil es que los indicadores son instrumentos destinados a simplificar, medir y comunicar eventos complejos o tendencias. La palabra "indicador" viene del latín "indicare", que significa señalar, dar aviso o estimar. Pero los indicadores han estado presentes por muchísimo tiempo; decididamente desde antes de los romanos. He aquí algunos indicadores que casi toda la gente usa: • • • Horas y minutos como indicadores de tiempo; temperatura del cuerpo como indicador de salud; resultados de exámenes como indicadores de progreso en los estudios

Los indicadores no siempre han sido números. Por ejemplo: el Banco Mundial tiene una de las bases de datos más grandes del mundo sobre indicadores socioeconómicos; sin embargo, James Wolfensohn, el Presidente del Banco, dice: He aprendido que el desarrollo puede medirse no sólo por procesos de aprobación burocrática, sino por la sonrisa que ilumina la cara de un niño cuando un proyecto tiene éxito.

80

Téngase en cuenta que un indicador por sí mismo, nunca nos presentará un cuadro completo. Usamos termómetros que nos dicen cuál es la temperatura y con base en eso pronosticamos el tiempo. Pero la determinación de cuánto frío o calor sentimos depende de cuánto viento haya, de lo que llevamos puesto, si estamos al sol o en la sombra, de lo que estamos haciendo y si realmente estamos "sintiendo frío" o no? ¿Cuál es la diferencia entre datos, estadísticas, indicadores e índices? Todos ellos son tipos de información. Como en el caso de los alimentos, puede ser que la información no esté procesada o puede ser que esté muy refinada. Los datos son como el trigo. Un índice es el equivalente al azúcar. Se usan muchos términos para definir "información". Podemos pensar en una pirámide de la información. En la base están los datos crudos, que se convierten en estadísticas una vez que se analizan y procesan. Las estadísticas se convierten en indicadores cuando se simplifican para efectos de comunicación. Un índice es un tipo de indicador que ha sido altamente refinado. Los alimentos no existen por defecto. La gente tiene que decidir qué sembrar, cómo cultivarlos y cómo cocinarlos. De manera similar, a pesar de lo "objetivo" que puede ser un determinado elemento de información, la pirámide entera está construida sobre las opiniones que tiene la gente en cuanto a las actividades y acontecimientos que están siendo medidos.

¿Por qué necesitamos indicadores?
Muchas de las personas que están trabajando en proyectos de desarrollo, habrán escuchado la palabra "indicadores" en el contexto del seguimiento y la evaluación. Ya hemos dado una definición de lo que es un indicador. El seguimiento es un proceso continuo de verificación que permite saber cómo está desarrollándose un proyecto. La evaluación es una revisión periódica que permite ver cuán adecuadamente ha funcionado una propuesta, una vez que ésta se ha llevado a cabo. En algunas ocasiones la gente conoce el conjunto de estas dos actividades por las iniciales S&E. Los indicadores son los instrumentos que se usan en el S&E. El personal de un proyecto normalmente siente "una corazonada" si su proyecto está funcionando y si una actividad ha tenido éxito. O el personal del proyecto y las comunidades con las que trabajan pueden estar totalmente claros acerca de lo que piensan. Además puede pensar que los indicadores: • • • son un desperdicio de tiempo, implican más papeleo innecesario y que su proyecto es tan complejo y particular, que no podría "reducirse a cifras".

Aun así, hay dos razones por las cuales los indicadores son útiles: • • Las "corazonadas" de la gente ¡pueden a veces ser erróneas! – Será preciso convencer a otras personas de que el proyecto está funcionando. Éstas no van a creer en las "corazonadas" de otros. Aún cuando las aceptaran, las "corazonadas" son difíciles de comunicar y no pueden ser fotocopiadas.

Por estas dos razones, los indicadores se están convirtiendo en una parte inevitable de los proyectos. Este documento pretende mostrar que los indicadores no son despreciables y que tampoco son algo a lo que tengamos que temer. Los indicadores son útiles y hasta pueden resultar (aunque parezca increíble) divertidos. ¡Veamos un ejemplo de indicador útil y divertido! Los ingleses aman sus parques, pero un parque local en la ciudad de Reading estaba deteriorándose en razón de la cantidad de excremento de perro que en él se acumulaba. El vecindario organizó una campaña de publicidad para concientizar a la gente acerca de la magnitud del problema. La gente entonces recorrió el parque colocando una estaca con una banderita junto a cada deposición que encontró y luego tomó fotografías del sitio. Había muchos mirones, incluyendo algunos de los acompañantes de perros, ¡cuyos animales estaban (presuntamente) contribuyendo al problema! Se

81

contaron más de novecientas banderas. Dos semanas más tarde repitieron el ejercicio. Esta vez sólo hubo doscientas cincuenta banderas. La principal razón por la cual deben usarse los indicadores es porque proporcionan un mejor fundamento para entender situaciones y tomar decisiones. Algunos expertos tienen muy buen entendimiento de situaciones complicadas con base en las cuales toman buenas decisiones. Pero el estado tan lamentable en el que se encuentran el medio ambiente natural y las sociedades humanas se debe a que las personas no tienen el entendimiento suficiente que les haga tener el deseo de entrar en acción.

Indicadores de insumos
La información referente a los indicadores de insumos proviene en gran medida de registros contables y administrativos. Los indicadores de insumos suelen dejarse al margen de los análisis de seguimiento de los proyectos, aunque forman parte del sistema de información gerencial. Se requiere un adecuado sistema contable para mantener información sobre el gasto y suministrar datos de costos para el análisis de los resultados en materia de productos. Los indicadores de insumos son utilizados principalmente por los administradores que mantienen una relación más próxima con las tareas de ejecución, y se consultan frecuentemente: a veces a diario, o semanalmente. Ejemplos: costos de operación de vehículos para el servicio de extensión de cultivos, niveles de aportes financieros del Estado o de fuentes de cofinanciamiento, designación de funcionarios, suministro de edificios, estado de la legislación habilitante.

Indicadores de procesos
Los indicadores de proceso miden lo que sucede durante la ejecución. Con frecuencia se tabulan como conjunto de obras contratadas terminadas, o hitos extraídos de un plan de actividades. Ejemplos: fecha en que debe realizarse el despeje del lugar de construcción de un edificio, fecha de vencimiento del plazo de entrega de fertilizantes a almacenes de establecimientos agropecuarios, número de dispensarios de salud que declaran actividades de planeamiento familiar, número de mujeres que reciben asesoramiento en anticonceptivos, estado de la adquisición de libros de texto escolares.

Indicadores de productos
Los indicadores de productos muestran los productos físicos y financieros inmediatos del proyecto: cantidades, fortalecimiento institucional, flujos iniciales de servicios. Comprenden medidas de desempeño basadas en el costo de los coeficientes operativos. Ejemplos: kilómetros de carreteras para todo tiempo construidos al finalizar el mes de septiembre, porcentaje de productores rurales que asisten a un lugar de demostración de cultivos antes de que se ponga la capa superior de fertilizantes, número de docentes capacitados en utilización de libros de texto, costo por kilómetro de construcción de caminos, rendimiento por hectárea de los cultivos, relación entre el número de libros de texto y el de alumnos, tiempo que se requiere para tramitar una solicitud de créditos, número de demostraciones realizadas por trabajador de extensión, etapas del proceso de establecimiento de asociaciones de usuarios de agua.

Indicadores de impacto
El impacto se refiere a la variación a mediano o largo plazo en materia de desarrollo. (Algunos autores hacen referencia también a una categoría adicional de indicadores de resultados, relacionados más específicamente con las actividades del proyecto que los indicadores de impacto, que pueden consistir en estadísticas sectoriales y mantener una relación más estrecha con el efecto directo de los resultados de los proyectos para los beneficiarios). Para medir el cambio frecuentemente se requieren complicadas estadísticas sobre el bienestar económico o social, cuya elaboración depende de datos recopilados por los beneficiarios. Pueden obtenerse indicadores tempranos de impacto mediante encuestas de percepciones de los beneficiarios con respecto a los servicios del proyecto. Este tipo de indicador de orientación tiene dos tipos de beneficios: el hecho de que se consulte a los interesados y de que puedan detectarse tempranamente los problemas que

82

puedan suscitarse. Ejemplos de impactos: (en salud) incidencia del bajo peso al nacer; porcentaje de mujeres que padecen anemias moderadas o graves; (en educación) tasas de continuación de educación primaria a secundaria, por sexos, proporción de niñas que completan la educación secundaria; (en silvicultura) porcentaje de disminución del área de la cosecha; porcentaje de aumento de los ingresos de los hogares a través de la venta de productos de madera y de otro tipo. Ejemplos de percepciones de los beneficiarios: proporción de los productores rurales que hayan probado una nueva variedad de semillas y se propongan volver a utilizarlas; porcentaje de mujeres satisfechas con la asistencia sanitaria por maternidad que reciben.

Carácter de los indicadores
La clasificación de los objetivos del proyecto por niveles destaca el hecho de que la administración deberá elaborar sistemas que proporcionen información a todos los niveles: desde contabilidad básica hasta estadística con respecto a los objetivos del proyecto. El recuadro siguiente muestra el contenido y la localización de la responsabilidad por los indicadores en cada nivel en el marco lógico. El control de las actividades y sus resultados o productos directos están a cargo de la administración del proyecto, y en gran medida puede realizarse mediante tareas internas de mantenimiento de registros y análisis. La mayor parte de los indicadores de insumos, procesos y resultados se generan en el marco de la administración del proyecto. En contraposición, el logro de los objetivos del proyecto depende normalmente de la reacción de los beneficiarios con respecto a los bienes o servicios suministrados por el proyecto. Para obtener elementos de juicio sobre su reacción y sobre los beneficios que obtienen deben realizarse consultas y actividades de recopilación de datos que la administración puede no estar en condiciones de realizar. Es importante determinar la reacción previsible de los beneficiarios frente a los servicios del proyecto, porque los administradores necesitaran pruebas de esa reacción para modificar sus actividades y estrategias. Los indicios de que los beneficiarios tienen acceso a los servicios del proyecto, los utilizan y están satisfechos con ellos constituyen un indicio temprano de que el proyecto brinda servicios útiles y de que es probable que se alcancen los objetivos directos. Esos elementos de juicio –obtenidos a través de investigaciones de mercado- pueden estar disponibles antes y con mayor facilidad que las estadísticas de impacto, como la modificación de la situación sanitaria o el aumento de los ingresos. La información de las investigaciones de mercado es un ejemplo de indicador de orientación sobre las percepciones de los beneficiarios que pueden revelar también repercusiones sustanciales ulteriores. Es posible identificar otros indicadores de orientación como alerta temprana con respecto a supuestos clave que afecten al impacto del proyecto. Los ejemplos comprenderían niveles de precios utilizados para el análisis económico, factores de carga de pasajeros en proyectos de transporte y adopción de prácticas de asistencia sanitaria. Al planificar las necesidades de información de un proyecto debe distinguirse entre el detalle necesario para la administración cotidiana a cargo del organismo ejecutor o, más tarde, para la evaluación del impacto, y el limitado número de indicadores clave necesarios para resumir el proceso global en los informes dirigidos a

83

los niveles gerenciales superiores. Por ejemplo, durante la construcción de pozos entubados de aldeas, los administradores de proyectos tendrán que mantener registros sobre los materiales adquiridos y consumidos, la mano de obra empleada y los detalles de su contratación, el tipo de cedazo y bomba instalados, la profundidad en que se encuentra agua, y el coeficiente de flujo. Los indicadores clave, en cambio, podrían consistir simplemente en el número de pozos exitosamente realizados y sus promedios de costos y tasas de flujos.

Indicadores del entorno
Los llamados indicadores exógenos se refieren a factores que escapan al control del proyecto (usualmente consignados en la columna de supuestos del marco lógico), pero que pueden influir decisivamente sobre sus resultados. Por lo general, estos indicadores se refieren a los riesgos que afronta el proyecto: parámetros o factores identificados en el curso del análisis económico, social o técnico que pueden comprometer los beneficios del proyecto. También se incluyen los datos referidos a la evolución del sector en el que opera el proyecto. Ahora bien, como es preciso realizar el monitoreo tanto del proyecto como de su entorno más amplio, debe contarse con capacidad de recopilar datos fuera del proyecto, lo que representa una función adicional del sistema de monitoreo y evaluación.

Es probable que la importancia relativa de los indicadores varíe durante la ejecución de un proyecto, haciéndose mayor hincapié inicialmente en los indicadores de insumos y procesos y más tarde en los productos y el impacto. Se trata de una distinción entre los indicadores de progreso en la ejecución y los indicadores de resultados en materia de desarrollo.

84

Hoja de Trabajo: Su Turno – Desarrollar Indicadores de MyE
Elementos del indicador Objetivo: Qué exactamente será medido Inmediato/Intermedio: ¿A qué nivel de objetivo corresponde el indicador? Evaluación – Resultado inmediato _______________________________________ Evaluación- Resultado intermedio _______________________________________ Indicador de monitoreo (directamente vinculado a actividades)

Su respuesta

Lista de control para escoger indicadores: Vinculados al efecto del programa: De todos los posibles indicadores bajo consideración para medir un objetivo particular, escoja el/los indicador(es) que más exactamente y sin ambigüedad reflejan el objetivo correspondiente del programa. Asegúrese de que los cambios en el indicador reflejen el éxito del programa sin ser influenciado por otros factores.

Población: La población exacta entre quienes serán recolectados los datos

Factibles: Hay muchas maneras de recolectar datos de cada indicador. Considere obstáculos y destrezas que pueden involucrarse en recolección exitosa de datos para cada indicador bajo consideración. Escoja indicadores que tienen más posibilidad de ser exitosamente recolectados mientras dan la información requerida.

numérico/No numérico: Tipo de indicador y calculo

numérico: o Conteo (número de…) o índice o Porcentaje/proporción o Promedio No numérico o Categoría o Citas o Temas o topologías o Casos de estudio

Costo-efectivos (dinero, horas laborales y otros recursos): Siempre hay que encontrar un equilibrio entre los costos y la conveniencia y la profundidad y significado del indicador. Por ejemplo, los indicadores que requieren esperar una cierta cantidad de tiempo después de terminar el programa pueden involucrar mayores costos para localizar a los participantes, pero dan mayor indicación de los resultados reales del programa. Basados en los derechos: Asegúrese que todos los indicadores sean sensibles a las consideraciones de justicia social basadas en los derechos. Consejos: Consideraciones claves de la justicia social basadas en los derechos para los indicadores

Factores externos: En qué categorías se divide el indicador (por ejemplo, género, edad, estado civil) Recuerde que los indicadores no deben especificar la dirección del cambio deseado porque esa información se encuentra en los objetivos.

Su indicador escrito:

Actividades de la décima primera semana Individuales
1. Realice la lectura de la semana. 2. Responda a la pregunta ¿por qué considera importante una buena construcción de los indicadores, en el monitoreo y la evaluación? 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren completen la hoja de trabajo de la semana, con los indicadores de la política, programa o proyecto que se encuentran evaluando. 2. Actualicen su matriz de evaluación 3. Compartan su actividad anterior con el resto de la clase.

Autoevaluación
1. ¿Qué cosas que no sabía aprendió con la lectura? 2. ¿Qué aportes haría usted para complementar la lectura y el aprendizaje? 3. ¿Puede señalar al menos tres aspectos que considere importantes, a considerar en la construcción de un sistema de indicadores?

86

DÉCIMA SEGUNDA SEMANA TEMA Identificación de las fuentes de información para la evaluación Objetivos de la semana
Al finalizar el estudio de la décima segunda semana las y los estudiantes…. • Identificarán las fuentes de información, para su plan de evaluación.

LECTURA
Monitoreo: un proceso de planteamiento y exploración de preguntas inteligentes, que propone provocar y apoyar reacciones y decisiones gerenciales que garantizan la generación de valor público. El monitoreo se asocia con indicadores. Y, a su vez, la selección de indicadores idóneos para el monitoreo no resulta completa hasta cuando se identifiquen las fuentes de información que brindarán los datos necesarios para construir los indicadores. Tratándose de un proceso que se realiza continuamente durante la ejecución de un programa, el monitoreo requiere de fuentes de datos e información que podrán ser actualizados (y “monitoreados”) a través del tiempo, en plazos que brindarán información pertinente y oportuna para los gestores. Así, el monitoreo requiere de fuentes de información que se actualizan continuamente o que brindan actualizaciones con una periodicidad idónea para verdaderamente generar información útil para los que toman decisiones con respecto al programa, sus actividades y sus inversiones. En la unidad 3.2 propusimos que la identificación de indicadores debe incluir la definición de las fuentes de información o los métodos de recopilación de datos para su elaboración. En esta unidad, vamos a proponer unas pautas para contemplar posibles fuentes de información o métodos de recopilación.

Fuentes primarias y fuentes secundarias
Iniciamos la reflexión con una distinción básica entre dos tipos de fuentes de información: Fuentes primarias (o directas): se tratan de los datos obtenidos "de primera mano", por los que están gestionando el proceso de monitoreo, por medio de procesos de recopilación que ellos mismos diseñan y gestionan. Cuando contemplamos el uso de datos de fuentes primarias, tenemos que referirnos a métodos de recopilación de datos. Fuentes secundarias: consisten en datos recopilados por otros gestores, frecuentemente para otros fines. Se trata de datos ya recopilados, que pueden ser utilizados directamente o pueden ser procesados de tal manera que resulten útiles para el proceso de monitoreo. Cuando nos referimos a datos de fuentes secundarias para el monitoreo, nos obligamos a analizar la capacidad de los datos ya recopilados a suplir las necesidades de información del proceso. El cuadro que se presenta a continuación propone resumir posibles fuentes primarias y fuentes secundarias, para los procesos de monitoreo de programas sociales. Verán que se presentan primero las fuentes secundarias. Esto, porque en general, se recomienda que los procesos de investigación y análisis tomen las fuentes secundarias, pues se pueden economizar los esfuerzos y los recursos de recopilación de datos. A su vez, se reconoce que las fuentes secundarias de datos pueden obligar a acomodar las demandas y necesidades del análisis o investigación a los métodos de recopilación de datos ya aplicados. El cuadro intenta caracterizar cada posible fuente de información con ejemplos, una identificación preliminar de ventajas y desventajas que podrían presentar para los procesos de monitoreo y una identificación de algunas

87

fuentes de información impresa y de acceso electrónico. Cabe anotar que la mayoría de los links electrónicos llevan a referencias redactadas en inglés. Las fuentes impresas son, en su mayor parte, disponibles en español.

88

89

90

Analicemos las posibles fuentes, contemplando los diferentes datos necesarios para un proceso de monitoreo: Indicadores de actividades, inversiones e insumos: describen las acciones y trabajos realizados y sus correspondientes procesos y recursos. Por tanto, los datos necesarios van a ser descriptivos de procesos internos a las organizaciones ejecutoras del programa. Resulta apenas lógico que la mayoría de los datos van a resultar de fuentes primarias, en buena parte de registros administrativos de las organizaciones ejecutoras. Se pueden utilizar datos contables, de recursos humanos, de procesos y rutinas, de auditoría, entre otros. Evidentemente, los datos de registros administrativos se podrían complementar y cualificar con datos de entrevistas con diversos actores de estas organizaciones. Indicadores de productos: describen los bienes y servicios entregados y, de ser relevante, su acogido por la población usuaria (el encuentro de la oferta del programa con la demanda). En su mayor parte, estos indicadores se pueden construir con datos recopilados por los establecimientos o los ámbitos donde se entregan los productos o servicios del programa. Para estos datos, lo más común sería utilizar registros administrativos y, en algunos casos, fichas de atención a usuarios y entrevistas o encuestas con usuarios. Todos estos, clasificados como “fuentes primarias”, pues se recopilarían directamente por los gestores del programa, para fines de monitoreo. Indicadores de efectos y impactos: describen evidencias cambios en los consumos, comportamientos, conocimientos y/o actitudes de los afectados por el programa y evidencias cambios en el bienestar consecuentes de la generación de los efectos. La construcción de estos indicadores de efectos e impactos requiere de datos que se recopilan entre las poblaciones y comunidades objetivo del programa. Son datos que reflejan procesos que se producen en las comunidades, en los hogares y en los individuos. Como tal, abren la posibilidad de uso de fuentes secundarias de información. Se podría utilizar datos de encuestas -- bien sean recopiladas primordialmente para fines del monitoreo (fuentes primarias) o que sean tomados de encuestas realizadas para otros fines (encuestas de ingresos y gastos, o encuestas de condiciones de vida, por ejemplo). Asimismo, se pueden utilizar datos censales, datos de registros administrativos de organizaciones beneficiarias del programa u organizaciones que interactúan con la población objetivo del programa.

91

Indicadores relacionados con riesgos: describen evidencias (o falta de evidencias) de una posible ocurrencia del riesgo y las acciones y resultados de la gestión de estrategias de manejo del riesgo. Estos indicadores requieren de datos que se recopilan entre las poblaciones y comunidades objetivo del programa y también de datos internos de la organización. Como tal, se pueden utilizar datos de fuentes primarias y/o secundarias de información: fuentes que hacen seguimiento de evidencias de posible ocurrencia del riesgo (por ejemplo, observatorios de la actividad empresarial o de los indicadores macroeconómicos) y fuentes que monitorean la gestión de estrategias de manejo del riesgo (que muy probablemente se tratarán de datos internos).

Factores que se deben tomar en cuenta para la selección de fuentes de información
• Relevancia de los datos: Los datos que utilizamos en el monitoreo tienen que facilitar las respuestas a las preguntas que proponemos explorar en el proceso. La relevancia de los datos es, por lo tanto, el criterio primordial para la selección de las fuentes de información. Una fuente de información secundaria solo va a ser útil si los datos recopilados efectivamente reflejan (directa o indirectamente) los fenómenos que efectivamente estamos tratando de monitorear. De la misma forma, si se toma la decisión de levantar los datos primarios, hay que ser fiel a los fenómenos que se proponen monitorear. Cobertura: El monitoreo requiere datos sobre ciertos procesos, determinadas poblaciones, organizaciones o grupos. Si se propone realizar una recopilación de datos primarios, es necesario preguntar si se va a recopilar datos sobre el universo de los miembros de los grupos que se desean monitorear o de una muestra representativa del mismo. De la misma manera, la viabilidad del uso de datos de una fuente secundaria depende de la cobertura del mismo: ¿los datos cubren las poblaciones, los grupos, los procesos o las organizaciones que proponemos monitorear? ¿Cubren una muestra representativa de ellos, de forma que podríamos proponer generalizar a partir de los datos recopilados? Periodicidad: Por definición, el monitoreo va a requerir de datos que se recopilan con cierta periodicidad regular; la posibilidad de actualizar los datos regularmente tiene que ser tomada en cuenta al diseñar un método de recopilación y/o juzgar la idoneidad de una fuente secundaria de información. Para el monitoreo, vamos a requerir de actualizaciones muy frecuentes (mensual, trimestral, etc.) de datos sobre actividades, inversiones y productos y menos frecuentes (semestrales, anuales, bianuales, etc.) de evidencias de efectos e impactos. Si no es posible contar con una frecuencia suficiente de actualización de datos (por la exigencia de los métodos de su recopilación), conviene definir unos indicadores intermedios o unos indicadores proxy para poder hacer un seguimiento de evidencias que sugieran que pueda (o no) estar presentando evidencias de posibles efectos e impactos. Otro elemento importante para tener en cuenta al definir la periodicidad con que se van a recopilar los diferentes datos – particularmente de los efectos e impactos – tiene que ver con el tiempo necesario para que se produzca una varianza en el indicador. Una tasa de escolaridad de la población mayor de 10 años, un coeficiente Gini (de desigualdad distributiva) o una tasa de analfabetismo entre los mayores de 25 años solo produce varianzas lentas en el tiempo. En caso de incluir indicadores de esta naturaleza en el proceso de monitoreo, también podría convenir incluir en el monitoreo unos indicadores intermedios para poder explorar evidencias que sugieran que estemos (o no) en el camino que conduce hacia ese logro. • Costos: Evidentemente, en el monitoreo, hay que buscar un equilibrio entre lo ideal y lo alcanzable en la definición de fuentes de información. Es importante tener en cuenta los recursos necesarios (recursos financieros, y de tiempos de los gestores del proceso de monitoreo) para poder utilizar las diversas alternativas de fuentes de información.

92

Hoja de trabajo: Seleccionar fuentes de datos
Indicador Fuentes potenciales de datos Criterios para la selección de fuentes de datos Completitud, precisión, pertinencia Facilidad en el acceso y factibilidad Falta de riesgos para las personas que responden

Decidir si se utilizará una muestra y qué tipo de muestra.
Si no se cuenta con el suficiente tiempo, dinero o personal para escuchar a todas las personas, revisar todos los documentos y observar todos los eventos, se tendrá que seleccionar un subgrupo más pequeño de la población total, llamado una muestra.

La elección de una muestra puede hacer que la evaluación sea • más factible y • menos costosa. Con el fin de que los hallazgos sean pertinentes al grupo o a la población entera, la muestra debe asemejarse al grupo grande del programa en aspectos que sean directamente pertinentes a: • el tipo de información que se estará recopilando, así como • a los objetivos del programa. Se hará uso de dichas características para: • seleccionar la muestra en primer lugar y/o para • verificar que la muestra haya sido similar a las poblaciones, como se buscaba

93

Hoja de Trabajo: Cómo determinar el tipo de muestra a seleccionar
¿Cuáles son los posibles sesgos? ¿Cuánto tiempo y cuántos recursos se puede dedicar a la recolección de datos?

Plantearse las siguientes preguntas:

Técnica de muestra

¿Cuáles son las implicaciones para el análisis?

¿Existe presión de tiempo para recolectar los datos antes de una fecha límite? ¿Existen sesgos rela¿Se tiene una idea clara de quiénes constituyen todas las fuentes posibles de datos?

Muestra de tiempo

Muestra aleatoria

¿Se sabe que no existen sesgos en el orden en que se identifica a las personas, los eventos o los documentos?

Muestra sistemática

¿Existen grupos especiales en los que se debe centrar, aunque sean poco frecuentes en la población general?

Muestra estratificada con sobrerepresentación de un grupo específico

Elegir la muestra que: • tenga menos sesgos y/o sesgos menos extremosos • coincida con los recursos disponibles • coincida con el tipo de análisis que se desea realizar (véase el Módulo 7) Siempre describir quiénes o qué está incluido, y quiénes o qué quedó fuera de la muestra.

¿Las fuentes necesarias de datos están altamente estigmatizadas, ocultas, son ilegales o de alguna manera difíciles de No se cuenta con recursos para identificar una muestra, o se desea probar los instrumentos para la recolección de datos antes de iniciar la mera recolección.

Muestra nieve”

“bola

de

Muestra de conveniencia

94

Independientemente del medio que se utilice para seleccionar la muestra, siempre habrá que: • tener absoluta claridad respecto a quién o qué se incluyó o no se incluyó, y por qué, así como pensar en las implicaciones de dichas decisiones, para los hallazgos potenciales.

Si se comienza la evaluación de un programa nuevo:
Construir una línea de base quizá constituya el paso más importante para asegurar que se llegue a hallazgos útiles. Es necesario recolectar al menos algunos datos de base acerca de las interrogantes más importantes de la evaluación. Cuándo recolectar datos de base: 1. antes del inicio del programa. • Si se realizó un diagnóstico de necesidades (evaluación de necesidades) que incluyó la recolección de datos sobre los indicadores, habrá que utilizar dichos datos como la línea de base. • Aplicar el instrumento para la recolección de datos cuando las personas se apuntan para el programa. • Revisar los documentos antes del comienzo del programa. 2. al inicio del programa • En los casos en que las personas se inscriben o comienzan a participar a partir de un momento específico, se puede aplicar un instrumento pre-prueba con las mismas preguntas que se utilizará en las valoraciones medias y/o finales. • En los casos en que los y las participantes en el programa no son un “grupo cautivo”, aplicar el instrumento pre-prueba a una muestra de personas, eventos o documentos, que estarán expuestos al programa. 3. en una etapa temprana del programa, antes de poder esperar resultados. Cómo mantener los gastos bajos: 1. utilizar datos del diagnóstico de necesidades, si a. son aptos para los indicadores que se han determinado como necesarios para la evaluación b. se recolectaron de la misma fuente de datos que se utilizará en la línea media y/o final c. se recolectaron de la misma manera en que se recolectarán en la línea media o final 2. priorizar las preguntas más importantes a. centrarse en los objetivos específicos y en las actividades más importantes respecto al equipo del programa, los actores interesados y los donantes b. enfocarse en los subgrupos más importantes dentro de la población potencial, como serían las madres solteras, los niños menores, los políticos o la prensa más conservadora, las personas más estigmatizadas, es decir, las personas más importantes para los resultados del programa.

Si se evalúa un programa ya en marcha:
Es un desafío común evaluar un programa que no cuenta con una línea de base adecuada.

Si existe una línea de base:
Aunque no es muy común, es posible encontrar que se ha realizado algunas mediciones iniciales. Se podrá hacer uso de dichos datos, si: • la línea de base existente incluye información acerca de los indicadores que ya se han determinado como necesarios para evaluar los cambios respecto a los objetivos inmediatos e intermedios • los datos existentes pueden ser analizados de nuevo o reagrupados, con el fin de proveer la información necesaria para medir el cambio respecto a los objetivos inmediatos e intermedios del programa • se aplicó la línea de base en personas que participan en el programa, o muy similares a ellas • se recolectaron los datos de formas similares a las que se utilizará para recolectar los datos postprueba

Icono de punto importante: Es mejor no tener una línea de base, que llegar a conclusiones erróneas de una línea de base mal construida.

95

Si no existe una línea de base:
Esta constituye la situación más común. • Utilizar un grupo de comparación. • Si no hay un grupo de comparación disponible o apropiado, construir una comparación de línea de base retrospectiva, mediante: o La creación de versiones retrospectivas de las preguntas medias o finales, por ejemplo, antes del programa o en tal año, ¿cómo era la situación respecto a X, Y o Z? o La utilización de percepciones cualitativas de los cambios, al preguntar a las personas que responden cómo perciben la diferencia entre la situación antes del programa y el momento actual. o La utilización de diferentes maneras de indagar sobre cómo eran las cosas antes del programa, por ejemplo, las percepciones de las personas, más los registros municipales. Ello es otro ejemplo de cómo puede ayudar la triangulación. o Siempre habrá que incluir una pregunta respecto a si los y las participantes en el programa perciben cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una línea de base sólida, este tipo de pregunta complementará los datos y puede llevar a conocimientos significativos.

¿Cómo ayudar a la gente a recordar?
Siempre existe un riesgo al preguntar a las personas cómo estaban las cosas antes del programa. Quizá se hayan olvidado, u otros eventos hayan causado que recuerden las cosas de otra manera. Con el fin de ayudarles a recordar, habrá que ubicarles en el período de tiempo de interés para la evaluación. Por ejemplo, en la introducción a la entrevista o la sección, pedir que recuerden dónde vivían, con quién vivían, a qué se dedicaban. Una vez ubicadas en el período de tiempo, se les puede plantear preguntas específicas respecto a la línea de base.

¿Cuándo constituye la línea final el fin?
¿En qué momento después del fin del programa se desea medir la línea final? • Si se espera varios meses o años: o Es más probable que se detecte cambios que han persistido e incluso que se han vuelto más marcados con el tiempo. o Puede ser más difícil y costoso encontrar a las personas o los registros necesarios para evaluar. o Es posible que las personas ya no recuerden nada o lo que recuerdan esté distorsionado. o Otros factores pueden haber aumentado o reducido los resultados que se intenta evaluar. • Si se mide inmediatamente después del cierre del programa: o Se puede medir cambios inmediatos (objetivos). Los cambios pueden ser de corta duración, y no se podrá demostrar resultados más duraderos. o La evaluación podrá ser más fácil y menos costosa.

El escenario ideal es hacer ambos, pero con recursos limitados, habrá que realizar las mejores comparaciones posibles, en el momento en que se cuenta con los recursos.

¿De qué tamaño debe ser la muestra?
• El asunto puede reducirse a cuestión de tiempo y dinero. o Determinar cuánto tiempo, dinero y personas están disponibles para recolectar los datos. o Determinar cuánto tiempo y dinero se necesita para cada tipo de recolección (una vez diseñados los instrumentos de recolección de datos, en el Módulo 6), y proceder a la inversa. o Equilibrar el tipo de instrumento con el número de fuentes a incluir. Por ejemplo, quizá se pueda aplicar una encuesta breve a todas las personas, pero si se quiere realizar entrevistas a profundidad, probablemente se tendrá que elegir una muestra pequeña. o Tener en mente el tipo de interrogante de la evaluación, al que se pretende dar respuesta. A veces será mejor una recolección de datos más profunda en una muestra más pequeña, que muchos datos superficiales de una muestra más grande.

96

Si se utiliza instrumentos de recolección de datos cualitativos (véase el Módulo 6), habrá que planear la inclusión de al menos 3, pero de preferencia 5 personas para cada categoría que se utilizó para seleccionar la muestra. Ejemplo: Si la muestra debe incluir hombres que tienen relaciones sexuales sólo con hombres, hombres que tienen relaciones sexuales sólo con mujeres, y hombres que tienen relaciones sexuales con ambos, habrá que intentar formar una muestra de 3 a 5 hombres para cada una de estas categorías.

Evitar sesgos en las comparaciones
Comparaciones de línea de base versus línea final: • Es importante establecer la confianza durante la valoración de base, a fin de evitar el sub-registro de conductas o actitudes que son criticadas socialmente, y evitar el sobre-registro de conductas o actitudes populares o de mucho status. o Al recolectar datos para la línea de base, quizá sea necesario explorar temas sobre los cuales es difícil hablar. Las personas entrevistadas que aún no ingresan al programa, quizá subregistren conductas o actitudes delicadas o polémicas, o bien, se jacten de sus hazañas. o Por medio de la participación en el programa, donde probablemente se desarrolle la confianza, quizá se encuentre niveles más elevados de conductas respecto a las cuales no se pudo hablar cuando se realizó la línea de base; asimismo, es posible encontrar niveles reducidos de jactancia acerca de actitudes o conductas de mucho status. En ambos casos, se alterarán las comparaciones. o Preguntar a los y las participantes si se sienten bien al hablar de temas delicados, y en la valoración post-prueba, si se sintieron más o menos cómodos/as que antes, hablando de dichos temas. o En la línea media o final, preguntar si las personas participantes percibieron cambios y si consideran que dichos cambios se deben al programa. Aun si se cuenta con una línea de base sólida, una pregunta de esta índole complementará dichos datos y puede llevar a importantes conocimientos nuevos. • Planear y utilizar los datos de monitoreo para medir cambios en el desarrollo u otros eventos o intervenciones que alteran la vida, mismos que pueden ocurrir entre la valoración de base y la final. o Las personas jóvenes pueden haber cruzado umbrales en su desarrollo durante su estancia en el programa, como sería el inicio de la actividad sexual. Si el programa buscaba reducir la actividad sexual insegura, ello no significa que el programa no tuvo efecto. Su conducta aún podría ser mucho más segura en comparación con jóvenes similares que no tuvieron contacto con el programa (un grupo de control). o Pudieron haber ocurrido eventos externos que afectan los hallazgos, como serían disturbios políticos, escándalos, desastres naturales, la transmisión de programas educativos en televisión o radio, etc. o Si se está haciendo uso de registros públicos, el personal pudo haber recibido nuevos incentivos o capacitación para redondear su preparación, o bien, un nuevo gerente o un nuevo sistema de evaluación les pudo haber intimidado en cuanto al registro de cierta información. • Revisar la composición de los grupos reales que se están comparando. o La deserción durante el programa o la incorporación tardía de personas (después de haberse aplicado la pre-prueba), puede llevar a que los grupos pre-prueba y post-prueba ya no sean iguales en algunas características esenciales, como la motivación, la escolaridad, el apoyo familiar, etc. Al revisar los datos de monitoreo continuamente, será posible percatarse de esta situación, y ojalá evitar sesgos en las comparaciones. o Decida si se van a utilizar solamente encuestas apareadas, en las cuales se ha diseñado una forma de identificar a las personas en la pre-prueba y post-prueba aun manteniendo su anonimato, para saber el impacto del programa en el individuo. • Planear la forma de realizar comparaciones persona por persona en los momentos de pre-prueba y post-prueba. Aun si se cuenta con un subgrupo pequeño, cuyos integrantes se pueden aparejar con personas que responden, se puede obtener información valiosa acerca del cambio a nivel individual, de tal forma que si los grupos terminan variando, aún se podrá saber si el programa tuvo impacto o no. o Si el anonimato constituye un asunto a manejar, asegurar la inclusión de un identificador único (Un grupo reducido de preguntas que la persona respondedora recordará y contestará de la misma manera cada vez que se le entreviste, sin revelar su identidad, como sería el nombre de la hermana o el hermano más cercano en edad, el color favorito, el número de hermanos y

97

hermanas) en el instrumento de recolección de datos, a fin de aparejar las personas que responden sin revelar su identidad.

Grupos de comparación • Identificar un grupo de personas, eventos o documentos con características similares a las del grupo
• expuesto al programa. Si no se logra identificar un grupo de comparación para la población entera, identificar uno para cada subgrupo de la población, considerado más importante para el equipo de MyE y los actores interesados, y/o el público a influenciar. Ejemplo: Si la población entera incluye jóvenes de 10 a 24 años de edad, pero es de más interés el grupo de 10 a 15 años, se podrá buscar un grupo de comparación de jóvenes de esta edad, y después comparar dicho grupo muestra con los jóvenes de 10 a 15 años en la población original. Utilizar datos generales de población en lugar de un grupo de comparación (por ejemplo, comparar los y las jóvenes en el programa con los y las jóvenes del pueblo entero) si existen datos disponibles y apropiados a nivel de distrito/pueblo/estado. No obstante, habrá que asegurar que las personas jóvenes en el programa no difieran de la población general en otros aspectos importantes, ni que representen una proporción tan importante de los datos de la población general, que se terminaría comparándolas con ellas mismas. Sería ideal utilizar la valoración del grupo de comparación como línea de base para el próximo ciclo del programa. De esta manera, las personas entrevistadas estarán expuestas al programa a la larga, y se evitará la sensación de que se está invirtiendo recursos sin proveer el tipo de servicios que se desea brindar. Los grupos de comparación deben mostrar un nivel similar de interés en los temas pertinentes, que el grupo del programa. Sin embargo, habrá que estar atentos a que pueden diferir en términos de apertura a los temas que se tratan en la valoración, lo que introduce los mismos sesgos que en ocasiones se encuentran en las comparaciones entre líneas de base y líneas finales. Independientemente de cómo se selecciona el grupo de comparación, siempre habrá que explicitar en qué difiere el grupo de comparación del grupo del programa, en aspectos que pueden tener un impacto en los hallazgos de la evaluación.

Grupos internos de comparación:
• Indagar si hubo subgrupos que de alguna manera estuvieron expuestos a la influencia del programa. Ejemplos: o Personas que asistieron a todas las sesiones versus las que sólo asistieron a una cuantas o Personas que recuerdan haber visto o leído los mensajes que el programa difundió versus las que no recuerdan Dividir los participantes en el programa en dos o tres grupos: personas o que estuvieron suficientemente expuestas como para esperar que muestren el cambio deseado o cuya exposición fue tan mínima que no se esperaría que el programa las influenciara y o posiblemente un grupo intermedio

Asegurar que dichos grupos no difieran en aspectos tan importantes como motivación, recursos económicos, etc. Ejemplo: En un programa educativo sobre el VIH/SIDA para personas mineras, algunas de éstas que iniciaron en el programa fueron transferidas durante varios meses a otra región. A pesar de que regresaron a tiempo para participar en la post-prueba, no habían estado expuestas a la intervención completa. Si las personas transferidas fueron seleccionadas debido a un procedimiento o una característica ajena a los resultados del programa, podrían fungir como un excelente grupo de comparación. Sin embargo, si se encuentra que sólo se transfirieron las personas con mayor escolaridad o las que más se confrontaban, sólo se podría utilizar los datos que se tienen sobre las personas que permanecieron en el programa completo. Si el grupo de comparación estuviera confor-

98

mado por personas en otra mina, también sería conveniente tratar de aparejarlas con el subgrupo sobre educación e historial disciplinario, para que ambos grupos fueran lo más similar posible. Por tanto, las comparaciones podrían ser las siguientes: Personas mineras que participaron en el programa versus las que fueron transferidas al azar (y no participaron en el programa) o bien, Personas mineras que participaron en el programa versus personas mineras en otra mina (sin programa) que son similares a las personas que participaron en el programa (por ejemplo, en términos de escolaridad e historial disciplinario)

Más vale prevenir que lamentar
Siempre es algo “riesgoso” depender de una línea de base reconstruida después del hecho. Siempre es mejor recolectar datos base al comienzo del programa. Sin embargo, si no existe un grupo lógico de comparación, y se necesita estimar una línea de base, se obtendrá mejores resultados si se hace lo siguiente: • enfocarse en eventos más concretos, y pedir que se den ejemplos • pedir a la persona que responde que dé las razones o explicaciones de sus percepciones • captar datos de diversas fuentes y compararlos para corroborar los hallazgos, por ejemplo, el personal además de los registros del hospital • hablar con personas que tienen diversos grados de identificación con el programa

¿Qué de un grupo de control?
Un grupo de control es un grupo de comparación seleccionado desde el inicio, que no se expone al programa. Son ideales porque proveen la comparación pre- y post-programa, además del contraste entre al menos dos grupos diferentes en dos momentos diferentes. Sin embargo, los grupos de control presentan desventajas que los vuelve poco comunes en la práctica, en programas de bajos recursos. • Posiblemente no esté disponible un buen grupo de control. • Algunas organizaciones consideran que no es ético contactar a las personas y negarles la intervención. • Existe preocupación de que exponer el grupo de control a las preguntas pre-programa, si éstas abordan temas delicados, podría causar conflictos o incomodidad, sin brindar a las personas que responden algún tipo de consejería profesional posteriormente. Cualquier entrevista, especialmente si trata temas sensibles, puede tener un impacto desconocido en la persona entrevistada, por lo que habrá que encontrar la manera de conseguir ayuda en caso necesario. • Existe preocupación de que el grupo de control deserte de manera diferente durante el período del programa, ya que no recibe nada ni se beneficia de ninguna manera. Como siempre habrá personas que desertan de todas maneras, independientemente del grupo, el equipo evaluador debe asegurar que no deserten más personas o diferentes tipos de personas, respecto al grupo del programa; de lo contrario, el grupo de control no será muy útil a final de cuentas. • Algunos programas resuelven dichos dilemas mediante la provisión de un paquete básico de servicios al grupo de control, y un paquete básico más alguna intervención nueva al grupo del programa. Ello podría elevar el costo, a tal grado que sería demasiado costoso utilizar y mantener el grupo de control, a menos que la agencia pueda ofrecer múltiples programas. • La contaminación también constituye un problema. A veces el efecto del programa puede llegar al grupo de comparación, especialmente si ambos grupos son de la misma comunidad. Ello dificulta aún más los problemas relacionados con los grupos de control, lo que los hace poco comunes en programas de bajos recursos.

¿Se puede confiar en los registros?
En muchos casos, los registros existentes y disponibles en archivo, habrán sido plasmados en condiciones no óptimas. Será conveniente entrevistar a las personas que registran los datos, e indagar sobre el nivel de confiabilidad de estos, antes de depender de registros que pueden ser muy engañosos. Si la valoración final dependerá de esos mismos registros, habrá que evitar cualquier influencia que pudiera afectar la precisión con la que se asientan durante el período de la evaluación, entre la pre-prueba y la post-prueba. Las influencias podrían

99

ser por ejemplo, un mayor interés en el tema, o una nueva política que requiere que el personal dedique tiempo a la diligencia de los formularios.

Seleccionar fuentes de datos
Para cada fuente potencial de datos, plantearse las siguientes preguntas: ¿Qué fuente o fuentes proporcionarán la información más completa, precisa y pertinente? • ¿La fuente estará libre de sesgos importantes y responderá con honestidad? • ¿La persona que responde será capaz de, y estará dispuesta a proporcionar respuestas completas y honestas? Si la fuente es un documento, como la minuta de una reunión, expedientes clínicos, etc., ¿es probable que la información esté bien registrada y que se haya registrado sistemáticamente? ¿La observación directa puede proveer información que no se podría obtener de otra manera, y puede llevarse a cabo de tal forma que se evite cualquier cambio innecesario en el comportamiento de las personas?

¿Se tiene acceso fácil a esta fuente de datos? • ¿Qué tan difícil será encontrar a las personas con las que se necesita hablar? • ¿Qué tan difícil será lograr que las personas hablen o diligencien el cuestionario? • ¿Los documentos están disponibles y accesibles al equipo o a ciertos/as integrantes del equipo? • ¿El/la líder del equipo o ciertos/as integrantes particulares del equipo pueden asistir a los eventos que se desea observar, sin alterar lo que se desea observar? ¿La recolección de datos representa un riesgo potencial para la fuente de datos? El hecho de que se intenta encuestar/entrevistar a ciertas personas ¿les causará algún daño o incomodidad, por ejemplo, al identificarles como pertenecientes a una categoría estigmatizada? ¿Cómo se podría protegerles de dicho daño o incomodidad? • ¿Será posible proteger el anonimato, la confidencialidad y la privacidad de las personas involucradas? • ¿Se pedirá que las personas cuenten experiencias cuya discusión pueda perturbarlas? Anonimato – condición en la que nadie jamás pueda identificar a la persona o el ítem por su nombre. Confidencialidad – condición en la que nadie jamás pueda identificar a la persona o el ítem, excepto la persona recopiladora de datos, incluidos los demás integrantes de los equipos de evaluación y del programa. Privacidad – condición en la que nadie pueda escuchar a la persona proveedora de datos, o de alguna manera incomodarla por proporcionar respuestas honestas. Diligenciar la siguiente tabla para cada indicador y sus posibles fuentes. Elegir las fuentes de datos que reúnen mejor los criterios. Se incluye un ejemplo después de la tabla:

Seleccionar un grupo de comparación
Asegurar que el grupo de comparación sea lo más similar posible al grupo del programa. Por tanto, se podrá incluir a las siguientes personas: • Personas que reúnen los mismos criterios de selección para el programa, pero que llegaron cuando el programa ya estaba lleno, o son elegibles para el programa en el futuro. • Personas seleccionadas del público general que son similares al grupo del programa en términos de un conjunto de características específicas. Se puede elegir un grupo de comparación de la misma manera en que se elige una muestra.

Seleccionar una muestra: ¿Qué características habrá que cuidar?
Al seleccionar una muestra o un grupo de comparación, es preciso cuidar las características que: • estén directa o indirectamente relacionadas con la matrícula de, la participación en, y los objetivos del programa, y

100

tienen que ver con cuánto influiría el programa en la persona, el evento o el documento.

No hay que seleccionar una muestra o un grupo de comparación con base en características que son irrelevantes respecto a los objetivos del programa. Ejemplo: Si el programa sensibiliza a personas legisladoras sobre los derechos sexuales y reproductivos de las mujeres, con el fin de alentar la ampliación de las leyes y procedimientos, • Las características pertinentes de las personas legisladoras podrían incluir el sexo de dicha persona; su actitud hacia el empoderamiento de las mujeres; su afiliación religiosa o partidista; su etnia; y su participación en comités legislativos clave. • Otras características menos pertinentes podrían ser el número de hijos/as, escolaridad, años de servicio y estado civil. Las características irrelevantes podrían ser la propiedad de la vivienda y el número de posesiones de status.

Tipos de muestras
Tipo de muestra Muestra de tiempo (en ocasiones se le denomina muestra de corte transversal) Descripción Cómo elegir para evitar sesgos Cuándo se utiliza • • si se está bajo bastante presión de tiempo si se necesita recolectar datos para una cierta fecha límite si se desea una manera bastante directa y razonable de muestrear, y se puede evitar los sesgos relacionados con el tiempo

Recolectar información durante un tiempo específico pero corto, quizá de las siguientes maneras: • una vez, por ejemplo, todas las personas clientes que llegan en un mes determinado • regularmente, durante un período más largo, por ejemplo, una vez al mes • junto con otro tipo de muestreo

Elegir un período de tiempo o un conjunto de periodos de tiempo que: • sea típico respecto a todas las categorías en la fuente de datos • no esté influenciado por eventos especiales o condiciones como fiestas, la cosecha, condiciones climáticas extremas, etc.

Si se realiza el muestreo en ciertos momentos del día, no elegir un momento en que los eventos o las personas contactadas serán diferentes a las que se contactarían en otros momentos, o alternativamente, asegurar que se equilibre dichos momentos con otros en los que se encontraría otro tipo de personas o eventos

Muestra aleatoria

Entre todos/as los/as participantes potenciales, otorga a cada persona, evento o documento, la misma probabilidad de ser incluido

Dependiendo de la proporción que se pueda o se desee incluir en la muestra, echar una moneda al aire, tirar un dado o un par de dados, o utilizar un juego de barajas para elegir si una persona, evento o documento queda incluido

Si •

se piensa utilizar pruebas estadísticas en el análisis, ya que la mayoría de las pruebas requiere de este tipo de muestra se sabe quiénes integran la población entera

Muestra temática

sis-

Incluir cada X persona (o unidad) en la muestra

Cada décima (o X) persona o registro. Habrá que cuidar que no existan sesgos en la manera en que las personas o los documentos se encuentren o lleguen. Si se está eligiendo a cada tercera persona, y llegan parejas y los hombres se apuntan antes que las mujeres, la muestra terminará con más mujeres que hombres

101

Muestra estratificada

Quizá se determine que se desea encontrar personas o unidades con ciertas características

Elegir según las características de un subgrupo en el que se tiene un interés especial. Ejemplos: madres solteras, castas inferiores o personas marginadas por motivos étnicos, mujeres que han sido golpeadas por su marido, dirigentes de la comunidad que se oponen a cierta opción

Para asegurar que la muestra incluya números adecuados de ciertos grupos que ocurren con menos frecuencia en la población. Se puede combinar con la muestra aleatoria

Si un subgrupo de interés es infrecuente en la población, habrá que incluir más de estas personas, por ejemplo, cada quinta persona del subgrupo específico, en lugar de cada décima persona de los demás grupos

Muestra de “bola de nieve”

Comenzar con una persona o un grupo de personas, y pedirles que contacten a otras

Los sesgos constituyen un componente aceptable en las muestras de este tipo, ya que es más probable que las personas recomienden a otras personas con las que comparten características clave. Se puede intentar minimizar los sesgos, al ser más preciso en lo que se pide. Por ejemplo: “Gracias por referirme a Juan y a Marcos. También conoces a algunas mujeres transgénero?” A menudo este tipo de muestra puede ser engañoso, y las fuentes de datos pueden diferir enormemente respecto a las características relevantes, como motivación, actitudes, disponibilidad, escolaridad, etc. Es preciso medir las características pertinentes, para verificar si la muestra es similar o no, y cómo difiere de la población a la que se desea generalizar

La fuente de datos y/o el tema sobre el cual se desea indagar, es muy escaso, difícil de identificar o estigmatizado

Muestra de conveniencia

Son fuentes de datos que están disponibles por casualidad, como serían los niños y las niñas en un partido de fútbol, o personas que esperan fuera de una escuela

No se cuenta con tiempo ni presupuesto para seleccionar y llegar a una muestra más rigurosa Se está probando los instrumentos para la recolección de datos, antes de comenzar la verdadera recolección

Actividades de la décima segunda semana Individuales
1. Realice la lectura de la semana. 2. Responda a la pregunta ¿Desde su punto de vista por qué es importante hacer una buena identificación de las fuentes de información? 3. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las fichas u hojas de trabajo de la semana, de acuerdo a las indicaciones de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

102

Autoevaluación
1. 2. 3. 4. ¿Cómo se ha sentido con la lectura realizada? ¿Qué sentimientos concretos han llegado a su mente? ¿Puede señalar al menos tres nuevos aprendizajes? En una escala de 1 a 10 como se catalogaría en la identificación de las fuentes de información, considerando 10 como el valor más alto, 5 valor intermedio y 1 como valor más bajo.

103

DÉCIMA TERCERA SEMANA TEMA Recopilación de datos e información para la evaluación Objetivos de la semana
Al finalizar el estudio de la décima tercera semana las y los estudiantes…. • Identifican los datos e información a recolectar para la evaluación.

LECTURA
Paso 1: determinar el tipo de datos a recolectar y con qué instrumentos
Fundamento Como existen varias maneras de recolectar datos sobre un indicador, hay que determinar la manera que funcionará mejor para la evaluación en cuestión, esto con base en la experiencia, la eficacia y el costo (tiempo y dinero). Las siguientes son dos preguntas importantes para plantear en cuanto a cada indicador: • ¿Recolectar datos cualitativos o cuantitativos? • ¿Qué método habrá que utilizar para recolectar los datos? Aun cuando los recursos sean escasos, siempre hay manera de medir un indicador. Tarea 1: Determinar el tipo de datos a recolectar para indicadores específicos Este paso dependerá de lo siguiente: • El tipo de preguntas a las que los datos deben dar respuesta • La familiaridad que se tiene con las posibles categorías de respuestas Los datos cuantitativos indican quién(es), qué, dónde y cuánto. • Utilizan categorías fijas ligadas a definiciones y cifras • Tienen categorías de preguntas y respuestas, predeterminadas por quienes han desarrollado el instrumento de recolección de datos • Son más estructurados y estandarizados (significa que se utiliza exactamente el mismo procedimiento para cada persona) que los métodos cualitativos • Presentan el desafío de organizar los datos numéricos, de manera que tengan sentido y significado • Aplican a un mayor número de fuentes de datos más económicamente que los datos cualitativos Los datos cualitativos indican por qué y cómo, y usualmente implican hablar con, u observar a las personas, leer textos o ver imágenes. • Utilizan palabras en lugar de cifras • Se centran en los significados, los patrones en las relaciones y las percepciones • No requieren tener conocimiento de categorías predeterminadas de respuestas • Presentan el desafió de organizar en temáticas o tipologías los pensamientos y las creencias de los y las participantes • Normalmente implican un número menor de fuentes de datos (ej., personas o documentos) que los datos cuantitativos • Pueden ser usados para formular preguntas (cerradas) más efectivas en encuestas a través de proporcionar una comprensión del lenguaje, significado y experiencia de los encuestados. Casi siempre es buena idea recolectar ambos tipos de datos. Para ver un ejemplo de diversas preguntas relacionadas con diferentes tipos de datos:

104

Si se intenta mostrar que se dieron cambios en la manera en que los hombres jóvenes entienden el significado de la masculinidad, después de participar en una serie de talleres de sensibilización, quizá se desee saber lo siguiente: ¿Cuántos hombres jóvenes cambiaron su actitud hacia la violencia y su “necesidad” de tener varias parejas sexuales? ¿Los cambios fueron marcados y predecibles? En este caso, se recolectaría datos cuantitativos. Alternativamente, quizá se desee saber lo siguiente: ¿Cómo visualizan los hombres jóvenes la nueva forma de masculinidad que han asumido, y qué significa para sus relaciones con mujeres y su imagen de ellos mismos? En este caso, sería mejor recolectar datos cualitativos, al captar las palabras de los propios jóvenes. Para cada indicador y fuente de datos, habrá que considerar lo siguiente: Cómo se dará mejor respuesta a las preguntas Qué enfoque coincide con el presupuesto Qué enfoque tiene más sentido en el contexto local Si se podrá utilizar ambos tipos de datos provechosamente, y cómo se haría No hay que tomar la decisión respecto al enfoque a utilizar sólo con base en experiencias o conocimientos previos. Habrá que tomar la decisión con base en qué enfoque, o qué combinación de enfoques, arrojará el tipo de información necesaria para dar respuesta a las preguntas necesarias. Ello se logra al contar las categorías que se encuentran en los datos originales. Ejemplo: Si no está claro por qué, en el contexto local, las mujeres con complicaciones en el embarazo tardan mucho en acudir al hospital, primero sería conveniente recolectar datos cualitativos mediante el diálogo con ellas y sus familiares. Si el director de la clínica desea saber con qué frecuencia se mencionan ciertas razones, por ejemplo las razones relacionadas con la discriminación por parte del personal de salud, se podría crear categorías con base en las razones mencionadas en cada entrevista. Al contar el número de mujeres con evidencias de discriminación en su historial, se tendría un indicador numérico (un porcentaje o una tasa) de la frecuencia con la que se reporta dicho problema. Para elegir qué tipo de datos se necesita recolectar, véase Hoja de trabajo: Elegir el tipo de datos que dará respuesta a las preguntas

• • • •

Hoja de Trabajo: Elegir el tipo de datos que dará respuesta a las preguntas
Indicador ¿Qué tipo de pregunta se plantea? ¿Por qué? ¿Cuánto? Etc. Por tanto, deben ser los datos El indicador será (puede ser ambos, en el caso de datos cualitativos)

cualitativos cuantitativos

numérico no numérico

cualitativos cuantitativos

numérico no numérico

cualitativos cuantitativos

numérico no numérico

Tarea 2: Determinar los métodos a utilizar para la recolección de datos

105

Independientemente de que se utilice indicadores numéricos o no numéricos, será necesario elegir entre una variedad de métodos de recolección de datos. Cada método tiene sus ventajas y desventajas, y es más útil en ciertas circunstancias que en otras. Elegir los métodos que: • Serán más respetuosos de las personas que proporcionarán los datos • Sean pertinentes y apropiados para el contexto local • Ayuden a obtener, en lo posible, los datos más precisos y completos • Eviten los sesgos innecesarios Aspectos clave que habrá que considerar:

• Los requisitos o las limitantes relacionadas con el tamaño de la muestra • Lo apropiado de los métodos, tomando en cuenta las características particulares de ciertas personas
que responden, ej., su nivel de alfabetización, si están dispuestas a hablar en grupo o no

• El conocimiento que se tiene de las potenciales categorías de respuestas respecto a temas no explora• •
dos La necesidad del anonimato, la confidencialidad, o la relación personal que se necesitaría para obtener información delicada. Los recursos con los que se cuenta: dinero, tiempo y experiencia del personal

Para cada método, se puede utilizar varios tipos de instrumentos. La evaluación será más rigurosa si se utiliza más de un método de recolección de datos para los indicadores clave. El uso de varios métodos de recolección de datos (y/o fuentes de datos) para un mismo tema (llamado triangulación), puede ayudar a validar los datos y puede llevar a una comprensión más rica de los temas explorados. Tarea 3: Desarrollar los instrumentos de recolección de datos Una vez que se haya decidido sobre los métodos a utilizar (ej., grupo focal, observación directa, entrevista corta, encuesta), habrá que diseñar los formularios en los que se registrará los datos. Se puede hacer lo siguiente:

• • •

Utilizar instrumentos que otras personas han usado en situaciones similares. Adaptar instrumentos existentes a la situación particular. Diseñar instrumentos propios.

En los instrumentos, incluir secciones para 3 tipos de información: • Información descriptiva acerca de la fuente de los datos y el evento de recolección de datos • La recolección de datos acerca de los indicadores • El registro de apuntes de campo u observaciones

Verificar que los instrumentos de recolección de datos sean entendibles, apropiados y pertinentes a nivel cultural. Habrá que reunirse con las partes interesadas, con el fin de que revisen los instrumentos existentes, los que se han adaptado, los que se pretende adaptar y los que están en proceso de desarrollo. Las partes interesadas pueden: • Aportar insumos cualitativos acerca de las categorías más relevantes en el contexto local; • Sugerir preguntas importantes, y ayudar a pensar en cómo plantearlas; y • Ayudar a probar los instrumentos, ANTES de comenzar a recolectar los datos. Se les puede plantear las preguntas más difíciles, a fin de ver si las entienden, o si dan el tipo de respuesta que se espera. • Contribuir a detectar problemas con anterioridad y realizar los cambios necesarios, antes de comenzar a recolectar los datos. Será conveniente aplicar los instrumentos con dichas personas, preguntarles cómo llegaron a sus respuestas y qué significan esas respuestas. Con el fin de asegurar que los instrumentos sean apropiados para el contexto local.

106

Una vez diseñado el instrumento de trabajo: • Asegurar que el instrumento de recolección de datos incluya elementos (preguntas, observaciones, listas de verificación, etc.) específicos para cada indicador que se haya identificado con base en los objetivos que le incumben a la organización, agencia o programa (es decir, los resultados inmediatos y posiblemente intermedios) • Asegurar que el instrumento esté diseñado para recolectar algunos datos acerca de las brechas que se identificaron en la Ruta Causal • Reconsiderar si se puede utilizar el instrumento para la línea de base, la línea media (si es relevante), la línea final y/o el grupo de comparación. Recordar que las mismas preguntas serán planteadas en diferentes momentos o a diferentes grupos para medir el cambio. • Asegurar que el instrumento esté diseñado para recolectar información que sirva para medir los cambios que pueden ocurrir realísticamente, entre la primera aplicación y la siguiente.

Paso 2: Desarrollar el plan de recolección de datos
Ahora que se cuenta con los instrumentos de recolección de datos, es necesario determinar lo siguiente: • • • • Quiénes aplicarán cada instrumento Cuándo se recolectará los datos Dónde se aplicará el/los instrumento(s) Cómo se recolectará los datos

Cada uno de estos aspectos tiene importantes implicaciones para la calidad de los hallazgos. Utilizar la Hoja de trabajo: Formulario para la recolección de datos, conforme se avance en las Tareas 1 – 3 del presente Paso 2. Hoja de Trabajo Formulario para la recolección de datos
Posibles personas que recolectan los datos

QUIÉNES

COMENTARIOS/NOTAS/POR QUÉ/POR QUÉ NO

¿En quiénes confiarán las personas que responden?

¿Quiénes podrán ser objetivos/as y estar libres de sesgos?

¿Quiénes no tienen una relación de poder con las personas que responden?

¿Quiénes están suficientemente familiarizadas con los temas?

¿Quiénes tienen buenas habilidades interpersonales y saben escuchar?

107

CUÁNDO

Posibles momentos para la recolección de datos

COMENTARIOS/NOTAS

¿Cuándo estarán disponibles las personas que responden?

¿Se darán variaciones estacionales no deseadas en su comportamiento?

¿Se llegará con diferentes tipos de personas en diferentes momentos?

DÓNDE

Opciones respecto a dónde recolectar los datos

COMENTARIOS/NOTAS

¿Dónde es probable encontrar a las personas que responden?

¿Es posible establecer una buena relación ahí, sin demasiadas distracciones, suficiente tiempo, etc.?

¿El lugar estará libre de presiones sociales en el sentido de someterse a la norma (es decir, lejos de la pareja/cónyuge, figuras de autoridad, amistades, parientes)?

¿Los derechos de las personas serán respetadas, y su identidad será confidencial en caso necesario?

Tarea 1: Determinar quiénes recolectarán los datos Si se hace uso de métodos que implican contacto directo con las personas, es fundamental elegir a las personas idóneas para la recolección de datos que puedan obtener las respuestas y hacer, en lo posible, las observaciones más completas y honestas. Personas que: • Entiendan y sean sensibles a los temas que se discutirá • No juzgarán a las personas participantes • Puedan ganarse la confianza de estas últimas • Les hará sentir cómodas Las características podrían incluir personas que:

108

• • •

• • • • • •

No tengan un interés creado en los resultados, puedan ser objetivas y libres de sesgos No tengan una relación de poder con las personas que responden, especialmente si éstas últimas son muy vulnerables o marginadas Tengan las cualidades en las que las personas que responden probablemente puedan confiar dentro de una situación social y cultural específica; en algunos casos ellos significa una persona similar a la que responde, pero en otros casos significa una persona respetada pero diferente; en algunos entornos, para hablar del sexo, la persona entrevistadora debe ser casada y del mismo sexo que la entrevistada. No tengan prejuicios que podrían interferir con la recolección de datos Tengan buenas habilidades interpersonales y puedan lograr que otras personas se relajen Conozcan y tengan la suficiente confianza para hablar del tema en cuestión Sepan escuchar bien Sean confiables, tengan un alto estándar ético y una ética de trabajo responsable Hayan respondido bien a la capacitación y hayan demostrado que acatarán las instrucciones relacionadas con la recolección de datos y el protocolo de aplicación

Tarea 2: Determinar cuándo se recolectarán los datos Muchos factores pueden afectar el tiempo en que se puede recolectar datos. • Los aspectos estacionales incluyen la temperatura y el clima, el trabajo de temporada, la cosecha, la época de lluvias, los niveles de delincuencia o las fiestas; cualquier cosa que altere el comportamiento de las personas y su disponibilidad. • La hora del día puede afectar el acceso a los y las participantes. Por ejemplo, quizá las personas que trabajan sólo estarán disponibles a la hora de su descanso o al final de la jornada. Las personas que llegan temprano a un sitio pueden diferir de las que llegan tarde. Tal vez sólo se encuentre a las personas en casa en ciertos momentos del día, pero no estarán dispuestas a participar en esos momentos. • Los días del mes o de la semana también pueden cambiar las conductas y la disponibilidad, por ejemplo, en relación con el día de pago, de mercado o de asistencia a las ceremonias religiosas. Dichos factores varían según la población en diferentes lugares, por lo que habrá que estar consciente de las barreras locales a la recolección de datos, y adaptarse a ellas. Tarea 3: Determinar dónde se recolectarán los datos El lugar donde se recolecta los datos puede influir en lo siguiente: • El acceso a los datos • La calidad de los datos (qué tanto se completan, franqueza) • Los riesgos que tienen las personas proveedoras de los datos • El grado en que la muestra refleja la población prioritaria de la evaluación Algunos aspectos comunes a tomar en cuenta en el trabajo de SDSR, incluyen los siguientes: • ¿Dónde es más probable encontrar al tipo de persona o documento que se busca? Por ejemplo, para encontrar a los y las jóvenes que no asisten a la escuela quizá se tenga buscarlas a ellas en su casa, pero a aquéllos en las calles, clubes o las instalaciones militares. • ¿Hay suficiente tiempo para recolectar los datos con la persona que responde, o la situación es demasiado apresurada? • ¿El entorno físico provee suficiente privacidad? Por ejemplo, hacer preguntas íntimas en una sala de espera abierta puede limitar mucho la franqueza de las respuestas. ¿Dónde se puede diligenciar un cuestionario de autoevaluación, de tal forma que no se tenga que temer que alguien vea las respuestas? Las mujeres probablemente no muestren apertura si están cerca de sus hijos/hijas, sus amistades o la pareja. Los hombres quizá no se sientan cómodos al hablar de temas delicados en lugares públicos. • En una clínica u otros servicios es importante aclarar que, las respuestas no afectarán de ninguna manera la calidad de los servicios que recibirá la persona; las personas deben confiar en que no perderán su derecho a la atención u otros beneficios si critican el programa. • Las reuniones comunitarias son buenos lugares, si la información que se busca no es demasiado delicada; pero se necesita un enfoque más personalizado, si las respuestas pueden causar conflictos en el grupo o incomodidad a algunas personas.

109

Asegurar que el simple hecho de buscar a cierta persona o de que otras personas puedan ver la entrevista, no pondrá en riesgo a la persona que responde, al revelar una identidad secreta, despertar suspicacia entre los vecinos, etc.

Tarea 4: Asegurar la correcta recolección de datos Aun si los instrumentos son excelentes, la manera en que se recolectan los datos puede afectar la calidad de los datos obtenidos. Asegurar lo siguiente: • Claridad en las instrucciones sobre cómo aplicar los instrumentos • La adecuada capacitación y supervisión de las personas que recolectan los datos • Que se aliente a las personas que recolectan los datos a reflexionar críticamente, con el fin de aclarar los procedimientos y evitar que se repitan los errores • Que existan oportunidades para que las personas que recolectan los datos se junten a discutir los retos, las preocupaciones y los éxitos con las personas recientemente reclutadas, así como respecto al uso de los instrumentos Desarrollar una guía para la recolección de datos Antes de capacitar a las personas que recolectarán los datos, establecer el protocolo o conjunto de reglas de cómo hacer las cosas, esto debido a que se necesitará capacitar a dichas personas sobre estos mismos aspectos, así como asegurar que sepan cómo facilitar o entrevistar adecuadamente. La guía debe incluir lo siguiente: • Indicaciones claras respecto a cómo se obtendrá el consentimiento informado. Es muy importante obtener el consentimiento informado de las personas que responden, así como proteger su privacidad, anonimato y/o confidencialidad. En el caso de entrevistas individuales o grupales o encuestas, es preciso obtener el consentimiento verbal o escrito. En el caso de la observación, normalmente la persona que da acceso al sitio es la que da el consentimiento, además del adulto responsable de los y las menores de edad. Sin embargo, la persona observadora también debe ganarse la confianza de los y las participantes, y obtener su permiso mediante su manera de construir relaciones en el lugar. Para realizar observaciones en lugares públicos, no hay nadie de quien obtener el consentimiento. • La manera en que la persona recolectadora de datos debe presentarse a las personas que responden o a las personas observadas: o cómo saludar a las personas que responden o cómo vestirse o la explicación de por qué están ahí y cómo se utilizará la información o cómo deben representar al programa o a la organización ante la comunidad • Instrucciones respecto a si la entrevista o el evento será grabado, filmado o fotografiado • Qué procedimientos habrá que seguir cuando no es posible recolectar datos, debido a que no se encuentra la persona o el documento. Es importante asegurar que las personas que recolectan los datos sigan los procedimientos y registren los casos faltantes. • Procedimientos específicos para salvaguardar los derechos de las personas, el anonimato, la confidencialidad y la privacidad. • Directrices para terminar un evento de recolección de datos prematuramente, si las condiciones, la calidad de la interacción, la seguridad o el estado de la persona que responde indican que está en alto riesgo la validez de la recolección de datos Capacitar a las personas que recolectarán los datos Si no se aplica bien el instrumento, las personas posiblemente no querrán responder, o se termine con datos que no se puede utilizar, o que no son tan precisos como se requiere. Con el fin de asegurar que ello no suceda, es necesario realizar lo siguiente: • Proveer la capacitación correcta • Establecer reglas claras y aplicadas acerca de cómo recolectar los datos • Brindar apoyo continuo a las personas que recolectan los datos, y entablar discusiones con ellas de manera continua

110

Todas las personas que recolectan datos deben recibir capacitación sobre el proyecto y su papel en él, aun si son integrantes del personal o personas con experiencia en la recolección de datos o el MyE. ¿Qué hacer si nunca se ha capacitado a personas que recolectan los datos? Como mínimo, la capacitación debe incluir lo siguiente: • Los objetivos de la evaluación • Una revisión de las técnicas para la recolección de datos • Una revisión a fondo de los instrumentos • Ensayos en el uso de los instrumentos • Ejercicios para fortalecer las capacidades relacionadas con la conducción de entrevistas y la comunicación interpersonal. • Una discusión acerca de los aspectos éticos (incluyendo la privacidad, la confidencialidad, el anonimato y el consentimiento informado) • Consideraciones en torno a los límites profesionales (ej., si la persona que responde comienza a llorar, ¿es aceptable que la persona entrevistadora la abrace?; si la persona que responde le pregunta a la entrevistadora si experimentó X en su embarazo; si la persona que responde invita a la entrevistadora a pasar a su casa a tomar un café después de terminar la entrevista) • Una discusión acerca de cómo se sienten con su participación en la evaluación, ej., abordando temas delicados; si forman parte del personal, cómo se sentirán si descubren que el programa no es tan bueno como se imaginaban • La importancia de seguir las instrucciones y el protocolo de aplicación • Ejercicios que les ayuden a convertirse en observadores/as analíticos/as, y a hacer observaciones de campo útiles y que reflejen un conocimiento adquirido Una vez que se haya capacitado a las personas que recolectan los datos: • Hacer que practiquen sus habilidades nuevas, mediante dramatizaciones o juegos de roles • Observar a cada persona recolectadora de datos aplicando una verdadera encuesta, o realizando una entrevista, sesión de grupo focal u observación (el o la líder de la evaluación también debe aplicar uno o algunos de dichos métodos, aun si no va a recolectar datos más adelante) • Revisar la trascripción de las primeras entrevistas a profundidad o grupos focales, y proveer una retroalimentación específica • Utilizar una lista de verificación sobre lo que se busca, con base en lo que aprendieron en la capacitación • Reforzar buenas conductas y proveer capacitación correctiva si las cosas no se hacen como debe ser • No utilizar personas que recolectan los datos que no cumplen con las expectativas mínimas establecidas al inicio de la capacitación Tarea 5: Realizar una prueba piloto de los instrumentos y del plan de recolección de datos Antes de invertir tiempo y recursos en la recolección de datos, habrá que pilotear o probar los instrumentos creados o elegidos, con las siguientes personas:

• •

las partes interesadas personas similares a las de la muestra, pero que en realidad no formarán parte de la misma

Es preciso realizar la prueba piloto con personas, eventos o documentos similares a los de la verdadera recolección de datos. Una prueba piloto contribuirá a descubrir lo siguiente: • Cuánto tiempo realmente lleva la recolección de datos • Si se puede recolectar los datos, dónde y cuándo se había planeado • Si existen problemas con la manera en que funcionan los instrumentos en el mundo real Probar el plan de recolección de datos • Con dos o tres personas de cada uno de los subgrupos principales de la muestra.

111

O bien, con dos o tres personas de las diversas subcategorías de la muestra. Para ver un ejemplo. Si la muestra es de jóvenes que no asisten a la escuela, y las subcategorías incluyen a las niñas versus los niños, empleados/as y desempleados/as, que viven en la calle o en casa, pero los recursos son muy limitados, se puede probar el plan de recolección de datos con los grupos más difíciles de contactar. La prueba piloto podría incluir: dos jóvenes varones que viven en casa, dos niñas jóvenes, y dos jóvenes varones que viven en la calle.

Asegurar que: • Las personas que recolectan los datos midan su tiempo, con el fin de ajustar el plan según la necesidad • Las personas que recolectan los datos reporten cualquier pregunta confusa o los problemas que tuvieron con entender cómo completar la aplicación del instrumento • El o la líder de la evaluación también realice algún ensayo de recolección de datos, con el fin de detectar cualquier problema que podría seguir presente • Se observe a los y las entrevistadoras en acción • Se revise sus apuntes de campo • Se verifique que hayan diligenciado el instrumento correctamente • Se invite a las personas que recolectan los datos a que den retroalimentación acerca de cómo funcionaron las cosas y cualquier observación que tengan acerca del instrumento y su aplicación Crear un ambiente de trabajo colaborativo, a fin de que las personas que recolectan los datos se sientan cómodas compartiendo con el Equipo de MyE. Sus observaciones y la calidad de su trabajo son fundamentales para el éxito del proceso de MyE. Verificar que los instrumentos sean confiables y válidos Estos conceptos son muy importantes para la evaluación, pero con frecuencia intimidan a las personas a tal grado que ni siquiera intentan evaluar conceptos sociales complejos. Probablemente no se cuente con recursos para probar los instrumentos a profundidad, pero se puede hacer lo siguiente: Para verificar la confiabilidad: • Programar que dos personas que recolectan los datos colecten datos de la misma persona • Hacer que la misma persona recolectadora de datos repita la recolección de datos en la misma persona, documento o evento al día siguiente • Revisar los pares de instrumentos para ver si se llega a las mismas conclusiones. Ejemplo: En un instrumento que contempla las actitudes de las y los políticos respecto a la legalización de los derechos de herencia de las mujeres, el instrumento no sería confiable si una vez mostró que una persona estaba completamente de acuerdo, y al día siguiente mostró que no tenía opinión o estaba en desacuerdo.

Para verificar la validez:

• Asegurar que se haya desmenuzado los conceptos sociales complejos abordados, en componentes medibles (si no, habrá que regresar al Módulo 4).

• Asegurar que las preguntas no tengan varias respuestas. No use “y” u “o” porque no se sabrá a qué • • • •
parte de la pregunta se está respondiendo. Asegurar que las personas que responden a un instrumento, entiendan las preguntas. Asegurar que las preguntas u observaciones coincidan con la realidad del contexto local. Se puede plantear más de una pregunta sobre el mismo tema en diferentes momentos de la entrevista, a fin de ver si coinciden. Se puede pedir a la persona entrevistada, su valoración cualitativa de qué opina sobre algún aspecto que se intenta evaluar. Ejemplo: Si se aplica una lista de preguntas sobre la toma de decisiones en el hogar (como un componente de la equidad de género), preguntar si la persona que responde siente que se toma las decisiones en el hogar con igualdad entre ella y su cónyuge. Utilizar más de una fuente de datos, a fin de obtener información acerca de aspectos clave de la evaluación. Ejemplo: Si la evaluación busca evaluar el nivel del empoderamiento de las niñas en la toma de decisiones vitales, se podría aplicar una lista de verificación de decisiones en que cada niña tiene confianza, pero también pedir que la o el maestro de

112

las niñas las califique en cuanto al nivel de empoderamiento que demuestran; incluso hablar con sus amistades o familiares para preguntarles acerca de los mismos aspectos de empoderamiento

Adaptar los instrumentos a la situación del programa
Si se ha encontrado un instrumento, como una escala o lista de verificación, apto para el indicador, pero que se desarrolló en otra cultura o entorno socioeconómico, ¿qué se debe hacer? Es necesario encontrar el equilibrio entre la seguridad de que el instrumento es apto para el contexto local del programa, y el hecho que modificar el instrumento puede alterar su capacidad para funcionar bien. • Elegir instrumentos que sean muy aptos para el indicador que se intenta medir • Elegir instrumentos relativamente sencillos y que no requirieron de análisis complejos para desarrollarlos • Aplicar el instrumento con un grupo de partes interesadas, pedir que expliquen lo que significa cada elemento para ellas, y preguntar cuál fue su respuesta • Ajustar los elementos que no se entendieron o que parecieron estar fuera de lugar en el contexto local; pero será conveniente sustituir los elementos que se refieren al mismo tema o componente, con una terminología adecuada para el contexto local • Reaplicar la escala modificada a un grupo de personas similares a la muestra que se utilizará en la evaluación. Cuando hayan contestado, plantearles preguntas acerca del significado de sus respuestas, de tal forma que se confirme si sus respuestas tienen sentido. Por ejemplo, si se aplicó una escala sobre la comunicación entre la pareja, y la persona obtuvo un puntaje muy alto en cuanto a la comunicación equitativa, preguntarle cómo siente la comunicación con la pareja. • Verificar que no existan elementos que rinden resultados confusos: ya sea que todas las personas respondieran de la misma manera o que respondieran de maneras muy diferentes respecto a otras preguntas. Preguntar a las personas por qué respondieron así. Una vez que se entienda el problema con la pregunta, hacer las modificaciones necesarias. Reaplicar la escala para ver si las respuestas coinciden mejor con las expectativas • Al reportar los resultados de la escala, habrá que describir el proceso mediante el cual se modificó la escala original. No se podrá aducir el mismo nivel de confiabilidad y validez que se reportó con la escala original, pero se sabrá que el instrumento probablemente fue útil para la evaluación

Algunas consideraciones a tener en mente, al desarrollar o elegir las preguntas y categorías
Asegurar que las personas que responden entiendan el lenguaje de las preguntas: • ¿Entienden los términos que se utilizan, de la misma manera que se pretende? • Habrá que considerar el lenguaje local. La formulación de la pregunta, las palabras que quedan fuera, el doble sentido y los modismos (especialmente respecto a las prácticas sexuales), pueden variar de una comunidad o barrio a otro, y pueden surgir prácticas respecto a las cuales no se había formulado preguntas. Asegurar que se entienda los conceptos de la manera en que el Equipo pretende que se entiendan. • Asegurar que los conceptos tengan el mismo sentido para la persona que responde, respecto a lo que se espera. Ejemplos: Quizá se le pregunte a los y las maestras acerca de la autoestima de las niñas. Si se obtiene muchos tipos de respuestas, quizá se tenga que trabajar sobre un entendimiento compartido o una definición de las palabras o las frases clave. Si se desconoce los significados locales, es mejor utilizar datos cualitativos primero para indagar, antes de crear categorías cerradas que no tienen sentido en el contexto local. Quizá se pregunte “¿Tienes relaciones sexuales?” ¿Qué significa eso? En algunos lugares, las personas no consideran que el sexo oral o anal constituya relaciones sexuales, aunque la persona entrevistadora sí. Los y las jóvenes exploran mucho antes del “coito”; ¿cómo se puede asegurar la captación de dichas actividades? Como las conductas sexuales son temas tabúes, y las personas a menudo suponen que saben lo que significa el sexo y quiénes tienen relaciones con quiénes, es buena idea explorar la realidad mediante datos cualitativos primero, para posteriormente poder diseñar una herramienta cuantitativa que incluya categorías reales y pertinentes a nivel local.

113

Asegurar que el instrumento sea aplicable a las características específicas de la población/el entorno. • Las personas que recolectan los datos no deben tener supuestos innecesarios acerca de las personas que responden. Ejemplo. Si se está aprendiendo acerca de las relaciones sexuales de la población meta, ¿se aplicará la herramienta sólo a mujeres heterosexuales? ¿Algunas mujeres habrán tenido o tienen relaciones con otras mujeres? ¿Todas estarán en una relación con un solo hombre a la vez? ¿Algunas tienen múltiples parejas en el mismo período de tiempo? ¿Algunas parejas casadas no tienen relaciones sexuales? Mantener en mente cuestiones de género (y edad). ¿Las preguntas son apropiadas tanto para las niñas como los niños, para las mujeres como para los hombres? Si se plantea las mismas preguntas a diferentes sub-poblaciones, posiblemente se deje de captar información, o se capte diferente información de cada grupo ¿Las situaciones son suficientemente realistas como para que las personas puedan responder? Ejemplo. Si se busca evaluar la calidad de las relaciones de pareja, con base en la toma de decisiones respecto a la anticoncepción, quizá se podría preguntar si la pareja de una mujer se “pondría violento” si se le pidiera que usara un condón. En algunas culturas, ello no sería apropiado, ya que pedir que se use un condón realmente no constituye una causa de violencia. Casi todas las respuestas obtenidas serían “No”. Por tanto, esta pregunta no diría mucho acerca del poder en la relación de pareja. ¿El contexto social o de las políticas hacen que la pregunta sea inapropiada, aunque fuera apropiada en otro entorno? Ejemplo. Las preguntas acerca de la toma de decisiones sobre el número de hijos/hijas a tener, son apropiadas en muchos entornos donde las parejas lo deciden libremente. Sin embargo, en China, donde durante muchos años ha existido en zonas urbanas, la política de tener un solo hijo/hija, dichas preguntas serían inapropiadas, ya que la decisión es restringida por la política social y el contexto. Quizá sean apropiadas en zonas rurales o en otros países.

Formular buenas preguntas
Las preguntas deben ser precisas: • Hacer uso de un lenguaje sencillo que todo mundo pueda entender, especialmente los grupos con niveles más bajos de escolaridad y los grupos que hablan diferentes dialectos o idiomas o Mantener el número de palabras en 20 o menos, y el número de comas en menos de 4 o Evitar el uso del negativo, especialmente el doble negativo • Evitar la ambigüedad. El Equipo se debe preguntar qué significa una respuesta a la pregunta. Si se obtiene diferentes respuestas, aun dentro del propio Equipo, ¡definitivamente falta especificidad! • Asegurar que no existan múltiples interpretaciones de lo que se pregunta o de lo que significan las respuestas • Plantear las preguntas con neutralidad. Evitar preguntas que tengan una respuesta socialmente correcta, y no inducir que la persona que responde conteste de cierta manera • Cada pregunta debe preguntar una sola cosa. Evitar preguntas que incluyan “y” u “o”, ya que no se sabrá a qué elemento se responde • Evitar opciones que coincidan en algún aspecto, si se pide que la persona que responde elija una respuesta Las preguntas no deben contener supuestos acerca de las personas que responden: • Incluir una opción de “no aplica”, por si la persona realmente no puede dar respuesta a la pregunta • Plantear preguntas filtro que aclaren los supuestos e identifiquen a las personas que responden en cuanto a ciertas preguntas, por ejemplo, preguntar “¿Tiene hijos o hijas?”, “¿Están vivos o vivas?” antes de preguntar acerca del comportamiento de los niños y las niñas. “¿Ha tenido relaciones sexuales?”, “¿Ha incluido la penetración vaginal?” antes de preguntar acerca de la prevención del embarazo. Las preguntas deben ser planteadas de manera equilibrada: • Presentar ambos lados de una actitud dentro de la propia pregunta • Proporcionar un conjunto equilibrado de respuestas, tanto negativas como positivas

114

• •

Preguntar acerca de una gama completa de conductas, incluyendo las que son tabúes o estigmatizadas, a fin de reducir el efecto de hablar de éstas últimas Asegurar que la persona entrevistadora no sesgue las respuestas mediante gestos o el tono de voz.

Las preguntas deben tener una secuencia lógica, como en una conversación: • Agrupar las preguntas por temas • Introducir cada tema nuevo con una breve explicación de las preguntas que se planteará a partir de ese momento • Las preguntas no deben leerse de manera rígida, sino que deben fluir como en una conversación • Las preguntas no deben contener la respuesta • Las pregunta no deben incomodar a la persona que responde o hacerle sentir culpable • Al abordar conductas ilegales o no aceptadas a nivel social, asegurar la legitimación de la discusión. Posiblemente se decida preguntar acerca de lo que hacen otras personas, si no se logra que las personas hablen de sí mismas respecto a algo ilegal o estigmatizado. Ejemplo: En una evaluación de un programa dirigido a hombres reclusos, centrado en la prevención del VIH, posiblemente sea demasiado difícil lograr que los hombres reporten que tienen relaciones sexuales con otros hombres, y de manera particular, que reporten la violencia relacionada con dichos encuentros. Quizá se tenga que pedir que reporten si han oído de encuentros sexuales entre los hombres reclusos y/o con los guardias, y si dichos encuentros fueron violentos. ¿Cómo dar con las preguntas correctas? El primer paso es hablar con las personas en sus propios entornos y aprender su propio lenguaje. Preguntarle a una persona de confianza si ciertas preguntas tienen sentido y qué significan. Una vez que se cuente con las preguntas a utilizar, aplicarlas en un grupo pequeño de personas, que pueden retroalimentar el proceso. Preguntarles si las preguntas tienen sentido, en qué pensaron para contestarlas y cómo les hicieron sentir las preguntas.

¿Cómo salvaguardar los derechos de las personas? Es preciso implantar ciertos procedimientos, a fin de asegurar la confidencialidad, el anonimato, la privacidad, etc. que se prometieron a las personas que responden. • Establecer los códigos necesarios para identificar la fuente de los datos sin revelar la identidad de la persona • Asegurar que las personas que recolectan los datos tomen muy en serio la importancia de no “chismear” o tomar a la ligera la información que oyen durante las entrevistas • Asegurar que existan procedimientos para ofrecer ayuda a las personas que revelan algún problema crítico o algún riesgo durante la entrevista, sin violar la confidencialidad o alguno de sus derechos • Si una persona no puede responder debido a que hay alguien cerca que pueda oír, habrá que concertar una cita en otra parte para continuar la conversación. ¿Cuál es la diferencia entre preguntas abiertas y preguntas cerradas? • Las preguntas abiertas son interrogaciones que permiten que la persona que responde conteste como guste, sin categorías determinadas de respuestas. Por ejemplo, “¿Qué opina usted de la atención en salud que ha recibido de la clínica durante el último año?” • Las peguntas cerradas tienen un conjunto fijo de respuestas posibles, y la persona que responde elige entre una o varias opciones. Por ejemplo, “¿Usted siente que la atención en salud que ha recibido de la clínica durante el último año ha sido: a) excelente; b) buena; c) regular; o d) deficiente?” o bien, “¿Cómo llegó a la clínica hoy día? a) autobús, b) taxi, c) carro propio, d) pedí prestado un carro o alguien más me trajo, e) caminé, f) bicicleta, g) combinación de más de una respuesta, h) otro medio” Cuando el personal se recolecta los datos

115

Cuando integrantes del personal del programa se convierten en recolectadores de datos, necesitarán ayuda para mantener separados sus diferentes papeles: • Para evitar que sus expectativas del programa influyan en los datos que recolectan • Para evitar que ayuden a las personas durante la recolección de datos • Para asegurar que las personas que responden confíen en que pueden responder honestamente, sin perder los servicios o el acceso como resultado de sus respuestas o conductas Tomar en cuenta las siguientes sugerencias: • discutir las cuestiones éticas desde el inicio de la capacitación, y asegurar que todos y todas entiendan la necesidad de separar sus roles o asegurar que el personal entienda que no se utilizará la evaluación como una evaluación del desempeño, y asegurar que ello se cumpla o hacer hincapié en la importancia de la evaluación para aprender nuevas maneras de mejorar el programa y volverse aún más eficaces en su papel programático o enseñarles respuestas estándares que puedan dar cuando las personas que responden les pidan consejos o ayuda, como sería “eso lo podemos discutir más tarde”, esto con el fin de que no respondan improvisadamente ni interrumpan la entrevista; al mismo tiempo asegurar que demuestren empatía, que sean compasivos/as y que brindan alguna respuesta útil o realicen la canalización necesaria al término de la entrevista • establecer directrices muy claras respecto a su papel como recolectadores/as de datos o decirles lo que pueden y lo que no pueden hacer en el sentido de ofrecer ayuda o consejo a las personas que responden o asegurar que puedan brindar ayuda al final de la entrevista o sesión de observación o asegurar que registren exactamente qué consejo o información se brindó o ofrecer un folleto o un conjunto fijo de información al término de la recolección de datos • hacer todo lo posible por evitar que el personal recolecte datos con personas de las que se hace responsable dentro del programa o de ser posible, asignar al personal la recolección de datos con personas de otra área u otro sitio del programa o asignar al personal a recolectar los datos de personas que no conozcan personalmente o evitar decir al personal si la persona que entrevistan u observan está en el programa o forma parte de un grupo de comparación • incluir explicaciones claras para todas las personas que responden y que participan en el programa o explicar cómo se utilizará los datos o explicar que no se espera una respuesta específica o asegurar que se sientan cómodas al proporcionar información precisa, sin tener que preocuparse por ofender a alguien o por perder el acceso a los servicios • utilizar cuestionarios auto-aplicables (si estos son adecuados para captar el tipo de datos necesarios) o asegurar que las personas que responden puedan depositar el cuestionario sin tener que preocuparse de que el personal sepa quiénes son o cómo respondieron • en la sección de “limitantes” en el informe final, incluir una referencia sobre quiénes del personal fueron recolectadores de datos o explicar las precauciones que se tomaron para reducir el posible impacto de dicha práctica o hacer hincapié en los beneficios observados o presentar con honestidad cualquier cuestión o preocupación persistente ¿Cuándo es mejor ser diferente? Frecuentemente se supone que las personas iguales a las que responden serán las más confiables y por tanto, obtendrán las respuestas más honestas. Pero a menudo no es el caso. En ocasiones, las personas se sienten más cómodas al confiar en alguien que consideran diferente y que no les juzgará, como posiblemente lo haría alguien de la comunidad propia. A veces las personas externas a un grupo cultural o social pueden ver las cosas con mayor claridad. Lo importante es la capacidad de la persona de no emitir juicios, lograr que la que responde se sienta cómoda y escuchar abierta y compasivamente.

116

¿Cuándo obtener solamente el consentimiento verbal? Evite pedir una firma (consentimiento escrito) si piensa que hacerlo hará que la persona no participe, la pondría en una posición riesgosa o de alguna manera la incomodaría tanto que se comprometería la honestidad de sus respuestas. Si trabaja con una población que podría ser iletrada, debe tener un proceso de consentimiento verbal – usted explica la naturaleza de la participación y los derechos del participante y consigue su consentimiento [verbalmente]. ¿Cuándo hay que cuidar el lenguaje? Si se analiza el mismo concepto con diferentes subgrupos, estos pueden entender las palabras utilizadas de diferentes maneras, por ejemplo, los y las adolescentes y sus padres y madres. Es más importante que las personas que responden entiendan la pregunta, que utilizar exactamente las mismas palabras con todas las personas. Alternativamente, se puede utilizar ambos lenguajes para todas las personas que responden, ej., “Estoy entendiendo el concepto X como (insertar la definición), aunque a veces se conoce como (insertar el modismo)”. Si se ajusta las palabras de las preguntas para los diferentes grupos, • Habrá que adelantar cómo se tendrá que analizar los hallazgos, probablemente como comparaciones, en lugar de poner todas las respuestas juntas • Dejar claro en el informe final, cómo se plantearon las preguntas • Explorar el significado de cualquier diferencia encontrada Cuando uno no es suficiente Con el fin de que la recolección de datos sea más rigurosa, se debe recolectar más de un elemento de información sobre cada concepto, especialmente los conceptos que causan mayor incertidumbre. Ello se puede hacer mediante lo siguiente: • varias preguntas acerca de un mismo componente de un concepto social complejo • una lista de diferentes ejemplos que corresponden a una pregunta; por ejemplo, diferentes ámbitos de la vida doméstica, en la que una mujer tiene o no tiene autoridad para tomar decisiones autónomas Tener cuidado al reportar lo anterior como un solo indicador. Existen ventajas y desventajas de hacerlo: • Ventajas: o si las respuestas realmente deben ir juntas, se puede tener mayor seguridad de que realmente se está midiendo el concepto que se pretendía medir o se podrá presentar menos hallazgos • Desventajas: o es posible que las respuestas realmente no reflejen el mismo concepto o algunas respuestas pueden tener mucha más importancia que otras y al juntarlas, se puede perder información o uno o más elementos de la información puede contrarrestar los demás y ocultar los resultados verdaderos Para evitar los errores comunes: • Siempre considerar los segmentos de datos por separado primero. ¿Todos indican lo mismo? Cuando uno está alto o bajo, ¿los demás están altos o bajos? Habrá que hacer esto durante la prueba piloto del instrumento, así como durante la etapa del análisis en sí. • Averiguar qué piensan las partes interesadas de la medición de las diferentes preguntas u observaciones. ¿Consideran que todas se refieren al mismo concepto? Pero quizá convenga acudir de nuevo a las partes interesadas, una vez que se cuente con los instrumentos reales de recolección de datos, a fin de asegurar que las partes interesadas concuerden en que las preguntas realmente reflejan un cierto concepto.) • Reportar segmentos de datos separados de manera separada, a menos que exista un antecedente creíble o una justificación claramente válida para combinar los datos.

117

¿Cuántas personas se necesitarán para recolectar los datos? • Ello dependerá de lo extenso de la recolección de datos, cuántas personas/eventos/documentos serán valorados y el grado de dificultad del proceso de recolección de datos • Determinar cuántas sesiones de encuesta/entrevista/observación puede manejar cada persona con precisión en el mundo real, con base en la prueba piloto del instrumento y del plan de recolección de datos • Si no se cuenta con los recursos para que suficientes personas entrevistadoras apliquen bien el instrumento, habrá que reducir el número de entrevistas y/o el tamaño y complejidad del instrumento Siempre es mejor recolectar pocos datos bien, que recolectar muchos datos mal. ¿Grabar o no grabar? Siempre es tentador grabar las entrevistas o algunos eventos, pero tiene sus ventajas y desventajas. • ventajas o es la mejor manera de saber que se ha captado los detalles de eventos o entrevistas complejas o otras personas pueden verificar los datos respecto a la confiabilidad o permite hacer diversos conjuntos de codificación y análisis una y otra vez o la mayoría de las personas se siente bien y actúa con naturalidad, a pesar de la grabación • desventajas o puede afectar negativamente la libertad con la que se comportan las personas o comparten información o es necesario tomar precauciones, a fin de mantener la confidencialidad y el anonimato, incluyendo el almacenaje y el borrado de las cintas después del análisis o puede ser muy costoso revisar las cintas, en términos de dinero y tiempo o crea un adicional elemento físico de información que debe ser protegido en virtud del plan de confidencialidad ¿Hay suficiente tiempo para tener un impacto? Anteriormente, en la planeación de los indicadores, se hizo hincapié en la importancia de establecer indicadores de los cambios que realmente pudieran ocurrir como resultado del programa. Si se ha tenido que recurrir a una línea media en lugar de una línea de base, y si se realizará la línea final en un corto lapso de tiempo después del fin del programa, habrá que considerar qué tipos de cambios pueden darse en el tiempo disponible. Si la línea media y la línea final tienen lugar dentro de un período de sólo tres meses, y se busca cambios en aspectos como la equidad de género, habrá que asegurar que las preguntas reflejen aquellos antecedentes o elementos específicos que podrían cambiar en ese período de tiempo. Alternativamente, considerar si conviene recolectar los datos al final del programa y dar seguimiento más adelante. La confidencialidad y el anonimato Como es muy íntima la información personal acerca de la sexualidad, las relaciones personales, las conductas y la salud, es preciso que todas las personas que proporcionan información confíen en que no se compartirá su información personal con cualquiera. En los pueblos pequeños donde todo mundo conoce a todo mundo, las personas pueden estar especialmente temerosas de que se dará a conocer los detalles de su vida personal. Respetar la confidencialidad y el anonimato puede ser clave para asegurar la obtención de información precisa, así como para proteger la privacidad de los y las participantes. Algunas cosas que se puede hacer para asegurar la confidencialidad y el anonimato incluyen lo siguiente: • Garantizar que las respuestas individuales de los y las participantes no se compartan con nadie excepto el Equipo de evaluación, a menos que quien responde presente un inminente intento de dañarse a sí mismo/a o a otras personas. Explicar que se reportará sus respuestas de manera resumida junto con las de otras personas, de tal forma que no se podrá identificar a nadie. • Recolectar los datos anónimamente, y no pedir los nombres de las personas. Si se necesita aparejar encuestas con personas que responden, habrá que utilizar códigos secretos o numéricos u otra identificación única en lugar de los nombres. Asimismo, se puede pedir que la persona elija un nombre para sí mismo/a. Jamás decir que la encuesta es anónima y luego registrar la identidad en secreto. • Si es absolutamente necesario utilizar los nombres de las personas, asegurar que se salvaguarde muy cuidadosamente cualquier material que contenga información personal. Almacenar dichos materiales bajo llave en una gaveta o cuarto, y controlar el acceso al mismo.

118

• • •

Tener cuidado con los materiales, aun al deshacerse de ellos. Si se tiran a la basura, las personas de la oficina los podrán ver, o el viento se los puede llevar y pueden terminar en otras manos. Es mejor triturarlos o quemarlos. Similarmente, los datos electrónicos deben ser desordenados. Enfatizar claramente al personal y a las personas que recolectan los datos que se considera de suma importancia la confidencialidad de los y las participantes. Comunicar a todas las personas con las que se trabaja, cuánto se valora su confianza. En un entorno en el que todas las personas se conocen, se puede cuidar el anonimato y la confidencialidad al reportar únicamente los datos agregados, es decir, sólo los hallazgos grupales y no los individuales.

Una nota sobre el anonimato Siempre que sea posible, recolectar los datos de tal forma que cada participante pueda ser anónimo/a. Sin embargo, si se busca medir los cambios en los y las participantes a través del tiempo (ej., la línea de base comparada con la línea final), quizá se tenga que cotejar las respuestas del puntaje obtenido en la línea final de un individuo específico. Con el fin de emprender algún tipo de análisis estadístico, quizá también sea necesario poder identificar cada caso en diferentes momentos. Por tanto, si se necesita proteger el anonimato, será necesario incluir algún identificador único cada vez. Ello puede ser el código que la persona aprende a proporcionar cada vez, o la respuesta a algunas cuantas preguntas que no revelan la identidad, aunque son únicas a él o ella, esto para poder aparejar los datos. Por ejemplo, el lugar de nacimiento de la madre o su color favorito. NOTA: Si se piensa utilizar fotos o citas en los informes o las presentaciones, será indispensable obtener el permiso de las personas involucradas. A veces no es apropiado dar los nombres verdaderos, sino utilizar un nombre que las personas han elegido y sólo identificadores generales, como edad, estado civil y escolaridad, dependiendo de lo que sea pertinente para el informe.

119

Métodos para la recolección de datos
Método: Discusión de grupo focal
Descripción Los grupos focales son discusiones de grupos conformados por una muestra de personas que han sido cuidadosamente seleccionadas, y que se reúnen con el fin de contribuir sus opiniones sobre temas específicos. Un grupo focal típico reúne de 4 a 12 individuos, normalmente similares en al menos una dimensión (ej., mujeres casadas u hombres VIH positivos) y seleccionados según el tema a explorar (uso del condón entre parejas casadas, o acceso al tratamiento antirretroviral). La discusión es dirigida por una persona moderadora o líder del grupo, y se centra en temas preseleccionados. Guía para la discusión: Una lista de preguntas y temas a discutir. La discusión puede ser estructurada o no estructurada; la primera cuenta con una lista de preguntas más desarrollada, mientras que la discusión no estructurada sigue un boceto o una guía, y permite mayor variación en el tema de conversación y en cómo fluye la discusión. La persona moderadora coordina la discusión, mientras que otra persona toma apuntes y diligencia una lista de verificación de las observaciones. A menudo se graba la conversación para su trascripción y codificación posteriores. Pericia necesaria

Instrumentos

• • • • • • • • • •

Habilidades relacionadas con la facilitación de discusiones grupales Habilidades relacionadas con la observación cualitativa y la toma de apuntes Habilidades relacionadas con el análisis de datos cualitativos La capacidad de cuantificar las respuestas en caso necesario Para recolectar información cualitativa y cuantitativa de varias personas con características similares Para obtener retroalimentación de las percepciones que se tienen respecto al programa, o para captar una idea de un público particular (ej., los y las clientes de una clínica, niñas adolescentes) Para identificar las normas, los valores y las creencias socialmente aceptadas, respecto a temas o aspectos específicos Para identificar qué lenguaje se utiliza para entender ciertos conceptos, ej., para identificar los componentes de conceptos sociales complejos, como la equidad de género y el empoderamiento Para probar el lenguaje y/o los conceptos que se consideran pertinentes en ciertos grupos y/o el programa Para dar retroalimentación a cuestiones como los avisos de servicio público o carteles de sensibilización Es una forma rápida de obtener información (los grupos focales duran de 1 a 2 horas) Es una manera útil de obtener información (ej., modismos, normas conductuales) antes de diseñar las preguntas y las opciones de respuesta de una encuesta Recolecta datos ricos y descriptivos Tiene una alta tasa de respuesta, si coincide con el horario de los y las participantes La logística relacionada con organizar entrevistas grupales lleva mucho tiempo (ej., la necesidad de programarlas en torno al tiempo de los y las participantes, no el propio; la posibilidad de tener que ofrecer cuidado de los niños y las niñas o algún alimento ligero, etc.) Tiende a dar con las normas en lugar de la gama entera de experiencias o conductas, especialmente si éstas son delicadas o están estigmatizadas Los grupos mixtos pueden inhibir la participación de las mujeres. Aun en grupos de un solo sexo, una o dos personas pueden dominar la discusión. No debe utilizarse para suplir un número grande de entrevistas individuales Posiblemente sea necesaria la trascripción (escuchar y registrar), lo que puede llevar mucho tiempo Posiblemente las personas sólo den respuestas socialmente aceptables Una persona o unas cuantas personas pueden establecer una tendencia, o dirigir la discusión, de tal forma que quedan suprimidas las ideas de los demás

Cuándo utilizarla

Ventajas

• • • •

Desventajas

• • • • •

Consideraciones para el análisis (errores comunes, sesgos)

• •

120

Niveles de tiempo y recursos necesarios

• • • • • • • •

Pocos a medianos recursos si se organiza dentro de la organización Es indispensable contratar una persona facilitadora altamente calificada La trascripción frecuentemente resulta costosa El análisis lleva mucho tiempo No se puede proteger la confidencialidad El consentimiento informado requiere que todas las personas presentes acuerden mantener la confidencialidad y el anonimato de la información compartida. Evidentemente cada una sabe lo que dijo cada quien, pero deben respetar los derechos y la información de los y las demás participantes Si las personas se perturban por la discusión, posiblemente no tengan la manera de expresarse u obtener la ayuda que requieren Las personas con conductas atípicas o estigmatizadas posiblemente no las revelen en el grupo, ni expresen opiniones impopulares

Aspectos éticos sensibilidad

y

de

121

Método: Ejercicios participativos basados en la comunidad
Descripción Se puede utilizar varios métodos participativos para generar datos. Los métodos principales incluyen los siguientes: • mapeos, tarjetas ilustradas, juegos de roles • análisis FODA, análisis del poder, análisis del campo de fuerzas Hojas de codificación, listas de verificación, apuntes y conclusiones escritas o grabadas; hojas de tabulación de datos Habilidades para ejecutar programas participativos y para facilitar procesos grupales Mapeos, tarjetas ilustradas, juegos de roles con poblaciones con bajo nivel de alfabetización; dentro de proyectos participativos para demostrar los cambios en la distribución de atributos, problemas comunitarios y conductas interpersonales percibidas Análisis FODA, análisis del poder, análisis del campo de fuerzas son más pertinentes en los programas de abogacía y otros programas que trabajan para cambiar el entorno político y de políticas; para demostrar los cambios en el contexto sociopolítico más amplio Ventajas Si se aplica sistemáticamente en situaciones de pre- y post-prueba o en grupos de comparación, pueden proveer datos ricos provenientes de una amplia gama de poblaciones El grado en que se pueda comparar dependerá mucho de la composición de los grupos y de qué tan sistemáticamente se realiza la aplicación Se puede contar las categorías o proveer descripciones cualitativas

Instrumentos Pericia necesaria Cuándo utilizarlos

Desventajas Consideraciones para el análisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios Aspectos éticos sensibilidad y de

Requieren de habilidades relacionadas con las técnicas, así como tiempo para el trabajo grupal y para registrar los hallazgos • • • • Son especialmente aplicables en comunidades de bajos recursos que ya están involucradas en procesos participativos Los y las participantes obtendrán nuevos conocimientos por medio de estos métodos, y los programas deben darse cuenta que tienen un impacto y que deben dar seguimiento Pueden llevar a que los y las participantes desarrollen expectativas de servicios o bienes que no se puede brindar Pueden llevar a mayores conocimientos, a la apropiación y al empoderamiento de los y las participantes, por lo que no se debe aplicar de manera aislada, sin algunos componentes programáticos

122

Método: Encuesta
Descripción En una encuesta, se plantea una serie de preguntas de manera igual a todas las personas que responden (personas que diligencian el cuestionario). Se puede aplicar encuestas de las siguientes maneras: • por medio de una persona entrevistadora en un entorno de persona a persona (una persona entrevistadora lee el cuestionario a la persona que responde y la primera marca las respuestas), por teléfono o por Internet. • autoaplicada: (la persona que responde diligencia el cuestionario sola, sin la entrevistadora) Las encuestas frecuentemente utilizan preguntas cerradas, y se aplican a números grandes de personas. Algunas encuestas también pueden incluir unas cuantas preguntas abiertas. Instrumentos Guía de la entrevista: Un documento que orienta a las personas entrevistadoras respecto a qué preguntas plantear y en qué orden. Introducción: Un texto que la persona entrevistadora lee en voz alta o que lee la persona que responde, el cual proporciona información acerca de la naturaleza y el uso de la encuesta, incluyendo instrucciones generales para responder a las preguntas; asimismo, explica cómo se protegerá la confidencialidad/el anonimato. Cuestionario: un conjunto de preguntas planteado a cada participante o persona que responde, de manera exactamente igual, ya sea de manera verbal o escrita. Pericia necesaria • • • • • • • • Diseño de la encuesta Habilidades relacionadas con la conducción de una entrevista de persona a persona (en el caso de este tipo de aplicación) Diseño de una base de datos computarizada, si se utiliza terminales de computadoras en encuestas autoaplicadas Suficiente conocimiento para poder distribuir sistemáticamente Habilidades relacionadas con el análisis de datos (cuantitativos y/o cualitativos, dependiendo de los datos recolectados) Para recolectar datos cuantitativos (preguntas cerradas) o cualitativos (preguntas abiertas) Cuando se desea recolectar datos de grandes números de personas, haciendo uso de preguntas cerradas Las encuestas autoaplicadas y las entrevistas de persona a persona son más apropiadas en el MyE a pequeña escala, que en encuestas a grande escala

Cuándo utilizarla

Ventajas

De la encuesta en general: • Es fácil comparar las respuestas • Es relativamente fácil analizar • Permite tener una muestra relativamente grande • Es fácil presentar y entender los resultados • La aplicación requiere menos habilidades que la entrevista abierta

De la encuesta autoaplicada: • Puede ser anónima; baja en costo • Sirve para valorar conductas, actitudes y creencias difíciles de reconocer en presencia de otra persona, como las conductas ilegales o muy estigmatizadas

De la encuesta aplicada de persona a persona: • Faltan menos datos, se puede asegurar la diligencia de todas las preguntas a las que la persona que responde está dispuesta a contestar; se puede aclarar la terminología y las respuestas de manera sistemática • Se puede adaptar al contexto y a las personas específicas, incluyendo la instrucción de saltarse preguntas que no aplican

123

• Desventajas

Permite canalizar los casos en los que se detecta alguna crisis o un problema

De la encuesta en general: • Si las preguntas o las opciones cerradas son inapropiadas para el contexto local, incorrectas o están sesgadas, pueden faltar datos o estos pueden ser engañosos. • Se puede dificultar el diseño que evite sesgos y que sea apropiado a temas delicados • No capta información espontánea • Sólo arroja respuestas predeterminadas que posiblemente no sean las mejores para entender el aspecto en cuestión • Impone opciones predeterminadas a la persona que responde • A menudo no se sabe lo que una respuesta realmente significa • A menos que se acompañe de preguntas abiertas, no habrá oportunidad para aclarar las respuestas

De la encuesta autoaplicada o telefónica: • Faltan datos debido a que no hay oportunidad para aclarar el significado de una pregunta (autoaplicada) • No es posible aplicarla en poblaciones analfabetas o de bajo nivel de alfabetización • Requiere una computadora y programas especializados en el caso de grupos grandes; un sistema confiable de correo si se envía el cuestionario por este medio; o acceso amplio al teléfono • Presenta la posibilidad de obtener una baja tasa de respuesta, si se realiza por correo/Internet/teléfono

De la encuesta aplicada de persona a persona • Falta de anonimato • Requiere de mucho tiempo del personal • La presencia de la persona entrevistadora puede afectar las respuestas Consideraciones para el análisis (errores comunes, sesgos) De persona a persona: • Los sesgos y las expectativas de la persona entrevistadora pueden alterar las respuestas • La persona entrevistadora debe evitar mostrar aprobación o desaprobación de las respuestas

Autoaplicada o telefónica: • Es necesario realizar un seguimiento para lograr una tasa de respuesta aceptable, si se envía por correo o se aplica vía telefónica Niveles de tiempo y recursos necesarios • • • • • • • • • Pocos recursos para el desarrollo, si se logró localizar un instrumento existente, diseñado para un propósito y una población similares Pocos recursos en encuestas autoaplicadas Recursos medianos para aplicar encuestas de persona a persona Mayores recursos para planear, diseñar y analizar la encuesta Es preciso cuidar la confidencialidad, aunque en ocasiones es necesario identificar los casos (por ejemplo, los casos de abuso sexual de menores, y para encontrar a los individuos para efectos de comparar entre pre- y post-programa) No se debe utilizar incentivos, aunque se podría compensar el tiempo con el cuidado de los niños y las niñas o cubrir el transporte Los cuestionarios autoaplicados permiten el anonimato en los casos de aspectos delicados Posiblemente se obtenga niveles más precisos de conductas estigmatizadas o socialmente inaceptables La entrevista de persona a persona puede brindar apoyo sensible, respuestas solidarias y la canalización de casos con problemas o crisis detectadas, así como responder a solicitudes de la persona que responde

Aspectos éticos sensibilidad

y

de

124

Método: Entrevista a profundidad
Descripción Una entrevista a profundidad es un técnica utilizada para recolectar datos cualitativos y/o cuantitativos, mediante una discusión detallada y personalizada entre la persona entrevistadora y la entrevistada; permite que la primera entienda las percepciones, actitudes y pensamientos que tiene la segunda acerca de varios temas. La persona entrevistadora utiliza una guía o un protocolo de la entrevista: una lista de preguntas y temas a abordar. La entrevista puede ser estructurada o no estructurada; la primera conlleva una lista de preguntas más estandarizada y específica, mientras que la entrevista no estructurada sigue un boceto o guía del tema, y permite mayor variación en el tema de conversación y en cómo fluye la discusión. La entrevista puede abordar la historia de vida de la persona, o puede estar organizada en torno a temas específicos. Pericia necesaria • • • Cuándo utilizarla Buenas habilidades para conducir entrevistas, de tal forma que propicien que la persona que responde proporcione información completa y precisa acerca de una amplia gama de temas, algunos de los cuales pueden ser bastante delicados Sensibilidad respecto a las diferencias culturales y lingüísticas en el significado de las palabras; comprensión del lenguaje corporal Habilidades relacionadas con el análisis de datos cualitativos y/o cuantitativos Para obtener información acerca de temas que no se prestan a entrevistas grupales (i.e., aspectos delicados e historias de vida) Para entender las variaciones y los puntos comunes en la experiencia, la comprensión y el lenguaje Cuando se necesita comprender cómo elaboran las experiencias las personas Cuando se está explorando temas desconocidos y se necesita utilizar preguntas abiertas Para indagar sobre una amplia gama de temas respecto a los cuales la persona que responde comparte sus opiniones, actitudes y percepciones, y reporta la ocurrencia de ciertas conductas o eventos Permite obtener información profunda, detallada y “desde adentro” de una situación o entorno Una persona entrevistadora capaz puede obtener información excelente y brindar apoyo o hacer la canalización a otros servicios en caso necesario La presencia de la persona entrevistadora y su posición pueden sesgar las respuestas y limitar la espontaneidad de la que responde La persona entrevistadora puede transmitir sus opiniones sutilmente, lo que influiría en las respuestas Se obtiene opiniones de pocos individuos a un costo relativamente alto Requiere de habilidades bien desarrolladas para evitar sesgar las respuestas Tiene una alta tasa de respuesta, si la entrevista se acomoda al horario de los y las participantes Requiere de habilidades para poder aprovechar los datos Es necesario evitar la sobre generalización de los hallazgos y los datos recolectados de un grupo reducido de personas Fuerte compromiso de tiempo (1-2 horas invertidas en cada entrevista individual), especialmente si la persona entrevistadora tiene que ir de casa en casa Bajo costo si se lleva a cabo con el personal de la organización Costo mediano a alto si se contrata la conducción de las entrevistas externamente El análisis requiere de habilidades y lleva mucho tiempo Frecuentemente el simple hecho de indagar o mostrar interés en ciertos temas, puede quebrantar las defensas de la persona que responde, lo que requiere de un manejo sensible y algo de seguimiento. Se puede brindar apoyo y solidaridad, pero debe ser de tal forma que no sesgue las respuestas Si se conduce bien, es más probable obtener información delicada acerca de temas atípicos o tabúes Es preciso que la persona entrevistadora mantenga la confidencialidad y jamás revele información que podría causar daño o estigmatizar a las personas que responden

Instrumentos

• • • • •
• • • • • • • • • • • • • • • •

Ventajas

Desventajas

Consideraciones para el análisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios

Aspectos éticos sensibilidad

y

de

125

Método: Observación (participativa, no participativa)
Descripción La observación es un proceso sistemático mediante el cual se registra los patrones de conducta de las personas, objetos y ocurrencias, de maneras que difieren del planteamiento directo de preguntas y de la comunicación directa (aunque frecuentemente se realiza la observación en conjunto con una entrevista). Las personas que evalúan pueden utilizar técnicas de observación con el fin de observar componentes o actividades del programa, así como el comportamiento de individuos y grupos. Las observaciones normalmente quedan registradas en un escrito, en forma de apuntes de campo. En ocasiones, también se utiliza el video o la película. • La observación participativa implica que la persona observadora participa en la actividad, grupo u ocurrencia bajo investigación. • La observación no participativa significa que la persona observa la actividad, el grupo o la ocurrencia “desde fuera”. • El cliente simulado es una forma de observación en la que la persona hace creer que es un/una participante o cliente, y no revela su verdadera identidad. Con el fin de evitar problemas éticos, el personal debe saber que se presentará un cliente simulado en momentos indefinidos, esto último con el propósito de evaluar ciertas características de la prestación del servicio. Es necesario obtener el debido consentimiento de las personas con autoridad en el entorno en cuestión. • Se hace uso frecuente de entrevistas in situ junto con la observación. Aquéllas son entrevistas informales con participantes que se encuentran en el lugar, donde la interacción es mucho más “natural” y conversacional. Los instrumentos que se puede utilizar en las observaciones incluyen listas de verificación, cuestionarios con preguntas abiertas y formularios (descriptivos o narrativos), que permiten que la persona observadora registre sus apuntes y observaciones. • • • • • • • • • • • • • • • • • Habilidades para hacer entrevistas que dejan que el observador hable con los participantes de una manera discreta, respetuosa y efectiva. Sensibilidad a las diferencias culturales y lingüísticas en los significados de las palabras y el entendimiento del lenguaje corporal Conocimiento de cómo escribir apuntes de campo para grabar observaciones Conocimiento de cómo desarrollar un formulario para recolectar datos Cuando se necesita ver conductas observables en el momento en que se dan en la vida real, especialmente las relacionadas con temas o conductas muy delicadas, así como actitudes tabúes, debido a que la observación permite ver cómo suceden las cosas en realidad, no cómo están dispuestas las personas a reportarlas Cuando se necesita entender cómo sucede algo en un contexto social y en la vida real, tal y como se vive Cuando se desea saber cómo actúan las personas y no sólo cómo hablan de las cosas Cuando se desea entender significados implícitos y no hablados Cuando ciertos eventos, como la interacción entre el/la paciente y el médico/la médica, las reuniones de comités, los debates legislativos, son centrales al programa, y el comportamiento que ocurre en ellos constituye un indicador importante Cuando se necesita evitar que las personas enmarquen sus experiencias, creencias y actitudes dentro de un conjunto predefinido de palabras o valores determinados por la persona que evalúa, es decir, la encuesta tradicional con preguntas cerradas Cuando se desea valorar con mayor precisión, los cambios en la conducta, evitando los casos en que las personas reportarían lo que consideran que la persona entrevistadora desea saber Permite ver un programa en operación y obtener información acerca de cómo funciona Permite ver conductas y actitudes socialmente indeseables en acción Permite construir confianza entre la persona observadora y los y las participantes Permite captar el silencio que se da en torno a aspectos importantes Los y las participantes pueden “portarse bien” cuando saben que se les observa Posiblemente no se observe las conductas poco frecuentes dentro del periodo de tiempo disponible

Instrumentos

Pericia necesaria

Cuándo utilizarla

Ventajas

Desventajas Consideraciones para el análisis (errores comunes/sesgos) Niveles de tiempo y recursos necesarios

• • •

Un fuerte compromiso de tiempo Se requiere una persona con habilidades para realizar observaciones sistemáticas y cuidadosas El análisis puede llevar mucho tiempo

126

Aspectos éticos sensibilidad

y

de

• •

La confidencialidad: Si la persona observadora se percata de conductas peligrosas o ilegales, posiblemente las tenga que reportar, lo que podría contravenir la confidencialidad y la confianza Es difícil observar conductas íntimas (ej., relaciones sexuales)

127

Método: Revisión documental y de registros, incluido el análisis de los medios
Descripción Este método implica revisar documentos como los registros de las actividades del programa, registros médicos, datos demográficos, datos oficiales (ej., educativos o municipales), minutas de reuniones, contenidos en los medios, inventarios, estadísticas del servicio y otros registros. Otras fuentes de datos incluyen las estadísticas rutinarias del proyecto, encuestas realizadas en las instalaciones, encuestas de proveedores de clientes, periódicos, programas televisivos, publicidad e información de la gerencia.

Dichas revisiones documentales normalmente implican contar la frecuencia de diversos comportamientos u ocurrencias, como el número de visitas a la clínica, el número de embarazos no deseados, la frecuencia en las visitas prenatales, etc. En muchos casos, el programa ya cuenta con datos recolectados sistemáticamente.

En algunos casos, se puede obtener datos cualitativos de estas fuentes y presentarlos de manera no numérica, mediante citas y ejemplos que demuestren las tendencias en los cambios, como por ejemplo, el cambio a través del tiempo en la cobertura que los periódicos dan a los derechos relacionados con el aborto. Instrumentos Las herramientas que se pueden utilizar para la revisión documental incluyen listas de verificación o formularios en los que se registra apuntes y se tabula la frecuencia de la ocurrencia encontrada en los registros. Es necesario contar con un esquema claro de codificación para tabular con eficacia. • • • • • • • • Ventajas • • • • • • • • • • • • • • • Conocimiento de cómo desarrollar un esquema de codificación Familiaridad con el medio a revisar (ej., críticas de los medios, análisis de datos oficiales) Cuando ya existen sistemas para la recolección de datos, ésta es relativamente sistemática, los sistemas están bien estructurados y recolectan datos confiablemente Cuando de otra manera no se tendría acceso a la información Para estudiar tendencias en el pasado Para documentar la provisión del servicio como se da actualmente o como se daba anteriormente Para reconstruir datos de base Cuando los objetivos se centran en cambios en los medios, en la provisión del servicio, en los comités entre organismos, etc. Es una fuente objetiva de datos Los datos pueden existir con anterioridad, lo que elimina algunos costos de la recolección de datos Ciertos datos recolectados con regularidad tienen en marcha un mecanismo congruente para la recolección de los mismos Permite estudiar tendencias en el pasado Puede proporcionar información acerca de poblaciones grandes, incluso acerca de resultados finales, ej., registros de salud Los datos no siempre están completos, no siempre son confiables y pueden tener sesgos indeterminados Puede ser difícil la interpretación, sin el contexto apropiado sobre el programa/la ocurrencia que se está investigando Puede llevar mucho tiempo si es difícil encontrar los registros y si son extensos Tiende a contener grandes categorías de datos sin mucha atención al detalle Frecuentemente no contiene todas las categorías posiblemente requeridas por el proceso de MyE en cuestión Las categorías de los datos pueden ser similares en apariencia a las del MyE, pero no lo suficiente para permitir comparaciones reales Posiblemente fueron insuficientes las definiciones utilizadas y la capacitación impartida para la diligencia de los registros, de tal forma que se desconoce las condiciones bajo las cuales se ingresaron los mismos Posiblemente los datos estén falsificados, si las personas que los registraron estaban bajo presión para registrar altos niveles en indicadores de desempeño Altos si es necesario codificar los registros Altos si es necesario transformar los datos en categorías que coincidan con las de los instrumentos propios de la recolección de datos

Pericia necesaria Cuándo utilizarla

Desventajas

Consideraciones para el análisis (errores comunes/sesgos)

Niveles de tiempo y recur-

128

sos necesarios Aspectos éticos sensibilidad y de

• • • •

Bajos si los registros ya están metidos en una base de datos utilizable Posiblemente el consentimiento no sea factible si se trata de revisar registros viejos Problemas relacionados con la confidencialidad Posiblemente no existan datos registrados sobre aspectos ilegales o delicados que podían llevar a consecuencias negativas para la persona que registró la información o la persona que respondió originalmente, ej., causa de muerte reportada como sangrado, sin mencionar un aborto inducido, si existen consecuencias legales en dichos casos.

Métodos e instrumentos de recolección de datos Método Entrevista Instrumento Guía para la entrevista o cuestionario con preguntas cerradas y/o abiertas Cuestionario (preguntas cerradas); puede incluir algunas preguntas abiertas Guía para la discusión (abierta o cerrada); guía para la observación Apuntes de campo, lista de verificación, lista de conductas o eventos a contar, cuestionario abierto (descriptivo o narrativo) Lista de verificación, hoja de códigos y esquema de códigos

Encuesta (autoaplicada, por correo, por teléfono, de persona a persona) Discusión de grupo focal

Observación (participativa, no participativa)

Revisión documental (análisis del contenido de los medios, inventarios, revisión bibliográfica, registros clínicos, estadísticas, registros) Ejercicios participativos basados en la comunidad: mapeo, tarjetas ilustradas, juego de roles, análisis FODA, análisis del poder, análisis del campo de fuerzas

Listas de verificación, hojas de códigos, resúmenes de las conclusiones

129

Nombrar lo innombrable A menudo es necesario hacer una introducción especial a temas muy sensibles o altamente estigmatizados. Sin exagerar la evidencia, habrá que introducir el tema y mencionar a la persona que responde, que algunas personas realizan la conducta en cuestión, aunque se les dificulta hablar de ella. Ejemplo. Ahora le vamos a preguntar sobre la masturbación. Aunque para algunas personas es difícil hablar del tema, muchas personas totalmente normales lo hacen. ¿Alguna vez se ha masturbado? O bien, por favor cuénteme de sus experiencias con la masturbación. ¿Por qué convertir datos cualitativos en indicadores numéricos? Porque puede ser muy eficaz. Posiblemente se tenga que recolectar datos cualitativos si se desconoce cómo se presenta algún fenómeno en el contexto local. Pero una vez que se conoce la gama de conductas que describen dichos datos y los tipos de significados que expresan, quizá se quiera reportar cuántas personas de las observadas o entrevistadas hicieron o dijeron algún elemento de interés. Al transformar los datos cualitativos no numéricos en datos numéricos, se podrá cuantificar y graficar las cifras (vía gráficas, histogramas, etc.) y se logrará identificar tendencias. ¿Qué es lo que realmente significa consentimiento informado? Es necesario tomar en serio ambas partes de este concepto: • Informado – significa que las personas tienen que haber recibido y entendido la naturaleza del estudio y su participación en él, cómo se utilizará la información y cómo se protegerá su privacidad y/o la confidencialidad. No es suficiente presentar una descripción escrita o verbal; es preciso asegurar que la persona entienda la explicación. Ello constituye un desafío especial cuando las personas que responden son analfabetas, hablan un idioma o dialecto diferente, tienen un nivel muy bajo de escolaridad, o son tímidas o reservadas en el sentido de hacer preguntas. • Consentimiento – la persona que responde realmente tiene que tener la posibilidad de negar su participación, sin presión, coerción o sentimientos de culpa. Pueden existir también consideraciones de índole jurídico, por ejemplo, si la persona es menor de edad, o en algunas situaciones, una mujer sin autoridad para otorgar el permiso autónomamente. Si bien este tipo de situación violenta el anonimato, aún se podría garantizar la privacidad y la confidencialidad de los datos realmente recolectados. ¿Qué habilidades habrá que fortalecer? De ser posible, elegir personas que: • • • Puedan ser objetivas al escuchar y registrar, así como en las interacciones con las personas que responden Se sientan cómodas al hablar con el tipo de personas de quienes recolectarán datos Estén motivadas para indagar sobre qué tan bien funciona el programa, no sólo mostrar lo bueno que es. Ello significa que las personas que recolectan los datos deben ser capaces de distanciarse de la retroalimentación negativa que puedan recibir respecto al programa, y de saber que a la larga, dicha información contribuirá al mismo. Pedir al educando que haga apuntes de campo. Revisarlos conjuntamente y discutirlos. Asegurar que sean pertinentes y objetivos, y que estén completos.

La capacitación para fortalecer habilidades debe incluir lo siguiente: • Técnicas de observación y de escucha, haciendo uso de los juegos de roles entre las y los educandos • Cómo evitar preguntas que inducen una respuesta: o Será conveniente dar muchos ejemplos de este tipo de preguntas o Desarrollar un guión detallado para cada persona entrevistadora, con elementos específicos de sondeo, para cuando se necesite más información • Cómo evitar sesgar las respuestas y reforzar conductas: o Cuidar los gestos y ademanes o Cómo ser neutral pero compasivo/a o Lo que hay que evitar y lo que se puede hacer

130

Técnicas tendientes a legitimar la discusión de temas tabúes o muy delicados; por ejemplo, posiblemente los hombres necesiten que se legitimen algunos temas para que puedan hablar de sus sentimientos. o Incluir una introducción a cada sección o sub-sección que aborda aspectos delicados. Explicar qué tema será abordado y las partes que pueden ser difíciles, pero que es más común que lo uno cree; o bien, algún enunciado preciso que legitime el tema, por qué es importante la información y cómo se utilizará. o No emitir juicios de valor o Si se utiliza respuestas cerradas, quizá convenga poner las preguntas más estigmatizadas primero, para que se consideren más aceptables. De esta manera, la persona que responde no tiene que descartar lo que no es, antes de llegar a lo que es. Sensibilidad a respuestas atípicas y cómo manejarlas o Sensibilizar a las personas entrevistadoras respecto a las posibilidades atípicas, y enseñarles a evitar los supuestos o Asegurar que sepan que en sus reuniones regulares, pueden reportar si ciertas preguntas les incomodan, y que obtendrán ayuda para manejar dichas situaciones Captar información acerca de conductas inseguras o peligrosas o Tener claras las directrices legales aplicables en el contexto local. Si la persona entrevistadora tiene la obligación por ley de reportar cierta información, debe comunicar dicha situación a la persona que responde antes de comenzar la entrevista o Aun si no existe la obligación por ley, el Equipo de MyE debe establecer un protocolo claro, con el fin de que las personas entrevistadoras sepan qué hacer en caso de enterarse de conductas inseguras o ilegales o El protocolo debe incluir una manera sistemática de ofrecer ayuda o de canalizar a la persona que responde Las normas culturales de las personas que responden (cuando la subcultura tiene normas diferentes) o Evitar situaciones en las que la persona entrevistadora no pueda obtener la información debido a algún prejuicio cultural, como sería que las mujeres casadas sientan que no pueden hablar de relaciones sexuales con una mujer más joven y soltera o Asegurar que las personas entrevistadoras sepan que pueden reportar los dilemas culturales que enfrenten

La capacitación debe: • Dedicar mucho tiempo al juego de roles y a ensayos • De ser posible, grabar las entrevistas y pedir que cada educando se autoevalúe. Alternativamente, observar a la persona durante una entrevista y dar retroalimentación específica acerca de cómo la hizo. Indicar y corregir lo siguiente: o las oportunidades perdidas para hacer preguntas o indagar o las interrupciones por parte de la persona entrevistadora o los comentarios juiciosos o el aliento a ciertas respuestas o las tensiones y el estrés introducidos por la persona entrevistadora o los momentos en que la entrevista se desvió y se convirtió en una conversación sin enfoque en las preguntas o si la persona entrevistadora perdió el control de la entrevista y la que responde se fue por otro rumbo a temas irrelevantes • Centrarse en contribuir a que las personas que recolectan los datos aprendan a buscar siempre la manera de ayudar a las personas a dar las respuestas más precisas posible • Identificar a las personas cuyas actitudes y habilidades simplemente no contribuyen a que las personas se sientan cómodas. En estos casos, habrá que encontrarles otras tareas y no utilizarlas como recolectadoras de datos ¿Qué hacer cuando no hay nadie en casa? No sólo en el caso de las visitas domiciliares sino en cualquier recolección de datos, posiblemente no se encuentre a las personas o los documentos donde y cuando se esperaba. Asegurar el establecimiento de

131

reglas claras para el seguimiento, y que las personas que recolectan los datos las acaten; asimismo, que se registre los datos faltantes y los intentos por encontrar dichos datos, en un formulario preestablecido.

seguimiento – determinar reglas claras respecto a lo que deben hacer las personas que recolectan los datos para dar seguimiento, a fin de obtener los datos necesarios o suplir fuentes de datos, esto para evitar que se filtren los sesgos. Habrá que decidir lo siguiente: o cuántas veces las personas que recolectan los datos visitarán el sitio para obtener los datos o cuántas llamadas telefónicas se realizará para fijar un cita o qué debe hacer la persona recolectadora de datos cuando falta un documento o cuando una persona se rehúsa a dar información tasas de rechazo – las variaciones en el número de personas que se rehusaron a participar en la recolección de datos, según los diferentes subgrupos o grupos de comparación, pueden afectar el significado de los hallazgos. Habrá que monitorear lo siguiente: o el número total de participantes dentro de cada subgrupo o el número de rechazos en cada grupo cuestiones de ausentismo - algunos grupos pueden ser más difíciles de localizar, y posiblemente se presenten con menos frecuencia en el sitio acordado para la recolección de datos. La tasa de deserción en valoraciones de segunda y tercera vuelta puede ser el resultado de factores tanto internos como externos. Es necesario monitorear lo siguiente: o las veces que se acudió al sitio para la recolección de datos y que no se encontró a la persona necesaria o cuántas personas de ciertos grupos o cuántos documentos de cierto tipo faltaron, ej., en clase o en los archivos. Ejemplo. Si la línea de base empezó con un número igual de niños y niñas, pero los niños no se presentaron para la línea media o final, los hallazgos quedarán fuertemente alterados y pueden indicar la necesidad de hacer cambios en el programa o bien, pueden reflejar algún evento externo que impidió que los niños asistieran, como sería un nuevo club de fútbol en el pueblo.

¿Qué hacer si nunca se ha capacitado a personas que recolectan los datos? Si no se tiene claro cómo capacitar a otras personas en los métodos de recolección de datos, habrá que considerar la posibilidad de identificar a alguien externo a la organización, que tenga mayor conocimiento sobre la recolección de datos y que pueda capacitar a las personas, como sería algún docente en una universidad cercana, o un/a colega de otra organización (gubernamental o no gubernamental). Las y los psicólogos o antropólogos a menudo tienen habilidades en impartir este tipo de capacitación, y podrían orientar o contribuir a que se aprenda cómo dar la capacitación. ¿Qué pasa si esta información es muy delicada? Siempre es indispensable respetar el nivel de comodidad de la persona. Jamás presionar a nadie a contestar una pregunta respecto a la cual parecen ser reacios/as a contestar. Recordar que las personas pueden rehusarse a contestar cualquier pregunta, y pueden terminar la entrevista/encuesta en cualquier momento. • Una buena introducción y un buen proceso de consentimiento ayudarán si se explica claramente por qué se necesita la información y cómo se utilizará. Habrá que hacer el esfuerzo por conseguir el apoyo de la persona. Asimismo, habrá que explicar cómo se protegerá el anonimato y/o la confidencialidad. Si aún así la persona se rehúsa, habrá que respetar su derecho de hacerlo. • Si un número inesperadamente alto de personas quiere saltarse una pregunta o se rehúsa a participar en la recolección de datos del todo, habrá que repensar el método, la técnica de la entrevista y quizá las comparaciones que se necesitan. Preguntarles directamente, de una manera no amenazante, por qué se rehúsan a participar, a fin de entender por qué no funciona el plan. • Si las respuestas a las preguntas delicadas son indispensables para la utilidad de los datos, será conveniente incluir dicha(s) pregunta(s) en una etapa temprana de la entrevista; de esta manera, si la persona se rehúsa a proporcionar la información, se podrá terminar la entrevista antes de recolectar la demás información. • Las personas entrevistadoras deben preguntarse: “¿Estoy contribuyendo a que hable(n) de este tema?” Habrá que intentar diferentes maneras de lograr que las personas se sientan bien al hablar de temas difíciles y delicados.

132

Sugerencias para capacitar a las personas que recolectan los datos en habilidades para la observación La observación puede arrojar datos muy ricos debido a que se observa la vida tal y como se vive, materialmente. Brinda la oportunidad de ver cómo se dan las cosas en la vida real, así como la riqueza del contexto sociocultural de una persona. Para capacitar a las personas observadoras: • comenzar con que lean un buen ejemplo de un estudio basado en la observación • localizar un extracto de “apuntes de campo” buenos, a compartir con las personas que llevarán a cabo las observaciones • llevar a las personas que recolectan los datos a un entorno, como sería un lugar público, la casa de alguien, la sala de espera de una clínica: o pedir que observen durante un período de 30 a 60 minutos o pedir que tomen nota de: lo que dicen y no dicen las personas o el tono de voz de las personas, el movimiento de su cuerpo y los gestos o cómo interactúan y no interactúan las personas entre sí o las reacciones a eventos o a otras personas o las normas que aparentemente rigen la conducta en este entorno o el foco de la conducta y la interacción, ej., un cumpleaños, la consecución de una cita, el regateo en el mercado o las diferencias entre los subgrupos, como serían los hombres y las mujeres, jóvenes y mayores, personas de diferente color, etnia o tribu • Al dejar el sitio, pedir que se sienten en un lugar tranquilo a escribir y registrar todo lo que observaron, incluidas sus impresiones • Revisar sus apuntes junto con una persona etnógrafa experimentada, y proporcionar retroalimentación a fondo • Una vez que se haya decidido las categorías principales de información acerca de la cual se desea recolectar datos, se puede proporcionar a cada persona observadora, formularios con cada categoría, a fin de que sus observaciones y apuntes se puedan centrar en el punto de interés inmediato. ¿Qué tipo de información deben contener los instrumentos de recolección de datos? Información descriptiva acerca de la fuente de datos y del evento de recolección de datos: Incluir información acerca del sitio/la ubicación, fecha, hora, duración de la recolección de datos, y el nombre de la persona recolectadora de datos. Al recolectar datos directamente de las personas, se debe incluir una sección de preguntas que recolecten información acerca de la situación social y demográfica de la persona que responde, como serían edad, raza/etnia/religión, ocupación y sexo. Se debe recolectar información socio demográfica, independientemente del método utilizado para la recolección de datos – grupos focales, encuestas, etc. Las preguntas socio demográficas son importantes porque permiten lo siguiente: • Entender de quiénes se recolecta datos • Dividir las personas que responden según criterios importantes y pertinentes para las preguntas que se pretende contestar • Identificar los factores que podrían alterar los hallazgos • Asegurar que sean comparables las recolectaciones pre- y post-prueba y el grupo de comparación ¿Qué pasa si esta información es muy delicada? Centrarse en los indicadores: El grueso del instrumento de recolección de datos estará conformado por preguntas específicas, temas a abordar o sitios donde se observará, que proporcionan información relacionada con los indicadores. Cada sección del instrumento debe tener instrucciones claras de cómo se debe introducir y/o aplicar la sección.

133

Al desarrollar las partes del instrumento que tienen que ver con los indicadores: • Asegurar que se haya convertido cada indicador en una o más preguntas, temas o categorías de observaciones • Asegurar que cada pregunta o categoría a codificar corresponda a uno o varios indicadores. Para indicadores complejos, quizá sea necesario utilizar varias preguntas para llegar a un cierto aspecto. Incluso se podría crear una escala o un índice. Para mayor aprendizaje sobre este tema, véase Consejos: Cuando uno no es suficiente • No incluir preguntas o categorías de información que no correspondan a los indicadores, excepto cuando la información permite identificar la fuente de los datos o la persona que responde, cuando la inclusión es necesaria para asegurar que fluyan las preguntas o para identificar qué conjunto de preguntas es aplicable a cierta persona, evento o documento. Una excepción sería cuando se ha decidido con anterioridad, recolectar una cantidad reducida de datos acerca de algunas brechas en la lógica del programa. Pero el número de dichos casos debe mantenerse bajo, y habrá que anticipar cómo se utilizará esta información. • No incluir preguntas o categorías de codificación que son tan ambiguas que será difícil interpretarlas. Ejemplos: o “Cuando mi pareja y yo estamos juntos, yo soy algo callada” debe ser “… Soy más callada que lo normal”, de tal forma que sea relativo al nivel normal de callar. Pero si el indicador se enfoca a la calidad de la relación de pareja, ¿una pregunta así significa que existe suficiente confianza para estar callada (quizá una señal de una buena relación), o que la mujer se siente inhibida por la presencia del marido (quizá una señal de una mala relación)? Sería mejor preguntar: ¿Cuándo mi pareja y yo estamos juntos, me siento suficientemente cómoda para estar más callada que lo normal? O bien,…Me siento menos capaz de hablar y me vuelvo más callada que lo normal”. • Asegurar que cada pregunta y cada opción de respuesta estén enmarcadas de tal forma que coincidan con el tipo de datos necesarios. Proveer categorías específicas para las respuestas, si se busca datos cuantitativos. Dejar las categorías abiertas y un espacio para registrar la respuesta completa, si se trata de datos cualitativos. Observaciones y apuntes en campo: Dejar un espacio para que la persona recolectadora de datos incluya notas u observaciones acerca de circunstancias no anticipadas, así como datos no verbales o espontáneos, como los silencios, la incomodidad, las interrupciones; pistas informales que podrían alterar el significado de los datos recolectados, incluidas las impresiones subjetivas acerca de lo adecuado de los datos. El que las personas que recolectan los datos hagan apuntes, constituye una verdadera oportunidad, y puede contribuir significativamente a la calidad de los datos.

134

Tipo de datos a utilizar
Datos cuantitativos Datos cualitativos

CUÁNDO se utiliza

• • • • • •

Se pretende medir acciones, tendencias, niveles de conocimiento Para determinar cuántos, cuánto y con qué frecuencia Las características de lo que se está midiendo son bien conocidas y es factible organizarlas por categorías con precisión El Equipo tiene algún conocimiento de las estadísticas básicas o puede obtener ayuda de expertos en la materia La significancia estadística es de interés para la evaluación Ya se ha determinado exactamente de qué preguntas se quiere obtener respuestas, y se requiere que los datos estén completamente estandarizados

• • • • • • • • • • •

Se busca información acerca de la explicación que dan las personas que responden, de sus actitudes, percepciones y motivaciones Se desea entender el contexto del programa y los procesos que tuvieron lugar Se desea explicar por qué o cómo ocurren las cosas Se desconoce cómo se “ve” en un cierto entorno, un aspecto que se desea medir Se desea abordar brechas en la Ruta Causal y se desea explorar temas no estudiados Se desea saber algo sobre una conducta socialmente indeseable o de alguna manera estigmatizada Se requiere información sobre algo que se considera privado y/o indeseable o de alguna manera estigmatizado, por lo que sería mejor entrevistar a las personas y/o observarlas en un entorno social Es algo implícito y difícil de expresar, pero se ve en acción a través de las observaciones Para contribuir a explicar datos extraños, confusos o aparentemente contradictorios Como un diagnóstico de necesidades preliminar Para pedir a las personas que responden, que expliquen las respuestas que dieron a preguntas cuantificables/ cerradas

CÓMO se recolecta los datos

Algunos de los métodos e instrumentos más comunes de recolección de datos son los siguientes: • Estadísticas del servicio • Registros del programa • Encuestas a nivel del programa (proveedores, encuestas de satisfacción del/de la cliente, evaluaciones de las capacitaciones) • Encuestas a nivel de población (local, regional o nacional) • Preguntas cerradas o datos de conteo en entrevistas o cuestionarios • Observaciones de conductas, eventos o número de personas, que una persona observadora puede contar • • • • • • Permiten recolectar datos congruentes y comparables, que pueden llevar a conclusiones sobre la dimensión de las diferencias entre grupos o a través del tiempo. Es más eficaz en cuanto al costo, recolectar y analizar datos provenientes de un número relativamente grande de personas que responden. Permiten proteger la privacidad de las personas que responden, mediante encuestas autoaplicadas. Permiten generalizar los hallazgos hacia poblaciones más grandes, si se hace bien el muestreo. Se puede medir el cambio, al comparar las respuestas a preguntas idénticas antes y después del programa, o entre grupos con diferentes niveles de exposición al programa. Es posible realizar análisis básicos ante la falta de habilidades y

Algunos de los métodos e instrumentos más comunes de la recolección de datos son los siguientes: • Entrevistas a profundidad • Preguntas abiertas en encuestas o entrevistas • Grupos focales • Técnicas de observación • Análisis de textos pesados o imágenes, como son programas televisivos, artículos periodísticos, minutas de reuniones

VENTAJAS

• • • • • • • • • •

Permiten recolectar datos congruentes y comparables, si se plantea las mismas preguntas a todas las personas relevantes. Permiten explorar dimensiones sociales y culturales. Permiten identificar términos locales y su significado. Revelan resultados no intencionados del programa. Propician que las personas que evalúan aprendan de la recolección de datos y exploren nuevas pistas hacia la comprensión de los significados. Permiten evaluar los objetivos del programa cuya cuantificación se dificulta. Permiten entender y documentar por qué y cómo un programa tuvo impacto, lo cual cobra importancia en el sentido de que aporta maneras de mejorar y/o replicar el programa. Permiten documentar no sólo que algo ocurre, sino también cómo y por qué ocurre. Se puede medir el cambio al comparar las respuestas a preguntas idénticas antes y después del programa, o entre grupos con diferentes niveles de exposición al programa. No requieren programas especiales de estadísticas o de otra índole, aunque sí requieren

135

software especializados. DESVENTAJAS • • Se limita uno a categorías predeterminadas, que pueden coincidir con la realidad o distar de ella. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por las opciones de respuesta o la manera en que se plantea las preguntas. • • • •

otras habilidades. No se puede generalizar los hallazgos hacia una población más grande. Los hallazgos atípicos posiblemente no queden contrarrestados por los hallazgos típicos en un conjunto más grande de datos. Requieren muchas habilidades de observación y gran sensibilidad, que posiblemente requieran capacitación especial. En ocasiones, las respuestas pueden ser superficiales o estar sesgadas por la manera en que se plantea las preguntas o las características de la persona recolectadora de datos.

Utilizar ambos tipos de datos
A menudo es buena idea utilizar ambos tipos de datos en la misma evaluación, ya que con enfoques cuantitativos se podrá responder a las preguntas “¿qué?” y “¿cuánto?”, mientras que con enfoques cualitativos se podrá responder a las preguntas “¿por qué?” y “¿cómo?”. Frecuentemente, los datos cualitativos • permitirán el desarrollo de métodos cuantitativos con pertinencia local • contribuirán a explicar los hallazgos cuantitativos Asimismo, con frecuencia, los datos cuantitativos • darán legitimidad a los datos cualitativos • demostrarán la dimensión de los hallazgos que se han descrito cualitativamente

Algunos consejos generales
La calidad y confiabilidad de la información obtenida en el proceso de MyE son fundamentales para asegurar la credibilidad de los resultados. Algunos consejos básicos para asegurar la calidad en la información se enlistan a continuación: Recoger únicamente la información que será útil y que podrá emplearse. Comúnmente se cae en el error de reunir demasiados datos de baja calidad y formulamos un sistema de MyE demasiado complejo, lo cual dificulta un análisis adecuado. Menos datos (de mayor calidad) pueden ofrecer información mucho más útil, sin complicarnos demasiado en etapas posteriores del proceso de manejo de información.

136

Realizar una planeación adecuada: como se mencionó anteriormente, un diseño adecuado del proyecto así como del sistema de MyE es esencial para obtener información de calidad, esto incluye: formulación de indicadores adecuados y variados, identificación clara de las necesidades de información de línea base, diseño cuidadoso del plan de monitoreo, selección de los métodos y las técnicas de recolección de datos más convenientes. • Reunir datos fiables, válidos y creíbles: aunque no sea un enfoque riguroso o científico, necesitamos recolectar datos que sean confiables, precisos y consistentes recopilados con una metodología rigurosa y pertinente de acuerdo a las necesidades de información. Los datos confiables dependen asimismo de la selección de una muestra representativa y de la unidad de análisis adecuada. • Validación de la información: los datos obtenidos con un método de seguimiento, se verifican con la información obtenida con otro método. • Triangulación de las fuentes: para asegurar la calidad de la información, es muy importante contar con diferentes fuentes, con distintos tipos de métodos e informantes diversos, para obtener una visión completa de la situación. • Combinar datos cuantitativos con información cualitativa: esto facilita el análisis, pues permite explicar, a través de la información cualitativa, algunos de los resultados que se obtienen con los datos cuantitativos. • Participación de beneficiarios: eso es fundamental para asegurar la pertinencia de los métodos y de la información obtenida. • Capacitación y preparación de quienes participan en la recolección: los encuestadores y entrevistadores deben estar capacitados para hacer bien su trabajo. Previo al ejercicio de recolección de información, se recomienda tener preparados los apoyos materiales (formatos y bases de datos para guardar la información) y de capacitación, asegurando que todos tengan las herramientas necesarias y suficientes recursos financieros. • Flexibilidad en la revisión de indicadores: conforme se desarrolle el proyecto, será necesario revisar las necesidades de información y los indicadores formulados en un inicio. Es necesario ser flexibles e incluir nuevas necesidades o eliminar aquellas que ya no sean relevantes.

Actividades de la décima tercera semana Individuales
1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluación
1. Después de realizar la lectura, ¿cuáles conceptos están claramente comprendidos por usted y cuáles no? 2. ¿Qué conocía antes de realizar la lectura acerca del tema o temas tratados en la lectura de la semana? ¿Es distinto a lo planteado por la lectura, por qué? 3. ¿Para usted, qué importancia tiene el hacer una buena selección de las fuentes de información? 4. ¿Qué desafíos le presenta la lectura realizada? 5. ¿Cuáles son los conceptos que debe ampliar o profundizar en la selección de las fuentes de información?

137

DÉCIMA CUARTA SEMANA TEMA Análisis y empleo de la información Objetivos de la semana
Al finalizar el estudio de la décima cuarta semana las y los estudiantes…. • Comprenderán la forma más adecuada de realizar el análisis y empleo de la información generada con una evaluación.

LECTURA Analizar e interpretar los datos
Paso 1: Desarrollar el plan de análisis
Fundamento Aun si se planeó bien la evaluación y se diseñaron excelentes instrumentos y un plan de recolección de datos es necesario prestar mucha atención a la planeación del análisis de los mismos,
• •

Antes de comenzar a recolectar los datos Durante la recolección de los datos Nunca debe comenzarse la recolección de los datos hasta que se sepa cómo se analizarán dichos datos, y se

haya probado los instrumentos de recolección y el plan de análisis. Tarea 1: Desarrollar el plan de análisis Si tiene acceso a alguien con experiencia en el análisis de datos, con suerte ya se habrá invitado a dicha persona a formar parte del Equipo de MyE (ver el Módulo 1), aun cuando esa persona no haya estado involucrada en todo el proceso. Si se va a entrar en contacto con una persona experta en evaluación, no debe esperarse hasta que los datos hayan sido recolectados. El equipo debe asegurarse de planear el análisis cuidadosamente, ya sea por sí mismo o con el apoyo de una persona experta, antes de empezar la recolección de los datos. Hay dos tipos de interrogantes para el análisis de datos: uno se enfoca en entender cómo se realizó el programa y el otro se enfoca en el impacto del programa. Usted se enfocará el análisis de datos en entender o evaluar el impacto que ha tenido – el cambio que se realizó en la población de enfoque. Para entender el impacto del programa también hay que poner atención en cómo se realizó el programa – los datos de monitoreo. Revisar las interrogantes de la evaluación y los objetivos del programa. Centrarse en las comparaciones que darán respuesta a las interrogantes de la evaluación y que indicarán si el programa alcanzó sus objetivos o no lo hizo.
• •

Las comparaciones básicas son: Pre-programa versus a medio programa y/o post-programa Post-programa versus grupo de comparación

138

Dentro de cada una de las “filas” de la siguiente tabla, puede haber subgrupos cuya exploración puede ser deseable, según las dimensiones relevantes del programa; en particular, puede ser interesante determinar si ciertos grupos de personas se han beneficiado del programa más que otros. Dentro de cada “columna”, también puede haber variaciones cuya exploración sea necesaria. ¿Obtuvieron mayor puntaje en la medición de resultados inmediatos o intermedios, las personas que asistieron al programa con mayor frecuencia, o las que fueron expuestas a sus mensajes de manera más intensa, quienes percibieron el programa más positivamente, o las que tenían más habilidades inicialmente?

Hacer una lista de todas las comparaciones vinculadas a las interrogantes y los objetivos de la evaluación Verificar el tipo de datos disponible y decidir cuál análisis se puede y debe realizar Recordar que los indicadores serán numéricos o no-numéricos. • Se puede transformar los datos cualitativos en datos numéricos o no numéricos • Los datos cuantitativos serán analizados como indicadores numéricos Si se está analizando indicadores no numéricos: • se podrá describir los hallazgos en términos de temáticas y tipologías y demostrar sus hallazgos con citas y testimonios. • se deberá indicar cuántas fuentes de datos analizadas (ej. personas o documentos) mostraron los hallazgos que se reportan para el grupo estudiado; ej. 5 de 7 periódicos publicaron en forma negativa artículos sobre violencia doméstica que denigraban o criticaban a las mujeres y defendían a los hombres. Si se está analizando indicadores numéricos, se podrá calcular las diferencias en medias, medianas o porcentajes. Para elegir el tipo de análisis que puede hacerse dependiendo del nivel de los indicadores disponibles o tipo de dato numérico.

139

Decidir cuáles comparaciones intragrupales son necesarias para abordar las interrogantes de la evaluación • Al utilizar los datos de monitoreo, se podrá explorar la manera en que los diferentes aspectos del programa y la asistencia o la exposición al programa pueden haber afectado los resultados de la evaluación Al utilizar datos sociodemográficos que se hayan recolectado y evidencia que utilizó para construir su Teoría de Cambio (Módulo 2) y Senda Causal (Módulo 3), se puede explorar si hubo resultados diferentes dentro de cada grupo, ya sea por edad, sexo, estado civil, nivel económico, historia sexual y/o reproductiva, nivel de motivación, factores de predisposición, etc. ¿Hay otras comparaciones necesarias, que reflejen mejor una perspectiva de justicia social basada en los derechos? Para cada conjunto de indicadores, diligenciar la Hoja de trabajo: Planeación del análisis Tarea 2: Probar el plan de análisis ¿Por qué es tan importante? Porque mejora las herramientas de recolección de datos antes de que sea demasiado tarde Porque determina si se está recolectando o no toda la información necesaria, o si se está recolectando información que no será útil • Porque determina si se está recolectando información de las fuentes correctas de datos
• •

Tabular los datos obtenidos de la prueba (piloto) de los instrumentos de recolección de datos y del plan de recolección de datos, aplicando el mismo sistema que se utilizará para el análisis de los datos.

Verificar si hay problemas con: o datos faltantes o instrumentos diligenciados de manera incorrecta o respuestas que son drásticamente diferentes a lo que se esperaba, lo cual podría indicar que las preguntas no se entendieron como se esperaba las respuestas no se codificaron correctamente se preguntó a las personas equivocadas

Se debe preguntar a quienes recolectan los datos, acerca de sus impresiones al respecto. Puede ser necesario • reformular las preguntas • aclarar las instrucciones • actualizar la capacitación de quienes recolectan los datos

Al probar el plan de análisis, marque cada elemento de información que se utiliza en el instrumento de recolección de datos. ¿Hay elementos sin marcar después de haber especificado el análisis para cada objetivo? De ser así, debe revisarse si son necesarios y, en caso de serlo, determinar por qué no han sido considerados en los objetivos. Ejemplo: En un diagnóstico de necesidades sobre derechos sexuales, realizado mediante entrevistas a jóvenes, se les preguntó cuáles derechos eran los más importantes. Una de las opciones de respuesta era: “este derecho es indispensable”. Después de una prueba piloto, el Equipo encontró que muy poca gente marcaba esta opción. Las personas entrevistadoras habían observado que muchas de las personas entrevistadas parecían confundidas con el término ‘indispensable’. En este caso, las preguntas habían sido probadas inicialmente con las y los educadores pares, pero no con personas similares a las que serían entrevistadas.

140

Para cada una de las interrogantes de la evaluación, utilizar los datos provenientes de la prueba piloto para probar las comparaciones que se planea utilizar, según el plan de análisis. Marcar cada elemento de información que se usa en el instrumento de recolección de datos. Habrá que preguntarse: • ¿Se cuenta con los datos necesarios? ¿Se tienen esos datos en la forma requerida para los análisis que se planea realizar? ¿Hay algunos elementos de información sin marcar, después de haber especificado el análisis para cada objetivo o interrogante de la evaluación? De ser así, ¿son necesarios? Debe determinarse por qué no fueron abordados en las comparaciones y corregir este error. Por el contrario, si no son necesarios, habrá que eliminarlos si es posible. Ejemplo. Si existe la expectativa de que el impacto del programa será diferente en mujeres que han tenido más de un aborto, que entre aquellas que han tenido un aborto o ninguno, pero solamente se les pregunta si alguna vez han tenido un aborto (sí vs. no), no se podrá realizar la comparación. Es ahora el momento de ajustar las opciones de preguntas y respuestas necesarias para el análisis. Después de considerar cómo se usará los datos, habrá que eliminar los elementos que no son útiles. Realizar las modificaciones según sea necesario. Consultar a las personas que recolectan los datos, para fundamentar los cambios en sus percepciones y observaciones. • Ajustar: o los instrumentos o la manera en que los datos son recolectados y codificados o la manera en que los datos son tabulados • Cuando los ajustes son lo suficientemente importantes para cambiar la forma en que la gente podría responder, excluir del análisis las respuestas obtenidas antes de la revisión.

141

Paso 2: Asegurar un análisis adecuado de los datos
Fundamento Aun si se planearon bien las cosas, los errores pueden infiltrarse a los análisis, lo que posiblemente limite el valor de la evaluación. Con el fin de evitar lo anterior, asegurar que se realice lo siguiente cuidadosamente:
• • •

Supervisar la recolección de datos y corregir los errores encontrados Procesar los datos conforme van llegando Realizar análisis sencillos que den respuesta a las interrogantes de la evaluación

Tarea 1: Supervisar la recolección de datos
• •

• • • •

Reunirse de manera regular con las personas que están recolectando los datos: Revisar los procedimientos de recolección de datos que se han desarrollado y asegurar que todo mundo los siga Solicitar a quienes recolectan los datos que describan cómo va el proceso, tratando de identificar los aspectos que puedan tener un impacto en los datos que se están obteniendo, pero que no han sido identificados como problemas Escuchar a las y los encuestadores en lo referente a los retos que hayan encontrado y cualquier conocimiento nuevo o sugerencia que hayan desarrollado; Realizar juegos de roles para poner a prueba la manera de superar los problemas que dichas personas hayan encontrado Animar a las personas que recolectan los datos, y hacerles saber que están haciendo un buen trabajo según el caso Identificar las diferencias que ocurren entre los resultados obtenidos de las diferentes personas que aplican las encuestas, ya que dichas diferencias podrían tener un impacto en la calidad y/o la consistencia de los datos, y realizar los ajustes necesarios Revisar y depurar los datos conforme van llegando: Codificar los datos tan pronto como sean entregados Buscar errores de codificación, cotejando contra los formularios originales de recolección de datos, y también verificando que las respuestas codificadas estén dentro del rango esperado y que tengan sentido Revisar datos faltantes y tratar de encontrar la fuente y resolver cada problema. Verificar si hay más datos faltantes o en ciertos puntos más que en otros o entre ciertos subgrupos de personas entrevistadas/encuestadas o en los datos provistos por ciertos/as encuestadores/as Asegurar que existan notas de campo útiles y legibles, y discutirlas con las y los encuestadores en reuniones periódicas Todas las notas y datos cualitativos deben transcribirse de inmediato o Si las personas que aplican las encuestas/entrevistas toman notas (en lugar de grabar las entrevistas), deben completar sus notas inmediatamente. o Debe constatarse que se ponga comillas antes y después de las citas directas, y que se encierre entre corchetes o paréntesis los casos de paráfrasis, aun cuando sean muy parecidas a lo que se dijo. Estar alerta ante los hallazgos que pudieran sugerir la necesidad de hacer cambios en la forma de recolectar los datos, como serían o respuestas demasiado ambiguas o respuestas que no se refieren al tema que se trata de explorar o diferencias entre los sitios de recolección de datos, poblaciones o personas encuestadoras Analizar los datos cualitativos conforme se avanza. Proporcionar capacitación adicional o de refuerzo en caso necesario: Si hay problemas que surgen de manera persistente Tan pronto como se detecte el problema. No esperar a que se agudicen los problemas.

• • •

• •

• •

142

• • • •

Hacer los ajustes urgentes: Es mejor realizar cambios, que esperar a descubrir que los hallazgos son inútiles Considerar las implicaciones de dichos cambios, para el análisis y los hallazgos Registrar cuándo y cuáles cambios se realizan Informar sobre dichos cambios al presentar los hallazgos

Hoja de trabajo: Lista de verificación para supervisar la recolección de datos

Fecha: ¿Quién asistió a la reunión? ¿Qué número consecutivo tiene esta reunión? Verificar que: Problemas observados Correcciones/soluciones adoptadas Procedimiento Las personas que recolectaron los datos hayan expresado libremente sus observaciones, sugerencias e inquietudes constructivas Se halla codificado los datos oportunamente y sin errores Se halla examinado y tabulado los datos con regularidad Se halla examinado las implicaciones de las respuestas inesperadas Se halla realizado chequeos periódicos de confiabilidad Fecha

Tarea 2: Procesar los datos cuidadosamente Para evitar la introducción de errores y nuevos sesgos en los análisis, asegurar que los datos sean manejados cuidadosamente, desde el momento en que son recolectados hasta el momento del análisis. Los datos cualitativos y cuantitativos deberán manejarse en forma diferente. Un aspecto importante de procesar los datos es crear y aplicar códigos. Un código es una regla para convertir un ítem de información, por ejemplo, los datos que se recolectan, en otra forma. Por ejemplo, todas las mujeres pueden ser codificadas como “1” o todas las mujeres que atendieron todos los talleres pueden ser codificadas como “participantes intensivos.” Usted puede determinar los códigos y todos los miembros del equipo deben aplicarlos de la misma forma. Para los datos cualitativos: Asegurar que las y los encuestadores editen y completen sus notas inmediatamente en campo o lo más pronto posible después de la recolección de datos. Ello significa que necesitarán un lugar en donde registrar de manera oportuna las notas valiosas. Transcribir las grabaciones para contar con una versión escrita de lo que se dijo en la entrevista. Asegurar que las y los encuestadores tomen notas sobre aspectos no verbales de la entrevista, tales como: • gestos • silencios • cualquier sensación de incomodidad • expresiones faciales • forma de vestir, el entorno, etc. no Aun cuando una entrevista haya sido transcrita en su totalidad, puede haber situaciones en las que lo dicho tenga sentido o su real significado no pueda apreciarse sin los aspectos no verbales.

143

Empezar a desarrollar un enfoque al análisis de datos para asegurar que se recolectan los datos que se necesitan. Para mayor información acerca de los enfoques básicos del análisis cualitativo. Para datos cuantitativos:
• •

Revisar en campo, los formularios de recolección de datos Asegurar que estén completos y sean legibles Hacer lo anterior cuando la o el entrevistador aún pueda regresar a la fuente de datos para completar o corregir lo necesario (sin violar los acuerdos de confidencialidad/anonimato). Asegurar que los datos faltantes sean codificados en forma separada Codificar los datos faltantes como “9” ó “99” Codificar los datos no aplicables como “8” u “88” A pesar de los mejores esfuerzos, siempre habrá algunos datos faltantes.

• •

Habrá que tener cuidado en no confundir los números anteriores con “datos reales”. Hay que separarlos antes de hacer cualquier cálculo. Y siempre debe reportarse el porcentaje de datos faltantes para cada indicador.
• •

Asegurar que las reglas para codificar los datos sean muy claras Verificar que cada persona que recopila datos las conozca bien Si surgen preguntas respecto a la codificación durante el proceso de recolección de datos, asegurar que todas las decisiones sean registradas, fechadas y conocidas por las personas que recolectan los datos.

Crear una hoja de trabajo para tabular los datos a mano (a menos que se utilice un programa de computadora) • Crear una hoja de trabajo usando un programa como Excel o Lotus • Asegurar que cada una de las celdas tenga un número, de tal forma que se pueda ver si algo hace falta. Tarea 3: Usar estadísticas descriptivas para resumir las respuestas de los grupos y para realizar comparaciones que den respuesta a las interrogantes de la evaluación
• • •

Ahora se utilizará técnicas analíticas sencillas para: describir los grupos principales sobre los que se ha recolectado datos realizar las comparaciones básicas que se había planeado explorar las diferencias al interior de los grupos estudiados

Describir los hallazgos para cada grupo. Llevar el conteo de cuántas personas dieron cada tipo de respuesta (por ejemplo, usaron o no usaron condón en la última relación sexual) en cada categoría significativa (por ejemplo, hombres antes y después de participar en el programa, mujeres expuestas al programa y las que no lo estuvieron), haciendo esto a mano o utilizando una función del programa de hoja de cálculo. Ello deberá hacerse para los datos tanto cualitativos como cuantitativos. • Puede utilizarse un formulario de recolección de datos en blanco para registrar el número de respuestas recibidas de cada tipo • Aun en este punto, verificar los aspectos que no tengan sentido y que podrían ser errores de codificación. Verificar también que los conteos sean consistentes con otras respuestas. Ejemplo: Si 21 mujeres respondieron haber sido víctimas de violencia, se debe asegurar que también haya 21 mujeres que dieron respuestas a las preguntas sobre la violencia que habían experimentado. Si el número es diferente, puede ser necesario regresar a las entrevistas para revisar si algo fue codificado erróneamente o si se necesita codificar algunos casos como datos faltantes. • Agrupar los resultados según temas relacionados de manera lógica. o Observar cuidadosamente los datos recolectados de diferentes fuentes sobre un indicador en particular, a fin de ver de qué forma conducen o no a la misma conclusión o Revisar las respuestas recibidas sobre diferentes aspectos del mismo indicador, para ver si presentan lo mismo

144

Presentar los hallazgos en tablas o gráficas sencillas, mostrando conteos, frecuencias, promedios, medianas o porcentajes de respuesta por tema. Consejos: ¿Cuándo no debe usarse un porcentaje? Comparar los hallazgos entre los grupos para responder a las interrogantes de la evaluación.

Con los datos cuantitativos a lo mejor se utilizarán las estadísticas descriptivas básicas para demostrar las diferencias entre los grupos que se comparan para contestar los interrogantes de la evaluación. Con los datos cualitativos, también se puede utilizar las estadísticas descriptivas a través de convertir los datos en números. Por ejemplo, se puede contar el número de personas que obtuvieron cierto resultado en el programa. Sin embargo, especialmente si tiene datos cualitativos, debe comparar resultados entre grupos utilizando técnicas de análisis cualitativo. Usar datos intragrupales para hacer comparaciones adicionales que arrojen más luz sobre las comparaciones básicas ¿Existen subgrupos dentro de los grupos de comparación básicos, que respondan de manera diferente al programa? Para averiguar lo anterior, utilizar: • datos de monitoreo • información socio demográfica de las personas entrevistadas • los resultados inmediatos para comprender mejor los resultados intermedios, si se cuenta con hallazgos referentes a ambos tipos de resultados, tanto inmediatos como intermedios Observar si los resultados fueron mejores cuando la gente estuvo más expuesta al programa. Explorar si el programa fue más o menos eficaz en diferentes tipos de personas.

Tipo de información Monitoreo Socio demográfico

Ejemplos de comparaciones intragrupales
• • • • • • •

Baja exposición versus alta exposición al programa Asistencia o exposición a ciertas partes del programa y no a otras Personas con cierto historial de SDSR, como abortos previos, complicaciones del embarazo, infecciones de transmisión sexual etc. Grupos que difieren por niveles económicos, grupos étnicos, grado de marginación o de vulnerabilidad Personas que expresan creencias o actitudes más negativas versus positivas, o que tienen mayor/menor grado de conocimientos Alta presión de pares para ajustarse a los roles tradicionales de género, versus apoyo para roles equitativos no tradicionales Comunidades con mayor versus menor nivel de tolerancia a la violencia; normas más o menos restrictivas, etc.

Factores identificados en su Teoría de Cambio (Módulo 2) y en su entendimiento de los conceptos complejos sociales involucrados (Módulo 3) Resultados inmediatos

• •

Mayores o menores cambios de actitud o conocimientos al final del programa Personas que calificaron el programa positivamente, versus aquellas que lo calificaron negativamente

Las tabulaciones cruzadas serán un buen método para presentar los datos que comparan dos elementos diferentes, para ver cómo se relacionan, por ejemplo, cuántos hombres y mujeres con alto versus bajo nivel educativo difieren en términos del puntaje que obtienen al final de un taller.

Se recomienda que se discuta el análisis con las personas que recolectan los datos, personal del programa y otros actores interesados cercanos.
Es conveniente presentar los hallazgos preliminares antes de preparar los gráficos o transparencias finales. Utilizar formatos sencillos para presentarlos y discutirlos, primero con la gente más estrechamente involucrada con

145

la recolección de datos. Se puede escribir las estadísticas descriptivas relevantes directamente en un formulario de recolección de datos en blanco, a un lado de los elementos correspondientes. Las personas que recolectan los datos estarán familiarizadas con el formulario, el cual vincula claramente los hallazgos con los datos, y tiene un formato ya creado. En este punto, el propósito de la discusión es: Identificar los hallazgos que no coinciden con las observaciones de quienes tiene una relación más estrecha con los datos. Dichas discrepancias pueden estar señalando errores en la codificación o el análisis, o pueden ser hallazgos interesantes y valiosos en sí mismos. • Entender las comparaciones entre diferentes fuentes de datos para el mismo indicador. Cualquier discrepancia entre dichos datos debe ser examinada cuidadosamente para saber qué está sucediendo, antes de concluir que un tipo de fuente de datos es mejor que otro. En realidad, dichas discrepancias pueden conducir a un mayor conocimiento de los instrumentos, del programa o de la gente a la que se está llegando. • Determinar si es necesario realizar otros análisis para comprender los datos a fondo. ¿Las personas que recolectaron los datos o el personal plantea preguntas que se puede contestar mediante un mayor desglose de los datos? Ejemplo: Las personas que recolectaron los datos preguntan si hay diferencias en los hallazgos entre tres diferentes sitios clínicos, puesto que han oído que el director de uno de los sitios tiene actitudes muy negativas hacia el programa. Se decide comparar los hallazgos por clínica, para ver si el aspecto de liderazgo ha tenido algún impacto en la eficacia del programa.

El tiempo dedicado a tratar de comprender lo que dicen los datos es tiempo bien empleado. Conviene realizar los análisis adicionales que las discusiones sugieren son necesarios. Como ayuda para este proceso, diligenciar la

Hoja de trabajo: Lista de verificación de las prácticas positivas de análisis
Comentarios e inquietudes ¿Se ha previsto las comparaciones que se desea realizar en el plan de análisis? probado los análisis antes de recolectar los datos? depurado los datos para garantizar su precisión? corregido los valores inválidos cuando ha sido posible, o se han codificado como faltantes? asegurado que el análisis se adapte a los datos que se tiene? abordado cada una de las interrogantes de la evaluación? desglosado los datos para dar respuesta a las preguntas adicionales que tiene el Equipo, las personas que recolectaron los datos, el personal del programa y las actores interesados cercanas al mismo? entendido los datos tan a fondo como se requiere? Sí o No

¿Más allá de las estadísticas descriptivas? Si tiene los recursos para realizar un análisis estadístico más complejo, como las estadísticas inferenciales (lo cual requiere que se planea desde el principio respecto a la selección y el tamaño de la muestra y la construcción de la encuesta) debe consultarse con su experta en estadísticas.

146

Paso 3: Interpretar los hallazgos Ahora que se cuenta con los hallazgos derivados del análisis, se necesitará describir lo que significan. Esto será especialmente difícil si los hallazgos son diferentes a lo que se esperaba. Habrá que realizar ciertas acciones para interpretar los hallazgos, de tal forma que tengan sentido para: • los actores interesados • el público a influenciar • el programa ¡Recordar que los hallazgos no significan nada en sí mismos! Su significado proviene de la realidad del programa y de la vida de las personas involucradas. Tarea 1: Comprender los aspectos de los hallazgos que sean particularmente inesperados, tanto para la persona líder cómo para el resto del Equipo de MyE. Ellos pueden deberse a: • Factores independientes que interfirieron en que el programa tuviera los resultados deseados. Todos los programas de SDSR ocurren en el mundo real. Ello significa que otros aspectos que no tienen que ver con el programa, también pueden influenciar los resultados. Ejemplo: Un programa diseñado para ayudar a padres y madres de familia a que se expresen con sus hijos e hijas más abierta y positivamente acerca de la sexualidad, puede tener resultados menos positivos que los esperados, debido a que una nueva radio novela pudo haber infundido en los padres y las madres vergüenza y temor acerca de la sexualidad; o por el contrario, tuvo resultados positivos porque los grupos tanto del programa como de comparación estuvieron expuestos a un nuevo y bien informado programa de TV que les preparó y predispuso favorablemente a hablar del sexo con sus hijos e hijas. • Problemas con los datos recolectados. Las evaluaciones no son infalibles, por lo que puede concluirse que algún aspecto en la recolección de datos o el análisis condujo a resultados falsos. Si este fuera el caso, se necesitaría determinar qué fue lo que salió mal en la manera de recolectar los datos. Debe darse marcha atrás y verificar los formularios originales de la recolección de datos, discutir la situación real de la recolección de datos con las personas que la realizaron, y verificar si hubo errores en la codificación. Desde luego, si no se encuentra errores, se necesitará hacer frente al hecho de que los resultados fueron decepcionantes, y se deben utilizarlos para mejorar el programa. • Que es demasiado pronto para demostrar resultados. La evaluación y los hallazgos pueden ser prematuros. Quizá el programa ha estado operando solamente durante seis meses, y se espera encontrar cambios importantes que se verán tiempo después. Es necesario recordar que los programas de SDSR influyen en procesos sociales complejos que requieren tiempo para cambiar. Habrá que asegurar que se continúe con el monitoreo del programa y que se mida los resultados inmediatos que puedan conducir a los resultados intermedios que se espera encontrar. • Que no se haya especificado los resultados inmediatos correctamente y por lo tanto, no se perciba los cambios anticipados o deseados. • Factores que no se tomaron en cuenta en la planeación del programa. Si la teoría del cambio o la senda causal del programa fueron deficientes, pudieron existir brechas importantes que no se tomaron en cuenta, haciendo que el programa fuera menos eficaz que lo esperado. Si se pudo recolectar alguna información acerca de dichas brechas, identificadas en el Módulo 2, será posible explicar por qué los resultados no fueron tan buenos como lo esperado. Se debe trabajar con el personal del programa para identificar lo que hace falta y realizar los cambios necesarios. • La falta de eficacia del programa. Si se analiza los resultados a fondo, y estos no muestran algún beneficio derivado del programa, se deberá realizar cambios significativos al programa o dejar de ejecutarlo. La historia de la salud pública y del desarrollo está llena de ejemplos de programas que terminaron o fueron modificados justamente por esta razón. o Quizá el programa sea bueno pero constituye una intervención demasiado pequeña como para producir el resultado esperado. Por ejemplo, si se intenta combatir la homofobia, la producción de un sólo cartel o un conjunto de mensajes radiales quizá no sean suficientes para tener el efecto esperado, a pesar de que el programa esté cumpliendo con sus metas, y los productos sean atractivos y culturalmente re-

147

levantes. La evaluación también debe identificar cambios inmediatos e intermedios que puedan demostrar la eficacia del programa de manera gradual y parcial. Los resultados son demasiado buenos. Aunque resulte difícil hacer esto, si los resultados son mucho más positivos que lo esperado, debe resistirse la tentación natural de suponer que todos son debidos al programa. Hay que preguntarse si algo más sucedió que pudo haber influenciado los resultados. Es mejor ser cauteloso que demasiado confiado, a menos que el análisis aporte suficiente evidencia para indicar que los resultados son reales y que están directamente relacionados con el programa. Reunirse con los actores interesados clave Convocar pequeños grupos de discusión con las y los beneficiarios del programa. Preguntarles acerca de sus percepciones del programa y de las preguntas que se les plantearon acerca del mismo. Mostrarles los resultados encontrados y preguntarles si están de acuerdo o en desacuerdo, así como lo que significan los hallazgos. Ejemplo: El equipo de MyE ha decidido convocar a un grupo focal con algunas de las personas jóvenes que participaron en un programa de educación sexual. Los hallazgos muestran niveles de actividad sexual más altos después del programa. Se ha solicitado a las y los jóvenes que analicen los instrumentos de la encuesta y que indiquen si hubieran contestado en forma diferente antes y después del programa. La mayoría de jóvenes dijo que había mentido en la encuesta de línea base por temor a que la información fuera utilizada en su contra. En el cuestionario de evaluación posterior al programa, fueron más honestos/as, pues el propio programa había creado un mayor nivel de confianza. Ciertamente, esta información debe reportarse para que la gente no piense que el programa fue un fracaso cuando en realidad tuvo éxito en ayudar a la gente joven a sentirse más cómoda al hablar del sexo, ¡lo cual es una clave para tener una sexualidad más saludable a largo plazo! Es necesario reunirse con el personal que estuvo involucrado en el programa. Preguntarles lo que significan los hallazgos para ellos. Ejemplo: El personal de un programa de educación sexual puede haberse dado cuenta que originalmente la gente joven había tenido temor de revelar sus experiencias sexuales al principio del programa, pero que se abrió durante las discusiones participativas. El personal también puede haber observado que las y los jóvenes respondieron el cuestionario de línea base cuando todavía estaban en la escuela primaria, pero que contestaron el cuestionario de evaluación posterior al programa, cuando ya estaban en la secundaria, cuando el desarrollo y la exploración sexuales forman parte normal del proceso de desarrollo, y posiblemente cuando las relaciones sexuales son más aceptables o alentadas por los grupos de pares nuevos y mayores. También es necesario reunirse con otros actores interesados de la comunidad que conocen el programa y sus participantes para comprender lo que significan los hallazgos. Es posible que dichas partes puedan explicar de una manera más completa, el contexto de los resultados inesperados. Por ejemplo: Aunque se podría pensar que un programa de apoyo social para mujeres embarazadas de alto riesgo tuvo muy poco efecto en la frecuencia con la que las mujeres acudieron a una determinada clínica para la atención prenatal, los actores interesados pueden saber que las mujeres fueron a una clínica diferente que había abierto con precios muy bajos, por lo que las mujeres participantes en el programa habían acudido a mayor número de consultas que las del grupo sin intervención, aunque no a la clínica esperada.

Comparar los hallazgos con los que otros grupos han obtenido Revisar la literatura existente sobre programas similares o tratar de encontrar ejemplos de casos similares a los propios o buscar hallazgos ajenos que contrasten con los propios, de tal forma que se haga necesario explicar las diferencias. En dichos casos, analizar cuidadosamente las fuentes de los datos, los instrumentos utilizados, así como las diferencias en los programas y las poblaciones atendidas • Presentar los hallazgos a colegas en otras organizaciones que trabajan en áreas similares o ¿Dichas personas han observado el mismo tipo de hallazgos inesperados? ¿Qué interpretación dieron ellas a los hallazgos?

Tarea 2: Realizar análisis que puedan contribuir a saber si los hallazgos son el resultado del programa. Utilizar los datos de monitoreo para saber si hubo diferentes niveles de exposición entre los diferentes subgrupos, y cómo se relaciona ese hecho con los hallazgos. Ejemplo. Si los hallazgos de la evaluación mostraron que las niñas y los niños tenían un mayor conocimiento sobre el VIH, pero los datos de monitoreo muestran que muy pocas niñas asistieron al centro juvenil, no se podrá atribuir los hallazgos positivos al programa. En un grupo focal con jóvenes entrevistados/as durante la evaluación, podría encontrarse que al mismo tiempo que el programa analizado, se transmitió un nuevo programa de TV muy popular que incluyó un im-

148

portante componente educativo sobre el VIH, y que las niñas lo estuvieron sintonizando fiel y regularmente (puesto que eran retenidas en casa por sus padres/madres después de la escuela). Utilizar los datos de monitoreo para que revelen si ocurrieron otros factores que pudieron haber influenciado los resultados. Ejemplo. Al revisar los informes de campo, posiblemente se encuentre que las personas que recolectaron los datos observaron aumentos en la violencia doméstica entre las mujeres que asistían a las clases de alfabetización del programa, esto como un resultado negativo inmediato no planeado. Aunque el programa ya haya incorporado dichas observaciones, y haya tratado de resolver el problema, pudo haber sido demasiado pronto para que los nuevos cursos motivacionales con los esposos de las mujeres en cuestión, tuvieran un impacto positivo en los resultados finales o intermedios. Si los datos de monitoreo son insuficientes, habrá que complementarlos, convocando a una reunión con el personal del programa, para discutir las formas en que consideran que los resultados puedan o no relacionarse con las características del programa. Se necesitará hacer un esfuerzo para hacerles sentir cómodos al hablar de lo que no funciona del programa. Será mejor si se tiene preparado un conjunto de preguntas, con el fin de concentrarse en la explicación de los hallazgos. Ello mantendrá la discusión alejada de las críticas al trabajo del personal.

Resumen
A estas alturas, se debe haber: • Elaborado un plan de análisis de datos bien probado • Logrado un buen entendimiento de los tipos de análisis que se puede realizar con los datos recolectados • Comprendido la importancia de supervisar cuidadosamente la recolección de datos • Establecido una buena manera de procesar y tabular los datos • Realizado análisis simples para dar respuesta a las interrogantes de la evaluación • Consultado con las actores interesados, con el fin de interpretar o comprender a fondo los hallazgos • Aprendido aún más de lo que inicialmente se propuso aprender respecto al programa y la población atendida • Identificado interrogantes adicionales a las que se deseará responder en evaluaciones posteriores ¿Cómo se puede saber si una diferencia o cambio tiene significancia o representatividad estadística? Aun si el Equipo cuenta con un analista de datos experimentado, quien usará estadísticas inferenciales para valorar si es probable que los cambios o las diferencias observadas se deban al azar o a otro factor, se necesitará determinar si los cambios o las diferencias son lo suficientemente grandes para tener significancia o representatividad. En proyectos pequeños de bajo presupuesto, es muy probable que no se pueda usar el tipo de análisis que permita calcular la significancia estadística. Por tanto, ¿cómo se puede saber si los resultados son representativos? • Antes de recolectar los datos o realizar los análisis, determinar lo que se consideraría significativo; realizar una lluvia de ideas con el Equipo antes de recolectarlos datos, para determinar qué magnitud de cambio o diferencia sería satisfactoria o notable; así como qué cambios son demasiado pequeños para tomar en cuenta • Conviene consultar la bibliografía acerca de otros programas similares, con el fin de saber qué tipo de cambios pudieron lograr y qué podría esperarse demostrar del programa en cuestión; conviene saber qué es típico y qué es posible, para poder comparar los resultados del programa con dichos estándares.

Consideraciones de la justicia social basada en los derechos para el análisis tanto cuantitativo como cualitativo Enfoque basado en derechos: • algunos subgrupos pueden obtener mayores o menores beneficios del programa; ej., clientes que eligen sus métodos anticonceptivos versus clientes que aceptan los métodos sugeridos por la o el proveedor de servicios; personas que consideran que el programa no fue respetuoso de sus derechos versus

149

quienes consideran que sí lo fue; personas que expresaron altos niveles de violación de sus derechos versus quienes expresaron bajos niveles el requisito de la confidencialidad puede limitar el grado en que se pueda realizar comparaciones caso por caso, puesto que posiblemente estos no sean identificables si no se utilizó un identificador único para cada uno; es importante asegurar que los grupos a comparar no difieran mucho en las pruebas pre- y post-programa, esto con el fin de poder usar ese tipo de comparación que no se ha cotejado. las percepciones respecto a la calidad de atención pueden variar de manera significativa entre los diferentes subgrupos de clientes y proveedores, por lo que posiblemente se tenga que separar dichos grupos

Igualdad y equidad de género y empoderamiento de las mujeres: • es necesario separar subgrupos de mujeres que difieren en términos de poder y posición, ej. casadas versus viviendo en unión versus solteras versus viudas versus divorciadas • es preciso separar el análisis de las mujeres entrevistadas/encuestas, de los hombres entrevistados/encuestados • comparar las respuestas de mujeres/niñas con las de hombres/niños a preguntas similares Promoción de una sexualidad sana a lo largo del ciclo vital: • comparar las respuestas de las niñas/mujeres con las de los niños/hombres, de ser posible, en parejas vinculadas, pero de no ser así, por medio de los datos grupales; asimismo, comparar respuestas de padres/madres de familia en relación con las de sus hijos/hijas • es importante considerar las mediciones compuestas de resultados adecuados, i.e., el retrasar la iniciación sexual además del uso de anticonceptivos en las relaciones sexuales consensuales, constituyen resultados positivos Participación de mujeres, comunidades y ONGs: • comparar los resultados de programas que cuentan con consejos comunitarios de asesores con un buen desempeño, contra los resultados de aquellos que no funcionan bien • si el objetivo general o el resultado intermedio es la participación, habrá que comparar programas que tienen mecanismos para impulsar la participación activa de poblaciones prioritarias, con aquellos que no los tienen • ¿las mujeres y los y las jóvenes participan activamente? ¿Consideran estos grupos que se les toma en cuenta? Atención a poblaciones marginadas y vulnerables: • comparar los datos de sub-poblaciones que difieren en términos de marginación o vulnerabilidad • valorar el grado en que las poblaciones marginadas y/o vulnerables pudieron haber tenido diferentes percepciones y niveles de aceptación respecto al programa • comparar el efecto diferenciado que tuvo el programa en grupos que varían en términos de marginación y vulnerabilidad, así como entre grupos que difieren en el grado en que se sintieron integrados en, o atendidos por el programa ¿Cuándo no debe usarse un porcentaje? Los porcentajes se calculan dividiendo el numerado entre el denominador y multiplicando el resultado por 100. En el sentido más estricto del término, el porcentaje significa cuántas veces sucedió algo en 100 oportunidades. Los porcentajes frecuentemente se calculan con denominadores menores de 100, pero pueden ser engañosos si el denominador es muy pequeño. Si la muestra es pequeña, digamos menos de 20, debe reportarse los hallazgos como el número de veces que se obtuvo una respuesta, respecto al número total de casos analizados. Por ejemplo, 3 de 5 casos mostraron X resultado, en lugar de decir que el 60% lo hizo, esto debido a que cada caso tiene una engañosamente gran influencia en el porcentaje, cuando el denominador es pequeño. ¿Cuándo se puede usar estadísticas inferenciales? El siguiente nivel de análisis después de las estadísticas descriptivas, es el de las estadísticas inferenciales. Este es el tipo de análisis que permite llegar a conclusiones acerca de la población general más amplia. Sin embargo, para poder utilizar este tipo de análisis, es preciso:

150

• • • • •

tener una muestra adecuada, algo planeado desde el principio contar con el apoyo de personas expertas tener acceso a programas de cómputo que ayuden a realizar los cálculos contar con una cantidad de datos suficientemente grande (normalmente al menos 200 casos) tener indicadores numéricos de intervalo sin sesgos

¿Cuándo usar la media, la mediana o la moda? Estas son formas de destacar la respuesta típica en datos a nivel de intervalo. El uso de la media o el promedio (calculándose al sumar todas las respuestas y dividiendo este resultado entre el número de elementos), puede llevar a malinterpretar los datos, si estos se inclinan hacia uno lado u otro, i.e. si están “desviados” estadísticamente. Por ejemplo, si se pregunta a un grupo de personas cuántas parejas sexuales tienen o han tenido, normalmente responderán con un número relativamente reducido, como 1 ó un número entre 5 y 10. Solamente unas cuantas personas responderán con números mayores, como 50 ó más. En este caso, la distribución de las respuestas está desviada (o tiende hacia) los números bajos. Si se reporta el promedio y se tiene una persona que reportó un alto número de parejas, el promedio no será típico. En estos casos, sería mejor reportar la mediana (que es el valor en medio de un juego de datos, con la mitad de los valores por arriba, y la mitad abajo). La mediana proporciona el valor típico aun cuando el grupo de datos esté desviado hacia un lado u otro. Cuando los datos no estén desviados (cuando están distribuidos normalmente) la media y la mediana serán esencialmente el mismo número. También puede utilizar la moda – los valores más comunes en un juego de datos. Esto puede ser útil, por ejemplo si hay una encuesta que mide el aumento de conocimiento después de una capacitación y se quiere saber el puntaje más común de los participantes. Estadísticas descriptivas para el análisis de indicadores numéricos Se utiliza estadísticas descriptivas para explicar las características generales de un conjunto de datos. Se puede utilizar dichos métodos con cualquiera de los indicadores numéricos que se tenga, en cualquier etapa del monitoreo y la evaluación. Las estadísticas descriptivas incluyen: • frecuencias • porcentajes • conteos • promedios (medias y medianas).

Una frecuencia representa el número de ocurrencias u observaciones de una variable. Por ejemplo, si la variable en cuestión es ‘la persona que responde tiene un hijo/una hija’, y se ha encontrado que de las 135 adolescentes entrevistadas que dieron respuestas válidas, 52 tienen un hijo/una hija, se está estableciendo una frecuencia. Cuando las frecuencias relacionadas con un sólo elemento se presentan en una lista, se le llama distribución de frecuencias. Por ejemplo, si se encontró que de esas 135 adolescentes, 65 no tenían hijos/hijas, 52 tenían un hijo/una hija, 14 tenían dos hijos/hijas y 4 tenían 3 hijos/hijas, se podría presentar la distribución de frecuencias de estas estadísticas como se muestra a continuación. Formas de análisis cualitativo Categorías predeterminadas – si se ha determinado de antemano lo que se desea saber, se puede revisar los datos y codificarlos, utilizando categorías referentes a la presencia o ausencia de ciertos eventos, hallazgos, percepciones, etc. Normalmente, se reportan dichas categorías en términos de la frecuencia con la que las personas o los documentos expresan una cierta actitud, percepción, etc., o utilizan ciertas palabras o frases. Esta es la forma más básica y realista de análisis para la mayoría de las personas sin una amplia experiencia en el análisis de datos cualitativos. Temática interpretativa – una forma de realizar el análisis es leyendo y releyendo documentos o transcripciones de entrevistas, con el fin de identificar temáticas que aparecen como relevantes para el programa. Dichas temáticas provienen de los datos y no están predeterminadas antes de leer los datos. Muchas veces, las temáti-

151

cas son útiles para explorar nuevas áreas y revelar obstáculos o problemas que quizá no eran evidentes de antemano para quienes planificaron el programa. Citas o testimoniales – constituyen la manera en la que se puede informar sobre los datos en sí. Las citas directas provenientes de entrevistas son utilizadas para sustentar algún punto que se plantea respecto a la forma en que las personas entrevistadas perciben la situación. Las citas o testimoniales deben escribirse entre comillas para distinguirlas de la paráfrasis; i.e. cuando alguien condensa la comunicación de otra persona, usando sus propias palabras, esto sin utilizar comillas. Tipologías o tipos ideales –después de revisar todos los datos, quizá convenga informar que hay uno o más “tipos” de personas o experiencias relevantes para el programa. Por ejemplo, puede encontrarse que cuando las mujeres jóvenes tienen una hermana de mayor edad con la que mantienen una relación estrecha, las primeras experimentan su sexualidad de una manera más positiva, se sienten más felices y tienen mayor poder de decisión en sus relaciones de pareja. Los tipos ideales se generan a partir de los datos; uno no sabe de antemano que existen. Taxonomía o diagrama de significados – una forma de presentar los datos sería con un diagrama de la manera en que las personas entrevistadas vinculan diferentes palabras y significados relacionados con el programa; ello aporta importantes conocimientos sobre cómo las personas realmente entienden los conceptos clave. La manera en que las personas entienden conceptos como la equidad de género, la salud reproductiva y la sexualidad sana, puede cambiar a lo largo del programa, por lo que este tipo de diagrama podría revelar efectos importantes. Pasos a realizar en el análisis de datos cualitativos
• • •

Existen múltiples formas de analizar los datos cualitativos, mismas que varían en términos de: La habilidad requerida de la persona que analiza los datos El tiempo necesario para el análisis La profundidad y riqueza con la que se quiere comprender los significados que las personas asignan a los temas discutidos

Para desarrollar las categorías analíticas: Si se cuenta con personas altamente preparadas en el análisis de datos cualitativos, se podría hacer lo siguiente: • Primero leer cada trascripción completa sin escribir nada, simplemente como si se leyera una novela. El propósito es lograr una comprensión general de los significados expresados, y comenzar a identificar temáticas que puedan surgir • Enseguida, leer de nuevo y empezar a escribir códigos descriptivos, entendiéndose estos como palabras que describen la esencia de lo que alguien ha dicho, a un lado de las citas o párrafos en la trascripción • Posteriormente, leer las transcripciones de nuevo, prestando particular atención a los códigos que se han generado, con lo que se empezará a crear las temáticas más amplias que conectan dichos códigos • Entonces se deberá leer de nuevo y codificar los datos con dichas temáticas más amplias • Enseguida se deberá discutir las temáticas con el Equipo y tratar de encontrar referencias a dichos temas en la bibliografía o en los hallazgos de programas similares. Con esto se podrá refinar los códigos. • Entonces se leerá las trascripciones, codificando cada mención de las temáticas identificadas • Finalmente se puede dividir las trascripciones en grupos de personas, documentos o eventos que difieren en características importantes relacionadas con el programa, esto con el fin de llevar a cabo el tipo de comparaciones contemplado en el plan de análisis Si el equipo tiene menos experiencia en el análisis cualitativo, se puede: • Analizar por separado, las respuestas obtenidas de diferentes grupos de preguntas • Utilizar códigos determinados con anterioridad, directamente impulsados por, y vinculados a las interrogantes específicas de la evaluación y los objetivos del programa; o bien, que hayan surgido de una primera lectura de las transcripciones y de la retroalimentación proveniente de las personas entrevistadoras, respecto a los principales hallazgos observados

152

Una vez que se haya llegado a un acuerdo sobre las categorías de análisis: • Leer las trascripciones y marcar las veces en que aparecen las categorías analíticas o las temáticas acordadas • Enseguida, será conveniente separar las trascripciones según las comparaciones que se ha planeado realizar; ej., las personas que asistieron al programa versus las que no lo hicieron; entrevistas previas al programa versus entrevistas posteriores al programa • También será conveniente revisar cómo pueden diferir los resultados dentro de cada grupo. ¿Existen diferencias en la manera en que respondieron ciertos tipos de personas? Por ejemplo, los hombres jóvenes que reconocieron haber golpeado a su pareja, ¿muestran mayores cambios después del programa, que los cambios ocurridos en los hombres jóvenes que reportaron no haber tenido conductas violentas? El decidir qué tipos de comparaciones internas habrá que realizar debe: o Haberse planeado con anterioridad o Derivarse de las discusiones con el personal del programa y otras actores interesados ¿Por qué analizar los datos cualitativos conforme se avanza? Una de las virtudes de los datos cualitativos es que permiten adquirir conocimientos sobre nuevos aspectos a explorar y nuevos significados que no se esperaban. Esta flexibilidad permite añadir elementos, revisar y reconsiderar lo que se desea preguntar, o qué eventos se desea observar. Por otra parte, se debe cuidar el punto de saturación; ello se refiere al punto en que se cuenta con abundantes datos para explicar las variaciones en los tipos de respuestas que se están obteniendo a las interrogantes o temáticas, y en que nuevos datos no añaden soporte adicional a los hallazgos obtenidos, ni a la identificación de nuevos hallazgos. Es posible llegar al punto de saturación en un cierto rango de respuestas a una pregunta, o en una temática, sin que ello ocurra en otras. Esto es aceptable: se necesita identificar los hallazgos más importantes para que sea precisamente en ellos donde se invierta los recursos para obtener el apoyo adecuado. ¿Qué hacer si no se cuenta con datos provenientes de una prueba piloto? Si definitivamente no hubo tiempo para realizar una prueba piloto de los instrumentos y del plan de recolección de datos, y/o la recolección de datos ya ha iniciado, se puede: • tomar una pequeña muestra de datos recolectados en una etapa temprana, y realizar un análisis inicial • hacer que un pequeño grupo de colegas y personas que recolectaron los datos, diligencien los instrumentos como si realmente fueran las personas entrevistadas o encuestadas. Utilizar estos datos para poner a prueba el plan de análisis Sugerencias para la tabulación manual de datos Crear una hoja de cálculo que tenga: Una fila para cada caso, i.e. persona, documento o evento Columnas para identificar el caso, la persona que recopiló los datos, la fecha, el sitio / ubicación de la recolección de datos y otra información esencial de identificación • Una columna para cada elemento del instrumento de recolección de datos • Si se compara el mismo caso a nivel de línea base, media y/o final, codificar los datos subsecuentes a la línea base, a mano derecha de los datos iniciales, en la misma fila. Idealmente, cada caso tendrá todos sus datos en una sola fila.
• •

Asimismo, asegurar que: haya un dato en cada celda. Por ejemplo, codificar datos deliberadamente como faltantes o no aplicables se verifique cada dato captado para asegurar que sea correcto. Buscar respuestas improbables como por ejemplo, un 3 respecto a la edad de la primera relación sexual voluntaria, la cual debía haber sido 23. Para hacer las correcciones, es necesario referirse a los instrumentos originales de recolección de datos • se registre todos los datos conforme vayan llegando – no debe esperarse hasta el final del proceso de recolección de datos
• • •

Tipo de análisis según el nivel de los indicadores numéricos Categórico o nominal – grupos de datos sin valores numéricos reales. No hay que confundir lo anterior con datos identificados por números, como 1 = casado/a, 2 = soltero/a, pues no son valores reales. En estos casos:

153

informar el porcentaje de personas que dio cada respuesta repetir lo anterior, pero separando por subgrupos de personas entrevistadas o encuestadas el denominador debe representar el número de personas con datos completos al mismo tiempo, reportar el # de casos con datos faltantes (Si el número de casos con datos faltantes es similar para todos los ítems, debe reportarse solamente una vez) Ordinal – grupos de datos con valores numéricos relativos, pero sin la misma distancia entre los diferentes valores, como sería 1 = alto, 2 = medio, 3 = bajo. En estos casos: o reportar la mediana o el valor medio (que sería el tipo de promedio a utilizar con este tipo de datos) Para calcular una mediana a mano – el valor que se encuentra en medio, al ordenar los datos de menor a mayor o calcular con base en el número de personas con datos válidos o también se puede presentar el porcentaje de respuestas en cada categoría o se puede fusionar algunas categorías similares, ej. totalmente de acuerdo y de acuerdo o para realizar comparaciones de una misma persona con base en el puntaje ordinal obtenido en dos momentos diferentes (como la línea base y la línea final), sólo se puede identificar la dirección del cambio, i.e., no hay cambio negativo, no hay cambio, cambio positivo; si se cuenta con suficientes datos, es posible desglosar los que iniciaron con valores altos o bajos, para ver si varía la cantidad o la dirección del cambio. Intervalo – una serie de números que tienen igual distancia o valor entre cada uno. Es necesario contar con este nivel de datos para poder calcular la significancia estadística. En estos casos: o usar frecuencia, porcentaje, tabulación cruzada o o o o

Calcular el promedio aritmético y la mediana para verificar que la distribución no está desviada (esto es, que se acumulan muchos casos con respuestas muy altas o muy bajas, lo cual puede crear una imagen engañosa cuando se representan los datos solamente con la media); si la media y la mediana son similares, se puede reportar la media aritmética o el promedio.

Actividades de la décima cuarta semana Individuales
1. Realice la lectura de la semana. 2. Actualice su diario de aprendizaje.

Grupales
1. Trabajando en grupo, elaboren las hojas de trabajo de la lectura. 2. Compartan su actividad anterior con el resto de la clase.

Autoevaluación
1. ¿Cómo se ha sentido con la lectura realizada? 2. ¿Qué sentimientos ha aprendido acerca del análisis de datos? 3. ¿Puede diferenciar entre datos e información? ¿cuáles son las principales diferencias?

154

DÉCIMA QUINTA SEMANA TEMA Comunicación y difusión de los resultados de una evaluación Objetivos de la semana
Al finalizar el estudio de la décima quinta semana las y los estudiantes…. • Reconocen la importancia de comunicar y difundir los resultados de una evaluación.

LECTURA
Los resultados (positivos o negativos) de todo el proceso de MyE deben ser difundidos entre diversos actores directa o indirectamente involucrados en el proyecto, para asegurar la implementación y continua retroalimentación de aprendizajes. La adecuada difusión de los resultados es fundamental para optimizar el valor agregado del MyE. No existe solo una forma para desarrollar una estrategia eficaz de comunicación, pero esta puede guiarse por alguna preguntas básicas: • • • ¿Quién es el público meta de los resultados del MyE? ¿Cuál es la información más pertinente y útil para compartir? ¿Cuál es la mejor manera para llegar al público meta?

Las estrategias y mensajes de comunicación, que van desde boletines informativos, reuniones de diálogo y talleres hasta la difusión en materiales impresos, dependerán del tipo de audiencia: • • • • • • Equipo responsable de la implementación Beneficiarios Donantes Donantes potenciales Individuos asociados a la organización Otras organizaciones

Utilizar los hallazgos Paso 1: Presentar los hallazgos al público interno
Fundamento Mediante la presentación de los hallazgos a las personas más cercanas al programa, se logra lo siguiente: • demostrar el compromiso que se tiene de informar a quienes han apoyado el proceso de evaluación • establecer un excelente “campo de pruebas” para experimentar con las presentaciones que se harán o enviarán posteriormente al público externo Tarea 1: Compartir los hallazgos con el personal de la organización: Incluir al personal de todas las áreas de la organización, aun aquellas personas que no hayan participado en la evaluación.

155

Las percepciones de todas estas personas son útiles y se les debe alentar a conocer lo provechoso que ha sido el proceso de evaluación hasta el momento; en el futuro, esas percepciones continuarán siendo de gran utilidad.

Realizar una reunión con el personal de toda la agencia o circular un boletín de noticias entre todas las áreas de la agencia, incluyendo un resumen de los hallazgos • Es importante presentar los hallazgos de tal forma que no sean percibidos como críticas a un departamento o grupo respecto a otro • Destacar los éxitos y logros • Señalar las limitaciones y fallas que indiquen las lecciones aprendidas y las acciones que se requieren en el futuro • Invitar a las personas a aportar y a entrar en la discusión, de tal forma que se asegure que realmente se les está tomando en cuenta Realizar reuniones individuales con el personal del programa, con el objeto de discutir a mayor profundidad los hallazgos con las personas directamente involucradas en los aspectos específicos del programa, mismos que el equipo ha estado evaluando. • Dichas sesiones de retroalimentación motivan al personal y le ayudan a tener un mayor aprecio por el gran trabajo que ha venido realizando Con demasiada frecuencia, se elabora los informes y se envía sólo a los donantes, y las personas que realmente realizaron el trabajo nunca los ven, ni se enteran de todo lo que han logrado. Tarea 2: Compartir los hallazgos con los actores interesados de la organización: Ya sea que los actores interesados hayan orientado el proceso y apoyado el programa desde un principio, o que su participación haya sido relativamente reciente, deben conocer los hallazgos antes que el público externo, esto por varias razones: • Es muy probable que los actores interesados estén comprometidos con, e interesados en los resultados del programa y por lo tanto, deseosos de conocerlos • El hacer una presentación minuciosa y solicitar retroalimentación y opiniones, hará más fuerte el compromiso de los actores interesados con el programa, y será más probable que continúen apoyándolo en el futuro • Si los hallazgos no son lo que se esperaba, pregunte a los actores interesados cuáles creen que fueron los factores que inhibieron el cambio deseado • Si se presenta una controversia potencial en torno a los resultados, los actores interesados a quienes se les informa oportunamente pueden apoyar y defender la causa del programa • Los actores interesados pueden contribuir a formular los argumentos, el plan de difusión (e incluso ayudar a difundirlo) y a reflexionar sobre los siguientes pasos a seguir • Los actores interesados pueden convertirse en voceras del programa • El Consenso de El Cairo desafía a todos los programas a que se hagan más responsables ante las comunidades en las que trabajan. El informar primero a los actores interesados constituye un componente importante del compromiso con la rendición de cuentas que asumen las organizaciones Tarea 3: Compartir los hallazgos con los donantes actuales: Independientemente de que algún donante realmente haya financiado o no el proceso de MyE, es esencial presentar los hallazgos a todos los donantes actuales. Tomando en cuenta que la retroalimentación a los donantes es una de las claves del éxito del programa, no debe dudarse en presentarles los hallazgos, aun si todavía no llega la fecha de presentar un informe formal sobre el donativo correspondiente. Recordar que los donantes actuales pueden ser los más entusiastas promotores del programa por haber invertido en ello. Si se está presentando un informe parcial o final, asegurar que se entregue oportunamente, de tal forma que los donantes puedan aprovecharlo. • ‘Oportunamente’ significa, en este caso, que el informe sea presentado en el plazo sugerido originalmente por los donantes, y antes de que tomen decisiones sobre las subvenciones para el próximo ciclo de financiamiento.

156

Usar el formato proporcionado por el donante. Sin embargo, si no se proporcionó formato alguno, es recomendable que el informe sea corto, idealmente de 10 a 15 páginas, incluyendo: • ¿qué es lo que se esperaba obtener del programa? • ¿qué se logró? incluyendo: o acuerdos de colaboración establecidos, fortalecidos o debilitados o retos enfrentados durante la ejecución y cómo se afrontaron o conclusiones basadas en los hallazgos o implicaciones y/o recomendaciones para: la agencia el tema que abordado el campo del trabajo o los siguientes pasos con base en los hallazgos, incluyendo cómo se puede ajustar el programa (Paso 2). El hacer un excelente trabajo de monitoreo y evaluación no garantiza que se logrará la continuidad del financiamiento. Los donantes cambian sus prioridades y también enfrentan cambios en la cantidad de fondos disponible. Sin embargo, el tener buenos datos de evaluación colocará a la agencia en una mejor posición para poder sustentar los argumentos de un apoyo continuo. Si se planea solicitar al donante que continúe o aumente el financiamiento, es necesario explicarle lo siguiente claramente: • Lo que se tiene pensado para la(s) siguiente(s) etapa(s) del proyecto • Por qué el apoyo de este donante ha tenido una importancia particular • Algunos donantes desearán continuar financiando el trabajo actual, pero otros probablemente se interesen en llevar el trabajo actual un paso más hacia adelante. o En este caso, convendrá conversar acerca de dónde caben las nuevas ideas del programa en el contexto del campo de trabajo en general; y cómo la agencia puede contribuir a dicho campo, al ampliar el enfoque actual, aplicando enfoques novedosos o promoviendo que el enfoque actual sea adoptado más ampliamente. • Debe pensarse en las razones por las que un donante estaría interesado en seguir impulsando los objetivos generales de la agencia, y en las razones que ésta tendría para seguir impulsando los del donante o Habrá que estar preparados para negociar con el donante, ya que éste puede plantear ideas nuevas que desea poner a prueba a través de la agencia, o puede proponer elementos programáticos que le gustaría que fueran incorporados. Por su parte, la agencia también puede tener ideas nuevas respaldadas con evidencia, con las que impresionará positivamente al donante. • Si los hallazgos son promisorios, puede ocurrir que se desee usarlos para convencer al donante de que contribuya fondos destinados a una evaluación más sólida y una posible multiplicación del programa. Debe recordarse que la relación entre la agencia y el donante es un acuerdo de colaboración; y que el donante también tiene necesidades de información que la agencia puede satisfacer, así como él satisface las necesidades de financiamiento de la agencia.

Paso 2: Mejorar el programa
Fundamento La función más importante de los hallazgos es mejorar el programa o desarrollar nuevos programas. Los hallazgos pueden:
• •

indicar si el programa está funcionando a toda su capacidad si se está logrando los resultados deseados

Un análisis minucioso de los hallazgos remitirá al diagnóstico de necesidades, a un proceso de autorreflexión organizacional y al mejoramiento del programa.

157

Tarea 1: Refléjese en los abordajes de la justicia social basada en los derechos y pregunte qué se aprendió en cuanto a cada uno respecto al programa ¿Qué se ha aprendido acerca de: • la protección y el cumplimiento de los derechos de las personas, así como los obstáculos que deben superarse • las maneras de satisfacer las necesidades de salud sexual y reproductiva de las personas, en sus propios términos y desde una perspectiva holística • las estrategias que funcionaron para modificar la dinámica de poder de género, y qué obstáculos todavía quedan por superar • los retos involucrados en promover un enfoque a la sexualidad sana con los grupos de edad con los que se trabaja, y la manera de vencer dichos retos • la importancia de la contribución de los grupos de mujeres y otros grupos de la comunidad, al contenido y la calidad del programa, las estrategias eficaces para trabajar con grupos marginados y/o vulnerables. ¿De qué forma influyó este trabajo en otras actividades que realiza la agencia y en los otros grupos con los que trabaja? Tarea 2: Planear cómo hacer modificaciones al programa: Es necesario que el Equipo de MyE y el de planeación del programa diligencien de manera conjunta la Hoja de trabajo para la mejora del programa, la cual servirá de guía para realizar el tipo de cambios que ayudará a que el programa sea aún más eficaz.

Hoja de Trabajo para la Mejora del Programa
Ciclo del programa Comprender el problema relacionado con el proyecto Interrogantes • ¿De qué manera alteran los hallazgos la comprensión que se tiene del problema? • ¿Hay algunos aspectos de los PPT a los que se deba dar más atención, como serían las normas de género, la sexualidad y los derechos humanos? • ¿Hay cambios que deben aplicarse a la Ruta Causal establecida?
• • •

Acciones Discutir estas nuevas formas de comprender el problema con los equipos de planificación del programa

Construir Causal Definir general el

una

Ruta

Completar una Ruta Causal nueva o modificada, con base en los hallazgos del MyE Elegir un nuevo objetivo general Modificar la forma en que el actual objetivo general está redactado Reafirmar el objetivo general

objetivo

¿El objetivo general sigue siendo el mismo? ¿Se le entiende de manera diferente? ¿Hay nuevos objetivos generales que hayan sido revelados por los hallazgos?

Definir el específico

objetivo

¿Hay algunos cambios en la forma en que se ha redactado los objetivos específicos, o respecto a cuáles objetivos deben ser abordados? ¿Hay factores que estén operando a otros niveles que interfieren con los logros?

Identificar nuevos resultados; o bien, modificar o reafirmar los que se espera alcanzar Redactar objetivos específicos que coincidan con cada resultado esperado Revisar todos los componentes de las actividades: • población atendida y alcanzada por el programa • contenido de las intervenciones,

Actividades

¿Cuáles son las implicaciones de los hallazgos y de la nueva forma de comprender el problema relacionado con la organización, para mantener o modificar las actividades del programa? ¿Se necesita aumentar, disminuir, cambiar o interrumpir algo de lo que el programa está

158

• • • •

Insumos

• •

MyE

• •

Apoyo de la agencia

• •

realizando? ¿Está dirigido el programa a la población apropiada? ¿Sus necesidades han sido satisfechas? ¿Debe el programa ampliar su alcance? ¿Debe el programa cambiar el contenido de su componente de capacitación o sus mensajes? ¿Debe el programa abordar temas a otros niveles? ¿Hubo sesgos en los insumos, que influenciaron los resultados y que requirieron cambios? ¿Necesita el programa ajustar su logística; ej. horario, lugares de ejecución, número y frecuencia de los eventos? ¿Qué nuevos recursos serán necesarios para llevar a cabo las modificaciones al programa? ¿Qué representan los resultados para el personal, en términos de fortalecimiento de capacidades y trabajo en equipo? ¿Qué se haría diferente en el proceso de MyE la próxima vez? ¿Qué lecciones se aprendieron acerca de la incorporación del MyE en programas en marcha o desde el inicio de los nuevos? ¿Necesita la organización reorganizarse para alcanzar mejor los objetivos del programa? ¿Existen tensiones debido a aspectos clave del programa, que necesitan ser resueltas?

formas de colaboración con otras organizaciones para complementar las actividades formas de ampliar las actividades o de dirigirlas más eficazmente a los grupos que más las necesitan

Retomar las necesidades de capacitación del personal

Revisar la manera en que se los recursos fueron asignados y gastados, corregir problemas y eliminar obstáculos Planear el MyE desde el inicio de todos los programas nuevos y modificados

Ir a ¿La agencia pone en práctica su discurso? Alentar la discusión interna sobre las maneras de superar los problemas detectados Incorporar los hallazgos a las herramientas de mercadeo dirigidas a los donantes, a los informes a donantes y a las nuevas propuestas

Nuevos donantes

¿Los hallazgos han abierto nuevas áreas que podrían interesar a los actuales donantes del programa y a otros nuevos? ¿De qué forma pueden sus hallazgos demostrar los éxitos del programa y las nuevas direcciones que deberá tomar?

Habrá que considerar cada una de las siguientes áreas:
• • • • • • • • • • •

Conocimientos nuevos que se hayan adquirido acerca de la comprensión del problema relacionado con la SDSR que aborda el programa y su teoría de cambio Modificaciones en la Senda causal del programa Revaloración del objetivo u objetivos generales del programa Revaloración de los cambios necesarios, i.e. resultados inmediatos e intermedios, antes de que el programa pueda alcanzar los resultados finales que busca Ajustes en las actividades y en la población atendida Decisiones estratégicas sobre la manera en que el programa o las modificaciones al mismo se ejecutan Diagnóstico de los insumos o entradas Implicaciones para las relaciones públicas Implicaciones para la agencia en su conjunto Implicaciones relacionadas con la búsqueda de nuevos donantes

Realizar reuniones de manera regular, con el fin de trabajar este proceso y establecer planes de acción específicos que tomen en cuenta todos los hallazgos y recomendaciones.

159

Si se trabajó con los actores interesados de la comunidad, habrá que informar a la comunidad sobre los cambios que se están implementando. Esto ayudará a fomentar: • la buena voluntad hacia la organización • las alianzas a largo plazo con la comunidad Tarea 3: Utilizar los hallazgos para diseñar un programa nuevo: Si la agencia ha decidido diseñar un programa nuevo que buscará los mismos objetivos generales u otros similares, los hallazgos del MyE serán insumos muy valiosos.
• • • •

Habrá que utilizarlo desde el principio, con el fin de: orientar la comprensión del problema relacionado con la SDSR y ayudar a crear una Senda causal completa diseñar nuevas actividades emprender cambios dentro de la agencia trabajar de manera más productiva con la comunidad

Planear el nuevo proceso de MyE desde el principio. Cuando el programa todavía esté en la etapa de planeación, habrá que seleccionar el Equipo de MyE para que trabaje con quienes planean el programa, y recorran juntos todos los PASOS desde el principio. Esta vez el proceso será más fácil, pero a la larga se cosechará aún mayores beneficios por haber iniciado desde el principio del ciclo del programa. Tarea 4: Utilizar los hallazgos para identificar nuevos donantes: Ya sea que el programa actual se modifique o no, o que se diseñe uno nuevo, probablemente se querrá identificar nuevos donantes que apoyen el trabajo de la agencia. Aunque los hallazgos del MyE no garanticen por sí mismos que se encontrará financiamientos nuevos, ellos proporcionan una base mucho más sólida desde la cual se podrá buscar apoyos nuevos. Buscar donantes que apoyan temas más amplios, como el empoderamiento de las mujeres, la promoción de la equidad de género, los derechos humanos, la justicia social, etc. Todos estos temas son pertinentes a la labor del programa, por lo que debe ser posible poner de relieve las conexiones que muestran cómo el trabajo que se propone encaja con lo que el donante desea lograr. Utilizar historias y testimoniales que involucren al donante en el tema del programa y/o le demuestren la importancia del trabajo que se está realizando. Mostrar la manera en que el programa encaja en el panorama más amplio de esfuerzos encaminados a alcanzar el objetivo final, mediante la descripción, en términos sencillos, de la lógica de la Senda causal. Explicar de manera concisa lo que el programa ha logrado en el pasado. Puede elaborarse una lista punteada de logros relevantes para entregar al donante. Justificar las direcciones futuras, al describir los hallazgos, las conclusiones y recomendaciones que demuestran la necesidad del enfoque propuesto. Describir la manera en que la agencia se ha beneficiado del proceso de MyE y del programa mismo, así como los cambios que ha implementado para evitar problemas, cerrar brechas y ejecutar los programas de una manera mejor. Destacar la disposición de modificar el trabajo con base en los datos: ello demuestra el compromiso con la búsqueda de un impacto real; así como con el propósito de aprender y crecer. Ofrecer al donante razones para confiar en que el programa tendrá éxito, y que los esfuerzos permanentes de MyE continuarán orientando el buen trabajo para hacerlo aun mejor.

160

Paso 3: Presentar los hallazgos al público externo
Fundamento ¡Usar los hallazgos para cambiar el mundo! Hay que compartir los hallazgos del MyE con diversos públicos externos, fuera de los donantes y actores interesados del propio programa, de tal forma que contribuyan al avance de la agenda del programa

Usar los hallazgos para abogar por el programa con el público clave a influenciar. Identificar las personas o los grupos que se desea influenciar, como serían funcionarios de gobierno y personas que formulan las políticas, la prensa, líderes comunitarios. ¿Hay algunos políticos que recientemente se hayan pronunciado de tal forma que sugiere que se interesan en el tipo de trabajo que realiza el programa? ¿Cómo se puede cultivar interés en el trabajo del programa, entre personas que se desea interesar y en las que se desea influir? • Acercarse a legisladores/as y otros/otras tomadores/as de decisiones públicas o Es conveniente informar a las figuras políticas relevantes antes de presentar el informe al público. Esto es especialmente importante si los hallazgos de la evaluación ponen en evidencia que habrá necesidad de cambios en las políticas o Quienes formulan las políticas o funcionarios de las agencias también pueden estar en condiciones de ofrecer una respuesta pública a los hallazgos de la evaluación. Por ejemplo, si la evaluación demuestra que el programa de prevención de VIH con niños de la calle, basado en pares comunitarios, es altamente eficaz pero carece de fondos suficientes, las agencias de servicios en la zona quizá deseen informar a la gente que planean aumentar el financiamiento para el proyecto en el siguiente ciclo presupuestal. • Acercarse a los medios y periodistas o Al informar a los medios, se les estará habilitando para que puedan defender el programa de una manera más completa o Es necesario proporcionar un “gancho” para que los y las periodistas vean la importancia de los hallazgos del programa. Un “gancho” es una historia, un evento actual, un tema bajo investigación, un tema que preocupa e interesa a la gente o Presentar los hallazgos de manera sencilla y clara; no perder el tiempo describiendo los detalles de la metodología de MyE. Hay que esforzarse por dar a las y los periodistas el rostro humano y el significado de los hallazgos o Presentar los hallazgos en eventos públicos como conferencias o ruedas de prensa, así como en conferencias académicas o políticas o Si se ha producido un informe o video acerca del programa, puede realizarse un evento público para presentarlo a los medios y a los y las políticas locales o Si el programa está abriendo una nueva oficina, o ampliándose a unas nuevas instalaciones, o si se está iniciando una nueva campaña, se puede presentar los hallazgos de la evaluación en el “lanzamiento” de ese nuevo trabajo o acontecimiento o Siempre debe proporcionarse los hallazgos clave por escrito, para que las y los periodistas pueden llevarse la información precisa o Si es posible y apropiado, tratar de incluir testimoniales e historias; haciendo que las y los beneficiarios presenten sus propias historias en cualquier evento público que se esté realizando • Vincularse con redes de abogacía que estén promoviendo los mismos temas que preocupan a la agencia, como la igualdad de género y los derechos en el área de la salud. Es posible que al colaborar con otros programas afines, se pueda construir un argumento más sólido, con base en los hallazgos conjuntos.

• • •

Usar los hallazgos para informar a la comunidad en general sobre el programa Incluir hallazgos y testimoniales clave en los materiales promocionales Realizar reuniones públicas en donde se presente el programa y se describa sus ventajas y resultados positivos Telefonear a los programas de radio y proporcionar información sobre los hallazgos y testimoniales

161

Usar los hallazgos para construir y fortalecer el movimiento de las ONGs La organización que conduce el programa no está sola, y sus hallazgos podrían ser de gran interés para otras organizaciones. • Compartir prácticas promisorias: Probablemente muchas otras organizaciones en la localidad, estado o país, estarán realizando un trabajo similar y estarán deseosas de aprovechar la experiencia de la organización que conduce el programa. Podría entonces realizarse seminarios o reuniones con la participación de las diferentes agencias, en las cuales los grupos podrían compartir sus hallazgos e identificar lecciones aprendidas en común; incluso cada agencia podría hacer referencia al trabajo de las otras en sus respectivos informes. El compartir las buenas prácticas ayuda a mejorar los programas en el campo de trabajo, al introducirlos a métodos y conocimientos que han sido refinados a través de la experiencia. Todo ello contribuye al ahorro de tiempo y recursos que pueden dedicarse a la innovación de nuevos enfoques e ideas. • Realizar un cambio en la atención que se presta a un tema: Las actividades de difusión aumentan la conciencia que se tiene sobre lo que los resultados dicen acerca de la comunidad o el grupo meta. Si los resultados revelan que, a pesar de sus intervenciones, las y los clientes en la clínica de planificación familiar todavía consideran que los y las proveedores de servicios de salud no son sensibles a sus necesidades, el llevar esta información al lugar y al nivel adecuados será crítico para presionar, con el fin de que dichos/as proveedores avancen en su sensibilización. • Fomentar las relaciones de colaboración entre las ONGs locales: El compartir información también crea un ambiente que estimula la resolución colectiva de problemas y el cambio sostenido a largo plazo. La difusión de actividades que arrojan luz sobre un tema importante puede ayudar a revitalizar o construir una nueva red o grupos comprometidos con la atención al problema en cuestión. Los grupos interesados, aun aquellos que nunca se habían involucrado en los temas compartidos, pueden ver la conexión con su propio trabajo, y se puede formar grupos nuevos que crucen las líneas tradicionales de colaboración. • Movilizar el apoyo comunitario para lograr intervenciones eficaces: Construir una base de partidarios para el trabajo, conformado por colegas, será muy útil si se llegara a aplicar presión a quienes formulan las políticas para que promuevan el cambio. Las organizaciones afines tienen sus propias bases de membresía que pueden ofrecer como red para diseminar lo que revelaron los resultados de la evaluación y cómo pueden estos ayudar a provocar el cambio que se desea ver. Usar los hallazgos para construir una base de conocimiento en torno a temas de las ONGs Con demasiada frecuencia los programas de las ONGS llevan a cabo procesos de MyE y piensan que el único uso de sus resultados es local. Asimismo, puede existir la preocupación de que los procesos de MyE no fueron lo suficientemente rigurosos como para ser presentados fuera del círculo local. Con al presente metodología, se invita a pensar en la posibilidad de llegar todavía más lejos y tratar de presentar los hallazgos del programa a nivel nacional e internacional. Para ello se recomienda lo siguiente: • Identificar espacios apropiados para la difusión, como son las conferencias profesionales/académicas, talleres y revistas que se enfocan a programas y a la evaluación de los mismos. • Invitar a colegas de las universidades locales o de otras agencias, que ayudaron con el proceso de MyE, para que participen en la presentación de los resultados en dichos espacios. • Vincular los hallazgos a temas críticos relacionados con la equidad de género, los derechos sexuales, el empoderamiento de las mujeres, los derechos humanos, etc., y tratar de presentarlos en sesiones donde se podrá llegar a acuerdos respecto a dichos temas. • Establecer contacto con otros programas similares y relacionar los resultados propios con esos programas. Quizá se pueda unir los resultados o presentarlos conjuntamente a manera de panel, sustentando de manera más sólida lo que el programa ha encontrado. • Concentrarse en los hallazgos más interesantes e ilustrarlos con historias y testimoniales. • Presentar con franqueza las limitaciones metodológicas del trabajo propio, pero también mostrar satisfacción con los hallazgos obtenidos. Todas las evaluaciones, aun las mejor sustentadas, tienen algunas limitaciones; y todos los hallazgos son útiles cuando se unen a otros hallazgos sobre temas y experiencias similares. • Proporcionar descripciones cuidadosas de la metodología, quizá en un escrito por separado, para que las y los colegas puedan revisarla en detalle.

162

Hoja de Trabajo: Las necesidades de información de su público

Miembro(s) potencial(es) del público

¿Quién(es) es/son? (Nombre(s))

Déles un número en orden de importancia (1,2,3, etc.)

¿Qué preguntas quieren contestar?

¿Qué tipo de información necesitan o prefieren? (¿Números? ¿Historias?)

Beneficiarios

Líderes comunitarios

1. Identifique quién necesita
enterarse de sus hallazgos.

2. ¿Cuán importantes son? El
Políticos número 1 corresponde al público principal de los hallazgos de su evaluación. Sea claro sobre qué quiere Ud. que se haga con los hallazgos. Dé prioridad a los miembros del público que son más importantes para su programa en este momento. Identifique las preguntas que tienen los miembros prioritarios. Identifique qué tipo de información sería más útil y convincente para ellos.

3.
Otros de la comunidad

4.
Financiador(es)

5.
Periodistas y líderes de opinión

6.

Miembros de su junta directiva

Personal de la organización fuera del programa evaluado

Otros

163

Actividades de la décima quinta semana
Individuales 1. Realice la lectura de la semana. 2. Determine ¿cuál es la importancia de comunicar los resultados de la evaluación? 3. Actualizar su diario de aprendizaje.

Grupales
1. Trabajando en grupo procedan a preparar la comunicación de los resultados de la evaluación.

Autoevaluación
1. ¿Para usted, cuál es la relación entre evaluación y aprendizaje? 2. Explíquese a usted mismo o misma, las principales características de una plan de comunicación de la información o resultados de la evaluación. 3. ¿Qué nuevas ideas aprendió de la lectura, acerca de la comunicación de la información? ¿es diferente a lo que ya sabía?

DÉCIMA SEXTA SEMANA TEMA Proceso y estilo de redacción Objetivos de la semana
Al finalizar el estudio de la décima sexta semana las y los estudiantes…. • Comprenderán la importancia del estilo de la redacción en la preparación de informes técnicos.

LECTURA
Sea breve y conciso y vaya directamente al grano El redactor o redactores del informe deberían actuar con juicio y moderación. No es necesario reportar cada hecho, ocurrencia y detalle menor. Deben ampliarse únicamente los datos realmente importantes, condensándose los menos importantes y reconociendo que algunos asuntos ni siquiera tienen que ser reportados. En un informe realmente bien elaborado, el lector debería poder comprender, en su primera lectura, los hallazgos y conclusiones principales, sin tener que referirse a los apéndices. Un equilibrio adecuado entre texto, cuadros y diagramas hace que el informe sea fácil de leer, y al mismo tiempo claro e informativo. También produce una economía considerable de espacio, ya que el texto sin cuadros y diagramas de apoyo tiende a volverse demasiado largo y verboso. Evite la repetición, ya que alarga innecesariamente el informe y aburre al lector. Use un lenguaje simple y claro Siempre que sea posible, use palabras sencillas en vez de palabras rebuscadas o altamente técnicas. Una dificultad común que debe superarse en un informe de M&E es la diversidad de antecedentes educativos entre los lectores meta. Evite un estilo pomposo. Las oraciones largas con un exceso de ideas tienden a confundir. Casi siempre es posible dividir largas oraciones complicadas en varias oraciones más cortas fáciles de comprender. Divida el texto en párrafos cortos que se centren en un solo aspecto o idea. Establezca lazos entre la secuencia de los temas de cada párrafo, utilizando cuidadosamente las primeras y últimas oraciones de los párrafos contiguos. La sensación de continuidad se incrementa si la primera oración del siguiente párrafo recoge el tema tratado en la oración anterior. Siga una secuencia lógica en la presentación Un orden claro, uniforme y lógico para tratar los temas resulta sumamente útil al lector por dos razones. Primero, una secuencia lógica es mucho más fácil de comprender y de seguir. Segundo, el lector serio tendrá que hacer referencia a secciones anteriores del informe a medida que lo estudie. La referencia a otras secciones se vuelve mucho más fácil si el informe tiene un orden uniforme y lógico. Para conveniencia en términos de las referencias cruzadas dentro del informe, debe incluirse algún sistema lógico de numeración y encabezados para las secciones, subsecciones, cuadros y diagramas. Evite afirmaciones y recomendaciones que no tengan un respaldo Todas las conclusiones deberían ser respaldadas por datos reales. Los lectores inteligentes no se dejarán convencer por afirmaciones emotivas y subjetivas. Las afirmaciones sin respaldo pueden llevar al lector a cuestionar la fiabilidad del autor/investigador, al punto de rechazar o descartar el informe en su totalidad. Vuelva a hacer referencia a los objetivos, reflexionando sobre la forma en que los resultados efectivamente obtenidos se relacionan con dichos objetivos. Recuerde que el hecho de incluir opiniones opuestas, en casos

165

donde tales opiniones efectivamente existen, puede contribuir a la comprensión los interrogantes involucrados. Sea pragmático y constructivo Un buen informe de evaluación será práctico en términos de su orientación, conclusiones y recomendaciones. De esta manera los lectores fácilmente pueden utilizar los resultados de la evaluación en su propia situación de trabajo. Otra justificación de adoptar el enfoque pragmático es que los informes de evaluación y monitoreo de proyectos no son principalmente documentos científicos; al contrario, son herramientas para generar mejoras en términos de estrategias y resultados de los proyectos. También es necesario que los informes sean discretos y constructivos en lugar de negativamente críticos. Si el autor no hace esto, entonces el informe no tendrá el equilibrio debido y hará que se pierda el interés y concentración de todos los lectores salvo los más resueltos y dedicados. En lugar de tener una lectura amplia, en el mejor de los casos el informe no se saldrá de un pequeño círculo de especialistas y éstos no siempre son las personas con la influencia o los recursos necesarios para ayudar a ejecutar las recomendaciones del informe. Haga que el producto final sea atractivo Haga que el informe sea grato de leer y esté bien diseñado. Comience con una portada atractiva; demuestre su orgullo por su trabajo duro y esfuércese por que el resultado final sea atractivo. Divida el texto con gráficas apropiadas. Algunos tipos de información, por ejemplo, las discusiones y las conclusiones, se transmiten mejor a través de palabras y texto. Otros se comprenden mejor cuando sin expresados visualmente en la forma de tablas, cuadros y diagramas. La información que se presenta de esta manera es fácil de comprender y propicia la reflexión. Los mapas son especialmente útiles en la presentación de datos tales como áreas de captación, densidad demográfica y/o sistemas agrícolas. Utilice citas directas y de primera mano desde diferentes perspectivas, por ejemplo, población meta, dirigentes comunitarios, proveedores de servicios, personal de planificación, etc. Las citas dan sabor y un sentido de realidad a un texto seco. En la medida de lo posible, las citas deben dejarse en las palabras y frases utilizadas por los sujetos. No sólo será más fácil de leer el informe sino que las personas provenientes de la comunidad meta también tendrán una mayor probabilidad de identificarse con el contenido y sentir que el informe realmente aborda de una manera genuina y útil sus problemas e inquietudes. Asegúrese de incluir un identificador mínimo con la cita, ya que esto puede ayudar a los lectores a identificar patrones sin violar la confidencialidad. La siguiente tabla incluye algunos lineamientos generales respecto al volumen de los documentos dirigidos a diferentes grupos de lectores previstos.

Apreciación general del informe final El informe final debería incluir una discusión de los datos cualitativos y cuantitativos recolectados durante el estudio, organizados y analizados con miras a proporcionar al proyecto información relacionada con lo si-

166

guiente: 1) la magnitud de los problemas actuales, y 2) los logros y limitaciones del proyecto existente respecto a los impactos proyectados sobre dichos problemas. Los hallazgos y las recomendaciones tendrán una mayor utilidad si se priorizan con el objeto de reforzar la planificación que puede servir para abordar los interrogantes más importantes. El informe final debería proporcionar información adecuada en la que puedan basarse decisiones técnicas y políticas orientadas a mejorar el proyecto, la que idealmente debería incluir un plan de acción para el año siguiente. Seguimiento Se recomiendan en particular dos áreas de seguimiento. a) Ejecución de estrategias y evaluación subsiguiente: Una vez que se han diseñado planes específicos y se han ejecutado estrategias en respuesta a los hallazgos, pueden seleccionarse indicadores o descriptores apropiados del estudio para propósitos de monitoreo. Estos podrían incluir indicadores de los resultados (por ejemplo, ¿efectivamente se iniciaron las revisiones propuestas del proyecto?) como también efectos (por ejemplo ¿cuáles fueron las percepciones y comportamientos de la población meta en respuesta a las actividades nuevas?). b) Análisis posteriores: Aunque los sistemas de información de proyectos han sido presentados como una estrategia de investigación relativamente rápida y con orientación a la acción, la abundancia de los datos que generan sugiere la conveniencia de considerar análisis adicionales o posteriores. Una aplicación de este tipo consiste en hacer que el conjunto de datos sea accesible para propósitos del análisis secundario por otros investigadores, por ejemplo, estudiantes de post-grado, personal de planificación de diferentes sectores, etc.

Una segunda aplicación implica hacer comparaciones entre los hallazgos del estudio y los de otros estudios de investigación. Finalmente, es probable que surjan del estudio numerosos temas potenciales para la investigación operativa que podrían priorizarse y convertirse en propuestas de financiamiento

Actividades de la décima sexta semana Individuales 1. Realice la lectura de la semana. 2. Actualizar su diario de aprendizaje. Grupales 1. Trabajando en grupo, elaboren un mapa conceptual de los aspectos a considerar en la redacción. Autoevaluación 1. ¿Qué relación puede establecer entre la lectura y sus conocimientos previos acerca de redacción de informes técnicos? 2. ¿Qué uso puede hacer con lo aprendido de la lectura, al momento de preparar el informe de la evaluación?

167

DECIMA SÉPTIMA SEMANA TEMA ESTRUCTURA PAR LA PRESENTACIÓN DEL INFORME DE UNA EVALUACIÓN Objetivos de la semana
Al finalizar el estudio de la décima séptima semana las y los estudiantes…. • Están en la capacidad de preparar el informe de la evaluación.

LECTURA
I. Resumen ejecutivo II. Introducción III. Antecedentes del Proyecto IV. Examen de los Objetivos y del Diseño del Proyecto A. Justificación B. Objetivos C. Diseño del Proyecto (pertinencia del proyecto) V. Examen de la Ejecución, Eficiencia y de la Gestión A. Presupuesto y Gastos del Proyecto B. Actividades y Productos C. Apoyo de los donantes D. Gestión del Proyecto (administración) E. Apoyo Técnico y Operacional VI. Evaluación de los Resultados y de la Eficacia 1. Efectos e Impacto 2. Sostenibilidad e Impacto de los Resultados alcanzados 3. Equidad y Consideraciones de Género en la Ejecución y en la A. Distribución de Beneficios 4. Análisis de la Relación de Costo-Eficacia 5. Principales Factores que han incidido los Resultados del Proyecto VII. Conclusiones y Recomendaciones A. Conclusiones B. Recomendaciones VIII. Lecciones Aprendidas I. Resumen Ejecutivo (Principales Conclusiones y Recomendaciones) Esta sección debe presentarse como un resumen ejecutivo, conteniendo una breve recapitulación de las principales conclusiones y las recomendaciones para acción inmediata. Los puntos a cubrir son: • Un resumen de los objetivos y de la estructura del proyecto y una breve descripción de las razones que justifican la evaluación. • Las principales conclusiones, incluyendo un examen crítico de los principales factores que han afectado positiva o negativamente la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del proyecto. Esto debe incluir el análisis de la concepción original y del diseño del proyecto (incluyendo los supuestos del marco lógico), de las condiciones que han afectado la ejecución del proyecto (limitaciones institucionales e infraestructurales, gestión del proyecto, limitaciones para movilizar los

168

recursos necesarios) y de los factores socioeconómicos y de política que inciden en la participación de los beneficiarios en el proyecto. Las recomendaciones para la orientación futura del proyecto y las acciones consecutivas a la evaluación a ser emprendidas por el ejecutor y donantes del proyecto.

Para asegurarse de que puede ser fácilmente leído por las personas concernidas, el resumen debe ser breve (no más de 2-3 páginas) haciendo las referencias necesarias al texto principal. II. Introducción Razones para organizar la evaluación (los términos de referencia deben anexarse al informe) y objetivos de la evaluación. Las personas entrevistadas, metodología utilizada y la documentación consultada por los miembros del comité de evaluación deben ser también, mencionados en un anexo. III. Antecedentes del Proyecto Breve descripción y razón de ser del proyecto, incluyendo los problemas y las limitaciones que deben enfrentarse, así como, el marco institucional Principales cambios acontecidos en dicho marco desde entonces; complementariedad con otros programas o proyectos en el país o región; fecha de iniciación, duración y costos del proyecto. IV. Examen de los Objetivos y Diseño del Proyecto A. Justificación Análisis crítico de la concepción del proyecto y de su incidencia económica y social, para satisfacer las necesidades población participante del proyecto, en el contexto de operación del proyecto. La relación costo-eficacia y la pertinencia de los enfoques escogidos en el diseño del proyecto. B. Objetivos A. Resumen de los objetivos del proyecto original y de las eventuales revisiones que se han presentado desde la aprobación del proyecto. B. Una revisión crítica de los objetivos, inmediatos y a largo plazo, buscando analizar la claridad en su formulación, la precisión, y la pertinencia de estos para: (a) orientar la(s) acción(es) de desarrollo; (b) satisfacer las necesidades por las cuales se concibió el proyecto; y, (c) validez de los supuestos de base críticos al alcance de los objetivos. Cuando los objetivos, especialmente los inmediatos, no están claramente especificados, la misión debe proceder a una interpretación de lo que el proyecto supone alcanzar hacer. C. Diseño del Proyecto 1. Claridad y pertinencia en la identificación de los beneficiarios inmediatos y finales del proyecto, incluyendo el examen de sus necesidades específicas y la definición de los mecanismos a través de los que se espera alcanzar a dichos beneficiarios. 2. Evaluación de la lógica global del proyecto, es decir, si la relación entre insumos, actividades, productos y objetivos es apropiada; y, si el diseño del proyecto representa una alternativa viable (costo-efectiva) para responder a los problemas identificados. 3. Claridad y precisión en la descripción de los productos; acierto en la especificación de los insumos y en su vinculación con la realización de los objetivos inmediatos. 4. Claridad y precisión en la descripción de las actividades previstas; realismo del plan de trabajo (calendario y duración de las principales actividades del proyecto); adecuación de los insumos para el proyecto que deben ser suministrados por el donante y por el Gobierno beneficiario; realismo en los plazos identificados para el proyecto. 5. Claridad y validez de la estructura interna para la gestión del proyecto. 6. Principales supuestos, explícitos o implícitos en el diseño del proyecto. Examen de la Ejecución, Eficiencia y de la Gestión A. Presupuesto y Gastos del Proyecto

169

Evaluación de la tasa de realización del presupuesto y la calidad de los insumos (tanto aquellos financiados por el donante como por la contribución del Gobierno) en relación a lo previsto en el documento del proyecto. B. Actividades y Productos Análisis comparativo y sistemático de la cantidad, calidad y pertinencia de las actividades y productos realizados en relación con lo previsto en el documento del proyecto original y los planes de trabajo elaborados durante la ejecución: identificación de las carencias y retrasos en la ejecución de las actividades y en la obtención de los productos previstos y análisis de sus causas, incluyendo aquellos factores que están fuera del productos previstos y las acciones ulteriores; medidas correctivas contempladas o tomadas. C. Apoyo de los donantes Apoyo directo de los donantes y su nivel de participación en las operaciones del proyecto; labor y eficacia de los distintos entes de apoyo. D. Gestión del Proyecto Eficiencia y eficacia de la dirección del proyecto; lazos de colaboración establecidos con otras instituciones; pasos realizados para transferir la plena responsabilidad de gestión del proyecto a la población. E. Apoyo Técnico y Operacional Magnitud y calidad del apoyo técnico y operacional/administrativo recibido por el proyecto; efectividad del papel desempeñado durante la ejecución por el donante y la institución encargada de la ejecución del proyecto. VI. Evaluación de los Resultados y de la Eficacia A. Efectos e Impacto Utilización dada por los grupos-meta de los productos generados y progresos realizados hacia la obtención de los objetivos previstos. Examen de los efectos reales y previsibles deben ser identificados y comparados con los objetivos inmediatos previstos. Los efectos no previstos también deberán ser analizados. Nivel al que los efectos del proyecto contribuirán a la realización del objetivo general; significado de dicha contribución (cambio evolutivo); perspectivas para decisiones de política apropiadas y para movilización de recursos adicionales (internos y externos). B. Sostenibilidad e Impacto de los Resultados en el Medio Ambiente Probabilidad que los beneficiarios continúen utilizando los resultados del proyecto: receptividad a su uso y adaptación de los productos para otras actividades de desarrollo; cimiento de las capacidades adquiridas a nivel local e institucional. C. Equidad y Consideraciones de Genero en la Ejecución y en la Distribución de Beneficios Análisis de las medidas que apuntan a incorporar orientaciones relativas al género de los beneficiarios; examen de la determinación, pertinencia y efectividad de estas en la reducción de los factores limitantes. D. Análisis de la Relación de Costo-Eficacia Análisis de la efectividad del proyecto en alcanzar los objetivos establecidos (en su diseño y ejecución) dentro del límite de los recursos disponibles. O sea, sería posible lograr los mismos objetivos, a través de otro tipo de diseño de proyecto y con el mismo nivel de recursos? En esta sección se debe verificar si se han analizado medidas u métodos alternativos para el logro de los objetivos. E. Principales Factores que han incidido en los Resultados del Proyectos Análisis resumido de los principales factores y condiciones que han incidido positiva o negativamente en la eficiencia y eficacia del proyecto; estos pueden provenir del diseño, del proceso de ejecución o de cambios externos fuera del control del proyecto. El análisis debería constituir la principal fuente para extraer lecciones y recomendaciones para el futuro.

170

VII. Conclusiones y Recomendaciones A. Conclusiones Esta sección debe presentar una síntesis sucinta de las principales conclusiones ya examinadas en las secciones precedentes del informe y deberá exponer conclusiones sobre: la pertinencia, eficiencia, eficacia, impacto y sostenibilidad del proyecto en la realización y logro de los objetivos previstos. Las conclusiones deben proponer una base muy clara para la sustentación de las recomendaciones a continuación. B. Recomendaciones Las recomendaciones deben estar claramente dirigidas a cada una de las partes concernidas, es decir, al donante, a la institución ejecutante, beneficiarios y potenciales donantes. En la medida de lo posible, las recomendaciones deben ser realistas, precisas y prácticas. Las recomendaciones sobre las actividades que en curso y aquellas que cubren las actividades la continuación una vez finalizado el proyecto deben ser presentadas por separado. • Una evaluación de medio-camino normalmente debería incluir un plan de trabajo (a ser incluido como anexo) y un resumen de los principales cambios necesarios en los insumos y productos ya programados, y si es necesario, en los objetivos. • Si, en una evaluación final, se recomienda una fase ulterior se deberían incluir: los objetivos, las principales actividades y productos, así como la estimación de los insumos requeridos. Las recomendaciones técnicas detalladas para el proyecto son bien venidas en el informe de evaluación, pero se deberán consignar en uno de los Anexos. VIII. Lecciones Aprendidas Las lecciones que se pueden deducir de esta experiencia (ya sea, normativas, metodológicas o de procedimiento) a nivel de la formulación o ejecución de proyectos similares deben ser presentadas en esta sección, incluyendo consideraciones criticas con implicaciones más universales que necesitan particular atención en proyectos similares. Actividades de la décima séptima semana Individuales 1. Realice la lectura de la semana. 2. Prepare una carta para su docente, haciendo una síntesis de la lectura, con una extensión no mayor de una página. Grupales 1. En grupo preparen el informe de su evaluación. Autoevaluación 1. ¿Está usted de acuerdo con los criterios enumerados por la lectura para la presentación del informe de la evaluación? 2. ¿Con cuáles criterios no está de acuerdo y por qué? 3. ¿Considera que existen otros criterios no enumerados por la lectura que deben ser tomados en cuenta, cuáles?

171

DÉCIMA OCTAVA SEMANA TEMA La ética en el monitoreo y evaluación Objetivos de la semana
Al finalizar el estudio de la décima octava semana las y los estudiantes…. • Comprenderán la importancia de la ética en una evaluación.

LECTURA
Paso 1 Reconocer Nuestras Responsabilidades
Los asuntos éticos surgen con frecuencia en el curso del trabajo de M&E. A continuación algunos ejemplos de estas situaciones: • • Se le solicita que lleve a cabo una actividad de M&E que no responde a las necesidades de información del proyecto o el contexto cultural local. Luego que se ha publicado su informe de evaluación, usted se entera que se ha retirado la sección sobre limitaciones y debilidades, implicando por tanto que sus hallazgos son en términos generales aplicables. Las comunidades locales están mostrando cansancio frente a las encuestas, esto sucede especialmente entre los grupos de control que no participan en el proyecto o reciben servicios.

Cada uno de estos dilemas plantea campanas de alarma sobre aspectos éticos. Este tipo de dilemas surgen con frecuencia en el trabajo de M&E y, por lo tanto, es importante que los gerentes de programa se familiaricen con aquellos principios éticos rectores clave. El personal del programa es responsable de incorporar y dar respuesta a los asuntos éticos en la medida de sus capacidades. Clarificar los roles y responsabilidades ayuda a asegurar que realicen su trabajo de forma sistemática y competente, con integridad, honestidad y respeto por las personas, los valores locales, y las normas culturales. El objetivo es promover la honestidad, la justicia y el desarrollo para mejorar la calidad de vida de aquellos a quienes servimos. Al trabajar en un entorno complejo e interconectado, es imposible predecir con certeza los resultados e impactos de las intervenciones de los proyectos. Por ello, los hallazgos de M&E deberían brindar insumos suficientes que permitan que las decisiones programáticas en contextos cambiantes se tomen fundamentadas en información, para evitar posibles efectos nocivos, resultantes de esas intervenciones. Cuando surgen estos asuntos éticos, el personal del programa y los actores involucrados necesitan reconocerlos y discutirlos con las partes interesadas para llegar a una solución. Los gerentes de programas y especialistas de M&E deberían desarrollar una fuerte relación de trabajo con el personal de proyectos, para discutir abierta y honestamente los asuntos éticos de M&E. En algunos casos, puede ser conveniente involucrar a los miembros de la comunidad en la solución de los problemas éticos. Los residentes locales a menudo pueden proporcionar información valiosa para llegar a una solución que sea culturalmente apropiada. AEA (American Evaluation Association) desarrolló una serie de principios éticos para guiar a los profesionales de M&E (vea AEA 2004). Estos principios están destinados a fomentar el debate entre los profesionales de M&E y pueden guiar de manera activa el diseño e implementación del M&E, y no sólo concentrarse en el apoyo de esfuerzos orientados a la solución de problemas. Los principios de AEA no deben constituir un limitante, dado que AEA reconoce que todos los principios no pueden aplicarse por igual en los diferentes con-

172

textos y culturas. Sin embargo, los profesionales de M&E deberían esforzarse por cumplir cada principio y documentar claramente la razón cuando algún principio no pueda cumplirse. A continuación se resumen los cinco principios de AEA —investigación sistemática, competencia, integridad y honestidad, respeto por las personas y responsabilidad por el bienestar general y público—. Muchos de los conceptos clave que se destacan a continuación han sido tomados de la publicación “Consideraciones Éticas sobre Evaluación” de G. Jackson. 1. La Investigación Sistemática sostiene que el personal de M&E debe adherirse a los más altos estándares técnicos para cada actividad. • Reconocer y buscar eliminar el sesgo en las actividades de M&E. El sesgo puede producirse como resultado de inadecuadas metodologías, por ejemplo, si el equipo responsable de recolectar la información solo encuesta a los hombres en una comunidad o sólo visita las comunidades de fácil acceso desde la carretera principal. El personal de M&E puede sesgar los resultados si posee una opinión muy fuerte (ya sea positiva o negativa) sobre alguna actividad de M&E o sobre un proyecto. El personal debe mantenerse neutral y promover la presentación de informes que se sustenten en evidencias, asegurando que la información hable por sí misma, de forma objetiva e imparcial. Asegúrese que las actividades de M&E son sistemáticas, exactas y justas, e identifique las fortalezas y debilidades del proyecto. Permítase escuchar otras opiniones críticas y complementarias sobre la información recolectada. Comunique claramente la metodología o enfoque, para que los actores involucrados puedan comprender y cuestionar las actividades de M&E. Las metodologías deben incluir herramientas y preguntas que permitan conocer tanto el impacto intencional del proyecto como el impacto no intencionado, sea positivo o negativo. Explore abiertamente las fortalezas y debilidades de la metodología con los clientes y actores involucrados, a fin de que los resultados puedan ser interpretados con precisión dentro de su contexto y en función de sus limitaciones. Reconozca cualquier debilidad evidente en la fase de planificación y cualquier debilidad adicional no prevista en los informes y en general en la documentación. Las reuniones de reflexión y los informes de M&E deben incluir una minuciosa sección sobre la metodología y documentar todas las limitaciones de este enfoque.

2. Competencia significa que el personal de M&E debe contar con las capacidades y competencias culturales requeridas para llevar a cabo el proceso de M&E. • Rehúsese a participar en cualquier actividad de M&E que no responda al conjunto de sus capacidades y competencias (o las del equipo de M&E, colectivamente), si no se tuviera previsto un adecuado apoyo técnico. Solicite a otros técnicos expertos en su organización o en sus comunidades de práctica que le apoyen en todos aquellos aspectos del M&E sobre los que usted no se sienta seguro. No inicie una actividad de M&E si los actores involucrados dudan de su credibilidad debido a su trabajo en el pasado ó a opiniones que haya declarado públicamente. Si los principales actores encontraron deficiencias en su trabajo o cuestionaron su posición en relación a otras actividades relacionadas, pueden desacreditar la metodología o los resultados de sus futuras tareas. Busque continuamente mejorar sus capacidades y competencias a través de capacitaciones técnicas y reflexiones sobre las lecciones aprendidas de cada una de las actividades de M&E. Busque nuevas experiencias y oportunidades de aprendizaje en el lugar de trabajo. Manténgase al día sobre nuevos avances en la industria, a través de listas de páginas web y leyendo literatura actual.

173

3. Integridad y honestidad deben demostrarse en todas las etapas del proceso de M&E y ante los actores involucrados —beneficiarios, personal del programa, donantes, y otros grupos de partes interesadas— y los participantes del proyecto. • Revele a los actores involucrados y donantes cualquier posible conflicto de intereses previo la finalización de la planificación de un proceso de M&E. En este tipo de conflictos se puede incluir, por ejemplo, el interés de un actor involucrado en presentar únicamente los éxitos de un proyecto en lugar de mantener la neutralidad, ó el interés de un actor particular en demostrar las necesidades de un sector a expensas de las necesidades de otro sector (ej: enfocarse en las necesidades agrícolas y no reconocer los problemas de agua). También es importante dar a conocer la fuente de financiamiento a los actores involucrados, a fin de que conozcan el interés de los donantes en el proceso de M&E. Honrar los acuerdos realizados con los actores involucrados (incluidas las comunidades y participantes) respecto del calendario de encuestas, planes para compartir los resultados, participación de la comunidad en la recopilación de datos, y cualquier otro aspecto relacionado al proceso de M&E. Si fuera necesario realizar ajustes en los acuerdos, consulte a los actores involucrados para consensuar la mejor alternativa para todos.

174

No lleve a cabo procesos de M&E en los que no existan recursos suficientes para la producción de información y resultados de calidad. Si no existe personal o dinero suficiente para llevar a cabo el trabajo de campo, según lo previsto, o para analizar e informar sobre la información recolectada, desarrolle una metodología alterna para la cual existan suficientes recursos humanos y financieros. Asegúrese que, hasta donde el máximo de su conocimiento y capacidad lo permitan, la información de M&E sea correcta. Aborde cualquier práctica cuestionable de M&E que haya observado durante la recolección o análisis de la información, ya sea debido a negligencia o a errores de los miembros del equipo de M&E. Corrija cualquier práctica cuestionable aún cuando ello implique recolectar más información. Asegúrese que los resultados de M&E se representen con exactitud y trate de prevenir su indebido uso. Es obligación del evaluador presentar el panorama imparcial y completo que proporciona la información, y corregir percepciones erróneas si los actores involucrados intentaran presentar sólo los resultados favorables en un foro público, utilizar la información fuera de contexto (nivel de representación), ó ignorar las limitaciones que se produjeron en la metodología.

4. El respeto por las personas comienza con la premisa de que el personal de M&E tiene un claro entendimiento de los elementos contextuales que pueden influir el proceso de M&E y respetan las diferencias existentes entre los actores involucrados, tales como género, condición socioeconómica, edad, religión y origen étnico. • Las actividades de M&E deben maximizar los beneficios y minimizar los daños. Los beneficios del conocimiento y de los resultados que arroje la evaluación deberían tener más peso que el tiempo y los recursos humanos y financieros requeridos para llevar a cabo el proceso de M&E. Incorpore también consideraciones de orden ambiental en esta ecuación. No debe ponerse en riesgo físico a los encuestados, ni deben ser objeto de discriminación ó de cualquier tipo de perjuicio, como resultado de su participación en la actividad de M&E.

175

Las Responsabilidades Generales y Responsabilidades para el Bienestar Público incluyen no sólo los resultados inmediatos del proceso de evaluación, sino también las implicaciones de largo plazo y los efectos. • • Los actores involucrados (incluido el personal del proyecto) deben revisar y comentar los resultados e informes del M&E; sin embargo, el personal de M&E es en última instancia el responsable de decidir sobre el contenido del informe y de garantizar que el mismo (y cualquier presentación) proporcione una imagen completa y equilibrada de los resultados, incluyendo la metodología, una sección sobre limitaciones, y cualquier hallazgo menos favorable. La sección de limitaciones explica en qué medida los hallazgos del estudio pueden generalizarse hacia la población en su conjunto más amplio, y cualquier deficiencia en la calidad de la información. • Siga una política de no divulgación y comparta y utilice los resultados sólo según lo acordado inicialmente con los actores involucrados. Si se protege la confidencialidad y los hallazgos se derivan de la información, es conveniente compartir dichos hallazgos ampliamente. Sólo si el donante impone límites, se retendrán los hallazgos de la investigación. Es aconsejable acordar un plan de difusión antes de la realización de cada actividad, a fin de evitar confusiones o conflictos posteriores. • Presente los hallazgos de M&E en forma que sea altamente accesible para todos los actores involucrados, manteniendo la confidencialidad de los participantes. Determine los medios adecuados para difundir los resultados a cada uno de los actores involucrados. Por ejemplo, considere el nivel de alfabetización cuando planifique la reunión de difusión de resultados a la comunidad. El personal de M&E debe tener precaución en mantener la confidencialidad cuando presente los resultados a las comunidades. Los miembros de la comunidad generalmente son muy conscientes de las condiciones locales de las familias y podrían deducir las respuestas de diversos miembros de la comunidad, a partir de muy poca información.

176

Paso 2: Revise los Principios Guía para Evaluadores de AEA
El Diálogo con los actores involucrados debe incorporar los principios éticos más importantes y el resultado del proceso de reflexión. Solicite aportes a los actores involucrados, previo a la presentación de sus ideas para obtener nuevas perspectivas. Elabore conjuntamente con los actores involucrados un marco para resolver los asuntos éticos. Identifique el rol de cada uno de los actores involucrados y los instrumentos de comunicación adecuados para resolver estos problemas. Involucrar a los actores clave en los temas, durante la fase de planificación, aumentará el conocimiento que tienen sobre los principios éticos que guían su trabajo e infunde un sentido de apropiación respecto a la calidad de los resultados. Los grupos de Control fueron considerados por mucho tiempo como la norma de oro para demostrar impacto programático. La inclusión de grupos de control en el M&E implica recolectar información de familias y comunidades que no recibieron servicios y compararlos con la información de los participantes en el proyecto. Sin embargo, usar grupos de control amerita el recolectar mucha más información y deben tomarse en cuenta las siguientes consideraciones éticas: 1. En qué situaciones debería recolectarse información de personas que no reciben ningún beneficio del actual proyecto y que, además, es poco probable que se beneficien de futuros proyectos (basado en los resultados de M&E)? 2. Si la intervención del proyecto inicialmente parece ser eficaz y tener éxito en la consecución de sus objetivos, el grupo de control debería continuar sin acceso a los servicios del proyecto y debería mantenerse la recolección de datos para demostrar más adelante la eficacia de los proyectos? Si el proyecto desarrolla intervenciones para salvar vidas, la respuesta a esta inquietud sería diferente?

Guía para Discusión sobre Aspectos Éticos
Estrechas relaciones de trabajo con los colegas y la participación en comunidades de práctica fomentan el debate sobre temas éticos y sirven de apoyo durante situaciones donde se presentan desafíos éticos. Si aún no existe una comunidad de práctica para su trabajo, busque e invierta tiempo en la generación de este tipo de relaciones. Esté listo para apoyar a los colegas, y usted aprenderá en el camino! A continuación se presentan preguntas para guiar el proceso de reflexión (Morris 2008). Aunque estas preguntas se orientan a la fase de planificación, debe generarse una permanente reflexión sobre los aspectos éticos. Consolide y registre sus pensamientos durante toda la vida del proyecto o de la actividad de M&E para identificar las lecciones aprendidas. Consulte con colegas para discutir cualquier preocupación o tema que surja después de la reflexión y la revisión. Considere lo siguiente: 1. Cómo puedo establecer un ambiente apropiado para este evento de M&E? Hasta qué punto los actores involucrados están familiarizados con los principios guía de AEA? Cuáles son los potenciales problemas que puedo encontrar dado el contexto, proyecto, y los actores involucrados? 2. Existe algún principio guía de AEA que sea particularmente relevante para este trabajo? Existen estudios de caso dentro de la literatura existente de M&E, que proporcionen aportes en cuanto a desafíos éticos para este trabajo particular? 3. Si se presenta cualquier conflicto ético, cómo voy a garantizar que se produzcan las conversaciones necesarias dentro, o entre, los diferentes grupos de actores involucrados? Se pueden diferenciar los conflictos éticos de los conflictos relacionados a valores o cultura? 4. Existen colegas a quienes puedo consultar respecto a cualquier asunto ético? Específicamente, puedo consultar con cualquier colega que pueda tener opiniones diferentes a mi punto de vista y no sólo colegas que probablemente afirmen mis conclusiones, sin representarme ningún tipo de desafío? 5. Cómo influirán en mi trabajo mis valores personales y normas éticas? Cómo puedo asegurarme que los actores involucrados se sientan lo suficientemente cómodos para compartirme cualquier preocupación ética que puedan tener?

177

6. Me siento cómodo trabajando en situaciones de conflicto? Plantea este trabajo cualquier potencial situación que siento que no estoy listo/a para manejar? Si es así, debo mantener mi actual nivel de participación en el trabajo?

Consentimiento Informado
El consentimiento informado es el consentimiento voluntario para participar en la investigación y se lo requiere de cada uno de los participantes en cualquier actividad de M&E (Williams y Senefeld 2007). Los cuatro principales elementos del consentimiento informado son información, entendimiento, acuerdo de participación voluntaria, y capacidad de toma de decisiones (Pedroni y Pimple 2001), según se describen a continuación: • Información: el personal de M&E debe compartir con todos los potenciales encuestados, previo a la solicitud del consentimiento, la información sobre los posibles riesgos y beneficios de su participación, el uso que se dará a los resultados, los procedimientos de confidencialidad, información de contacto de la persona designada para atender cualquier preocupación, y cualquier otra información relativa a la decisión de participar. Nivel de entendimiento: el personal de M&E debe asegurarse que los potenciales participantes entiendan completamente la información proporcionada previo a la solicitud de consentimiento. Acuerdo para participar voluntariamente: En forma alguna debe coaccionarse, persuadirse o presionarse para que participen los potenciales participantes. Capacidad de toma de decisiones: El consentimiento informado requiere que cada participante tenga plena capacidad de tomar decisiones y sea capaz de sopesar los riesgos y beneficios de su participación. Se requiere especial consideración cuando se busca el consentimiento de los grupos vulnerables que pueden no tener plena capacidad de decisión, incluidos los niños, las personas con discapacidad mental, las personas muy pobres, y las personas con limitado acceso a servicios y recursos. Se requiere el análisis de un comité de revisión ética para determinar si es oportuno y cómo se debería obtener el consentimiento informado por parte de estos grupos vulnerables.

• • •

Paso 3: Utilice los Estándares Éticos
En la fase de planificación es importante identificar los posibles desafíos éticos y elaborar un marco referencial para resolver cualquier conflicto. Aun cuando el planificar anticipadamente no asegura que no se presentarán conflictos éticos, es probable que disminuya la gravedad de cualquier conflicto y se agilite su solución. Para identificar los desafíos y pasos para la solución de un conflicto, inicie con una reflexión individual y pensamiento crítico sobre los componentes éticos del trabajo a desarrollarse. Luego, mantenga discusiones con los actores clave involucrados para que conozcan los elementos éticos que fueron identificados y puedan aportar con cualquier otro aspecto ético que consideren pertinente. • La Reflexión Individual requiere que el personal de M&E reserve tiempo suficiente para examinar el contexto más amplio del proyecto, incluido los intereses y normas culturales de los actores involucrados, que pudieran generar conflicto. Estándares de Evaluación de Programas (El Comité Conjunto sobre Normas para Evaluación Educacional 1994) estipula estándares de evaluación de acuerdo a las siguientes categorías: utilidad, factibilidad, exactitud y conveniencia. A continuación se resumen los estándares convencionales sobre los elementos éticos que deben considerarse en una evaluación: • Orientación al servicio : las evaluaciones deben diseñarse para dar respuesta y servir a los diferentes participantes meta. • Acuerdos formales : Las responsabilidades para una

178

evaluación (qué se va a hacer, cómo se lo hará, quién lo hará, cuándo) deben acordarse por escrito, de modo que las partes estén obligadas a respetar todas las condiciones del acuerdo o renegociarlas formalmente. • • Derechos de las personas: Toda evaluación deben diseñarse y realizarse en estricto apego al respeto por los derechos y el bienestar de los seres humanos. Interacciones humanas: Los evaluadores deben respetar la dignidad humana y valorar su interacción con las otras personas que participan en la evaluación, de modo que los participantes no se sientan amenazados o perjudicados. Completar y ser justos con la evaluación : Las evaluaciones deben examinar y abordar sus debilidades, y aprovechar sus fortalezas. Divulgación de hallazgos: Asegúrese que los hallazgos y las limitaciones se pongan a disposición de las personas afectadas por la evaluación. Conflicto de intereses: Los conflictos de intereses deben tratarse abiertamente, de modo que no comprometan la evaluación. Responsabilidad fiscal : Las asignaciones y gastos del evaluador deben reflejar sólidos procedimientos de rendición de cuentas, o en su defecto, ser prudentes y éticamente responsables, de modo que los gastos sean pertinentes y se rinda cuenta de los mismos.

• • • •

Actividades de la décima octava semana Individuales 1. Realice la lectura de la semana. 2. Actualizar su diario de aprendizaje. Grupales 1. Trabajando en grupo, preparen un sociodrama, para representar los aspectos sobresalientes de la lectura. Autoevaluación 1. ¿Qué nuevas ideas aprendió de la lectura realizada? 2. ¿Qué sentimientos y pensamientos vienen a su mente con la lectura realizada acerca de la ética?

179

DÉCIMA NOVENA SEMANA LECTURAS COMPLEMENTARIAS TEMA Una cadena de resultados: La lógica de los programas sociales como herramienta para el monitoreo y la evaluación marco conceptual para la evaluación de programas y proyectos sociales Objetivos de la semana
Al finalizar el estudio de la primera semana las y los estudiantes…. • Reconocen la importancia de los principales conceptos relacionados con el monitoreo y la evaluación de políticas, programas y proyectos sociales.

LECTURA
Un programa social se trata de una apuesta – una apuesta que lo que se propone como estrategia o plan de acción sea capaz de desencadenar un conjunto de cambios que se consideran deseables, viables y valiosos. En otras palabras, un programa se basa o se fundamenta en una hipótesis – una hipótesis que sugiere un vínculo causal (esperado) entre lo que se propone hacer y lo que se propone lograr. Por ende, el monitoreo de un programa social debe consistir en un análisis y exploración de la hipótesis causal (o la “apuesta”) que sustenta el programa. Consiste en la exploración de preguntas pertinentes (“inteligentes”) sobre el logro, la calidad, la oportunidad de las actividades; el logro, la calidad, la oportunidad de la entrega de productos esperados y evidencias del logro de los cambios sociales esperados. El monitoreo hace un seguimiento de lo que hace el programa, recopila evidencias de posibles efectos e impactos del programa y analiza los vínculos causales entre sí. El monitoreo de un programa social debe consistir en un análisis y exploración de la hipótesis causal (o la “apuesta”) que sustenta el programa. Consiste en la exploración de preguntas pertinentes (“inteligentes”) sobre el logro, la calidad, la oportunidad de las actividades; el logro, la calidad, la oportunidad de la entrega de productos esperados y evidencias del logro de los cambios sociales esperados. Siendo así, la gestión del proceso de monitoreo parte de la especificación explícita de la hipótesis causal del programa. Vamos a proponer una especificación que toma la forma de una cadena de resultados valiosos esperados, o lo que llamaremos la “cadena de resultados”. En otros textos, esta especificación de la hipótesis causal también ha sido denominada “cadena de objetivos” o “cadena de valor”. Yo prefiero la expresión de “cadena de valor”, pues nos remarca el énfasis ubicado en la generación de valor. No obstante, esta expresión se está utilizando para referirse a cadenas en procesos productivos, en todo el análisis de productividad y competitividad. Con el fin de evitar confusiones entre los dos tipos de cadena, vamos a evitar esa expresión en esta unidad y referirnos a “cadena de resultados”, recordando que los resultados en que nos enfocamos son los que generan valor público.

180

Esta figura es la representación más sencilla de la cadena de resultados, que vincula causalmente las actividades e inversiones contempladas en un programa social con una transformación que se desea producir en la sociedad.

Eslabones de la cadena de resultados
Cada eslabón de la cadena se asocia con objetivos: objetivos de la gestión de actividades, inversiones e intervenciones, que se proponen para poder lograr unos objetivos a nivel de productos, que a su vez se consideran valiosos en la medida que permitan cumplir unos objetivos asociados con efectos, que esperamos que conduzcan al logro de unos objetivos sociales (denominados “impactos”), que a su vez, son valiosos porque forman parte del logro de la transformación deseada. La cadena representada en la figura anterior responde a la siguiente lógica, que a su vez, detalla la lógica detrás de las propuestas de programas sociales: las actividades e inversiones se combinan de tal manera que permiten lograr la entrega de unos productos y/o servicios. Estos productos y/o servicios no generan valor por su mera existencia; se entregan con el fin de ser acogidos o recibidos por una población objetivo, cuyos consumos, actitudes, conocimientos y/o comportamientos se esperan cambiar. Estos cambios en consumo, actitud, conocimientos y/o comportamientos se denominan “efectos” y se esperan como consecuencia del efectivo encuentro entre la oferta de productos y/o servicios y la demanda de la población objetivo. (Estos cambios también podrían denominarse los “cambios intermedios” esperados como resultado del programa.) Medianero Burga (2001) indica que los efectos se pueden referir al “cambio en el comportamiento de los beneficiarios... o el cambio en la manera en que funcionan las instituciones...” A su vez, los efectos son el medio que se proponen utilizar para lograr los impactos, que consisten en unos cambios en las condiciones o calidad de vida de la sociedad o de una parte de la sociedad. Estos impactos contribuyen a la construcción de la visión futura deseable que se ha definido como la “transformación deseada”. Si partimos del lado izquierdo de la cadena de resultados representada en la figura cada flecha de la cadena representa una relación causal que corresponde a la respuesta a una pregunta de ¿para qué? El eslabón de las actividades e inversiones detalla los resultados esperados de las actividades, tareas e inversiones, y la flecha a su izquierda representa la pregunta “¿para qué se realizan estas actividades e inversiones?”. Una respuesta a dicha pregunta se expresa en el siguiente eslabón, pues se realizan dichas acciones para que se puedan entregar unos productos o servicios. Y de igual manera nos preguntamos ¿para qué entregar estos productos? La lógica de la cadena de resultados indica que sería para poder lograr algunos cambios esperados en los comportamientos, consumos, conocimientos y/o actitudes de las poblaciones o instituciones receptores u objetivo. Estos cambios son los efectos esperados. ¿Para qué se buscan esos efectos? La hipótesis que sustenta el programa propone que dichos efectos puedan conducir a unos cambios sociales deseables y verificables (los impactos) que, a su vez, contribuye al logro de la transformación deseada. Ejemplo de una cadena de resultados para un programa:

181

Fuente: Material curso Monitoreo de Programas Sociales. INDES, 2,007. Este ejemplo ilustra una lógica causal clara: se espera que las actividades y rutinas para facilitar la entrega de alimentos permitan el consumo de nutrientes por parte de los niños y niñas de las poblaciones objetivo. Asimismo, la hipótesis propone que este consumo tenga efectos sobre la asistencia escolar y el perfil nutricional, que luego afectarán el desempeño de los niños y niñas de las poblaciones objetivo y su escolaridad. Estos últimos impactos esperados se consideran valiosos porque se figuran entre los compromiso de la sociedad, para generar oportunidades para todos los ciudadanos y ciudadanas. Consideremos otro ejemplo. En este caso, contemplemos un programa para promover una mayor participación de mujeres en los gobiernos locales. El programa propone hacer que los procesos decisorios políticos sean más equitativos y más sensibles a la manera en que determinadas decisiones afectan de manera asimétrica a los hombres y a las mujeres. La cadena de resultados del programa podría ser la que se presenta a continuación:

Transformación deseada: Un proceso decisorio más equitativo y más sensible a la forma en que las decisiones tomadas afectan (de manera diferencial) a los hombres y a las mujeres

Acti vidades: Identificación y capacitación de un grupo de facilitadores, comprometidos con la búsqueda de una mayor equidad en los procesos políticos y conocedores de diversos temas relacionados con la perspectiva de género

Productos:

Efecto:

Impacto:

Mujeres egresadas de un programa de capacitación, sobre el papel y el funcionamiento de los gobiernos locales y sobre el liderazgo y las capacidades necesarios para introducir una perspectiva de genéro al proceso decisorio de los Recopilación, análisis, publica- gobiernos locales. ción y distribución de datos con respecto a la participación Un programa de sensibilide la mujer en los procesos zación a los oficiales eledecisorios gidos de los gobiernos locales, para concienciarPreparación de materiales los sobre la necesidad de didácticos sobre el gobierno contemplar el genéro en local, el proceso decisorio, el los procesos decisorios impacto de los gobiernos locales en el desarrollo nacional y Una capacitación para los la participación femenina en oficiales de los gobiernos los gobiernos locales. locales y los miembros de los consejos ciudadanos Desarrollo de una campaña regionales y locales, sobre pública de comunicaciones análisis de género en la planeación Identificación de mujeres líderes y contactos para inte- Una campaña en los meresarlos en el programa dios masivos de comunicación, para concienciar Desarrollo de currícula y consobre la participación tenidos femenina en los procesos decisorios y para informar sobre los candidatos femeninos

Mujeres que ejercen sus Una participación increresponsabilidades en los mentada en mujeres procesos electorales entre los oficiales elegidos de los gobiernos Mujeres dispuestas a locales postularse para posiciones elegidas en los gobiernos Análisis mayor y menor locales de los asuntos relacionados con genéro en los Mujeres que activamente diálogos y debates polítiparticipan en los consejos cos de los gobiernos ciudadanos regionales y locales y nacional locales Mayores demandas por Un público mejor infor- parte de las mujeres, mado con respecto a los para que los oficiales candidatos femeninos y la elegidos contemplen el importancia de incorporar género en los procesos los asuntos relacionados decisorios. con genéro en los diálogos y debates políticos

182

“Salpicadura y ondas” una manera alternativa de entender los componentes de la cadena de resultados

La persona en este dibujo es una trabajadora comunitaria tratando de entender la metodología de la cadena de resultados. Éste es el nuevo enfoque de monitoreo y evaluación de programas o proyectos adoptado por muchos organismos financieros gubernamentales y privados en el mundo de desarrollo social. Cada vez más, las propuestas, planes e informes de avance de los proyectos deben distinguir entre: “productos” a corto plazo, “efectos” a mediano plazo, e “impactos” a largo plazo. Lo que es más, deben comentar sobre la relación de causa y efecto entre las actividades del proyecto y estos diferentes niveles de resultados.

Cómo emplear la metáfora de “salpicaduras y ondas”
Encontramos a nuestra amiga Mechitas, facilitadora parada en una isla de piedras, preguntándose, “Tengo el proyecto estructurado, mentalmente concebido en mi cabeza”, dice ella, “¿pero cómo puedo poner en orden el significado de todos estos términos de la cadena de resultados?” Entusiasmada con una idea, la trabajadora toma una piedra, la sostiene por encima de la laguna y la deja caer. La piedra hace una salpicadura y ocasiona ondas. “Aja”, exclama, “¡así es como puedo pensar acerca de mi proyecto y de la cadena de resultados!” “La piedra y yo somos INSUMOS”, dice la trabajadora. “Dejar caer esta piedra es una ACTIVIDAD”, continúa, “como sostener reuniones comunales, instalar sistemas de agua limpia, y capacitar a los miembros de la comunidad en cómo mantener el buen funcionamiento de los sistemas”. “Si éstas son mis ACTIVIDADES”, reflexiona nuestra amiga, “sus resultados inmediatos deben ser como la ‘salpicadura’...así que la salpicadura debe ser el PRODUCTO – un grupo focal de miembros de la comunidad altamente motivados que se organizan en cuanto al agua y a otros problemas comunitarios,...pozos cavados, caños de agua instalados, y el sistema operando... y miembros de la comunidad expertos, equipados, y que siguen una rutina de mantenimiento”. A medida que las ‘ondas’ se abren paso hacia afuera, nuestra amiga habla entre dientes emocionada, “EFECTOS... éstos deben tener que ver con la liberación del potencial que hemos creado en la ‘salpicadura’, cómo … la comunidad está trabajando, todos trabajan como una unidad, y se están beneficiando del agua. Así mismo, los EFECTOS deben incluir ...’mejor acceso a agua limpia para todos los miembros’ y ‘una mayor participación de la comunidad en la solución de problemas locales” Sintiendo un gran avance, la trabajadora llega hasta el resultado en el largo plazo al que se llama un IMPACTO. “¿Hacia qué IMPACTOS contribuyen estos EFECTOS?” se pregunta. “¿El IMPACTO debe ser algo así como...una comunidad más sana y más independiente?” Nuestra trabajadora de desarrollo, jugando con las piedras en el rio, se ha encontrado con una simple imagen que capta lo que sucede cuando realizamos un proyecto. Cuando implementamos algo como un progra-

183

ma de agua limpia, una campaña de alfabetización, una iniciativa microempresarial, o un proyecto de derechos humanos, también creamos una “salpicadura” inmediata y “ondas” a un mayor plazo. Un dibujo vale más que mil palabras; la metáfora es como un dibujo. Transmite información compleja a través de la analogía a símbolos ampliamente reconocidos. La imagen de una persona dejando caer una piedra en una laguna de agua nos puede ayudar a comprender los enfoques de la planificación basada en los resultados. La demostración de dejar caer una piedra en una laguna revela los siguientes puntos importantes: • El significado de los rótulos en la Cadena Lógica de Resultados (CLR), y la relación dinámica entre éstos. Por ejemplo, la salpicadura evoca el potencial creado a través del Producto, mientras que las ondas evocan la liberación de ese potencial sobre la laguna como los Efectos; La influencia de las Soportes y Limitaciones (también se conocen por Habilitadores y Restricciones) - las otras alteraciones en la laguna, y la importancia de hacer Supuestos y de evaluar el Riesgo; La disminución del control a medida que la roca entra en el agua y la salpicadura se convierte en una onda; La ampliación de esferas de influencia a medida que el diámetro de las ondas también se amplían; La disminución de la atribución a medida que la amplitud de la onda que se mueve hacia afuera también disminuye; La idea de que observar la salpicadura y luego algunas ondas la primera vez, permite mejoras en la manera en que posteriormente se arrojan las piedras a la laguna; La idea que las personas traen al ejercicio de planificar y administrar su propia perspectiva la cual enriquece el proceso - cada persona parada alrededor de la laguna puede ver la piedra y el agua desde su propio y único punto de vista; y finalmente, La importancia de ser claros en cuanto a los parámetros; por lo tanto … desde la posición estratégica de quién se está creando la Matriz de Marco Lógico (quién/qué está dejando caer la piedra); quién está directamente ocupado con la intervención sectorial (quién/qué está en la ‘salpicadura’); y quién o qué es indirectamente influenciado por la intervención (quién/qué está representado en la laguna desde cerca a la salpicadura hasta el perímetro de la laguna).

• • • • • •

¿Cómo pueden las imágenes ayudar a sentirse cómodo con la cadena lógica de resultados?
La experiencia muestra que imágenes como “la salpicadura y las ondas” pueden ayudar a grupos y personas a lidiar con Cadena Lógica de Resultados. “Estas imágenes nos ayudan a relacionar términos como ‘producto’ y ‘efecto’ con nuestro trabajo de una manera más dinámica”. En resumen, la metáfora involucra a una persona de pie sobre una laguna y sosteniendo una piedra. La persona deja caer la piedra en la laguna creando una salpicadura y luego ondas. Los insumos son la persona y la piedra; el producto es la salpicadura, y las ondas son los efectos y los impactos. Para concluir, creemos que la imagen transmite las siguientes ideas clave: • La salpicadura cubre una pequeña área, en comparación a la onda - esto sugiere que una actividad y su producto involucra un número relativamente limitado de personas pero que, así como una salpicadura se convierte en una onda, la influencia de la actividad y su producto se extiende más allá del grupo inicial de participantes. Los que reciben la capacitación, por ejemplo, llevan su conocimiento y habilidades nuevos de vuelta a sus lugares de trabajo y comienzan a influir en las rutinas de los demás. Ésta es la zona de las ondas, en donde tiene lugar la verdadera transformación de desarrollo (cambio social).

184

Las personas que llevan a cabo un proyecto tienen un control considerable sobre el uso de los insumos, de las actividades, y de los productos- es decir, hasta donde se da la salpicadura en la laguna. Pero después de eso, tienen un control cada vez menor. Esto se debe a que las ondas toman su curso pero el curso que toman está influenciado por otras alteraciones en la laguna - en la vida real, la laguna rara vez está en calma. Esto no es para decir que no tenemos influencia alguna sobre las ondas; tenemos cierta influencia, pero ésta disminuye en tanto que la onda se expanda más hacia afuera para convertirse en un impacto. Verdaderamente, cuando se trata del Impacto, todo lo que podemos hacer es contribuir a dicho resultado. A pesar de no poder administrar el 100% para los resultados (u ondas), tanto más sabemos acerca del efecto de nuestro trabajo, tanto más podemos afinar las actividades para obtener los resultados de desarrollo que necesitamos. Podemos alterar o añadir a nuestras actividades o, por ponerlo de otra forma, podemos dejar caer la piedra de manera diferente, cambiar su tamaño, o cambiar el número de piedras que tenemos que dejar caer. De este modo, el monitoreo se hace especialmente importante.

El Lenguaje Básico de La Cadena Lógica de Resultados
Insumos - éstos son los “ingredientes” humanos y físicos - la materia prima - que usted necesita para ocasionar los cambios (resultados) que busca. Aquí es donde usted identifica la pericia, el equipo, y los suministros. Tener una buena comprensión de nuestros requerimientos de INSUMOS nos permite hacer un presupuesto preliminar. Actividades – éstas representan lo que usted hace con esos ingredientes - cómo los combina. Normalmente, las intervenciones involucran decenas o cientos de actividades definibles. Usted debe agruparlas en conjuntos o componentes de entre cinco a ocho actividades. Entre los encabezados comunes para estos conjuntos se incluye: “promoción”, “formación de grupos”, “asesoría”, “creación de redes”, “defensa (advocacy)”, “capacitación”, y “construcción”. Bajo encabezados como éstos, escriba pequeños párrafos describiendo qué es lo que el proyecto está HACIENDO. Productos – los primeros resultados y los más inmediatos de su intervención. Usted tiene mucho control en cuanto a cómo éstos se producen. La mayoría de los PRODUCTOS se relacionan directamente a una actividad, así que usted debe tener, en líneas generales, tantos productos como actividades. Una vez más, usted debe apuntar a tener una declaración de PRODUCTO por cada conjunto de Actividades. Los PRODUCTOS pueden definirse utilizando números, pero también deben describir algún cambio cualitativo (ver notas más abajo). Los PRODUCTOS captan el “potencial” que usted crea a través de las actividades. A menudo este potencial se crea entre un grupo definido de personas - aquéllos que participan directamente en la actividad (por ej. los participantes en un programa de capacitación). Algunas veces este potencial viene en la forma de un PRODUCTO (por ej. una presentación o afiche de alguna política convincente, una emisión radial informativa). Efectos – éstos fluyen de una colección de productos y describen la liberación de dicho potencial. Los EFECTOS por lo general tienen lugar en las familias, en las organizaciones, y en las comunidades que rodean al individuo (o que son influenciados por el producto - ver arriba). Usted debe poder ocasionar estos cambios en la vida de su intervención. Usted no tiene control total sobre estos cambios porque están a menos de un paso de la actividad y, a esta distancia, las influencias externas pueden inmiscuirse en el camino muy fácilmente. Pero, es muy importante administrar hacia estos efectos porque éstos representan los cambios concretos que usted está tratando de ocasionar a través de su trabajo. Para una administración fácil, tenga como objetivo tener entre tres y cinco declaraciones de EFECTO. La declaración de propósito de un proyecto es por lo general equivalente a los efectos. La principal diferencia entre ambos se describe en las notas más abajo. Impactos – éstos por lo general describen los cambios “panorámicos” hacia los que la intervención de usted se está esforzando por lograr, pero que usted solo no puede ocasionar. Tenga por objetivo una declaración que ilustre este futuro preferido. Los impactos ilustran el objetivo que yace debajo del trabajo de usted; contestan al por qué el trabajo es importante. El IMPACTO ideal es uno: a) que inspire a las personas hacia un futuro cierto, b) que su proyecto pueda, en algún momento en el futuro, demostrar una contribución. Piense en un barco o en un faro en el horizonte. Si el objeto está demasiado lejos se hunde bajo el horizonte y no da dirección alguna. Las declaraciones de objetivo y/o visión son en líneas generales equivalentes a una declaración de IMPACTO.

185

Soportes e impedimentos (Habilitadores y restricciones) – aquí estamos hablando acerca del contexto de la intervención. Este contexto tiene influencias positivas y negativas. Cuanto más usted sepa acerca de estas influencias, tanto mejor preparado podrá estar para administrarlas (por ej. realizar sus actividades de manera diferente). Los SOPORTES e IMPEDIMENTOS (restricciones y habilitadores) pueden encontrarse dentro de su organización así como también a una escala familiar, comunal, nacional, e incluso internacional. Pueden ser generados por humanos o por otras fuerzas de la naturaleza. Riesgos y supuestos – en última instancia, el diseño de sus intervenciones necesita basarse en un conjunto de SUPUESTOS y en un cálculo del RIESGO. Los SUPUESTOS se refieren a las condiciones que necesitan darse para que el proyecto realice un avance planificado hacia los resultados que quiere. Los RIESGOS hablan de la probabilidad de que estas condiciones no se den. El cálculo del RIESGO puede ser una evaluación involucrada, o para intervenciones pequeñas, es más un ejercicio intuitivo. Debe hacerse con una buena comprensión de las restricciones y de los impedimentos que muy probablemente influirán en el proyecto (ver arriba). Al calcular el RIESGO, aquéllos que diseñan el proyecto simplemente podrían notar si el RIESGO de una condición necesaria que no está dada es “bajo”, “mediano”, o “alto, y proveer de una corta explicación. Indicadores – ésta es la evidencia, o prueba, necesaria para mostrar el avance hacia los productos y efectos de usted. Imagine los cuadrantes y visualizadores dentro de la cabina de mando de un avión. Éstos proveen de información importante a los pilotos acerca del estado del rendimiento de la nave y su posición en relación con su destino. Sin estos INDICADORES, los pilotos tendrían muy poco con qué guiarse en su viaje. Designar los INDICADORES - determinar qué cuadrantes y visualizadores van a darle a la intervención justo el tipo correcto de información - es una tarea particularmente difícil que por lo general involucra ensayo y error. Los INDICADORES necesitan dar evidencia precisa y confiable; la información tiene que ser fácil de recoger y útil para aquéllos que toman decisiones administrativas. Los INDICADORES pueden ser cuantitativos o cualitativos.

Características de los eslabones de la cadena
Cabe destacar las siguientes características de los eslabones de las cadenas: La cadena de resultados estipula LOGROS ESPERADOS en cada uno de sus eslabones: los elementos registrados en cada eslabón expresan los frutos o logros que se esperan como evidencia del logro de los objetivos reflejados (de actividades, productos, efectos o impactos). A manera de ejemplo, unos logros a nivel de producto podrían ser: • • La capacitación de todos los docentes de las escuelas primarias rurales, en prácticas pedagógicas que aprovechan nuevas tecnologías de la información para la enseñanza de matemáticas; o Una campaña por los medios masivos sobre el efecto del comercio callejero en la explotación de trabajo infantil.

Unos logros (correspondientes) a nivel de efectos podrían ser: • • Incorporación de las nuevas tecnologías de información en las prácticas docentes (en aula) en las escuelas rurales; Sensibilización del público con respecto al efecto del comercio callejero en la explotación del trabajo infantil.

Y, siguiendo con estos ejemplos, unos logros esperados a nivel de impactos serían: • • Aprendizaje más efectivo de las matemáticas entre los/las estudiantes de las escuelas primarias rurales; Reducción de las transacciones callejeras con comerciantes menores (y su correspondiente desestimulo al trabajo infantil).

186

Las flechas de la cadena revelan las relaciones causales que esperamos permiten conducir de un logro a otro. Cada flecha representa una hipótesis medio —›fin o causa—› efecto. Cada flecha, entonces, representa una “apuesta” de que los logros del eslabón anterior sean capaces de afectar los logros esperados. La flecha representa una relación causal, no una secuencia de tiempos. Hay una tentación de estipular secuencias o procesos secuenciales en los diversos eslabones de la cadena. Se recomienda evitar esta tentación para no convertir la cadena de resultados en un manual de “qué hacer”, sino mantener su naturaleza de mapa de los logros interdependientes que se esperan desencadenar. No necesariamente existe una relación uno-a-uno entre logros de un eslabón con los del eslabón anterior. Ciertos resultados interactúan entre sí para causar o desencadenar un determinado cambio (en el siguiente eslabón de la cadena). La cadena de resultados no revela información sobre todos los procesos necesarios para producir los logros esperados. Detrás de los logros estipulados en los diversos eslabones de la cadena, se anidan muchos procesos que tienen que desarrollarse para producirlos. La cadena sólo estipula los frutos de los procesos y la complementariedad y coordinación de los mismos. Por ende, la cadena es un mapa a gran escala de la iniciativa; no se trata de un mapa con detalle suficiente para guiar la gestión de procesos específicos detrás de logro de los resultados estipulados en cada eslabón. Los procesos detrás de lo estipulado son de dos naturalezas, a saber: • Técnicos, administrativos: muy controlables por los equipos gestores, y de naturaleza relativamente “dura” (cierta y replicable). • Sociales, dependientes de actores fuera de las organizaciones ejecutoras de los programas; particularmente dependientes de las acciones de co-producción por parte de los usuarios o beneficiarios de los servicios. Por tanto, se tratan de procesos de naturaleza más “blanda” (incierta, no necesariamente replicable). No todos los logros de la cadena caen en las esferas de control de los equipos gestores. Los logros de actividades e inversiones y de productos son más controlables por los gestores, aunque se someten a ciertos riesgos del entorno. Los logros de efectos e impactos se afectan por múltiples dinámicas del entorno y por otras iniciativas que afecten los fenómenos que se proponen cambiar; dependen de diversas características de la entrega de productos, pero también de comportamientos y decisiones de diversos actores (incluyendo pero no limitados a la población objetivo). Por ende, hay que cuidar lo que se define como responsabilidad del equipo gestor: normalmente, el equipo tiene la responsabilidad de producir los logros a nivel de actividad y producto, de estar consciente con respecto a la evidencia de logros (o falta de logros) y de reaccionar de manera relevante a estas evidencias. En otras palabras, el no logro de objetivos a nivel de actividades, inversiones o productos se considera normalmente un indicio de fallas en los procesos de implementación. El no logro de objetivos a nivel de efectos o impactos no necesariamente reflejan este tipo de fallas, sino que podría reflejar que la “apuesta” (la hipótesis de vínculos causales entre los productos y los efectos e impactos esperados) no se da. Esto porque las relaciones causales a nivel de actividad, inversión à producto reflejan tecnologías relativamente conocidas, poco inciertas – “tecnologías duras” (Sulbrandt, 2000). En contraste, las relaciones causales a nivel de producto —› efecto, o efecto—› impacto corresponden a “tecnologías blandas”, más inciertas y más sensibles a variables del entorno y de la coyuntura. Por esto mismo, la responsabilidad gerencial de logros de actividades y productos se considera directa; el no logro de objetivos a estos niveles se atribuyen a deficiencias en la gestión de la implementación. En contraste, aunque sea responsabilidad de los gestores promover los logros esperados a nivel de efectos e impactos y reaccionar y adaptarse para buscar su logro, el no logro de efectos e impactos no se puede atribuir necesariamente a debilidades del proceso de implementación. En estos casos, hay que explorar las condiciones del entorno, limitaciones en los supuestos sobre los vínculos causales y/o dinámicas ajenas al control gerencial que podrían explicar el no logro de los efectos o impactos. Los resultados estipulados como efectos e impactos de programas sociales normalmente ocurren entre las poblaciones objetivo. Los efectos se relacionan con cambios en consumos, comportamientos, usos, conocimientos o actitudes que resultan de la entrega (y recepción o asimilación) de los productos. Los impactos, a

187

su vez, son consecuencias del efecto -- mejoras en el bienestar que resultan de los cambios en consumos, comportamientos, usos, conocimientos o actitudes que acabamos de comentar. Especificación de la cadena de un programa ya formulado Nuestras referencias a la cadena de resultados hasta ahora son relevantes para casos en que un programa ya está formulado o sea, casos en los cuales ya existen ideas sobre las inversiones y actividades que se van a realizar, y los cambios sociales buscados. En estos casos, la especificación de una cadena de resultados puede ayudar a reflexionar sobre el rigor y la consistencia de las relaciones causales esperadas. Esto, a su vez, puede ayudar a identificar elementos del programa que hacen falta o que deben fortalecerse; puede conducir a recomendaciones que fortalecen el diseño y/o ejecución del programa. Una vez propuesta una primera versión de la cadena de resultados, hay que someterlo a un análisis crítico que examina la sensatez de las hipótesis planteadas. De esa manera, el diseño y desarrollo de la cadena puede educar y enriquecer el mismo análisis y diálogo con respecto a posibles alternativas de solución para un determinado problema o desafío. Es recomendable que el proceso de especificación de la cadena incluya a diversos actores involucrados en el programa, con el fin de facilitar la interpretación de posibles relaciones causales a partir de diferentes perspectivas y marcos mentales. Durante los procesos de formulación e implementación de un programa, es vital tratar a la cadena de resultados como una guía, como una pauta que explicita la apuesta original detrás del programa. Se debe pensar que la cadena es una propuesta de lo que se espera, recordando que es una hipótesis. Se trata de una apuesta y en la medida que se descubra que la apuesta no está dando resultado, habrá que repensarla, y definir los medios que se realizarán, pensando que estos otros medios podrían ser más idóneos para conducir al logro de cambios sociales deseados. En este marco, el monitoreo jugará un papel de verificación de la bondad de la apuesta; nos irá viendo si efectivamente apostamos en un conjunto de actividades y productos que sean capaces de lograr los resultados valiosos esperados. Nos levantará banderas rojas en la medida que se evidencie que la apuesta no se da – o sea, que la hipótesis no se pueda validar. Especificando la cadena de resultados, como parte del proceso de planeación del programa La cadena de resultados se puede ir construyendo desde el mismo momento en que surge la idea de enfrentar un determinado problema social; se puede ir construyendo la cadena como parte del proceso de planear y diseñar una iniciativa. De hecho, la construcción de la cadena de resultados como parte del proceso de planeación y diseño de una iniciativa es ideal. Una iniciativa – llamémoslo un programa – surge de la identificación de una situación que se desea modificar: el problema que se propone solucionar. Esta identificación inicia con el reconocimiento de una tensión entre lo que se está observando o viviendo (“lo que es”) y lo que consideramos que debe ser y puede ser. Esta tensión, incomodidad o inconformidad genera un “problema” a quienes la experimentan. (Aguilar Villanueva, 1993) A su vez, la manera en que se interpreta y se define va a influenciar las decisiones sobre sus vías de solución y condicionar las alternativas que se consideran para su solución. (Aguilar Villanueva, 1993 y Moore, 1976).

Por tanto, el proceso de planeación parte del entendimiento que no hay diagnósticos “objetivos” ni “correctos” y que las percepciones y valores inciden en la determinación de lo que es problemático. Tiene que centrar sus esfuerzos en la generación de un consenso con respecto a las condiciones o situaciones generadoras

188

de sentimientos de malestar e incomodidad que constituyen el problema. Tiene que respetar las percepciones de distintos actores involucrados con respecto a lo que les genera tensión entre el “ser” y el “debe ser”. Así, el problema se interpreta, se analiza y se “estructura” de una manera que podemos contemplar su superación. “Estructurar bien un problema es producir tal definición del hecho calificado como problema, que pueda volverse el sujeto u objeto de un enunciado causal. Hay que estructurarlo como “causa de” o “efecto de....” No se puede actuar para modificar una situación-problema sin incluir explícita o implícitamente un enunciado causal además de un concepto de problema”. Aguilar Villanueva, (1993)

La transformación deseada
Durante la estructuración del problema, se genera un contraste entre lo que entendemos como fuente de malestar o tensión en la situación o circunstancia existente y se va creando su imagen espejo: una visión de un futuro sin aquella fuente del “problema”. Así se pinta una imagen del objetivo al cual se apuntará con el mayor compromiso posible. Del contraste entre el entendimiento de lo que se vive y lo deseable que razonable se considera viable, surge la definición de la transformación que se desea generar. Esta transformación define un “norte” para la formulación del programa y para las funciones gerenciales. Introduce una base para la visión estratégica de los gestores del programa. Es importante distinguir la transformación deseada como de una utopía o un sueño. Los procesos de planeación buscan definir imágenes del futuro que sean alcanzables en la práctica, en las circunstancias que se viven, con los recursos al alcance y los compromisos para trabajar para los cambios deseados. Pinta la imagen de un futuro mejorado que moviliza y compromete. Expresa una razón de ser para intervenciones y programas. Su expresión no necesariamente resulta verificable o reconocible, sino es más visceral que cerebral. La grandeza de su ambición y la incorporación de la jerga que actualmente está de moda hacen que las imágenes pintadas sean capaces de movilizar mucho apoyo político y generar una amplia base de compromiso. Son consignas que mueven masas sencillamente por ser de aceptación universal, difícilmente rebatidas.

Los impactos esperados
Una clave fundamental de la viabilididad de la gerencia social radica en la capacidad de acordar y explicitar la transformación deseada en elementos reconocibles que puedan formar la base de una verdadera responsabilización (accountability). Concretamente, radica en la capacidad para definir expresiones verificables de los cambios que serán las manifestaciones de la transformación deseada. En el desarrollo de la función de planeación, hace falta gestionar debates, discusiones y estrategias de comunicación que tienen el objetivo de concretar, interpretar y delimitar la transformación deseada en objetivos verificables que estipulan impactos esperados en plazos fijos y realistas. Recomendamos que estos debates, discusiones y estrategias tienen que abordar tres desafíos, a saber: • la interpretación de la jerga incluida en la expresión de la transformación deseada: estipular un entendimiento consensuado de los fenómenos que se denomina de manera ambigua o de tal forma que podrían entenderse de múltiples maneras; • un análisis de los determinantes de los fenómenos que se proponen afectar: explorar las causas y los contextos que habrá que modificar para poder afectar la transformación, con el fin de determinar lo viable; y • un reconocimiento de restricciones: reconocer que el deseo de transformar se limita por la disponibilidad de recursos y de tiempo, lo que nos obliga a priorizar y delimitar. Estas tres acciones obligan a especificar, concretar y delimitar la expresión ambigua y ambiciosa de la “transformación deseada” de tal forma que llegamos a la definición de un impacto preciso, viable y verificable (y, por ende, gestionable, monitoreable y evaluable).

189

En el ejemplo que contemplamos sobre la participación femenina en los gobiernos locales, la transformación deseada consistía en consolidar “un proceso decisorio más equitativo y más sensible a la forma en que las decisiones tomadas afectan de manera diferencial a los hombre y a las mujeres”. Esta transformación no tiene una interpretación única de lo que correspondería a una forma concreta de reconocer el éxito. No obstante, la cadena de resultados revela que los actores involucrados en la planeación y formulación del programa consideraron que una mayor participación femenina en los cargos políticos elegidos constituiría una garantía viable y verificable de una mayor equidad (en lo que respecta al género). Por tanto, propuso que se reconocería como contribución valiosa a esa transformación el logro de: • • • una mayor participación incrementada en mujeres entre los oficiales elegidos de los gobiernos locales; mayor y mejor análisis de los asuntos relacionados con género en los diálogos y debates políticos de los gobiernos locales y nacional; y mayores demandas por parte de las mujeres, para que los oficiales elegidos contemplen el género en los procesos decisorios.

Estos tres objetivos se convirtieron, entonces, en “impactos” – expresiones delimitados de mejoras en las condiciones de vida de las poblaciones objetivos reconocidos como valiosos en sí mismos. Cabe destacar que el enfrentamiento de los tres desafíos señalados no consiste en un proceso tecnocrático. Aunque tiene elementos técnicos y beneficia de buenas capacidades técnicas, es un proceso con muchas dimensiones políticas, que requieren de dialogo, deliberación y consenso.

Los efectos, productos y actividades
A partir de la definición de impactos esperados, el proceso de planeación o formulación de un programa tiene que considerar posibles caminos para su solución. En este caso, se avanza sobre la formulación de preguntas “¿cómo?”. En general, para definir una cadena de resultados como parte del proceso de planeación de estrategia o formulación de programa, se parte de la especificación de la transformación deseada y los impactos delimitados, y se avanza con base en preguntas iterativas de ¿cómo vamos a lograrlo? Es decir, se parte de los fines buscados y se pregunta ¿cómo? para ir identificando y especificando los medios para lograrlos. Al definir los impactos esperados, se pregunta ¿cómo vamos a lograrlos? para definir los cambios en consumos, comportamientos, conocimientos o actitudes que se necesitan (los efectos). Se pregunta luego ¿cómo vamos a lograr estos efectos? para definir los bienes o servicios que podrían ser medios para lograrlos (y así sucesivamente).

190

Ahora bien, ninguna cadena de resultados se determina en un sentido unidireccional como la que se presenta en la figura anterior. Se suele tener ideas preconcebidas no solo sobre el problema que se propone abordar y la transformación que se desea promover, sino también sobre los medios que se proponen utilizar para lograrlos. Así, el proceso de elaboración de una cadena de resultados suele ser un proceso iterativo, que hace preguntas de ¿cómo? cuando se analizan relaciones causales representadas por flechas hacia la derecha y preguntas de ¿para qué? para analizar las que se apuntan hacia la izquierda. De manera iterativa y por aproximaciones sucesivas, se analizan las hipótesis que fundamentan las propuestas, las intervenciones que se proponen y los cambios sociales que se buscan lograr. El proceso de construcción de una cadena de resultados fija bases para guiar la gestión y para generar compromisos con respecto a los resultados valiosos. No obstante, no se construye con las intenciones de establecerlo como un mapa rígido; sino como una pauta para la gerencia, y una guía para el dialogo entre actores. Los procesos de gestión y de aprendizaje permitirán introducir cambios que fortalecen las relaciones causales y las viabilidades prácticas para generar los resultados valiosos deseados. No obstante, la cadena puede tener un rol mucho más amplio en la gerencia social. De hecho, puede ser un mapa que permite fortalecer el enfoque de los procesos gerenciales en la generación de resultados valiosos. La cadena explícita compromisos e identifica procesos clave que los gestores deben promover y acompañar para asegurar que la gestión conduzca a la generación de valor público. Da una base para el “accountability” y el enfoque estratégico de la gerencia. Idealmente, la construcción de una cadena de objetivos sería un proceso participativo e iterativo que inicia desde el mismo momento que se propone la idea de una intervención o programa. Un manejo eficaz del proceso de su construcción ayudaría a construir compromisos con los efectos e impactos buscados y generaría una apropiación de la iniciativa por parte de diversos involucrados. Sería un proceso que propone la cadena como guía de la planeación e implementación del programa, reconociendo que tiene que revisitarse y revisarse sobre la marcha, en la medida que se aprenda sobre el contexto y el logro (o no) de los resultados esperados. Las técnicas de análisis de problemas sociales y las capacidades para proponer hipótesis causales son indispensables para los procesos de construcción de una cadena de resultados. No obstante, por si solos, resultan insuficientes para gestionar estos procesos. Esto, porque la exploración de problemas y la construcción de árboles de problemas y objetivos son lejos de ser procesos exclusivamente tecnocráticos. Involucran procesos de diálogo, debate y concertación que requieren de claridad con respecto a las dimensiones subjetivas, relativas y valorativas de la existencia de problemas públicos. Son procesos que requieren de muchas de las competencias fundamentales del buen ejercicio de gerencia (Sulbrandt, 2001): óptica amplia; perspectiva estratégica; sensibilidad al entorno; ejercicio de liderazgo; flexibilidad; compromiso social; capacidad de comunicación; Sensibilidad interpersonal y competencia técnica. Esta unidad propone unas reflexiones relacionadas con la competencia técnica necesaria para entender la complejidad de la especificación de una cadena de objetivos que apoyará la gerencia, con el fin de fortalecer los procesos de especificación de objetivos. En la práctica, esta competencia técnica tendrá que complementarse con las demás competencias tan críticas a la necesaria generación de consensos sobre problemas y objetivos. Esta unidad propone unas reflexiones relacionadas con la competencia técnica necesaria para entender la complejidad de la especificación de una cadena de objetivos que apoyará la gerencia, con el fin de fortalecer los procesos de especificación de objetivos. En la práctica, esta competencia técnica tendrá que complementarse con las demás competencias tan críticas a la necesaria generación de consensos sobre problemas y objetivos. Este curso no profundiza sobre estas competencias complementarias. No obstante, propone fortalecer las competencias técnicas para la gestión de procesos de construcción de cadenas de resultados y otros procesos afines. La siguiente unidad se va a ocupar de una de dichas competencias: la identificación de riesgos que amenazan los logros especificados en una cadena de resultados.

191

VIGÉSIMA SEMANA LECTURAS COMPLEMENTARIAS TEMA

La teoría de cambio
Lectura
¿Por qué es necesaria una teoría de cambio?
Tomado de: Retolaza Iguren Iñigo. Un enfoque de pensamiento-acción para navegar en los procesos de cambio social. PNUD

En nuestro tiempo presente, cada vez hay un mayor reconocimiento a aceptar que vivimos un cambio de era, y no así una era de cambios (de Souza 1999). En este cambio de era, la incertidumbre, la multidiversidad, lo paradójico y contradictorio rigen las dinámicas de nuestras (inter)acciones y la configuración emergente de nuestras sociedades, sus Estados e instituciones rectoras (Sawyer 2005, Waldorp 1992). Esto se refleja tanto a nivel personal, como organizacional y societal. Habiendo sido (de) formados socio-cognitivamente a partir de un enfoque mecanicista-positivista de la realidad, creemos que podemos alcanzar el orden y el control de los procesos sociales en los que nos involucramos. El uso dogmático que muchos actores de desarrollo hacen del marco lógico como instrumento de gestión de proyectos de desarrollo, es un claro ejemplo de ello. Aún hoy, hay una tendencia a creer en la existencia de verdades absolutas, la certitud total, estática. Y si eso no fuera poco, seguimos convencidos de que la mejor manera de medir esa verdad es desde una lógica cuantitativa. Empero, vivimos tiempos dinámicos y complejos que se nutren de la incertidumbre y de una multidiversidad de relaciones (identitarias, económicas, sociales, geográficas, políticas, cognitivas, temporales, interculturales, institucionales, etc.). Este hecho fundamental tiene un impacto directo sobre los procesos de desarrollo y cambio social en los cuales están involucrados aquellos actores a los que va dirigida esta guía. Como diría Edgar Morin (1990): “necesitamos archipiélagos de certeza para navegar en este océano de incertidumbres”. El enfoque de pensamiento-acción de la Teoría de Cambio busca lograr identificar esos archipiélagos de certeza a partir de los cuales podamos nutrir una lógica de pensamiento-acción que nos permita navegar por el complejo océano del cambio social. Una Teoría de Cambio nos permite ordenar nuestro pensamiento y configurar de manera abstracta, y a partir de nuestro cuerpo de conocimiento y experiencia, aquellas condiciones necesarias para lograr el cambio deseado en un contexto determinado. En parte, lo hace a partir de la explicitación y análisis crítico de nuestros supuestos (AECF 2004, Aspen Institute 2004). Esos mismos supuestos que rigen nuestro modo de pensar, aprender y generar conocimiento. En definitiva, los supuestos que utilizamos para comprender la realidad; y por ende, actuar en ella. Visto desde una óptica de Teoría de Cambio, este énfasis en la explicitación de los supuestos es fundamental en todo proceso de aprendizaje y cambio social; tanto por una cuestión epistemológica (¿Cómo entendemos y aprendemos sobre la realidad? ¿Cómo aprenden los distintos actores involucrados en procesos multiactor?), como por una cuestión política (¿Cuáles son los argumentos reales utilizados por los distintos actores a la hora de proponer una realidad en contraposición a otra?) Básicamente, los procesos de cambio social nos quieren llevar a algún sitio donde no estuvimos jamás. Los actores involucrados imaginan y visualizan la realidad futura de una manera que no es posible entender a

192

plenitud desde el momento presente. Esto se debe en parte a una cuestión fundamental: siendo que el futuro es algo que no han experimentado en la actualidad (más allá de experimentarlo abstractamente) no tienen esa experiencia de vida futura instalada en ellos mismos. Casi podríamos decir que trabajar para el cambio social es un acto de fe. Creemos que siguiendo una determinada lógica y acción de cambio llegaremos a un lugar mejor. Y creemos que actuando sobre una serie de condiciones existentes en el entorno, llegaremos de mejor manera a esa situación ideal de cambio. Esa convicción sobre la posibilidad de un futuro que creemos mejor es una gran fuerza motora a celebrar. El problema surge cuando nuestra convicción se convierte en dogma, creyendo que nuestro paradigma de futuro es el único viable y deseable. He ahí la importancia de crear espacios dialógicos para el aprendizaje multiactor. Por otro lado, desarrollar una Teoría de Cambio (TdC) nos proporciona el instrumento necesario para monitorear nuestra acción y poder así también rendir cuentas de nuestros actos; a nosotros mismos y a los demás. La utilización sistemática de una TdC como instrumento de monitoreo de proceso nos ayuda a: i) (des)aprender y a estar constantemente atentos a la revisión y actualización de los supuestos a partir de los cuales configuramos inicialmente nuestra TdC; ii) re-leer el contexto y sopesar si las condiciones de cambio establecidas inicialmente se mantienen o si el contexto, emergente y complejo, nos obliga a determinar nuevas condiciones; iii) (re)definir nuevas estrategias que nos ayuden a encarar operativamente y de mejor manera lo mencionado en los puntos anteriores. Si además, este ejercicio prospectivo se hace con la participación de otros actores involucrados en el proceso, la calidad del ejercicio se multiplica debido a que: i) somos capaces de incorporar una multidiversidad de miradas, opiniones, supuestos, intereses y cuerpos de conocimiento que nos ayude a construir una visión (más) compartida y democrática de la realidad y por consiguiente del proceso de cambio en el que estamos embarcados y que nos afecta a unos y a otros de la misma y distinta manera; ii) el mismo acto de incorporar a actores de diverso posicionamiento identitario y político hace que el ejercicio ayude en el proceso político de lograr acuerdos de acción coordinada a partir de la construcción (y negociación) de significados compartidos. Reiteramos que esta lógica de cambio ha de ser compartida con los diversos actores; o al menos debería considerar honesta e inteligentemente lo que los otros actores piensan o requieren. La realidad es holográfica, multiactor. Holográfica porque partimos de la premisa de que somos seres sociales, y por ende nuestra identidad y visión de la realidad integra y es integrada por otras visiones, por un Todo mayor a nuestra propia visión fragmentada (Wilber 1996, 2007). Multiactor, porque queremos vivir en un mundo participativo e incluyente donde se incorporan y reconocen los distintos intereses y necesidades (Kahane 2004, 2008; Reason 2005). Por lo tanto, y por imperativo democrático, la realidad nos obliga a relacionarnos con el otro de una forma incluyente y dialógica. Si bien esta afirmación pareciera obvia desde un punto de vista cognitivo, a menudo la construcción colectiva de conocimiento se torna en una cuestión política y en un instrumento de dominación (Fals-Borda & Rahman M. 1991). Esta gestión, digamos perversa, del conocimiento, deriva y es reproducida por sistemas de gobernanza del conocimiento de diseño asimétrico y excluyente en términos de poder (Retolaza 2008a). De ahí la complejidad y dificultad de facilitar procesos de diálogo multiactor. Por otro lado, una visión holográfica y democrática de las relaciones no sólo nos invita a relacionarnos con los otros de una manera más armónica, sino que tiene implicaciones en cómo nos relacionamos con nuestro propio ser interior (desde una perspectiva holográfica, en nuestro fragmento habita el Todo y viceversa). Es en el momento en el que divorciamos cartesianamente lo objetivo de lo (inter)subjetivo cuando no logramos avanzar más allá de un cambio superficial, pasajero, políticamente correcto, acomodador…pero estéril e hipócrita en términos transformacionales. Aún hoy nos resistimos a practicar lo predicado. Ése es el reto que nos plantea facilitar y participar en procesos de cambio social en contextos complejos y conflictivos.

¿Qué es una teoría de cambio?
En breve, una Teoría de Cambio es: • Un ejercicio de visualización creativa y consciente que nos permite concentrar nuestra energía en determinadas realidades futuras no sólo posibles, sino también probables y deseables.

193

Un conjunto de supuestos y proyecciones sobre cómo creemos que se puede llegar a desplegar la realidad en un futuro próximo con base en: i) un análisis realista de contexto; ii) una autovaloración de nuestras capacidades de facilitación de proceso; y iii) una explicitación crítica de nuestros supuestos. Un enfoque de pensamiento-acción que nos ayuda a identificar hitos y condiciones que han de darse en la senda del cambio que deseamos provocar. Un ejercicio de aprendizaje colaborativo y multiactor que incentiva el desarrollo de la lógica flexible necesaria para el análisis de procesos complejos de cambio social. Un mapa semi-estructurado de cambio que enlaza nuestras acciones estratégicas a ciertos resultados de proceso que queremos provocar en nuestro entorno inmediato. Una herramienta de proceso que nos ayuda a monitorear consciente y críticamente nuestro pensar y nuestra acción de manera individual y también colectiva.

• • • •

¿Qué no es una teoría de cambio?
Tan importante como definir qué es una TdC es el diferenciarla de otros enfoques. Por lo tanto, una TdC no es: • • • Una verdad absoluta e incuestionable de cómo se ha de dar el cambio, de cómo va a ocurrir o incluso de cómo desearíamos que ocurriese. Una receta definitiva que ayuda a eliminar la incertidumbre existente en procesos sociales emergentes y complejos. Un sustituto del Marco Lógico como instrumento de planificación rígida.

Pautas para entender la complejidad de los procesos de cambio social
A continuación se proponen algunas pautas conceptuales que ayudan a nutrir el análisis sustantivo de nuestra Teoría de Cambio.

Tipos de cambio
Partimos de una primera premisa en cuanto a los distintos tipos de cambio1 que se dan en nuestro entorno. • Cambios emergentes. Son aquéllos que se dan en nuestro desenvolvimiento diario de la vida. Son procesos adaptativos e irregulares basados en el aprendizaje experiencial, y que se dan como consecuencia de los cambios inesperados y/o no planificados que surgen de esta dinámica vivencial. • Cambios transformativos. La crisis y el estancamiento preparan el terreno para el cambio. Este tipo de cambio se basa en el des-aprender y en liberarse de aquellas mentalidades, relaciones, identidades, instituciones formales y no formales, etc. que obstaculizan la probabilidad de cristalización de nuevas realidades más justas y equitativas en términos políticos, sociales y económicos. • Cambios proyectables. Cambios basados en problemas simples o complicados que se pueden resolver mediante proyectos concretos y acciones planificadas desde una lógica lineal.

194

En términos generales, una Teoría de Cambio se centra en analizar y proponer acciones pertenecientes a los cambios transformativos, más complejos en su naturaleza y que exigen de nuestra parte una lógica flexible de pensamiento-acción. Los cambios proyectables son aquéllos que podríamos gestionar con una lógica de proyecto, utilizando el Marco Lógico o el Cuadro Integral de Mando como instrumento de análisis y planificación. Es importante explicitar esta primera premisa de partida, ya que a menudo se plantean acciones para cambios transformativos desde una lógica de pensamiento de cambio proyectable. Hay que evitar caer en esa trampa lógica. En el primer caso (cambios transformativos) impera una lógica de pensamiento flexible y fluido. En el segundo caso (cambio proyectable) domina una lógica rígida.

Niveles de cambio social
A la hora de analizar y desarrollar el diseño de nuestra Teoría de Cambio, es necesario ubicar bien el nivel de cambio que estamos queriendo impulsar. Asimismo, hemos de ser conscientes desde qué lógica/nivel estamos pensando y proponiendo los cambios. La lógica de la Teoría de Cambio parte de una explicitación de los supuestos que utilizamos para entender y actuar sobre la realidad. Esto es, en términos generales, plantear acciones de cambio para el 1er y 3er nivel a partir del 2º nivel. Esto se hace desde una lógica articuladora entre pensamiento y acción. En definitiva, el proceso de diseño de una Teoría de Cambio pone énfasis en el cambio de paradigma de cómo entendemos la realidad. De esta forma, supone que las acciones emprendidas para transformar esa realidad emanarán de una nueva manera de entenderla. Por ende, asumimos que al pensar y entender de distinta manera la resolución y/o gestión de problemas complejos, lograremos distintos resultados en relación a lo que lográbamos antes de que se provocara ese cambio paradigmático-epistemológico.

195

Dimensiones del cambio social
Todo proceso de cambio requiere un enfoque integral que permita lograr un estado armónico en las condiciones que suponemos sustentan dicho cambio. Por lo tanto, se requiere analizarlo desde diversas dimensiones con el propósito de generar dinámicas integrales de pensamiento-acción. Observando el diagrama de Dimensiones de Cambio2 podemos generar un análisis más integral del abordaje estratégico que se requiere para lograr efectos exitosos derivados de la implementación de las iniciativas que propone nuestra Teoría de Cambio. Para ello, se sugiere integrar distintos tipos de iniciativas que ayuden a encarar nuestra acción de manera más integral y articulada. Esto nos permite, por un lado, plantear una acción institucional más integral; y a la vez desarrollar una dinámica relacional más colaborativa y articuladora con otras iniciativas en marcha lideradas por otros actores.

196

A continuación algunos ejemplos de distintas iniciativas relacionadas con las cuatro dimensiones: i. Transformación personal: procesos de formación de individuos basados en el contexto y la experiencia, actividades para promover la práctica reflexiva en el campo profesional, reconocimiento y gestión de nuestras múltiples identidades, explicitación y cambio de modelos mentales, introspección y desarrollo personal (psicoterapia, meditación, yoga, biodanza, prácticas shamánicas, retiros espirituales y vivenciales, uso de técnicas de autoconocimiento, talleres de creatividad, etc.) Transformación de relaciones. Generación y facilitación de espacios de encuentro multiactor, espacios de diálogo, iniciativas de concertación de agenda, espacios para la deliberación y la conversación pública, resolución y/o gestión de conflictos, intercambio de experiencias basadas en contextos situados, procesos de aprendizaje-acción participativos, etc. Transformación de patrones culturales. Campañas de sensibilización y comunicación masiva, incidencia sobre medios generadores de opinión, cambios de percepción sobre el otro (racismo, discriminación debido a la diferencia, aceptación social de la homosexualidad), acciones dirigidas a segmentos concretos de la población según problemática a tratar (por ejemplo, violencia de

ii.

iii.

197

género e incidencia sobre maridos y padres de familia), actividades dirigidas a cambio de patrones culturales y sociales (erradicación del alcoholismo en padres de familia, machismo), etc. iv. Transformación estructural. Apoyo a procesos constituyentes, incidencia en el desarrollo legislativo de temas clave, promoción de procesos de control social sobre política pública, apoyo al desarrollo institucional de órganos públicos, apoyo a procesos de descentralización orientados al desarrollo social y la reducción de la pobreza, reformas educativas y de salud, cambio de modelos económicos, cambio y/o (re) creación de instituciones formales y no formales, etc.

Los cambios institucionales
Sintéticamente y considerando nuestro caso, entendemos las instituciones como aquellas reglas del juego que determinan el gobierno de una sociedad, grupo social determinado (por ejemplo, grupos étnicos, clanes, asociaciones sociales, etc.), e incluso una organización específica. Normalmente se basan en mecanismos que a su vez cumplen y hacen cumplir una serie de normas establecidas para asegurar el establecimiento y mantenimiento del bien común. Asimismo, estas normas son bastante rígidas y difíciles de cambiar en el tiempo. Partimos de dos tipos de instituciones fundacionales: formales y no formales. i. Instituciones formales: Aquéllas que se basan en normas escritas y que rigen las relaciones y procedimientos formales que gobiernan a una sociedad en su conjunto “(i.e. constitución política del estado, sistema judicial, congreso, marco legal, sistema electoral, etc.) o a un determinado grupo social o corporativo “(i.e. sistema de gobierno de una empresa o asociación de productores establecidos según estatuto y reglamentos internos). Instituciones no formales: Aquellas personas, mecanismos, dinámicas intangibles y no escritas que gobiernan a una sociedad o grupo social (i.e. corrupción en la cosa pública, sistemas jurídicos consuetudinarios con base en usos y costumbres, relaciones de compadrazgo y padrinazgo, homofobia y misoginia, reciprocidad comunitaria, discriminación y racismo, Gandhi en India, la madre en la familia, etc.). Por otro lado, es importante destacar cuatro grupos de instituciones que determinan la intensidad y sostenibilidad de los procesos de cambio societal (adaptado de Voeten y Parto, 2005): Instituciones culturales: aquéllas que determinan el pensamiento y comportamiento colectivo (carnavales, celebraciones nacionales, danza, música, folklore, etc.) Instituciones asociativas: aquéllas que ordenan las relaciones sociales y la acción colectiva (fraternidades, clanes familiares, movimientos sociales, redes sociales, clubs deportivos, etc.) Instituciones constitutivas: aquéllas que sientan las bases normativas sobre las que se cimentan/cementan las sociedades (Constitución Política del Estado, leyes, religión, familia, etc.) Instituciones cognitivas: aquéllas que configuran las formaciones y modelos mentales colectivos e individuales (creencias colectivas de base étnicocultural, prejuicios colectivos, sistema educativo, etc.)

ii.

iii.

iv. v.

vi.

vii.

198

Los momentos en los procesos de cambio
Los procesos de cambio son dinámicos, impermanentes. Esto significa que son generados a partir de una secuencia dinámica y emergente que pasa por distintos estadios no estáticos en el tiempo. A modo de simplificar e ilustrar didácticamente esta secuencia dinámica, se plantean cuatro grandes fases que de alguna manera u otra se pueden apreciar en todo proceso de cambio: i. Fase de satisfacción (competencia inconsciente): allí donde no se generan dinámicas de cambio ya que aún no se es consciente de la necesidad del cambio. Las personas tienen naturalizados e integrados una serie de modelos mentales, comportamientos, prácticas institucionales, hábitos culturales, dinámicas de relacionamiento, competencias, etc. y no creen pertinente o necesario cambiarlos. Existe un equilibrio en el sistema que permite cierta estabilidad y consistencia del mismo. Fase de negación (incompetencia inconsciente): se percibe o intuye que algo no está funcionando bien y ya se denota un desfase entre el deber ser y el ser. Sin embargo, existe resistencia a cambiar el status quo por miedo a lo desconocido, inercia de comportamiento y pensamiento, o por lo que supone de reconfiguración en las relaciones de poder. Es visible la ruptura del equilibrio del sistema pero se generan grandes tensiones y resistencias que no permiten avanzar hacia una nueva situación de los factores del sistema; y por ende, de las relaciones entre ellos. Fase de confusión (incompetencia consciente): los actores están motivados a entrar en una dinámica de cambio una vez superada la resistencia inicial. Sin embargo, no se sabe muy bien

ii.

iii.

199

cómo avanzar o qué dirección tomar por lo emergente e incierto de todo proceso de cambio. Éste es el momento de mayor vulnerabilidad emocional en los actores debido a las consecuencias que tiene para los individuos salirse de la zona de confort político, emocional, cognitivo, relacional. Éste es el momento en donde se da una mayor disonancia cognitiva entre lo que se conoce y lo que se percibe que se debe aprender/ conocer. El reconocimiento consciente y explícito de que no se sabe lo que se ha de saber genera ansiedad. Lo mismo se aplica al reconocimiento de la necesidad de cambiar un determinado posicionamiento político: se sabe que hay que moverse hacia otra posición pero aún no hay suficiente claridad de hacia dónde nos dirige ese nuevo posicionamiento. Existe una gran dispersión en el sistema, lo cual genera dinámicas caóticas. iv. Fase de renovación (competencia consciente): a partir de la necesidad explícita y consciente de desarrollar nuevos campos de posibilidad se entra en una dinámica virtuosa. Ya está individual o socialmente aceptado que hay que cambiar; y este nuevo contexto ayuda a desarrollar las condiciones para que se dé el cambio deseado. Se entra en procesos de mutación, transformación y renovación que logran consolidar las bases del cambio. El sistema logra reconfigurar las dinámicas de equilibrio y paulatinamente se avanza hacia un nuevo equilibrio dinámico-caórdico.

Participación y poder en procesos de cambio

200

En todo proceso participativo existe una relación directa entre el ejercicio del poder, los cuerpos de conocimiento presentes, y la(s) identidad(es) que condicionan los posicionamientos e intereses de los actores involucrados. Como veremos a continuación, el ejercicio del poder que los distintos actores pueden hacer es diverso. Algunas dinámicas de poder pueden ayudar a integrar de manera (más) horizontal e incluyente distintos tipos de cuerpos de conocimiento situados entre los actores del proceso. Por el contrario, dinámicas más hegemónicas y autoritarias restringen la posibilidad de visibilizar y considerar como válidos y pertinentes ciertas identidades y cuerpos de conocimiento (Fals-Borda y Rahman 1991). Por ejemplo: i) el reconocimiento e inclusión del conocimiento indígena en procesos de decisión dominados por actores de corte occidental o de talante discriminador; ii) la valoración e incorporación del conocimiento de la mujer en la toma de decisiones; iii) la negación por parte de las autoridades y técnicos municipales de considerar propuestas ciudadanas alternativas a la oficial en lo que se refiere al trazado de vías públicas o construcción de parques en el barrio, etc. La calidad de estas interacciones entre identidad, poder y conocimiento condicionan, e incluso determinan, cuán democrático es el espacio social donde se desenvuelven los procesos de cambio social. En la medida que estas interacciones son excluyentes y homogeneizadoras en términos de identidad y conocimiento, el grado de conflictividad del proceso de cambio se incrementa. De la misma manera, el espacio social se puede ver seriamente afectado en lo que respecta al grado de cohesión e integración social del mismo.

Los pasos metodológicos para el desarrollo de una teoría de cambio
A continuación abordamos los aspectos metodológicos clave sobre los que se sustenta una Teoría de Cambio: el cambio deseado, los actores del cambio, los supuestos de partida, la ruta de cambio y los indicadores. Los elementos teóricos comentados en la sección anterior deberían ayudarnos a configurar mejor nuestra Teoría de Cambio conforme vayamos transitando por los pasos del método.

7.

El cambio deseado

La elaboración de una Teoría de Cambio se inicia, no a partir de la identificación de un problema a ser resuelto, sino desde la visualización creativa y positiva que hacemos de una situación que se quiere alcanzar en un tiempo posterior al actual. Utilizamos esta visualización de futuro como horizonte y motivación de nuestra acción presente. Esto es, el cambio deseado representa un conjunto de condiciones, relaciones y resultados que queremos contribuir a que ocurran en los años venideros a partir de nuestra acción en el entorno presente y futuro. Considera dimensiones temporales, relacionales, estructurales, geográficas, sociales, culturales, económicas, políticas, institucionales, etc. El énfasis en una dimensión u otra dependerá de la naturaleza del cambio que se desea o necesita. Esto también está condicionado por la identidad, posicionamiento, estructura cognitiva e intereses de aquellos que formulan dicho cambio. La visión tiene que ser plausible. Se tiene que concentrar en cambios en y entre individuos, organizaciones, estructuras sociales, patrones culturales e instituciones sobre las que nuestra organización puede realmente influenciar (no un estado idealizado que no es posible alcanzar). Esto es, no sólo ha de ser posible incidir sobre esa realidad futura sino que además ha de

201

existir suficiente grado de probabilidad de que así ocurra, de manera que justifique invertir los recursos y energía necesarios de nuestra parte. La visión debe ser dinámica. Debería ser el fotograma de una película que representa un sistema complejo y dinámico, en el cual la gente y sus instituciones están trabajando efectivamente en relacionarse entre ellos y con agentes externos para resolver sus problemas y mejorar el bienestar de los ciudadanos y el medio ambiente en el que cohabitan. Una vez identificado el cambio deseado, se pasa a determinar cuáles son las Áreas Estratégicas sobre las que se va a sustentar ese cambio; y por ende, sobre las que hay que centrar nuestra acción. Procuraremos sintetizar en 3 ó 4 áreas estratégicas para evitar demasiada dispersión y centrar nuestro ejercicio en los elementos estratégicos y fundamentales, y no tanto en los periféricos y superficiales. 8.

¿Quiénes son los actores del cambio?

Una vez acotado el universo de acción, pasamos a identificar aquellos actores que están involucrados en el proceso sobre el que se quiere influir activamente. Éstos son actores que de una manera u otra se verán afectados o de hecho ya están involucrados en el campo de realidad sobre el que se quiere influir. El grado de complejidad social con respecto a la calidad y efectividad de la interacción que se da entre ellos y sus agendas, determinará de alguna manera cuán colaborativo, conflictivo, incluyente y efectivo será el proceso de cambio en relación al logro del cambio deseado. De la misma manera, nos ayudará a entender el grado de densidad socio-política e institucional en la cual estamos operando.

Hay varias lentes con las cuales podemos identificar y analizar a los actores. Para ello utilizaremos distintas técnicas de mapeo de actores según el propósito y naturaleza del análisis: Análisis sectorial. Este enfoque es de utilidad en aquellos casos en los que se quiere concentrar la acción en constelaciones de actores que representan, en formato escala, el conjunto de todos los actores sociales afectados por el proceso de cambio. Partimos de una primera premisa, la holográfica, en donde se asume que cada individuo contiene

202

en sí mismo representaciones e identidades sociales del conjunto de la sociedad, su diversidad y complejidad social. La segunda premisa, la microcósmica, plantea que trabajando con una constelación reducida y representativa del conjunto del grupo social afectado por el proceso de cambio, se logrará entender y accionar de mejor manera sobre la totalidad del campo de realidad a transformar. Normalmente el análisis parte de identificar y analizar a los actores de al menos tres sectores fundamentales en toda sociedad: el sector público-gubernamental, el sector económico-privado, y el sector social-comunitario. A estos tres sectores también se puede añadir el sector político (partidario) u otros sobre los que queramos poner especial énfasis (i.e. sector cooperación internacional). Las zonas de solapamiento están habitadas por aquellos actores puente capaces de generar espacios y dinámicas de interacción positiva o negativa entre un sector y el otro. La calidad de la interacción variará según el interés que tengan dichos actores en relación al cambio que se desee provocar, y la capacidad dialógica y negociadora de los actores. En caso de que se requiera complejizar y detallar más el análisis, se incorporará la variable de nivel: nivel macro (nacional, federal, etc.); nivel meso (departamental, regional, estatal, etc.); nivel micro (municipal, local, comunitario, etc.).

Análisis de influencia. Este mapa hace hincapié en la capacidad de influencia que los actores tienen o pueden llegar a tener en el proceso de cambio. Este tipo de análisis se puede combinar con el primero, pudiendo identificar a los actores en base al sector y cuadrante de posicionamiento en el mapa de influencia. Esto se puede visualizar de manera muy clara utilizando distintos códigos visuales (iconos de codificación, tarjetas de distintos colores o formas, etc.) Análisis de capacidad de articulación. En este caso, el énfasis está en la capacidad que los actores tienen para articularse con otros actores. En concreto, se analizan dos tipos de capacidad de articulación: vertical y horizontal. La capacidad de articulación vertical se refiere al grado de capacidad y legitimidad que esos actores tienen para crear puentes de entendimiento, establecer relaciones de confianza, transmitir mensajes entre las partes, y proponer agendas de negociación multiactor entre actores ubicados en distintos niveles. En general, estos articuladores dinamizan procesos de relacionamiento y acción colectiva entre actores ejerciendo un mayor

203

poder de toma de decisiones a nivel superior (élites, autoridades nacionales, organismos internacionales, etc.) con aquellos que si bien están alejados de las esferas del poder hegemónico, son afectados directamente por dichas decisiones y pueden a su vez afectar el proceso mediante acción colectiva (comunidades de base, asociaciones de productores locales, etc.). La articulación horizontal se enfoca en la capacidad de los actores de relacionarse con otros sectores y líderes de su mismo rango, pero que están ubicados en otros grupos sociales o sectores también involucrados en el proceso de cambio. Un primer momento del mapeo posiciona a los actores según su ubicación en la pirámide: arriba (élites), en medio (actores con capacidad de articulación), abajo (organizaciones de base). Un segundo momento analiza las relaciones que se dan al interior de y entre los distintos niveles. Análisis de posicionamiento e interés. En este caso se busca identificar el posicionamiento del actor en base a su interés con respecto al cambio deseado. Se identifica y analiza a los actores con base a tres categorías: dinamizadores, flotadores y bloqueadores.

Los dinamizadores son aquellos actores comprometidos en contribuir al cambio deseado y se ubican en el círculo interior. Existe mayor afinidad en sus intereses y resulta medianamente fácil establecer espacios de relacionamiento y alianzas estratégicas entre ellos. Los bloqueadores son aquellos actores que están en contra del proceso debido a que sus intereses se ven

204

afectados negativamente. También puede ocurrir que obstaculicen el proceso por no disponer de la información necesaria que les ayude a entender que hay posibilidades de incorporar sus intereses mediante procesos de negociación/mediación. Asimismo, pueden estar obstaculizando el proceso por una cuestión de inercia y rivalidad histórica con los dinamizadores o la temática de cambio (por ejemplo, terratenientes obstaculizando un proceso de reforma agraria liderado por un gobierno de corte popular). Los flotadores son aquellos actores que se encuentran en una situación intermedia: no obstaculizan decisivamente pero tampoco apoyan de manera decidida. Estos actores también pueden cambiar de posicionamiento (pasar a ser un bloqueador o dinamizador) según lo que sea más beneficioso para sus intereses. Una vez identificados todos los actores clave y habiéndolos ubicado según su posicionamiento ante el cambio deseado, se hará primero un análisis de intereses, después una identificación de bloques de actores de oposición/dinamización y finalmente, se configurarán posibles estrategias de acercamiento e incidencia sobre los actores. Esto último con el propósito de ver qué estrategias ayudarían a acercar a los flotadores, neutralizar o dividir a los bloqueadores, y/o afianzar alianzas entre los dinamizadores. De igual manera que en los mapas anteriores, podemos lograr un análisis más detallado si utilizamos iconos y formas visuales de diferenciar el sector al que pertenecen los actores. Esto nos permite tener un análisis de doble entrada: sector (énfasis en identidad y conocimiento), posicionamiento (énfasis en interés y calidad de relación). 9.

Los supuestos que utilizamos para desarrollar nuestra teoría de cambio

Un aspecto que caracteriza a la Teoría de Cambio es el énfasis que pone en profundizar la práctica reflexiva. No sólo se trata de analizar e identificar las condiciones necesarias para definir la ruta a seguir, sino también de explicitar cómo llegamos a esas conclusiones y cuál es el proceso epistemológico por el cual construimos dichos argumentos y razonamientos. La Teoría de Cambio nos obliga a revisar de manera constante e iterativa los supuestos que utilizamos para interpretar la realidad. Veamos un ejemplo que siempre genera gran disonancia cognitiva en los actores que participan en talleres de diseño de Teoría de Cambio. Un supuesto absoluto diseñado para generar disonancia cognitiva: Un actor con un posicionamiento político explícito no puede facilitar procesos de cambio entre múltiples actores. En este caso, algunos de los actores de cambio social participantes en los talleres no están de acuerdo con este supuesto. Ellos y ellas creen que aun estando claramente posicionados ante un tema, disponen de la suficiente credibilidad y legitimidad ante otros actores opositores y/o escépticos como para que estos últimos accedan a ser facilitados en el proceso por los primeros. Por otro lado, otros participantes en los talleres consideran que ellos no tienen problema en facilitar espacios y procesos al interior de su sector (mentalidad afín, intereses comunes, voluntad de generar alianzas intra-sectoriales); pero que resulta sumamente difícil, e incluso peligroso, hacerlo en el caso de una constelación de actores más compleja, políticamente encontrada, multipolarmente posicionada, y con intereses tan encontrados que utilizarán el hecho de que ciertos actores quieren facilitar el proceso como excusa para salirse de dicho proceso. Entonces, no podemos dar por hecho de forma automática (supuesto no reflexivo) que si bien seamos aceptados como facilitadores en ciertos espacios y procesos más homogéneos en cuanto a mentalidad e identidad de los actores participantes (por ejemplo una red temática sobre violencia de la mujer), también lo seamos en otros espacios multiactor (por ejemplo un proceso participativo y dialógico de elaboración de proyecto de

205

ley sobre reforma agraria) en donde los intereses y posicionamientos no sólo son diversos, sino también encontrados y en conflicto. Este ejercicio cognitivo de explicitación de supuestos fortalece nuestra práctica reflexiva en dos planos: Reflexión externa. El proceso de reflexión relacionado con el mundo exterior. Se centra en reflexionar individual y/o grupalmente sobre lo que ocurre en nuestro contexto social, histórico, político, económico. La mayoría de las secciones previas tienen que ver con este tipo de reflexión. Digamos que es la reflexión clásica, tradicional, y que normalmente ocupa casi la totalidad del análisis desarrollado por organizaciones y grupos embarcados en procesos de cambio social. Reflexión interna. El proceso de reflexión relacionado con el mundo interior. Una mirada interior, individual y personal que nos ayuda a entender mejor cómo pensamos, por qué pensamos lo que pensamos, qué efecto tienen nuestras formaciones mentales y estructura cognitiva en cómo entendemos el mundo y por ende en cómo nos relacionamos con él, cómo nos relacionamos con nuestro ser interior, la construcción de nuestra(s) identidad(es), la relación que tiene nuestro pasado con la configuración de nuestra personalidad en el momento presente, la construcción de nuestros hábitos mentales y emocionales, etcétera. Tradicionalmente, este tipo de reflexión se ha visto severamente marginado de esta clase de ejercicios. Pareciera que la dimensión personal no afectara ni debiera ser considerada en los procesos de cambio social. Y sin embargo, éste es precisamente el punto más crítico en todo proceso de cambio. Aquí es donde se ven las mayores incoherencias entre lo que proponemos y hacemos. Por lo tanto, hemos de reivindicar la inclusión de esta dimensión en nuestra práctica reflexiva, tanto a nivel individual como con nuestros pares de aprendizaje-acción. Es esencial realizar un trabajo continuado en estas dos dimensiones cuando se trata de flexibilizar nuestra forma de pensar y actuar; requisito éste esencial a la hora de facilitar o actuar estratégicamente en procesos de cambio social. Se trata así de pasar de una lógica rígida de pensamiento a otra más flexible y creativa, más acorde a los tiempos complejos que nos toca vivir (Riso 2008, Parra Duque 2003). A lo largo de la elaboración de la Ruta de Cambio (ver sección abajo) se estará poniendo especial atención a los supuestos que utilizamos para argumentar nuestra lógica de cambio. Se establecerán de manera explícita algunos momentos (desde espacios concretos en un taller a sesiones de monitoreo en procesos en marcha) para hacer una revisión e identificación de supuestos. Esto a modo de ir ajustando nuestra lógica de cambio y el diseño de la ruta de cambio que emana de dicha lógica. 10. Proyectando

realidades futuras. La ruta del cambio

La ruta de cambio identifica los hitos del proceso y las condiciones que se han de dar para lograr avanzar con la certeza suficiente en medio de la complejidad en que ocurre todo proceso de cambio social. El logro de resultados en cada una de las Áreas Estratégicas, y por ende del Cambio Deseado, depende de que se den una serie de condiciones. Esto es, partimos de la premisa de que si no se dieran estas condiciones previas, el Cambio Deseado nunca ocurriría.

206

Estas condiciones giran en torno a cambios en: instituciones, calidad en las relaciones entre actores, presencia y acción de determinados actores, capacidades sociales y/o técnicas, comportamientos colectivos/organizacionales/ individuales, actitudes, entornos más conducentes (legales, operativos, físicos, cognitivos, tecnológicos, etc.). Por la complejidad de nuestros procesos, las condiciones pueden ser de dos tipos: Secuenciales ( ): A no puede ocurrir sin que antes se dé B. Simultáneas ( ): C no puede ocurrir sin la acción conjunta de A y B.

207

11. ¿Cómo

sabemos que estamos cambiando?

Una primera advertencia: los indicadores de cambio de una Teoría de Cambio no guardan similitud con los indicadores de ejecución de actividades, como aquéllos que podemos encontrar en un Marco Lógico tradicional. Mediante la definición de indicadores de cambio buscamos entender mejor cómo leer el contexto para ver cuáles son los efectos que podemos percibir en el mismo a raíz de nuestra acción. Estos indicadores nos permiten entender mejor cómo se está dando realmente el cambio; y de igual manera, nos permiten entender mejor cuál es nuestra contribución a la ocurrencia del mismo. En este caso, la premisa de diseño de indicadores nos dice que no por el hecho de ejecutar una actividad estamos realmente contribuyendo a generar los cambios planificados inicialmente. La revisión periódica de estos indicadores ayudará a ajustar nuestra Teoría de Cambio tanto a nivel político-estratégico (acción sobre las condiciones para el cambio) como cognitivo (supuestos que sustentan nuestra lógica de cambio). Los indicadores de cambio estarán relacionados con la observación de las condiciones identificadas en nuestra Teoría de Cambio. De esta manera, los indicadores deberán ayudarnos a entender en qué grado y de qué manera se están dando esas condiciones en el entorno.

208

209

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->