EVALUACIONES

DE IMPACTO
EN LA EDUCACIÓN

SUPERIOR
Claudia Aponte González
Adriana Pérez Cadavid
Título
Evaluaciones de impacto en la
educación superior

ISBN Obra Independiente

978-958-49-3933-3

Autoras
Claudia Aponte González
Adriana Pérez Cadavid

Revisión Lista de Referencias

Liliana Barros González

Diseño y Diagramación
Catalina Cerquera Arbeláez
Vector portada creado por freepik- www.freepik.es

Primera edición, 2021

Colombia

https://creativecommons.org/licenses/by-nc-nd/4.0/
Evaluaciones de Impacto en la Educación
Superior es un recorrido por la mirada teórica,
contextualizada y ejemplificada para entender,
planear y desarrollar estudios de impacto en la
educación superior.

El libro orienta la toma de decisiones sobre el tipo

de evaluación que conviene emprender en una
institución de educación superior. No siempre
una evaluación de impacto es necesaria y
pertinente ya que implica -por su naturaleza- un
esfuerzo económico, humano y logístico de
grandes magnitudes.

Este texto permite distinguir entre el análisis y la

evaluación de impacto, los tipos, las metodologías
y las técnicas para su planeación y su realización.
El impacto se asocia a los cambios, a las
transformaciones, a los efectos o a los aportes
institucionales o en el entorno, atribuibles al
desarrollo de un proyecto, un programa o una
intervención.
CONTENIDO
PRESENTACIÓN .................................................................................................................. 04
1. INTRODUCCIÓN ............................................................................................................. 06
2. RETOS Y CRITERIOS PARA LA EVALUACIÓN DE IMPACTO EN LO
UNIVERSITARIO ............................................................................................................... 12
3. EVALUACIÓN DE IMPACTO ................................................................................... 16
3.1. ¿Qué es impacto? .................................................................................................. 17
3.2. ¿Qué es la evaluación de impacto? ........................................................ 18
3.3. Impacto, resultado y producto .................................................................. 20
4. METODOLOGÍAS DE EVALUACIÓN DE IMPACTO ............................. 24
4.1. Metodologías cuantitativas .......................................................................... 27
4.2. Metodologías cualitativas ............................................................................. 30
4.3. Metodologías mixtas ......................................................................................... 31
5. TÉCNICAS PARA EVALUAR EL IMPACTO .................................................... 33
6. VARIABLES E INDICADORES .............................................................................. 45
7. PASOS PARA REALIZAR UNA EVALUACIÓN DE IMPACTO ......... 52
8. CONCLUSIÓN .................................................................................................................. 56
9. ANEXO - EGRESADOS Y RESULTADOS DE APRENDIZAJE:
EJEMPLO PRÁCTICO ................................................................................................. 57
AUTORAS .................................................................................................................................. 67
Claudia Aponte González ........................................................................................ 67
Adriana Pérez Cadavid .............................................................................................. 68
REFERENCIAS ...................................................................................................................... 71
 PRESENTACIÓN

Más allá de planear y proyectar cada una de sus funciones

sustantivas, en proyectos - acciones - metas, las instituciones
de educación superior tienen el reto de pensar en el impacto
que esperan obtener en un contexto determinado a partir de
sus intervenciones.

Este texto académico es el resultado de un trabajo investigativo

que aporta a las instituciones de educación superior conceptos,
metodologías, técnicas e indicadores para evidenciar el
compromiso institucional con el desarrollo y la transformación
de sus contextos es decir, aquello que se conoce como
impacto.

El texto consta de los siguientes capítulos:

Retos y criterios para la evaluación de impacto en lo

universitario;
Evaluación de impacto;
Metodologías de evaluación de impacto;
Técnicas para evaluar el impacto;
Variables e indicadores;
Pasos para realizar una evaluación de impacto;
Conclusión.

04
La intención de las autoras es proporcionar orientaciones
para que las instituciones educativas definan su propia
metodología para la evaluación de impacto, y así logren
establecer si con su misión se está ayudando al desarrollo del
entorno y se están cumpliendo los propósitos definidos en
los proyectos educativos institucionales.

05
 1. INTRODUCCIÓN

Toda institución de educación, tiene la responsabilidad de

realizar estudios de impacto que demuestren la
transformación que desde su gestión se está dando de
manera positiva, ya sea en sus comunidades académicas, la
institución o su entorno nacional e internacional.

El concepto de impacto se asocia a los cambios, a las

transformaciones, a los efectos o a los aportes a la solución
de un problema o a la satisfacción de una necesidad, logrados
como resultado de la ejecución de un programa, de un
proyecto, de una iniciativa o de una intervención. Algunos
economistas lo llamarían "externalidad", esto es, un cambio
positivo o negativo en el bienestar de personas o grupos
sociales, generado por una acción. En la literatura sobre impacto,
a esta acción, comúnmente se le llama “intervención” -se le
asocia a un proyecto o programa-, la cual trata de dar
respuesta a una necesidad o a un problema determinado,
con el fin de cambiar las condiciones de las partes afectadas
e incidir en su mejora.

En la educación superior, se realizan múltiples “intervenciones”

en el ejercicio de las labores de investigación, docencia y
proyección social, y que generan cambios y transformaciones.
Algunas de esas intervenciones están relacionadas con la

06
formación integral de los estudiantes para su aporte futuro a
la sociedad, la generación de conocimiento y/o desarrollos
tecnológicos para la solución de problemas globales y la
ejecución de proyectos de extensión para mejorar las
condiciones de desarrollo regional, departamental, nacional y
global.

El impacto en la educación
se asocia a la identificación
de los alcances logrados,
en términos del efecto, la
transformación, los cambios
esperados y obtenidos,
derivados de una intervención.

El impacto se relaciona con los cambios en el ser, hacer, saber

o tener de las personas, familias, grupos o comunidades;
cambios que a su vez afectan, explican o determinan unas
condiciones sociales, económicas, políticas, culturales,
organizacionales y/o ambientales (Quintero, 1985) de un
territorio. La valoración de los cambios en el ser, hacer, saber o
tener se denomina “análisis de impacto” y se puede hacer
desde el primer momento de la intervención, en tanto la
“evaluación de impacto” se relaciona con la valoración de los
cambios a nivel de variables socio-económicas de regiones o
territorios y se realizan en el largo plazo una vez terminada la
intervención.

07
Tanto el análisis como la evaluación de impacto se concretan
en lo que se denomina "estudio de impacto". Todo estudio
de impacto debe definir como mínimo:

1 El tipo de valoración que se hará, esto es un análisis

o una evaluación de impacto.

La metodología, entre las que se encuentran la

2 cualitativa, la cuantitativa y la mixta.

Las técnicas y los instrumentos para recolectar la

3 información que evidenciará los impactos.

Las variables y los indicadores que describen la

4 intervención y las transformaciones esperadas.

Usualmente las evaluaciones de impacto las hacen entes

gubernamentales u organismos internacionales, por los
costos que implican. Los análisis y las evaluaciones de
impacto intentan evidenciar la relación causa-efecto
(intervención- transformación). La evaluación de impacto
debe aislar las variables que no explican o no han sido parte
de la intervención, y por esto es que una evaluación de
impacto resulta retadora y costosa.

Es importante precisar que hay múltiples tipos de

evaluación, que no toda intervención amerita un análisis o

08
una evaluación de impacto, y por tanto la institución de
educación superior debe analizar otras alternativas como
las mediciones de valor agregado, de resultados o de
productos, dependiendo de los propósitos de la evaluación
y las preguntas que se quieran responder. Las intervenciones
practicadas por las instituciones de educación superior y
sus comunidades académicas, si bien cuentan con objetivos
claros que parten de la identificación de las necesidades del
contexto, no suelen partir de un proceso metodológico
claro y efectivo para la evaluación o el análisis de impacto.

Los retos para la realización de una evaluación de impacto

son numerosos, por lo que se debe tener una justificación
muy fundamentada para decidir emprender un estudio de
este tipo. Por ello, a veces la mejor alternativa es realizar un
análisis de impacto y no una evaluación. González (2006) y
Aedo (2005) establecen unas funciones que justifican que
una institución tome la decisión de realizar una evaluación de
impacto:

La comprensión de procesos sociales para invertir

1 en iniciativas de gran envergadura o configurar
políticas públicas.

La toma de decisión para dar continuidad a un

2 proyecto o una intervención.

09
 La demostración de si los beneficios recibidos por
3 los participantes en una intervención son los que se
propusieron y dieron respuesta a los problemas
detectados.

El establecimiento de los aspectos positivos y

4 negativos de la intervención o de las relaciones
entre la institución y la sociedad para tomar
decisiones sobre su continuidad.

La determinación de si los costos de la intervención

5 justifican los beneficios, directos e indirectos
obtenidos, para determinar su prolongación.

Finalmente es importante recalcar que la evaluación del

impacto de las labores de docencia, investigación y
extensión, más allá de responder a la normatividad y a los
lineamientos definidos por los entes gubernamentales, es
tarea de las instituciones de educación superior, para
indagar acerca de los cambios positivos o negativos generados
en el desarrollo de su contexto y dar cuenta a la sociedad de
las promesas consignadas en su misión, su visión y su
proyecto educativo y académico. Según Aponte (2007) el
impacto en la educación se asocia a la identificación de los
alcances logrados, a la transformación, a los cambios esperados
y obtenidos derivados de una intervención. En la educación
superior, se pueden identificar múltiples “intervenciones”. La
cuestión es identificar qué transformaciones se espera de

10
esas intervenciones, en qué magnitud, en cuánto tiempo y
sobre qué variables se espera la transformación.

Tabla 1 - Características comparativas del análisis y la evaluación de impacto

Fuente: Elaboración propia.

ANÁLISIS EVALUACIÓN
CARACTERÍSTICA DE IMPACTO DE IMPACTO

Institucionales. Institucionales.

En el ser, hacer, En el bienestar de las

saber o tener de comunidades del
Transformaciones personas y entorno.
esperadas comunidades
institucionales. En la calidad de vida
de los contextos
nacionales,
internacionales y
mundiales.

Desde el primer Unos años después

momento de de haber iniciado
Momento realización de un programa,
de realización un programa, un proyecto,
un proyecto, una iniciativa,
una iniciativa, una intervención.
una intervención.

11
2. RETOS Y CRITERIOS PARA
LA EVALUACIÓN DE IMPACTO
EN LO UNIVERSITARIO
Existen diversos tipos de evaluación, y no toda intervención
debe terminar en un análisis o en una evaluación de impacto.
El propósito de la intervención, y los retos de una evaluación
de impacto constituyen los dos factores determinantes para
una primera decisión sobre la aplicación o no de una evaluación
de impacto. Los principales retos de una evaluación de
impacto son:

Los costos que conlleva y que pueden llegar a superar el

costo de la intervención o del mismo proyecto.

El proceso de aislamiento de las variables ajenas al

proyecto/intervención que también pueden influir en las
transformaciones.

La espera en el tiempo de los impactos de la intervención,

en el caso de proyectos que requieran justificar
rápidamente las transformaciones para la continuidad de
la misma.

Para las evaluaciones de impacto se suelen usar metodologías

experimentales, no experimentales o cuasi experimentales.
Cuando se trata de las primeras es posible que haya que

12
“excluir de la cobertura de un programa, aleatoriamente, a
un grupo de beneficiarios elegibles y, que como tales,
necesitan los servicios del programa”, (Berner, et al, 2011,
p11), lo cual puede convertirse en un dilema ético.

En el caso del diseño no experimental el reto principal para

una evaluación de impacto es la discontinuidad o el
abandono de los individuos del grupo de beneficiarios o
del grupo de control, afectando así los resultados.

Para los diseños cuasi-experimentales se requieren bases

de datos robustas de información sobre los beneficiarios y
no beneficiarios y sobre las variables de impacto. El esfuerzo
para mantener las bases de datos actualizadas sobre los
individuos es un reto importante (Fedesarrollo, 2009).

Las relaciones causa-efecto que se establecen entre la

intervención y los cambios en las variables
socio-económicas-ambientales-culturales y los beneficios
esperados pueden cambiar dependiendo del período en el
que se estudien (Berner, et al , 2011).

Las técnicas de acopio de información para que sean

estadísticamente representativas, de tal manera que con la
información recogida se puedan hacer generalizaciones.

13
 Cuando la intervención ya ha iniciado y se toma la
decisión o se identifica la necesidad de realizar la
evaluación de impacto, generalmente no se tiene
información sobre la línea base ni sobre la magnitud que
tenían los problemas antes que se emprendiera la inter-
vención.

Una vez realizada una evaluación de impacto es posible

“caer en la complacencia” (Gairín, 2016) y asumir que esa
intervención no necesita mejoras.

De otro lado los siguientes criterios deben tenerse en cuenta

para emprender una evaluación de impacto:

La evaluación de impacto debe ser planeada, sistemática,

metódica, contextualizada, no neutral, objetiva cuando
se aplican métodos econométricos y subjetiva cuando
se aplican métodos cualitativos.

La evaluación debe organizarse como un proceso de

gestión, que se tiene en cuenta desde el mismo
momento de la planeación de la iniciativa para garantizar
la recolección de información y la aplicación de las
técnicas de análisis (Asociación Internacional de
Evaluación de Impacto, 2015).

14
La evaluación de impacto se debe considerar como una
medición de los efectos netos, a diferencia de una
evaluación de resultados (efecto bruto).

La evaluación de impacto varía dependiendo del tipo

intervención, de su propósito y de la naturaleza de la
institución que la hace.

Es ideal que una evaluación de impacto use una

metodología mixta, esto implica combinar métodos
cuantitativos y cualitativos, y para lo universitario un
diseño cuasi-experimental.

15
 3. EVALUACIÓNDE IMPACTO

La evaluación, hace referencia a un juicio de valor, un

señalamiento, un estimativo, una apreciación, una medida
de algo. La evaluación va adquiriendo su significado según el
ámbito en el que se aplique: académico, investigativo, social,
ambiental, político, tecnológico, institucional, entre otros.

La evaluación es el proceso que determina en qué medida

han sido alcanzados los propósito u objetivos inicialmente
planteados. Consiste en identificar, obtener y proporcionar
información útil y descriptiva sobre el valor y el mérito de las
metas, la planificación, la realización y el impacto de una
actividad, un proyecto, un programa o una iniciativa.

Se puede decir que la evaluación genera un vínculo

directamente relacionado con la planeación de una actividad,
un proyecto, un programa o una iniciativa, ya que en últimas,
es ésta la que da cuenta del logro de los propósitos
inicialmente establecidos.

En el contexto de este documento se hablará de una

intervención como sinónimo de proyecto o programa, para
aludir al conjunto organizado de actividades que se desarrollan

16
para el cumplimiento de unos objetivos determinados en un
lapso de tiempo específico.

IMPACTO: impactus, del latín tardío y

significa impresión o efecto muy intenso dejados en
alguien o en algo por cualquier acción o suceso.

3.1. ¿Qué es impacto?

El término impacto, de acuerdo con el diccionario de uso del
español proviene de la voz impactus, del latín tardío y significa,
en su tercera acepción, impresión o efecto muy intensos
dejados en alguien o en algo por cualquier acción o suceso.

En este sentido, el impacto está asociado a los cambios, las

transformaciones o los efectos positivos o negativos que se
generan en el bienestar de las personas o los grupos, por la
intervención a una necesidad o problema que se identifica y
se le pretende cambiar de condición.

Según Aponte (2007) el impacto puede tener diferentes

características, presentadas en la siguiente figura:

17
 Figura 1: Caracterización del impacto

Fuente: Elaboración propia. Vector de Infografía creado por pikisuperstar - www.freepik.es

Positivo Negativo Deseado No deseado

cuando el cuando el cuando después

cuando los
cambio producido cambio de la interven-
cambios en la
mejora la producido ción la situación
situación han
situación deteriora la se ha modificado
resultado
inicial después situación inicial. de la manera
diferentes a lo
de la intervención. como se había
planeado.
previsto o
planeado.

Aedo (2005) considera que la estimación del impacto intenta

establecer la diferencia, entre la situación que presenta un
individuo o una comunidad entera después de haber
participado en un proyecto, intervención o programa versus la
situación en que se encontraría, si no hubiese sido beneficiario.

3.2. ¿Qué es la evaluación

de impacto?
La evaluación de impacto permite comparar el grado en que
una iniciativa ha alcanzado la finalidad última para la cual fue
creada. Para la Asociación Internacional de Evaluación de

18
Impacto, ésta es un proceso que tiene como objetivo
identificar las consecuencias futuras de una acción actual o
propuesta. El impacto es la diferencia entre lo que pasaría
con la intervención y lo que ocurriría sin ella.

Según Aedo (2005) son del interés de la evaluación de

impacto las siguientes preguntas:

¿Con la intervención se contribuye a resolver el problema

en la población objetivo?
¿Cuál fue el efecto de la intervención sobre sus
beneficiarios y sobre la calidad de vida del entorno de
los beneficiarios?
¿Los beneficios recibidos por los participantes en la
intervención son los que se propuso lograr o son
diferentes a los propuestos?
¿Son estos positivos o negativos?
En caso de un mejoramiento en la situación de sus
participantes, ¿Es esto una consecuencia de la
intervención o se hubiese obtenido de todas maneras?
A la luz de los beneficios, directos e indirectos, obtenidos,
¿Se justificaban los costos de la intervención?
¿Cuál es la tasa de retorno por unidad monetaria
invertida en la intervención?

Estas preguntas sólo es posible responderlas después de

ejecutada la intervención y unos años después de su
finalización.

19
Es interesante cómo otros autores, incluyen la evaluación
de impacto dentro de la de resultados. Distinguen tres tipos
de evaluación basada en los resultados. “Se trata del análisis
de la efectividad, del análisis del impacto y del análisis
coste-beneficio. De esta manera, la evaluación del impacto
sería uno de los tipos de análisis en la evaluación basada en
los resultados” (Apocada, 1999, p. 364).

Figura 2: Tipos de evaluación

Fuente: Elaboración propia. 3.3. Impacto, resultado

y producto
Vector de Infografía creado por freepik - www.freepik.es

01 Eficacia
Debido a los múltiples conceptos
asociados por algunos autores como
Eficiencia
02 sinónimos del impacto, es importante
esclarecer estos conceptos. Cada
Efectividad
institución de educación superior
03 que pretenda realizar un análisis o
Resultado una evaluación de impacto deberá
04 asumir su propio concepto de
impacto, resultado y producto.
Producto
05 De igual forma, estas aclaraciones
son útiles para determinar en un
Efecto
momento dado el tipo de evaluación
06
a aplicar para una intervención,
Pertinencia porque no toda intervención requiere,
07

20
de acuerdo con su propósito, una evaluación de impacto. Se
habla tradicionalmente de los siguientes tipos de evaluación:
eficacia, eficiencia, efectividad, resultado, producto, efecto,
pertinencia. Este texto no pretende hacer un análisis o
tratado comparativo de todos los tipos de evaluación, pero
sí de denotar la diferencia que existe con la evaluación de
impacto.

Figura 3: Producto, resultado e impacto

Fuente: Elaboración propia

Producto Resultado Impacto

(entregable) (efecto, logro) (transformación)

Eficacia: mide el grado en que se logran los objetivos

previstos en el proyecto/programa/ intervención (Cohen y
Franco, 1993), (Aedo, 2005), (Quintero, 1985).

Eficiencia: grado en que se cumplen los objetivos con un

uso racional de los recursos aplicados en el
proyecto/programa/ intervención (Cohen y Franco, 1993),
(Aedo, 2005), (Quintero, 1985).

21
Efectividad: incluye en sí misma la eficacia y la eficiencia y
corresponde a la relación entre los recursos asignados al
proyecto/ programa/ intervención y el impacto obtenido
(Cohen y Franco, 1993).

Resultado (en inglés outcome): hace alusión a los logros

obtenidos en los sujetos destinatarios de una intervención al
finalizar la misma.

Impacto: hace alusión a los efectos en el contexto más

amplio en donde se ubica el sujeto destinatario de la
intervención (Apocada, 1999), (Cohen y Franco, 1993), (Aedo,
2005), (Quintero, 1985).

Producto (en inglés output): es un tangible o intangible

que se obtiene como consecuencia de la realización de
distintas actividades y de la utilización de recursos.

Costo- beneficio: se refiere a la relación de los resultados y

los costos que se traducen en unidades monetarias (Cohen y
Franco, 1993), (Quintero, 1985).

Costo- efectividad: se evidencia en la relación de los

resultados expresados en unidades no monetarias y los
costos cuando se aplican diferentes intervenciones (Miranda,
1997), (Cohen y Franco, 1993), (Aedo, 2005), (Quintero, 1985).

22
Pertinencia: cuando hay una relación entre las necesidades
del entorno y los objetivos del proyecto/ programa/ intervención
(Aponte, 2007).

Efecto: consecuencias de la intervención/ proyecto/ programa

en el corto plazo. También se concibe como la repercusión
de la intervención (Cohen y Franco, 1993), (Quintero, 1985).

Sostenibilidad: se refiere a la capacidad del proyecto una

vez finalizado, de generar condiciones tales que la población
puede seguir mejorando su realidad (Aponte, 2007).

23
 4. METODOLOGÍAS DE
EVALUACIÓN DE IMPACTO

Existen diferentes metodologías para evaluar el impacto de

las intervenciones desarrolladas por las organizaciones. La
mayoría de metodologías encontradas en la literatura, se
relacionan con programas de tipo social o ambiental, donde
lo que se pretende es determinar si los efectos ocasionados
con el desarrollo de las intervenciones, son los efectos deseados
en los grupos poblacionales, si son realmente efectos
ocasionados a partir de la intervención programada, y si
además existen externalidades positivas o negativas en los
grupos de interés, entendiendo por externalidad las
consecuencias no atribuidas al objetivo de la intervención. En
términos generales, lo que buscan las metodologías de
evaluación de impacto, es identificar la causa de un
tratamiento específico en uno o varios resultados observados
en un grupo poblacional, institución o sociedad en general.

De acuerdo con Guzmán (2004) se plantea que para lograr

esto, se debe entonces, como parte de la evaluación de
impacto, identificar y separar los cambios logrados como
consecuencia de la intervención, de aquellos que de todas
maneras hubieran ocurrido sin la ejecución de ésta, y que
sean atribuidos a la evolución normal de los individuos o de
las condiciones del entorno. Lo anterior implica no solo

24
construir o identificar las variables que serán evaluadas para
determinar el impacto de la intervención, sino que, además
deberá considerarse cómo evaluar la transformación sobre
los individuos con o sin la intervención.

Efecto causal: se logra establecer cuando

se identifica en qué medida un
programa específico, y solo ese programa,
ha contribuido a cambiar un resultado;
descartando la posibilidad de que
cualquier factor diferente del programa,
explique el impacto observado.

Para evaluar la transformación de una iniciativa sobre los

individuos, se hace necesario determinar el efecto causal
sobre los mismos. Gertler et.al. (2017) se refieren al efecto
causal, cuando se logra establecer en qué medida un
programa específico, y solo ese programa, ha contribuido a
cambiar un resultado; descartando la posibilidad de que
cualquier factor diferente del programa, explique el impacto
observado. Así que, el impacto causal de un programa/ intervención,
sería la diferencia entre la transformación lograda con la
intervención y el mismo logro sin la intervención.

Lo anterior, conduce a la necesidad de estimar qué ocurriría

con las personas o grupos de interés, si no hubiesen sido
partícipes o beneficiarios del programa/ intervención, esto

25
con el fin de establecer la diferencia entre los impactos con y
sin programa/ intervención. Baker (2000) resalta la necesidad
que toda evaluación de impacto debe estimar el escenario
contrafactual o simulado alternativo, que no es más que, lo
que habría ocurrido si el programa nunca se hubiera realizado,
o lo que habría ocurrido normalmente.

La estimación del escenario contrafactual se logra mediante

el establecimiento de grupos de control o de comparación,
que serían las personas o grupos de interés que, teniendo las
condiciones para participar, no se benefician ni participan
de la intervención. Este grupo de control, que imita el
contrafactual, es posteriormente comparado con el grupo de
tratamiento, que incluye a las personas que efectivamente
reciben o se benefician de la intervención.

El objetivo entonces de la evaluación de impacto, se convierte

en encontrar el mejor grupo de control, que realmente
posea semejanzas con el grupo de tratamiento, y que la
única diferencia que puedan reflejar, es la participación en el
programa. Gertler et.al. (2017) definen la identificación de
esos grupos de comparación como el foco de cualquier
evaluación de impacto, independientemente del programa
que se evalúe, lo que conduce a que sin una estimación
válida del contrafactual no se pueda conocer el verdadero
impacto de una intervención.

Por todo lo anterior, resulta más sencillo realizar un análisis

26
de impacto y no una evaluación. Ambos intentan establecer
esa relación causa efecto de la intervención y su transformación,
pero el análisis de impacto acude a metodologías y a técnicas
que de manera contundente no requieren un grupo de control.
Las evaluaciones de impacto más rigurosas requieren grupo
de control, pero hay alternativas donde no se necesita.

Las principales metodologías desarrolladas para la evaluación

de impacto, considerando como principal objetivo la
determinación de los grupos de tratamiento y de control,
seguido del método de análisis de los resultados, son:
cuantitativas, cualitativas y mixtas. A continuación, se describen
estas metodologías, basadas en una revisión documental de
diferentes autores como Baker (2000), Guzmán (2004) y
Gertler et.al. (2017).

4.1. Metodologías cuantitativas

El uso de las metodologías, dependerá del propósito de cada
intervención y de la pregunta que mediante la evaluación de
impacto se quiera resolver.

Según Baker (2000) las metodologías cuantitativas

tradicionalmente utilizadas, se basan en:

27
Diseños experimentales

Esta metodología, además de tener claridad del objeto de la

intervención o del programa, y el grupo de beneficiarios, exige
de forma anticipada distribuir de manera aleatoria la intervención
dentro del grupo de beneficiarios. Es decir, que mediante un
sorteo se puede definir quién participa en el programa, del
total de población con igual derecho a participar. En consecuencia,
durante la ejecución del programa, se cuenta con un grupo
beneficiario real del programa (grupo de tratamiento), a los
que se puede constantemente realizar seguimiento mediante
la medición de las variables a estudiar, para ser finalmente
contrastado con las variables arrojadas por beneficiarios
potenciales no intervenidos, quienes constituyen el grupo de
control.

Diseños cuasi experimentales

Esta metodología (no aleatoria) es eficaz para realizar una

evaluación de impacto, cuando no es posible crear grupos de
tratamiento y de control de manera aleatoria, por las condiciones
de asignación (inscripción) del programa. Consiste entonces,
en generar un grupo de control con semejanzas al grupo de
tratamiento, al menos en las características observadas; y
exige contar con datos antes del inicio del programa, que se
conoce como línea base. Para la generación de este grupo,
puede hacerse uso de algunas de las siguientes metodologías
econométricas:

28
Método de diferencias en diferencias: consiste en
comparar al grupo intervenido con el de control, y
extraer las diferencias en dos momentos: antes de
la ejecución del programa, y después de la misma.
Es decir, que este método compara los cambios en
el tiempo que posea la variable de interés, entre el
grupo de tratamiento y el grupo de control. La
diferencia, es que el grupo intervenido, no es elegido
de forma aleatoria, y que los grupos intervenidos y
de control, no necesariamente tienen que tener las
mismas características, no obstante, el grupo de
control si deberá representar los cambios que
habrían sufrido el grupo intervenido, en ausencia
del programa.

Método de pareo: consiste en establecer un grupo

de comparación, basado en características observadas,
suponiendo que no existen diferencias. Este
método construye un grupo de control artificial, que
tiene características lo más similares posibles al
grupo intervenido, identificando para cada unidad
que recibe tratamiento, una unidad o varias que no
reciban tratamiento, y que tengan características
similares. Así que el impacto del programa, se
determinaría comparando las diferencias entre los
resultados promedios obtenidos por el grupo
intervenido, y el grupo de control.

29
4.2. Metodologías cualitativas
Mohr (1992) señala que la metodología cualitativa para una
evaluación de impacto, es precisa para determinar el efecto
de las intervenciones, basándose en algo diferente al
contrafactual, pero sin dejar de establecer la relación causal
que tiene una intervención sobre las transformaciones en los
grupos de interés. Estas metodologías, buscan comprender
de una manera guiada, cómo los individuos o grupos
estudiados cambian sus comportamientos y sus condiciones
de vida a partir de la intervención. Khandker, et al. (2010)
consideran que las metodologías cualitativas, pueden
convertirse en herramienta para entender los mecanismos a
través de los cuáles la intervención o el programa ayuda a los
beneficiarios, ya que éstas se basan en la recolección de
información descriptiva de quienes configuran el grupo
intervenido. Se considera información descriptiva aquella
que relata las características de los beneficiarios, su apreciación
sobre la intervención y la transformación que hizo en ellos.
La metodología cualitativa se usa igualmente para los
análisis de impacto.

Para estos casos no existe

grupo de control.

30
 4.3. Metodologías mixtas
Esta metodología, plantea una integración de la cuantitativa
y la cualitativa. Varios autores en un intento de comparar
ambos métodos, concluyen que el uno no excluye al otro, y
que además su uso deberá ser integrado. Según Baker
(2000) las evaluaciones de impacto realizadas a partir de
metodologías cuantitativas, son más adecuadas para
evaluar la causalidad, ya que consideran la diferencia de los
logros obtenidos entre los grupos de tratamiento y de
control; mientras que los métodos cualitativos brindan
información más profunda sobre las perspectivas de los
beneficiarios, y los motivos de algunos logros.

Por tanto, la integración de las dos metodologías, proporcionará

resultados más amplios, rigurosos y profundos, toda vez
que, por ejemplo, los métodos cualitativos se pueden usar
para informar las variables o cuestionamientos claves para
la evaluación del impacto, y los métodos cuantitativos, se
pueden usar para informar las estrategias de recopilación
de datos, para el diseño muestral, y para controlar las
características no observables de los beneficiarios de las
intervenciones.

Una verdadera evaluación de impacto se distingue

precisamente por la aplicación de las metodologías expuestas.
Dada su complejidad y retos una institución de educación

31
superior debe sopesar la pertinencia y la conveniencia de
aplicar una evaluación de impacto descartando primero
otro tipo de evaluación.

32
 5. TÉCNICAS PARA
EVALUAR EL IMPACTO

Las metodologías de evaluación de impacto, deben acudir a

técnicas de evaluación, que son las diferentes formas que se
usan para la recolección de la información que dará cuenta
de los impactos de la intervención. A continuación, se
presentan las técnicas más utilizadas:

Tabla 2 - Técnicas de recolección de información para la metodología de evaluación cuantitativa

Fuente: Elaboración propia.

TÉCNICA CUANTITATIVA DESCRIPCIÓN

Es una técnica que permite

Dinámica de sistemas analizar y modelar variables y flujos
en sistemas o entornos complejos.

Esta técnica proveniente de la

Análisis estructural
prospectiva, busca establecer
cuáles son las variables más
impactantes y determinantes de un
sistema, identificándolas a través
de una matriz de análisis estructural,
en donde se clasifican las variables
de influencia y dependencia en el
sistema.

continua

33
TÉCNICA CUANTITATIVA DESCRIPCIÓN
La idea que se esconde detrás del
matching consiste simplemente en
Diseño de seleccionar un grupo de no
emparejamiento, beneficiarios con el fin de hacerles
Propensity Score lo más parecido a los beneficiarios
Matching en todo, salvo en el hecho de haber
recibido la intervención, si se logra
hacer que este grupo sea lo más
parecido, entonces las variables de
interés observadas en el grupo
emparejado se aproxima al contra
factual, y el efecto de la intervención
se estima como la diferencia entre
las medias de las variables de
resultado de los dos grupos
(Moral-Arce, I. 2014, p. 39).

Se usa para predicciones y

pronósticos y consiste en estudiar
la relación causal entre diversas
variables que cambian con el
Diseños de series tiempo y se influyen entre sí. Un
temporales diseño de series temporales utiliza
el hecho de poder disponer de una
sucesión suficientemente larga y
amplia en el tiempo de mediciones
de la variable de interés o variable
de impacto. En estos casos, una vez
que ha pasado algo de tiempo
continua

34
TÉCNICA CUANTITATIVA DESCRIPCIÓN

(es decir, tenemos información

previa a la intervención), y es
necesario saber si el programa ha
tenido el efecto buscado. Si esto es
así, se estará en capacidad de
observar un cambio significativo
en el nivel de la serie temporal de
la variable de interés en un
determinado momento de
tiempo, que es cuando ocurrió la
intervención pública (Moral-Arce,
2014, p. 35).

Aponte (2007) menciona que para una evaluación de

impacto se pueden utilizar técnicas para el análisis de datos
como las correlaciones y/o regresiones, dado que los
impactos se fundamentan en la consideración de la relación
causa-efecto. Los estudios correlacionales miden la relación
de dos o más variables en los mismos sujetos y su
comportamiento. Estos estudios son utilizados con el fin de
conocer el comportamiento de un concepto o variable,
teniendo conocimiento previo del comportamiento de las
variables relacionadas con ellos, es decir, se intenta predecir
el valor aproximado que tendrá un grupo de individuos en
una variable, a partir del valor que tienen en la variable o
variables relacionadas. La correlación puede ser positiva o

35
negativa. Si es positiva, significa que sujetos con altos valores
en una variable tenderán a mostrar altos valores en la otra
variable. Cuando se logra establecer el grado de relación el
evaluador cuenta con información de carácter explicativo
(demostración de la relación causa – efecto).

“La regresión es una técnica estadística utilizada para

simular la relación existente entre dos o más
variables. Por lo tanto se puede emplear para
construir un modelo que permita predecir el
comportamiento de una variable dada. La regresión
se utiliza para dar interpretación a situaciones reales,
pero sin embargo, es necesario realizar una selección
adecuada de las variables que van a construir las
relaciones de la regresión, ya que tomar variables que
no tengan relación en la práctica, nos arrojará un
modelo carente de sentido e ilógico. El análisis de la
regresión es una herramienta estadística que permite
predecir o estimar observaciones futuras de dos o
más variables relacionadas entre sí, es decir, es una
herramienta útil para la planeación. Por lo tanto, se
puede emplear para construir un modelo que
permita predecir el comportamiento de una
variable dada” (Aponte, 2007, p. 32)

36
Las metodologías cualitativas usadas para el análisis y la
evaluación de impacto aplican técnicas usadas en la
investigación cualitativa como las que se exponen en la
Tabla 3.

Tabla 3 - Técnicas de recolección de información para la metodología de evaluación cualitativa

Fuente: Elaboración propia a partir de (Torres, 1998. p.81-132)

TÉCNICA CUALITATIVA DESCRIPCIÓN

Consiste en apreciar o percibir

ciertos aspectos de la realidad de
La observación
la población que se interviene y
de la dinámica de su entorno.

Son jornadas de trabajo de un

grupo de personas en torno a la
intervención, en las cuales se
Los talleres
busca producir nuevos aportes a
partir de nuevos “insumos” previos
como lecturas o videos.

Las discusiones grupales
y otros eventos públicos
Discusiones en grupo
generalmente entre ocho y veinte
personas, se reúnen con el
propósito de analizar problemas y
resolverlos mediante el proceso de
compartir experiencias, información,
opiniones y apoyo.
continua

37
TÉCNICA CUALITATIVA DESCRIPCIÓN

Es un registro especial, manual o

digital para apuntar sobre:
- Lugar, fecha, hora y tipo de situación
observada.
El diario de campo - Hechos o acontecimientos
(lo observado) relacionados con la
intervención.
- Comentarios de la persona que
observa.

Es una actuación con acciones,

gestos y palabras en el cual un
grupo representa algún problema o
El sociodrama situación real de su vida. Proporciona
elementos para el análisis y la
discusión de lo que están viviendo
los beneficiarios de la intervención.

Permite poner en común las opiniones

o conocimientos que cada uno de los
participantes de la intervención tiene
La lluvia de ideas sobre ella y las transformaciones que
ha logrado en su vida y contexto. Da
la posibilidad de llegar colectivamente
a conclusiones o acuerdos comunes.

continua

38
TÉCNICA CUALITATIVA DESCRIPCIÓN

Es una conversación entre dos o más

personas, dirigida por el entrevistador,
con preguntas y respuestas, que
pueden tener diversos grados de
La entrevista formalidad. Permite recoger
informaciones (datos, opiniones,
ideas, críticas) sobre la intervención y
situaciones específicas, así como la
interpretación que le dan los
entrevistados.

Es una modalidad de entrevista, que

permite recolectar en poco tiempo y
en profundidad, un volumen
El grupo focal
significativo de información cualitativa,
a partir de una discusión con un
grupo de seis a doce personas,
quienes son guiadas por un entrevistador
para exponer sus conocimientos y
opiniones sobre temas considerados
importantes durante y después de la
intervención.

Es un tipo de entrevista muy abierta,

que permite recoger la trayectoria
personal de un individuo, recuperando
La historia de vida su experiencia vital y enmarcando ésta
en el contexto social y cultural en el que
vivió la intervención.
continua

39
TÉCNICA CUALITATIVA DESCRIPCIÓN

Utiliza formularios destinados a un

conjunto de personas. Los formularios
son idénticos para todos. Contienen
una serie de preguntas que se
La encuesta responden por escrito en el mismo
formulario. Con ésta se consiguen
especialmente datos cuantitativos
acerca de la intervención, pero que
pueden ser cotejados con un estudio
cualitativo.

40
Adicionalmente, se presentan otras técnicas cualitativas
que pueden ser de útil aplicación a la hora de recolectar la
información de variables e indicadores necesarios para una
evaluación de impacto:
Tabla 4 - Técnicas adicionales de recolección de información para la metodología de

evaluación cualitativa

Fuente: Elaboración propia

TÉCNICA CUALITATIVA DESCRIPCIÓN

Son estudios que recaban datos
en diferentes puntos del tiempo,
para realizar inferencias acerca de
la evolución, sus causas y sus
efectos. Se analizan cambios de
Diseños longitudinales
determinadas categorías, conceptos,
sucesos, variables, contextos o
comunidades; o bien, de las
relaciones entre éstas
(Hernández, et al., 2010).

Delphi es una técnica de pronóstico,

que consiste en la selección de un
grupo de expertos (que han sido
Técnica Delphi beneficiarios de la intervención) a
los que se les pregunta su opinión
sobre cuestiones referidas a
acontecimientos del futuro. Las

continua

41
TÉCNICA CUALITATIVA DESCRIPCIÓN

estimaciones de los expertos se

realizan en sucesivas rondas,
anónimas, al objeto de tratar de
conseguir consenso, pero con la
máxima autonomía por parte de
los participantes (Astigarraga, s.f.).

Reunión en forma de asamblea en

la que participan los ciudadanos
que han sido beneficiarios de la
intervención y debaten
deliberadamente sobre sus
Fórum comunitario necesidades, problemas. Busca
conocer las opiniones y posturas
sobre un tema, como técnica para
revelar conflictos, motivar la necesidad
de conocer la propia realidad,
promover vías de solución.

Ander Egg (2011) indica que en

todo sector en donde se pretende
realizar una investigación o
intervención social, suelen existir
Informadores claves personas poseedoras de información
válida, relevante y utilizable acerca
de la cuestión que se quiere
estudiar o de la situación.
continua

42
TÉCNICA CUALITATIVA DESCRIPCIÓN

problema que se trata de resolver,

a éstas se les denomina
informadores clave. Lo que busca
es recolectar datos a través de
entrevistas y hacer cruces de
información entre lo que piensan
los ciudadanos corrientes y lo que
dicen los informantes clave.

En el boletín de American Society

for Quality (2003) se explica la
Técnica de Grupo Nominal, como
aquella que le permite a un
equipo obtener un consenso
rápido acerca de cuestiones,
Grupo nominal
problemas, soluciones o proyectos
que son importantes para el
equipo. Esta técnica toma en
cuenta la importancia relativa
que cada cuestión tiene
individualmente para los
participantes en un programa.
Para realizarla, se genera la lista
de cuestiones, proyectos o
soluciones a las que se le quiere
asignar prioridades.

continua

43
 TÉCNICA CUALITATIVA DESCRIPCIÓN
Según Martínez (2006) el método
de estudio de caso es una

Estudios de caso herramienta valiosa de investigación

que mide y registra la conducta
de las personas involucradas en el
fenómeno estudiado, obteniendo
datos desde una variedad de
fuentes como documentos,
registros de archivo, entrevistas,
observación, entre otros. Adicio-
nalmente, indica que el método
de estudio de caso es una
metodología rigurosa que entre
otras:
- Es adecuada para investigar
fenómenos en los que se busca
dar respuesta a cómo y por qué
ocurren.
- Permite estudiar un tema
determinado.

Hay que tener en cuenta que cada técnica, debe tener su

instrumento de recolección de los datos de las variables y de
los indicadores, de tal manera que permita su organización
como por ejemplo ficha de observación, matriz de
recolección de información, informe de campo, diario o bitácora.

44
6. VARIABLES E INDICADORES

Un paso esencial en el diseño de una evaluación de impacto

es la determinación de las variables. Consiste en determinar
las unidades de análisis o cualquier forma de indicación que
facilite reportar los efectos de la intervención.

Variables: permiten entender una

realidad o un fenómeno particular y
la manera como éste evoluciona en el
tiempo, teniendo en cuenta que los
procesos y sus relaciones cambian.

Al indagar desde diferentes autores Quintero (1985),

Gorgas, et.al. (2009), Diez de Medina (2004), se puede
encontrar que en general una variable es una característica,
cualidad, elemento o componente de una unidad de análisis
u objeto de estudio, que puede modificarse o cambiar con el
tiempo. Las variables permiten entender o explicar la
intervención y su evolución en el tiempo. Las variables deben
identificarse desde el momento en el que se plantea el
proyecto, el programa o la intervención. El proceso de
definición de una variable es el siguiente:

45
 Definición teórica de la variable a medir: aparece
1 en libros especializados y se encuentra en un nivel
de abstracción elevado. La definición de las variables
a partir de la teoría, permite establecer cuáles
variables explican un fenómeno- intervención en
particular. De esta manera, esas variables definidas
en la teoría son susceptibles de ser utilizadas para
un estudio específico de impacto de la intervención.

Definición real o dimensión de la variable: es el

2 ajuste o adecuación de la definición teórica de la
variable a medir a los requerimientos y objetivos del
proyecto, programa o intervención (se convierten
en variables independientes para los estudios de
impacto de la intervención como se explica más
adelante).

Definición operacional o indicadores de la

3 variable: es la búsqueda de operaciones que
permitan medir la variable, a través de la definición
de indicadores.

Existen múltiples clasificaciones de las variables, pero para

los estudios de impacto, la clasificación adecuada es la que
explica Apolaya (2016) según su relación de dependencia:

46
Variable Independiente:
Explica, condiciona, o determina el cambio en los valores de la
variable dependiente. Actúa como factor condicionante de la
variable dependiente.

Variable Dependiente:
Es el fenómeno o situación explicado. Es la variable que es
afectada por la presencia o acción de la variable independiente.
Se llama también de efecto o acción condicionada.

Variable Interviniente:
Es aquella que se interpone entre la variable independiente
y la variable dependiente. No es objeto de estudio pero que
al presentarse y no ser controlada puede distorsionar los
resultados de la evaluación de la intervención.

Para estudios de impacto las variables independientes se

constituyen en las variables que se definen para la intervención
(dimensiones de las variables) y las variables dependientes
se constituyen en las variables de impacto. Las variables
independientes recogen así las características de la intervención,
mientras que las dependientes determinan las
transformaciones o cambios que se derivan de la intervención,
construyendo así una relación causa-efecto. Las primeras se
constituyen en las causas probables que explican las de
impacto y que se pueden atribuir a la intervención que se

47
realiza. Además en una evaluación de impacto pueden surgir
otras variables relevantes para explicar el fenómeno estudiado,
diferentes a las que se plantearon inicialmente para la
intervención.

En el caso de los estudios de impacto que se debe

realizar en el marco de la normatividad
de calidad en Colombia, los aspectos de
calidad ya han determinado las variables
independientes y dependientes, por lo
que la definición teórica de las variables
y de las dimensiones de las mismas no será
necesaria, pero si será necesario
definir los indicadores.

Interpretando uno de los aspectos de calidad de la normatividad

colombiana, las variables independientes y dependientes para
un estudio de impacto, serían las presentadas en la Tabla 5.

Definidas las variables independientes y dependientes, se

determinan las técnicas de recolección de información
(capítulo 5), que permitirán obtener los datos y con ellos las
relaciones causa-impacto de la intervención. Para estudios de
impacto es además importante tener en cuenta la naturaleza
de las variables, así:
Variables cuantitativas

Variables cualitativas

48
Tabla 5 - Ejemplo de variables independientes y dependientes

Fuente: Elaboración propia

VARIABLES VARIABLES
INDEPENDIENTES DEPENDIENTES O
ASPECTO DE CALIDAD (VARIABLES DE LA INTERVENCIÓN) - VARIABLE DE IMPACTO
CAUSA - EFECTO

Medición y valoración del Productos de Generación de nuevo

impacto de la investigación, investigación. conocimiento.
de los productos de
creación artística, de Productos de Solución de
desarrollo tecnológico, creación artística. problemas de la
innovación y/o de creación sociedad.
artística, como apuesta o Productos de
compromiso institucional desarrollo Transformación de
con la generación de nuevo tecnológico. productos y
conocimiento, con la procesos.
competitividad empresarial,
y con la conservación, Incremento de la
recuperación y desarrollo de competitividad.
las regiones, entre otros.
Desarrollo
(económico, social y
cultural) y
recuperación
regional.

Diez de Medina (2004) y Verdugo (2010) definen las variables

cuantitativas como aquellas que pueden ser medidas
numéricamente y por lo tanto, los hechos estudiados se
distribuyen a lo largo de una escala. El documento sobre

49
variables (Universidad Andrés Bello, 2004) establece
además de las variables cuantitativas, las cualitativas,
definiéndolas como aquellas variables cuya característica es
una cualidad.

Definidas las variables

independientes y dependientes, se
determinan las técnicas de
recolección de información las cuales
permitirán obtener los datos y con
ellos las relaciones
causa-impacto de la intervención.

Como se explicó anteriormente, una vez determinadas las

variables, hay que definir los indicadores que permitan medir
la variable. Según Quintero (1985) los indicadores son los
patrones de valoración del comportamiento de las variables.
Las variables explican un gran fenómeno que debe
desglosarse en los llamados indicadores. De la tabla 4, la
variable “productos de investigación” debe ser desglosada en
posibles indicadores: artículos en revistas indexadas, artículos
en revistas especializadas, libros etc. Se deben definir así
indicadores tanto para las variables independientes como las
dependientes, y ellos deben derivarse de la consulta de
fuentes teóricas de información.

50
La Universidad Andrés Bello (2004) sugiere los siguientes
criterios para escoger los indicadores:
Se debe tener el menor número de indicadores de una
variable, siempre y cuando éstos sean realmente
representativos de la misma.

Se deben poseer formas de medición específicas para

cada indicador.

Hay que tener en cuenta que los indicadores sólo poseen

una relación de probabilidad con respecto a la variable.

Finalmente como un indicador se constituye en una

evidencia para reconocer dónde se está y hacia dónde se va
en el alcance de la intervención (evolución), es de alta
importancia escoger/generar indicadores confiables,
rigurosos y transparentes.

51
 7. PASOS PARA REALIZAR
UNA EVALUACIÓN
DE IMPACTO

Como lo propone Aponte (2007, p 12):

“Para poder realizar un análisis o una evaluación de
impacto, se debe haber realizado previamente una
planeación de la intervención; esto se hace organizando
la intervención a manera de proyecto. Es por esto que,
en la literatura, el análisis y la evaluación de impacto, se
encuentran generalmente asociadas al ciclo de un
proyecto, esto es planear, gestionar, verificar- evaluar
y actuar. A continuación, se exponen los tres grandes
pasos para realizar una evaluación de impacto”.

La Asociación Internacional de Evaluación de Impacto, en el

documento “Lineamientos para la evaluación y gestión de
impactos sociales de proyectos” (2015) propone 26 pasos, que
contemplan en general los presentados en la siguiente tabla
destacándose la novedad del concepto de mitigación de los
impactos negativos determinando desde la planeación de la
intervención mediante metodologías como jerarquía de
mitigación o gestión del riesgo y sus consecuencias en
términos de compensación o reparación a la población
afectada y de recepción de reclamos y la ética para los
especialistas en un proceso de evaluación de impacto.

52
Figura 5. Pasos para una evaluación de impacto

Fuente: Aponte (2007). Vector de Infografía creado por freepik - www.freepik.es

Planeación de
la intervención
01

02 Intervención

Impacto

03 Evaluación

53
 01- PLANEACIÓN DE LA INTERVENCIÓN

A Planear la intervención.
En el proceso de planeación, identificar la finalidad de la intervención.
Identificar de forma precisa el problema sobre el cual se quiere intervenir.
Identificar las condiciones iniciales del problema (causas y efectos
hipotéticos), las cuales generan la propuesta o necesidad de cambio.
Especificar los aspectos en los cuales se pretende generar el cambio.
Identificar claramente la población a la que se aspira afectar (personas,
familias, grupos, comunidades, regiones, instituciones). Realizar un
análisis de involucrados, que consiste en determinar las características, los
intereses, las expectativas y el grado en que el problema y la intervención
está afectando y puede afectarlos. Lo anterior incluye la identificación de
beneficiarios y la selección del grupo de control si es el caso.
Especificar las condiciones que se quieren mejorar.
Analizar las alternativas, esto es identificar para las finalidades de la
intervención, cuáles son todas aquellas opciones de acción y poder
seleccionar la más eficaz, la más eficiente, la más pertinente, la de mayor
sostenibilidad, la de mayor aceptabilidad por parte de los involucrados, la
que puede asumir el proyecto, la que va a generar más impacto.

B Determinar si lo adecuado o no es realizar:

Una evaluación de impacto. Definir la metodología de evaluación de

impacto.
Otro tipo de evaluación o medición.

Identificar las variables Determinar:

C e indicadores para la Las variables e indicadores relacionados
medición y otra con las transformaciones esperadas en las
información de soporte personas o grupos.

continua
 Determinar:
Las variables e indicadores relacionados con las
condiciones sociales, económicas etc. que podrían
ser atribuibles a los cambios en las personas o
grupos.
Los documentos que pueden dar soporte a la evaluación.

Determinar:
Las variables e indicadores relacionados con la
eficacia, eficiencia, pertinencia, sostenibilidad de
la intervención, como complemento de la
evaluación de impacto.

D Levantar la línea base (evaluación diagnóstica).

Determinar las técnicas, las fuentes de información y los instrumentos

E de recolección de información y definir la periodicidad de recolección
(durante y después).

F Determinar las técnicas de análisis de información.

02- INTERVENCIÓN

G Recopilación y análisis de información durante la intervención.

03- EVALUACIÓN

H Recopilación y análisis de información 2, 3 o 5 años después de

terminada la intervención.

El objetivo es obtener conocimiento acerca del grado de incidencia de

una intervención en las personas o el contexto al cual ha sido dirigido,
esto con el fin de mejorar futuros desarrollos, réplicas o rediseñar
proyectos y programas. Es por esto, que se debe incluir dentro de la
planeación de la intervención, la definición de lo que se quisiera obtener
en términos de conocimiento de valor, que permita retroalimentar al
proyecto y a todas las personas interesadas en realizar futuras
48
intervenciones.
 8. CONCLUSIÓN

El concepto de impacto se asocia a los cambios, a las

transformaciones, a los efectos o a los aportes a la solución de
problemas y necesidades que se logran en una situación,
como resultado de una intervención. En la educación superior
se dan múltiples intervenciones en el marco de las labores de
formación, investigación y proyección social generando
impactos en los diferentes miembros de sus comunidades
académicas, en los grupos de interés y en las poblaciones
que atiende. Impactos que en el largo plazo se extienden a
contextos más amplios produciendo transformaciones
positivas en territorios y sociedades y que se expanden
probablemente al mundo.

Es un reto para una institución definir la metodología, las

técnicas, los instrumentos, las variables y los indicadores
adecuados para identificar esos impactos. Es más desafiante
determinar qué intervención amerita un estudio de impacto
y cuál no lo necesita porque hay otro tipo de mediciones que
también permiten tener un mejor conocimiento de una
realidad, rendir cuentas a la sociedad, mejorar procesos
institucionales y tomar decisiones.

56
 9. ANEXO - EGRESADOS
Y RESULTADOS DE
APRENDIZAJE:
EJEMPLO PRÁCTICO

De las metodologías de evaluación cuanti, cuali y mixtas, se

encuentra que en los estudios sobre egresados se aplican las
tres, insistiendo que la mayoría de estudios rastreados son
caracterizaciones de egresados y no evaluaciones de impacto,
aunque sus autores los hayan considerado así. El documento
más representativo de una evaluación de impacto de egresados
en Colombia es el estudio de Fedesarrollo (2009) denominado
“Evaluación de impacto de tres programas y línea de base de
un programa del Servicio Nacional de Aprendizaje – SENA”
en donde se utilizan evaluaciones cuantitativas con varias
metodologías econométricas (antes y después, mínimos
cuadrados, cuadrados ordinarios, Propensity Score Matching
y diferencias de diferencias) y evaluaciones cualitativas
especialmente entrevistas, grupos focales y “dado que las
encuestas cuantitativas no fueron suficientes para hacer una
evaluación de impacto, la información se utilizó para hacer
estudios de caso”. Un artículo a referenciar es “Evaluación de
los resultados y del impacto” de (Apocada, 1999) con conceptos
novedosos de efectos brutos y netos para distinguir los
resultados de los impactos; y el artículo “Evaluación de

57
 Estudios sobre evaluación de impacto
de los egresados de Instituciones
plantean diversos conceptos y
metodologías, pero se orientan
más a ser caracterizaciones del
estado de los egresados
que mediciones de impacto.

impacto de la formación del profesorado universitario novel:

un estudio cualitativo” de Medina y Jarauta (2005) que
proponen un acercamiento novedoso en metodologías
cualitativas de evaluación de impacto de egresados de
postgrado. Otros estudios interesantes se basan en propuestas
de evaluación de la formación continua de trabajadores, en
el marco de la teoría de las organizaciones, la psicología y la
gestión de talento humano.

Los estudios de Holton (2005) y Kirkpatrick (1999) utilizaron

regresiones lineales que identificaban las variables explicatorias,
primarias y secundarias, que expresaban los cambios entre
los propósitos logrados, durante el desarrollo de un programa
de enseñanza y aprendizaje, con los propósitos programados,
tanto al principio del programa como durante su desarrollo
(eficacia) y incluyendo en el estudio la evaluación de competencias
de acuerdo con el perfil inicial y el perfil que se ha querido
lograr después de la formación recibida (efectividad).

58
Por otro lado, Apodaca (1999) en su documento “Evaluación
de los resultados y del impacto”, idealmente sugiere aplicar
diseños experimentales con aleatorización (diseño de
discontinuidad en la regresión, diseño de grupos de
comparación, diseño simple per y pos test, diseños transversales,
diseños de series temporales), reconociendo que son diseños
poco viables. Entonces recomienda metodologías cualitativas
con técnicas de recolección de información como delphi,
forum comunitario, lluvia de ideas, informadores claves,
grupo nominal. Gairín (2016 , p.30) encuentra que el interés
primordial de los estudios de impacto rastreados sobre la
formación de talento humano, tienen como propósito identificar
los efectos económicos sobre la empresa y para ello
usualmente se aplican “métodos grupos control y experimental,
matriz de análisis de costes, impacto en ingresos laborales,
análisis cruzados motivación-rentabilidad económica, o
panel de datos”.

La propuesta metodológica del Ministerio de Educación de

Guatemala (s.f) de evaluación de impacto de la profesionalización
docente sobre los aprendizajes de los estudiantes (medido
en las pruebas estandarizadas del estado) utilizando un
diseño experimental, propone el uso de una regresión para
establecer los impactos y un instrumento de observación de
clase (Stallings) como técnica de recolección de información.

En los estudios de impacto de los egresados, no existe

consenso sobre la distinción entre resultado e impacto y la

59
mayoría de autores consultados los consideran sinónimos.
La evaluación de impacto es un tipo de evaluación, que se
relaciona con los efectos que se dan posterior a una
intervención -planeada- y que en el caso específico de los
egresados, esa intervención es la formación ofrecida a los
estudiantes de pre o postgrado o de educación continua, y
que una vez finalizada la formación se convierten en egresados.
La mayoría de estudios de impacto tratan de definir los
cambios en el individuo después de una capacitación, pero
como lo propone el estudio de Fedesarrollo, “es diferente
buscar el cambio entre la situación del beneficiario después
de participar en el programa comparada con la situación
antes de haber participado, que buscar el cambio entre la
situación del beneficiario después de participar en el programa
comparada con la situación de no haber participado (algo
equivalente a comparar con un individuo “muy similar” que
no participó en el programa). Una evaluación de impacto
tiene como objetivo responder el segundo tipo de pregunta,
que es la más complicada”. (Fedesarrollo, 2009, p.10).

El artículo “El impacto de la universidad en la formación de

los alumnos” de Gómez (2006), en el que se hace un recuento
de las investigaciones que a nivel mundial se habían realizado
a esa fecha sobre los cambios que la formación universitaria
hace sobre los estudiantes, resulta muy inspirador, ya que se
puede concluir que la universidad si transforma de manera
positiva las creencias, actitudes, opiniones, características de

60
los estudiantes; que esos cambios si se pueden aducir a su
estancia en la universidad, aunque en el desarrollo de valores
se encontró que éstos se relacionan más con la familia de
origen que con la universidad. Además se evidenció que los
estudiantes que van a la universidad en comparación con los
que no asisten, desarrollan actitudes positivas frente a la
cultura, a la diversidad, a la conciencia social; que los
estudiantes de disciplinas relacionadas con las humanidades
tienen valores más centrados en los social frente a otras
disciplinas que desarrollan valores individuales; que las
habilidades para solucionar problemas sociales no se evidencian
del todo ya que en la mayoría de estudios, los estudiantes no
han tenido la opción de hacer prácticas profesionales y
sociales. Sin embargo los estudios que menciona este autor
no evalúan el impacto de los estudiantes sobre el medio -el
entorno en el que se mueven y habitan-, una vez han egresados.

Los efectos en la formación pueden tener niveles. Para Tejada y

Ferrández (2007) los impactos se dan en dos niveles: individuales
y organizacionales y para Medina, et.al., (2005) se usan cuatro
niveles de evaluación en un estudio de impacto de la formación
en postgrado, relacionados igualmente con lo individual y lo
organizacional: reacción, aprendizaje, conducta y resultados.

61
Figura 6 : Niveles de evaluación en un estudio de impacto

Fuente: Elaboración propia. Vector de Infografía creado por pikisuperstar - www.freepik.es

Tejada y Medina,
Ferrández et.al., (2005):
(2007):
Reacción

Individuos
Aprendizaje

Organización
Conducta

Resultados

El primero hace referencia al efecto que la formación (en

este caso, el curso de postgrado) ha tenido en las opinio-
nes y la satisfacción de los destinatarios. El segundo se
refiere a los aprendizajes obtenidos propiamente dichos.
El tercero alude a los cambios introducidos en el puesto
de trabajo (en nuestro caso, la práctica docente) y el
cuarto a los resultados obtenidos por la institución. La
evaluación realizada, ahora, se centra en los dos últimos
niveles. La evaluación de la transferencia y el impacto es
siempre diferida puesto que debe esperarse un tiempo

62
 para que los cambios tengan lugar: de ahí el intervalo de
un curso académico acaecido entre la celebración del
curso y el desarrollo de esta evaluación. Medina, et.al.,
(2005).

En el nivel individual la intención es evaluar los aprendizajes

y la transferencia de esos aprendizajes al puesto de trabajo
de tal manera que se midan los resultados organizacionales
que generan valor después de la formación.

Esta categorización inicial la hicieron Holton (2005) y

Kirkpatrick (1999), al proponer un modelo que pudiera eva-
luar la transferencia que hace un trabajador a su puesto de
trabajo una vez haya recibido una capacitación.

En cuanto a los propósitos de evaluar el impacto de la

formación, son en general los mismos que en cualquier otro
tipo de evaluación de esta naturaleza:

Generar conocimiento sobre la formación, los

1 resultados de aprendizaje logrados por los estudiantes
y sus efectos posteriores sobre el entorno.

Rendir cuentas acerca de la efectividad, eficiencia,

2 eficacia y resultados de la formación.

Programar nuevas acciones de formación

3 focalizadas y mejoradas.

63
 Identificar los resultados de aprendizaje esperados
4 que hay que reforzar en el proceso formativo.

De todo lo anterior se puede concluir y proponer que la

finalidad de la evaluación del impacto de los egresados es
identificar los efectos y las transformaciones sobre el entorno
en el que se desempeña atribuibles a la formación ofrecida
por la institución de educación superior, y en correspondencia
con el perfil de egreso definido. En este caso la intervención
es el proceso de formación del estudiante y los impactos
serían las transformaciones logradas en su entorno laboral y
su entorno social. Si la formación está centrada en el
enfoque de resultados de aprendizaje, un estudio de impacto
consistiría en evidenciar las transformaciones que logra el
egresado en su entorno, explicados por el logro de los
resultados de aprendizaje.

Dependiendo de los propósitos, los criterios, los niveles y las

metodologías usadas para evaluar el impacto, así serán las
variables a seleccionar y medir.

Las categorías que se definan para una evaluación de

impacto en la formación, deben explicar los efectos hipotéticos
de una formación, de acuerdo con lo esperado o planeado. A
partir de la bibliografía consultada, se pueden ordenar algunas
categorías y temas de la siguiente manera, en donde los
temas se convierten en las variables de impacto:

64
 Tabla 6- Variables para una evaluación de impacto de los egresados

Fuente: Elaboración propia

POSIBLES VARIABLES NIVEL O

DE LA INTERVENCIÓN TEMAS A MEDIR
CATEGORÍA
QUE EXPLICARÍAN (VARIABLE DEPENDIENTE)
DE IMPACTO
EL IMPACTO
Rentabilidad de la Costo- beneficio del
formación para el programa de formación
empleador
Motivación hacia el trabajo
Transferencia al Autonomía en el
puesto de trabajo trabajo
Logros en el trabajo
Perfil de ingreso realizado
Resultados de Transformaciones Clima laboral
Aprendizaje organizacionales Retención de empleados
logrados al Compromiso con la misión
y visión institucional
finalizar la
Resultados económicos
formación
Índice de accidentalidad
Pérdidas en la producción
Actividades de innovación
Calidad del
producto/servicio
Participación en el mercado
Posibilidad de empleo
Mejoramientos
(empleabilidad)
sociales del
Calidad del empleo
egresado
Movilidad laboral
Ingresos laborales
Condiciones de la vivienda
Movilidad social
Finalmente es importante considerar que los impactos se
ven influenciados por las condiciones del beneficiados por la
formación como lo proponen Kirkpatrick y Kirkpatrick(2013);

La motivación y la personalidad del estudiante o egresado.

El clima laboral en el que se desempeña el egresado para

favorecer el cambio, ya que hay climas laborales
obstaculizadores, otros más o menos estimulantes y
algunos exigentes.

El conocimiento del participante en cuanto a su puesto de

trabajo en términos de lo que tiene que hacer y cómo
debe hacerlo.

El sistema de beneficios y recompensas para fomentar y

premiar el cambio.

66
 AUTORAS

Claudia Aponte González

Correo: apontemac@gmail.com
Información: https://claudiaaponte.com.co/
Cvlac:
https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001328140

Magíster en Educación. Economista. PDD- Programa de

Desarrollo Directivo. Colombia. Certificada como Educador
Internacional de Ingeniería INNOVAHIED (acreditado por
International Society for Engineering Pedagogy IGIP).

Tengo una visión global, sistémica y estratégica de la

educación. He trabajado en todos los niveles de la educación,
en el sector privado, público y la cooperación internacional.
Más de 25 años de experiencia en planificación, investigación,
internacionalización, cooperación internacional y docencia
en la educación superior en Colombia y en América Latina.
He ocupado cargos directivos en universidades como
Vicerrectora Académica, Directora de Planeación y Directora
de Relaciones Internacionales. Investigadora y docente de
maestrías. He sido asesora y conferencista a nivel nacional e
internacional y autora de libros y artículos en internacionali-
zación de la educación y del currículo incluyendo resultados

67
de aprendizaje internacionalizados. He capacitado docentes
en procesos de internacionalización del currículo y resultados
de aprendizaje en todas las áreas del conocimiento.

Adriana Pérez Cadavid

Correo: adripeca@gmail.com
Cvlac:
https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000007030

Magíster en Educación. Especialista en Pedagogía y

Didáctica. Especialista en Gerencia. Ingeniera Industrial.

Actualmente me desempeño como docente de tiempo

completo en la Universidad Católica de Oriente, municipio
de Rionegro (Antioquia – Colombia). Cuento con una
experiencia de 13 años en el sector educativo, donde
además de la docencia he tenido la oportunidad de participar
en procesos investigativos -en temas enmarcados en
evaluación y gestión del riesgo-, de autoevaluación y de
acreditación institucional y de programas de pregrado y
posgrado. He sido auditora interna de calidad; jefe de
control interno con experiencia en entidades públicas y pri-
vadas; coordinadora de prácticas profesionales en
pregrado y he liderado la gestión en programas de posgrados
relacionados con las ciencias económica y administrativas.

68
PUBLICACIÓN

Catalina Cerquera Arbeláez

Correo: catalinacerquera5@gmail.com
Cvlac:
https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000170004

Magíster en Educación y Profesional en Comunicación y

Relaciones Corporativas.

Tengo experiencia en gestión y planeación de la internacio-

nalización de la educación superior, específicamente de las
estrategias de internacionalización en casa, cooperación e
internacionalización del currículo. Me he desempeñado
como docente en programas profesionales en Comunicación
y Áreas Audiovisuales. Con formación complementaria en
Gestión de Proyectos (BID), Ambientes Virtuales de
Aprendizaje (IUDigital), Pedagogías para Entornos Virtuales
(BID), Gestión de la Internacionalización de la Educación
Superior programa PEGIES (RIESAL) y Competencias
interculturales (AFS).

69
Liliana Mercedes Barros González
Correo: lilibarros32@hotmail.com

Psicóloga y Magister en Educación.

Con más de 25 años de experiencia liderando procesos so-

cio-educativos y 12 años de experiencia en investigación y
docencia para pregrado y postgrado. Asesora de Proyectos
Especiales y docente de la Facultad de Educación de la Uni-
versidad de La Sabana. Docente de la Facultad de Ciencias y
Humanidades de la Universidad de América.

70
 REFERENCIAS

Aedo, C. (2005). Evaluación del impacto. CEPAL - Naciones Unidas.

American Society for Quality. (2003). Técnica de Grupo Nominal (NGT).

http://www.asqnogales.org/Boletines/2003/May2003.pdf

Ander - Egg, E. (2011). Aprender a investigar. Nociones básicas para la investigación social.
Editorial Brujas.

Asociación Internacional de Evaluación de Impacto. (2015). Lineamientos para la evaluación

y gestión de impactos sociales de proyectos. https://www.iaia.org/pdf/Evaluacion-
Impacto-Social-Lineamientos.pdf

Astigarraga, E. (s.f.). El método Delphi. Universidad de Deusto.

https://www.academia.edu/1778723/El_m%C3%A9todo_delphi

Apodaca, P. M. (1999). Evaluación de los resultados y del impacto. Revista de Investigación

Educativa, 17(2), 363-377. https://revistas.um.es/rie/article/view/121921

Apolaya, M.(2016) Operacionalización de variables. [Archivo PDF]. http://bvsper.paho.org/vi

deosdigitales/matedu/2012investigacionsalud/20120626Operacionalizacion_MoisesApolaya.pdf?ua=1

Aponte, C. (2007). Conceptos básicos para el análisis y la evaluación de impacto

en la Universidad de La Sabana. Universidad de La Sabana.

Baker, J. L. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza.

Manual para profesionales. Banco Mundial. https://documents1.worldbank.org/
curated/en/974581468278042080/pdf/207450SPANISH0manual.pdf

Berner, H., Cooper, R., Guzmán, M. y Guzmán, N. (2004). Metodología Evaluación de Impacto.
Ministerio de Hacienda, Gobierno de Chile.

71
Cohen, E. y Franco, R. (1992). Evaluación de proyectos sociales. Siglo Veintiuno Editores.

Diez de Medina, R. (2004). Manual para la evaluación de impacto en programas de

formación para jóvenes. Organización Internacional del Trabajo.

Fedesarrollo. (2009). Evaluación de impacto de tres programas y línea de base de un

programa del Servicio Nacional de Aprendizaje – SENA. https://www.sena.edu.co/es-co
/transparencia/evaluacionProgramas/evtecnico.pdf

Gairín, J. (2016). La Evaluación del Impacto en Programas de Formación. REICE. Revista

Iberoamericana Sobre Calidad, Eficacia y Cambio en Educación, 8(5).
https://revistas.uam.es/reice/article/view/4724

Gertler, P., Martínez, S., Premand, P., Rawlings, L. y Vermeersch, C. (2017). La evaluación de
impacto en la práctica. Banco Interamericano de Desarrollo y Banco Mundial.

Gómez, L. F. (2006). El impacto de la universidad en la formación de los alumnos.

Universidades, (29), 39-45. https://www.redalyc.org/pdf/373/37302906.pdf

González, F. H. (2006). Investigación como evaluación de impacto. Universidad Santiago de Cali.

Gorgas, J., Cardiel López, N. y Zamorano Calvo, J. (2011). Estadística básica para
estudiantes de ciencias. Universidad Complutense de Madrid.

Guzmán, M. (2004). Metodología de Evaluación de Impacto. Santiago de Chile .

Hernández, R., Fernández, C. y Baptista, P. (2010). Metodología de la Investigación. Mc-Graw Hill.

Holton, E. (2005). Holton's Evaluation Model: New Evidence and Construct Elaborations.
Academy of Human Resource Development.

Khandker, S., Koolwal, G. y Samad, H. (2010). Handbook on impact evaluation, quantitative

methods and practices. World Bank. https://documents1.worldbank.org/curated/en/
650951468335456749/pdf/520990PUB0EPI1101Official0Use0Only1.pdf

72
Kirkpatrick, D. L. (1999). Evaluación de acciones formativas: los cuatro niveles. Barcelona: Gestión 2000.

Kirkpatrick, D. & Kirkpatrick, J. (2013). Kirkpatrick four levels. Kirkpatrick Partners, LLC.

Martínez, P. (2006). El método de estudio de caso: estrategia metodológica de la

investigación científica. Pensamiento & Gestión, (20), 165-193.

Medina, J., Jarauta, B. y Urquizu, C. (2005). Evaluación del impacto dela formación del
profesorado universitario novel: un estudio cualitativo. Revista de Investigación
Educativa, 23(1), 205-238.

Ministerio de Educación de Guatemala. (s.f.). Metodología para la evaluación de impacto

de mediano plazo de la profesionalización docente. https://www.mineduc.gob.gt/
portal/contenido/menu_principal/inicio/documents/AnunciosInteres/Metodolog%C
3%ADa_para_Evaluaci%C3%B3n_Formaci%C3%B3n_Inicial_VF.pdf

Miranda, J. (1997). Gestión de proyectos: Evaluación financiera, económica, social, ambiental.

MM Editores.

Mohr, L. (1992). Impact Analysis for Program Evaluation. Newbury Park: Sage

Moral-Arce, I. (2014). Elección del método de evaluación cuantitativa de una política pública:
buenas prácticas en América Latina y la Unión Europea. http://www.sia.eurosocial-ii.eu/
files/docs/1400665227-DT6.pdf

Quintero, V. M. (1985). Evaluación de proyectos sociales: Construcción de indicadores.

Fundación FES.

Tejada, J. y Ferrández, E. (2007). La evaluación del impacto de la formación como estrategia de

mejora en las organizaciones. Revista Electrónica deInvestigación Educativa, 9(2), 1-15.

Torres, A. (1998). Estrategias y técnicas de investigación cualitativa. UNAD.

Universidad Andrés Bello. Las variables. [Archivo PDF]. https://mey.cl/apuntes/variablesunab.pdf

Verdugo , W. (2010). Variables de investigación.https://es.slideshare.net/wenceslao/variables-5325498

73
Evaluaciones de Impacto en la Educación
Superior es un recorrido por la mirada teórica,
contextualizada y ejemplificada para entender,
planear y desarrollar estudios de impacto en la
educación superior.

El libro orienta la toma de decisiones sobre el tipo

de evaluación que conviene emprender en una
institución de educación superior. No siempre
una evaluación de impacto es necesaria y
pertinente ya que implica -por su naturaleza- un
esfuerzo económico, humano y logístico de
grandes magnitudes.

Este texto permite distinguir entre el análisis y la

evaluación de impacto, los tipos, las metodologías
y las técnicas para su planeación y su realización.
El impacto se asocia a los cambios, a las
transformaciones, a los efectos o a los aportes
institucionales o en el entorno, atribuibles al
desarrollo de un proyecto, un programa o una
intervención.