Eje 4 PDF

Gua para la evaluacin de impacto de la formacin
Eje 4
Cmo evaluar el impacto
de la formacin?
Este eje se ocupa de los aspectos tcnicos de la evaluacin de impacto; plantea

qu son y cmo se construyen indicadores de impacto y describe los mtodos
cuantitativos y cualitativos de evaluacin con sus respectivas caractersticas, etapas
y requerimientos tcnicos.
Este documento se ha diseado como una herramienta de acceso al conocimiento
para todos los interesados en la medicin del impacto de la formacin.
Objetivos:
Al finalizar este eje el lector podr:
Identificar la importancia y caractersticas del uso de indicadores en la
evaluacin.
Diferenciar entre los distintos mtodos de evaluacin.
Entender la importancia de su aplicacin segn las caractersticas de los

programas a evaluar.
Manejar las caractersticas del anlisis de eficacia y de eficiencia.
Cmo evaluar
el impacto de la
formacin?
Qu son En qu En qu Por qu es Cmo se

y cmo se consiste la consiste la importante analizan la
construyen los evaluacin evaluacin combinar eficacia y
indicadores en de impacto de impacto los mtodos eficiencia?
la evaluacin de con mtodos con mtodos cuantitativos y
impacto? cuantitativos? cualitativos? cualitativos
para evaluar el
impacto de la
formacin?
37
4.1 Qu son y cmo se construyen los indicadores en la evaluacin de

impacto?
Un indicador es una comparacin entre dos o ms tipos de datos que sirve para
elaborar una medida cuantitativa o una observacin cualitativa. Esta comparacin
arroja un valor, una magnitud o un criterio, que tiene significado para quien lo
analiza.
Los indicadores se utilizan en diversos mbitos. Un ejemplo bsico de indicador es el
porcentaje. Otros indicadores comunes pueden ser la tasa de empleo, la tasa de
desempleo, la tasa de actividad, la tasa de informalidad, por mencionar algunos.
EJEMPLO DE UN INDICADOR TPICO
Tasa de Poblacin desocupada

= X 100
desempleo Poblacin Econmicamente Activa
Una de las ventajas de utilizar indicadores es la objetividad y comparabilidad;

representan un lenguaje comn que facilita una medida estandarizada. Son
herramientas tiles porque permiten valorar diferentes magnitudes como, por
ejemplo, el grado de cumplimiento de un objetivo o el grado de satisfaccin de un
participante en la formacin.
Los indicadores por lo general, se construyen con informacin cuantitativa, no
obstante y de modo creciente, se usan indicadores cualitativos.
Un indicador debe ser construido con un claro criterio de utilidad, para asegurar la
disponibilidad de los datos y resultados ms relevantes en el menor tiempo posible y
con un menor costo. Tambin es necesario elaborar indicadores que den cuenta de
todas las dimensiones sobre las cuales el programa o las acciones de formacin se
han propuesto intervenir. Siguiendo lo planteado en el eje 2 Conceptualizacin, los
indicadores podran describir los resultados, efectos e impactos en las personas, las
empresas y la sociedad.
4.1.1. Qu tipos de indicadores se utilizan y para qu?

Como se vio en el eje 2 Conceptualizacin, la inversin en una accin de formacin
origina una cadena de resultados, efectos e impactos. Para cada una de las etapas
de la cadena se pueden definir indicadores.
38
Indicadores de gestin
Se utilizan para realizar el monitoreo de los procesos, de los insumos y de las actividades
que se ejecutan con el fin de lograr los productos especficos de una poltica o
programa36.
Ejemplos de indicadores de gestin:
Qu mide? Cmo se elabora?

Valor presupuesto ejecutado
Costo hora de formacin
Horas de formacin aplicadas
Valor presupuesto ejecutado
Costo alumno en formacin
Nmero de participantes en formacin
Total participantes
Nmero de participantes por docente
Nmero de docentes
Nmero de funcionarios administrativos
Relacin de personal administrativo a personal docente
Nmero de funcionarios docentes
Total de participantes
Nmero de participantes por cada espacio de formacin
Nmero de espacios de formacin
Total de computadoras
Nmero de computadoras disponibles por cada participante
Nmero de participantes
Indicadores de resultado o producto

Relacionan los bienes y servicios generados por la accin de formacin; resultan de
las actividades de transformacin de los insumos y generan un incremento en los
productos aplicables a la formacin.
Ejemplos de indicadores de resultado:

Variacin en cupos de formacin creados Cupos despus cupos antes
X 100
EJE 4
Cupos antes
Variacin en diseos curriculares elaborados Nmero diseos despus nmero diseos antes
X 100
Nmero de diseos antes
Variacin en normas de competencia redactadas Nmero normas despus nmero normas antes
X 100
Nmero de normas antes
Variacin del nmero de docentes disponibles Nmero docentes despus nmero docentes antes
X 100
Nmero de docentes antes
Variacin del nmero de horas para formacin Nmero horas despus nmero horas antes
X 100
Nmero de horas antes
36 Los datos que se comparan en los indicadores cuantitativos reciben el nombre de variables
39
Indicadores de efecto
Se refieren a las consecuencias inmediatas de la formacin y desarrollo de
competencias sobre las personas, las empresas o la sociedad. Representan el
encuentro de las acciones formativas con la demanda de los participantes.
Algunos indicadores de efectos:

Tasa de participantes matriculados Nmero de matrculas
Nmero de cupos ofrecidos
Tasa de participantes certificados Nmero de certificados
Nmero total de participantes
Tasa de participantes que realizan pasantas en empresas Nmero de pasantes
Tasa de abandono de la formacin Nmero de abandonos
Tasa de proyectos de creacin de empresas elaborados Nmero proyectos de creacin de empresas
Nmero total de proyectos
Indicadores de impacto
Representan el cambio esperado en la situacin de los participantes una vez que la
formacin se lleva a cabo. Usualmente se pueden medir en perodos de mediano o
largo plazo debido a que se requiere un lapso de tiempo para que se puedan medir
el mejoramiento de los ingresos, las condiciones de trabajo, la empleabilidad y los
dems impactos mencionados en el eje 1 Contexto.
Algunos indicadores de impacto:

Variacin de los ingresos Ingresos despus ingresos antes
Ingresos antes X 100
Variacin en la situacin de empleo Tasa de desempleo despus Tasa desempleo antes

Incremento de la productividad Tasa productividad despus Tasa productividad antes
Disminucin de los accidentes de trabajo Tasa accidentes despus Tasa de accidentes antes
Mejoramiento de la salud Cuidado de la salud despus Cuidado de la salud antes
Tasa de retorno personal por unidad invertida Ingresos nuevos generados
Costo aprendizaje X 100
Tasa de retorno global por unidad invertida Ingresos nuevos totales generados
X 100
Costo aprendizaje
Los indicadores de impacto:
Expresan los cambios a partir de las acciones de formacin. Deben permitir la

comparacin con la situacin anterior a la implementacin del programa y en
los sucesivos cortes evaluativos programados. Para ello es necesario disponer
de la llamada lnea de base y los momentos de evaluacin intermedia, final
y de impacto.
40
Reflejan cambios observados en la poblacin objetivo (salarios, empleo,

proteccin social) as como de situaciones expresadas cualitativamente
(satisfaccin, salud, bienestar).
Se definen desde el diseo de las acciones de formacin37 y, de esa manera,
se garantiza su solidez y confiabilidad.
Deben buscar el retorno econmico de la formacin para poder demostrar la
utilidad del esfuerzo realizado.
Deben ser vlidos, es decir comprobar efectivamente aquello que se pretende
medir.
Deben ser confiables. Su valor no depende de quien lo mida pues las variaciones
que refleja son efectivamente encontradas en la realidad.
Pueden ser cuantitativos y cualitativos, estos ltimos estn basados en la
percepcin o el grado de conviccin del participante sobre una cierta
situacin.
En el anexo 2 se incluyen criterios para la elaboracin de indicadores, en los anexos
3, 4 y 5 se incluyen ejemplos de aplicacin.
En la evaluacin de impacto se utilizan mtodos cuantitativos y cualitativos, no son
mtodos excluyentes y se suelen utilizar en forma combinada, dependiendo de las
caractersticas del programa a evaluar, del tipo de participantes y del enfoque de
evaluacin diseado.
ENFOQUES UTILIZADOS EN LA EVALUACIN DE IMPACTO
Experimental
Mtodos Semi-experimental
cuantitativos
EJE 4
Evaluacin No experimental
de impacto
Estudio de casos
Mtodos
cualitativos
Anlisis contextual
4.2 En qu consiste la evaluacin de impacto con mtodos cuantitativos?
El mtodo cuantitativo busca verificar la relacin de causalidad entre la accin de

formacin y sus impactos. Al efecto, utiliza la informacin contenida en los objetivos
del programa y, con base en la informacin recolectada, establece el grado en que
los objetivos se alcanzaron, mediante un indicador.
37 Usualmente los indicadores se definen en herramientas de planificacin como el marco lgico muy utilizado en
el diseo de proyectos.
41
Por ejemplo, entre los objetivos de un programa de formacin de jvenes se pueden

mencionar: mejorar la empleabilidad de los participantes, acortar el tiempo de
desempleo una vez finalizada la formacin, facilitar la continuidad de la formacin
del participante.
La medicin del impacto debe corroborar que, debido a las acciones de formacin
ejecutadas, los participantes en el programa experimentaron los cambios en las
condiciones que se haban establecido como objetivos.
El siguiente grfico representa la lgica implcita en la evaluacin de impacto; la
situacin de los participantes cambia entre el comienzo y el final de la ejecucin de
la accin de formacin. El impacto es la diferencia entre la situacin con formacin
y sin formacin. La pregunta central que ejemplifica este enfoque es: Cul hubiera
sido la situacin de los participantes, si ellos no hubiesen recibido la formacin?
Representaciones de los impactos de las acciones de formacin
}
Con
formacin
Impactos
Sin
formacin
Situacin Situacin
inicial final
Dentro de las evaluaciones de impacto con mtodos cuantitativos, se dispone

de tres tipos de diseo que pueden integrarse para construir una evaluacin ms
eficiente en funcin de las caractersticas de cada caso. Los diseos ms usuales
son el experimental, el semi-experimental y el no experimental; a continuacin se
describir cada uno.
4.2.1. Diseo experimental

Como su nombre lo indica, estos modelos hacen uso de condiciones de experimento38
para conformar el grupo de participantes y el de control. Las condiciones
experimentales imponen que, tanto los participantes como los integrantes del grupo
de control se elijan mediante un sorteo, es decir con un procedimiento aleatorio.
Esta seleccin implica que quienes integren el grupo de control no son invitados a
ingresar en el programa. Luego de construidos los grupos se realizan comparaciones
de la situacin antes y despus, mediante el uso de los indicadores. El impacto se
establece a partir de los cambios encontrados en las mediciones entre el grupo de
participantes comparado con el grupo de control.
38 En ciencias sociales, un experimento implica una comparacin sistemtica de ciertos grupos con otros que son
similares en los aspectos ms relevantes, o con el mismo grupo en diferentes momentos del tiempo, con el objetivo
de determinar el efecto o influencia de algn evento o intervencin. Navarro. 2005.
42
Este enfoque utiliza tcnicas de comparacin estadstica para establecer la relacin

causa-efecto entre la accin de formacin y los cambios que se produjeron en los
participantes. Una caracterstica fundamental es que el impacto se mide en trminos
comparativos entre los participantes y los no participantes. Al efecto se recurre a
un grupo similar (grupo de control) que no haya participado de las acciones y por
tanto permita aislar efectos de factores exgenos al programa39. Esto significa que
en la evaluacin se requiere estar seguro de que los impactos constatados se deben
exclusivamente a las acciones de formacin y no a otro hecho fuera de contexto.
Para qu se usan los grupos de control? Como es necesario realizar la comparacin
de poblaciones pertenecientes al mismo universo (por ejemplo: jvenes) con el
propsito de identificar el impacto de las acciones desarrolladas, la medicin se
realiza en el grupo de participantes40 y en un grupo de control41.
Estos grupos coinciden en sus caractersticas fundamentales, o al menos en aquellas
que se consideran crticas, y que pueden influir en el impacto esperado. Los miembros
del grupo de control, por definicin, no deben haber participado en las acciones de
formacin que se evalan. La conformacin de un grupo de control se realiza con
el fin de establecer el llamado escenario contrafactual42. Este trmino se utiliza para
expresar la garanta de que los impactos son realmente atribuibles a la accin de
formacin y no se hubieran generado si la accin no se hubiese realizado.
Los dos grupos se deben conformar antes de comenzar las acciones y, para garantizar
que sean similares, los integrantes deben asignarse mediante procedimientos
estadsticos43.
Medicin del impacto usando dos grupos
Salario
}
Participantes
EJE 4
Impacto
Control
Lnea de
base
Antes Despus
39 Comnmente conocido como el contrafactual en la evaluacin de impacto.

40 Tambin denominado grupo experimental o de tratamiento o grupo beneficiario
41 En ocasiones se encuentra mencionado como grupo de comparacin
42 Anglicismo por el trmino counterfact de la literatura en ingls.
43 Es decir que estadsticamente no existan diferencias que puedan favorecer ms a unos sobre los otros en la cap-
tacin de beneficios de la accin
43
En este diseo, la medicin de la o las variables de impacto (por ejemplo: salario o

empleo) se realiza en ambos grupos, una vez que los participantes han recibido los
beneficios de la accin. Cuando la medicin de la variable de impacto se realiza antes
de iniciado el proyecto se establece la lnea de base de la evaluacin. En algunos
casos, dada la dificultad de definir la lnea de base, se realizan las mediciones en
ambos grupos luego de las interven ciones y se establece el impacto por la diferencia
encontrada.
Estos modelos necesitan sostener las condiciones experimentales a lo largo de toda la
evaluacin. Al impedir participar en la accin formativa a quienes integran el grupo
de control genera crticas desde el punto de vista tico y poltico.
Si bien es un mtodo que, en teora, garantiza condiciones qumicamente puras
y pretende reproducir un ambiente de laboratorio, en la prctica le otorga a la
evaluacin de impacto un tinte excesivamente cientfico que la hace difcil de aplicar
y poco prctica, disuadiendo a muchos actores de su utilizacin44.
4.2.2. Diseo semi-experimental

Este tipo de diseo, tambin llamado cuasi-experimental, se basa tambin en la
conformacin de los dos grupos, el de participantes y el de control, pero no excluye
a estos ltimos de la participacin en el programa.
En este enfoque las personas que integran el grupo de participantes han ingresado al
programa por su voluntad y no como resultado de un sorteo aleatorio. Se trata de que
las personas que van a conformar el grupo de control sean lo ms parecidas posible
a aquellas que constituyen el grupo de participantes. Es decir, que para conformar
dichos grupos de comparacin se trabaja a partir de las variables centrales o las que
se cree pueden provocar o influir en los resultados.
Estos diseos pueden realizar mediciones antes-despus o solamente despus y en
algunos casos se puede aplicar comparando el grupo de participantes con un grupo
de control genrico. En este caso, el grupo de comparacin puede ser la poblacin
en general o un sector especfico de sta.
En la tabla siguiente se presenta la forma en que se establecieron los grupos de
participantes y los grupos de control en varias evaluaciones de impacto de instituciones
o programas formativos de la regin.
44 Grubb, W. Norton; Ryan, Paul. Op. cit.
44
Criterios y mtodos utilizados en la conformacin del grupo de comparacin en cuatro estudios

de evaluacin de impacto de programas de capacitacin laboral en Amerca Latina
Grupo de tratamiento Grupo de comparacin

SENA Criterio: personas empleadas que asistieron a Criterio: personas empleadas que nunca han recibido
Colombia algn curso de capacitacin del SENA en el ao un curso de capacitacin.
1996, y nunca antes haban tomado un curso de Fuente: Encuesta de Calidad de Vida de 1997
capacitacin. (seguimiento).
Fuente: Encuesta de Calidad de Vida de 1997
(seguimiento).
Probecat Criterio: personas que fueron admitidas en Criterio: personas que estuvieron desempleadas en el
Mxico Probecat y terminaron la capacitacin. tercer trimestre de 1990 y cumplian con los criterios
Fuente: encuesta retrospectiva realizada por de seleccin de Probecat.
Probecat a una muestra de las personas Fuente ENEU, tercer trimestre de 1990 - tercer
graduadas en 1990. La encuesta se realiz en trimestre de 1991 (seguimiento).*
febrero de 1992 (seguimiento) y se aplic el
formulario de la Encuesta Nacional de Empleo
(ENEU).
Programa Criterio: personas que fueron admitidas en el Criterio: personas que fueron admitidas en el
Joven Programa Joven en 1996/97 y terminaron los Programa Joven en 1996/97 y nunca iniciaron los
Argentina cursos de capacitacin. cursos de capacitacin.
Fuente: encuesta administrada por el programa Fuente: encuesta administrada por el programa en los
en los aos 1996/97 (lnea base) y 1998 aos 1996/97 (lnea base) y 1998 (seguimiento).
(seguimiento).
PROJoven Criterio: personas que fueron admitidas Criterio: personas que viven en la misma zona
Per en PROJoven y terminaron los cursos de que los beneficiarios de PROJoven (i.e. cuadra,
capacitacin. manzana, etc.), cumplen con los criterios, pero no se
Fuente: encuesta administrada por el programa inscribieron.
en los aos 2000 (lnea base) y 2001 Fuente: encuesta administrada por el programa en los
(seguimiento). aos 2000 (lnea base) y 2001 (seguimiento).
* LA ENEU utiliza un sistema de rotacin trimestral para que cada grupo de rotacin (hogares) permanezcan en la encuesta por cinco trimestres
consecutivos y despus dejan de pertenecer a la muestra.
Fuente: Manual para la evaluacin de impacto de proyectos y programas de lucha contra la pobreza. Navarro, Hugo. CEPAL-ILPES. 2005.
EJE 4
4.2.3. Diseo no experimental
Este enfoque no utiliza grupos de control para evaluar los impactos de las acciones
implementadas; es decir, solo trabaja con la poblacin que particip en el proyecto.
El no utilizar grupos de control puede obedecer a que sencillamente no fue previsto
en la planificacin de la evaluacin o, a que en algunos casos, existen razones
tcnicas que impiden la construccin de los dos grupos. Es el caso de la evaluacin
de impacto de una poltica pblica nacional que debe cubrir a toda la poblacin
o a un sector importante de ella; la construccin de grupos de control por mtodos
experimentales supondra separar de los beneficios de las polticas a importantes
porciones de la poblacin.
Bajo este enfoque se realizan comparaciones en el tiempo denominadas diseos
seriados que cubren los momentos: antes-despus o slo despus. Se les llama
seriados por cubrir series de tiempo y se conocen como estudios longitudinales. Sus
caractersticas estarn determinadas por las variables a medir, el tipo de seguimiento
requerido y el acceso a datos confiables previos al desarrollo de las acciones.
45
Medicin del impacto en un diseo no experimentado seriado
Salario
}
Participantes
Impacto
Tendencia
observada
Antes Despus
Los diseos seriados son los ms rigurosos entre los no experimentales ya que, a pesar
de no trabajar con grupos de control, permiten calcular la tendencia del impacto
a analizar si no hubieran tenido lugar las acciones implementadas. Necesitan de la
existencia de una cantidad suficiente de observaciones anteriores al desarrollo de
las acciones para poder identificar la tendencia previa a la intervencin. En este
caso, se trabaja con un diseo antes despus evaluando el impacto mediante un
tratamiento estadstico del cambio observado en las variables.
Si bien, a partir de estos diseos, no se pueden aislar los efectos de factores ajenos a las
acciones previstas, se podra afirmar que las mismas han contribuido a los resultados
junto con otros factores no aislados.
Los diseos seriados son ms tiles cuando el objetivo de las acciones cubre a toda
una poblacin, por ejemplo todos los trabajadores jvenes que se inscriben en cursos
de aprendizaje.
La eleccin de un mtodo determinado para la implementacin de la evaluacin
de impacto supone un conjunto de aspectos polticos, metodolgicos y relativos a
la asignacin de recursos econmicos y humanos. Como se anot antes, existe una
relacin inversa entre la facilidad y practicidad de la aplicacin de estos diseos y la
confiabilidad estadstica de los resultados.
46
4.2.4. La recoleccin de informacin bajo el enfoque cuantitativo

Es una parte sensible de la evaluacin ya que puede comprometer la calidad de los
datos. El tamao de la muestra y la modalidad de recoleccin pueden tener una alta
incidencia en los costos.
Se debe obtener informacin, tanto del grupo de participantes como del grupo de
control, y disear categoras claras y estandarizadas para la informacin recolectada.
Cuando se trata de intervenciones de carcter pblico y de amplia cobertura, no
es posible obtener la informacin de cada uno de los participantes, lo que sera un
censo, por lo cual se aplican tcnicas de muestreo.
Calcular una muestra es el procedimiento de seleccionar un subgrupo de todo el
conjunto de participantes, que debe ser representativo de dicho conjunto. Existen
tcnicas estadsticas para calcular el tamao y caractersticas de una muestra; la regla
bsica es que todos los participantes en el programa tengan la misma probabilidad
de salir elegidos en la muestra45.
La informacin que es recolectada en la muestra comprende un grupo de variables
que sern analizadas para evaluar el impacto. Estas variables pretenden captar los
rasgos de los impactos deseados y son diferentes segn que los beneficiarios de la
formacin sean las personas, las empresas o la sociedad.
Algunas de las variables de impacto de los programas de formacin y desarrollo de
competencias son:
Variables de impacto en las personas
Variable Tipo de medicin

Salario Variacin en moneda corriente
Ingreso Variacin en moneda corriente
Tiempo para conseguir trabajo Semanas, meses.
Empleo Cambio en la probabilidad de emplearse
Tiempo en algn empleo Semanas, meses, aos
EJE 4
Creacin de autoempleo Conformacin empresas
Nmero de horas trabajadas Variacin antes-despus
Tasa de ocupacin Variacin
Tasa de participacin laboral Variacin
Cambio en la situacin laboral Empleo, desempleo, activo, inactivo
Cambio en el tipo de empleo Formal, informal, auto-empleo
Consumo total Variacin en moneda corriente
Aumento de la productividad laboral Desempeo laboral
Proteccin social Variacin aportes pagados
45 Existen diferentes mtodos de muestreo, entre ellos el aleatorio, el muestreo por conglomerados cuando se agru-
pan conjuntos afines de la poblacin y el muestreo por caractersticas particulares que atiende a variables como
edad, sexo, situacin econmica, entre otras.
47
Variables de impacto en las empresas

Tiempo no trabajado-ausentismo Variacin horas, das
Tiempo no trabajado-otras causas Variacin horas, das
Tiempo de parada en lnea Variacin horas, das
Calidad de productos finales Cantidad rechazos por desperfectos
Accidentabilidad laboral Variacin accidentes de trabajo
Crecimiento productividad Producto final/insumos aplicados
Innovaciones aplicadas Nmero de innovaciones en prctica
Ventas Variacin en moneda corriente
Exportaciones Variacin en moneda corriente
Conflictividad laboral Variacin das, horas
Dilogo social Tiempo participacin, concertacin
Variables de impacto en la sociedad

Bienestar fsico Condiciones de salud y nutricin
Participacin ciudadana Ejercicio de ciudadana, membresas
Desarrollo formativo Ingreso o permanencia en la formacin
Educacin Elevacin del nivel educativo
Bienestar emocional Insercin familiar, social, redes
Las variables que describen los impactos sociales de la formacin son de ms difcil
obtencin y cuantificacin, ello hace que las evaluaciones de impacto social sean
bastante escasas. En el anexo 8 se incluye un ejemplo de las variables que utiliza el
SENAI.
4.2.5. El anlisis de informacin en los mtodos cuantitativos

La informacin sobre las variables e indicadores para la evaluacin cuantitativa se
analiza con mtodos estadsticos. Las herramientas ms utilizadas son el promedio (o
media aritmtica), el anlisis de regresin y el anlisis de panel.
La media aritmtica o promedio, es una medida de la tendencia central de varias
observaciones. Para calcularla se toman en cuenta los valores de los indicadores
para todas las observaciones realizadas tanto en los participantes como en el grupo
de control. Se suele calcular el promedio para cada uno de los grupos (participantes
y control); la diferencia entre las dos observaciones promedio, es el impacto del
programa.
En el siguiente ejemplo se presenta una evaluacin para la variable ingresos utilizando
grupo de control46 se muestra la informacin para los dos grupos y el clculo del
promedio para cada uno.
46 Generalmente se recolecta informacin de una muestra representativa de cada uno de los grupos
48
SALARIOS DEVENGADOS DESPUES DE LA FORMACIN

GRUPO DE PARTICIPANTES GRUPO DE CONTROL
1000 1200
1200 890
1500 950
1150 1000
1300 750
Suma 6150 4790 Impacto
Promedio 1230 958 272
La media o promedio est definida por la suma de los datos observados dividida por
el nmero de observaciones, en este caso cinco. La diferencia de las dos medias es
el impacto en trminos absolutos: $272, un impacto positivo. Para darle un significado
se convierte en un indicador porcentual, as:
1230 - 958
% de impacto = X 100 = 28,39 %
958
El impacto representa un incremento de 28,39% en los salarios de quienes participaron

en la formacin en relacin con quienes no lo hicieron.
El anlisis de regresin, es una tcnica que estima el valor promedio de una variable
dependiente (como el salario o el empleo) dados ciertos valores conocidos de la
variable explicativa o independiente (la formacin). A modo de ejemplo, en una
accin de formacin profesional, la variable independiente es la provisin de
formacin y la variable dependiente el cambio en el empleo de los participantes, o
el cambio en el salario.
EJE 4
Modelo de regresin en la evaluacin de impacto
Valores salario
Salario recogidos va
encuesta
Lnea de
regresin
} Impacto
Grupo control Grupo participantes
49
El anlisis de panel utiliza series de tiempo, incorporando informacin de variables

y unidades de estudio durante un perodo determinado. Incluye una muestra de
informacin de agentes de inters (personas, empresas) para un lapso.
A manera de ejemplo, para aplicar el modelo se podra disponer de datos peridicos
(mensuales, anuales) de los ingresos obtenidos por un grupo de egresados de un
programa de formacin durante un perodo de 24 meses. A esto se le llama disponer
de los datos en panel.
El objetivo es detectar los cambios en los individuos a travs del tiempo, atribuibles
a su participacin en una accin de formacin. Esta tcnica permite realizar un
anlisis dinmico al incorporar la dimensin temporal de los datos, lo que enriquece
el estudio, particularmente en perodos de grandes cambios47.
Una vez calculados el promedio, el anlisis de regresin o aplicada la tcnica de
panel, se deben realizar las pruebas de significacin estadstica48 de los valores
obtenidos. Esta prueba indica si el valor de un determinado indicador de impacto
es estadsticamente significativo para explicar el impacto obtenido. Son tiles para
identificar aquellos factores que, al no estar asociados con el impacto, no deben ser
tomados en cuenta en diseos futuros de intervenciones.
Como ya se mencion, en la variacin de un determinado indicador, pueden concurrir
efectos no necesariamente asociados a la accin de formacin. Por ejemplo, un joven
que ha recibido formacin cuando la economa est en auge, tender a encontrar
empleo con una facilidad similar a otro que no lo haya hecho. El efecto no atribuible
al aprendizaje se produce por la alta demanda laboral que tienen las empresas en
momentos de crecimiento, cuando la tasa de desempleo tiende a bajar.
En forma inversa, un joven que haya recibido una buena formacin en un ciclo de
recesin econmica, tendr ms dificultades para encontrar un empleo, lo cual no
necesariamente es un impacto adverso del programa de capacitacin en el que
particip.
4.3 En qu consiste la evaluacin de impacto con mtodos cualitativos?
Es un tipo de evaluacin en la que las fuentes de informacin incluyen datos no

numricos y adems la relacin de causalidad entre la accin de formacin se
comprueba sin conformar un grupo de control. Es decir, no requiere de un escenario
contrafactual. Por tal razn no se establecen controles experimentales en la accin
evaluada.
Otras caractersticas del mtodo cualitativo son49:
no utiliza variables preestablecidas, por lo tanto los resultados no se limitan a

tales variables;
no incorpora evidencia sobre individuos que no recibieron los beneficios del

programa;
identifica una serie de eventos o acciones que conducen a un resultado en

particular y establece su relacin de causalidad;
47 Mayor informacin: http://www.bccr.fi.cr/ndie/Documentos/NT-05-2000.pdf

48 Un resultado es estadsticamente significativo cuando no es probable que haya ocurrido por causa del azar.
49 Basado en: Navarro, Hugo. Manual para la evaluacin de impacto de proyectos y programas de lucha contra la
pobreza. CEPAL-ILPES. 2005
50
describe las condiciones iniciales de los beneficiarios y luego identifica una serie
de eventos que ocurren en diferentes momentos y que conducen al resultado
o impacto;
asume una concepcin fsica de causalidad, que es la relacin entre dos
eventos en el mundo natural (por ejemplo: el joven particip en el programa
de formacin y como resultado ha mejorado sus ingresos) a diferencia de la
definicin de causalidad que utiliza el mtodo cuantitativo (el joven mejor
sus ingresos porque particip en el programa, de otra manera no lo hubiera
hecho);
en lugar de buscar aislar los factores externos a la intervencin, este mtodo los
incorpora para observar las interacciones que ocurren entre los participantes y
la formacin, en su contexto geogrfico, cultural, organizacional e histrico;
brinda la oportunidad de obtener evidencia de aquellos impactos que
no pudieron anticiparse al inicio del programa o la evaluacin (positivos y
negativos);
en lugar de utilizar un experimento (comparacin) para determinar la

causalidad, el mtodo cualitativo emplea la tcnica de trabajo de campo
que permite al evaluador observar y/o interactuar con los participantes de la
formacin en el terreno.
Algunas de las preguntas que se formulan en esta evaluacin son50:
Cules impactos produjo el programa?
Qu significado tienen estos impactos para los beneficiarios?
Cules fueron los mecanismos que generaron estos impactos?
Cul es el contexto o entorno en el cual se generaron estos impactos?
EJE 4
La utilizacin de los mtodos cualitativos es creciente y se les aplica tambin en forma
combinada con mtodos cuantitativos.
El estudio de casos51 es uno de los mtodos cualitativos ms empleados en acciones
de formacin dirigidas a colectivos de la economa informal y rural52. En el anexo 6 se
describe una experiencia de aplicacin de esta metodologa por el IDRC.53
El propsito de los estudios de casos es examinar el efecto del programa en los
beneficiarios para lo cual se describen y definen los beneficiarios del programa,
examinan sus necesidades y determinan hasta qu punto stas fueron satisfechas
efectivamente por la intervencin (Stufflebeam, 2000).
50 Navarro. CEPAL-ILPES, 2005

51 Un estudio de caso es un estudio intensivo sobre un evento especfico. Tal evento puede ser la ejecucin de un
programa o accin formativa. Basado en Navarro. Op. cit.
52 Evaluaciones de la SDC como la del proyecto Formujer de OIT/Cinterfor, o de IDRC para el Proyecto TIC para
MIPYME en OIT/Cinterfor o la de Reto Rural en Ecuador mantuvieron ese enfoque.
53 International Development Research Center IDRC, 2008
51
El evaluador debe conocer qu piensan los beneficiarios y cules son sus percepciones
acerca de sus necesidades y el impacto del programa54. Con este propsito, en un
estudio de caso, se utilizan mltiples tcnicas de recoleccin de informacin que
incluyen la observacin y el anlisis de documentos elaborados a partir de las
observaciones.
Otra tcnica utilizada es la del cambio ms significativo, una forma de seguimiento y
evaluacin participativa que involucra a los interesados en la accin evaluada, tanto
en el anlisis delos cambios, como en el de los datos recogidos.
Se produce durante todo el ciclo del programa y proporciona informacin para
ayudar a las personas a manejarlo. Proporciona datos sobre el impacto y los resultados
que se pueden utilizar para ayudar a evaluar el desempeo del programa en su
conjunto.
El proceso implica la recopilacin de cambios significativos que provienen de las
historias ocurridas en el terreno y la seleccin sistemtica de las ms importantes,
por grupos escogidos entre los interesados. El personal del equipo evaluador y los
interesados escogidos trabajan juntos en la bsqueda del impacto de la accin.
Una vez que los cambios han sido identificados, algunos grupos de personas debaten
en profundidad sobre el valor de estos cambios y seleccionan los ms importantes.
Cuando la tcnica se lleva a cabo con xito, todo el equipo puede estar de acuerdo
y centrar su atencin en el impacto ms significativo del programa55.
4.3.1. Recoleccin de informacin cualitativa

La informacin cualitativa se obtiene en el lugar donde se han realizado las acciones
del proyecto o actividad de formacin. Utilizan la observacin directa, las entrevistas
y la revisin documental en forma combinada; pueden tener una amplia cobertura o
tambin utilizar tcnicas de muestreo. El papel del evaluador cambia desde un nfasis
en el anlisis de variables previamente establecidas, al anlisis del comportamiento
de los participantes en el programa de formacin y desarrollo de competencias.
Este enfoque es especialmente apto para conocer el impacto de los proyectos
sociales y de lucha contra la pobreza, como lo son los de formacin y desarrollo de
competencias, en los cuales el comportamiento, expectativas y motivaciones de los
beneficiarios son factores fundamentales a analizar. Permite una mejor comprensin
de las incidencias econmicas, polticas y culturales que afectan la ejecucin de la
actividad y que inciden en el cambio del bienestar de los participantes.
4.3.2. Anlisis de la informacin cualitativa

Utiliza principalmente la tcnica de anlisis de contenidos que consiste en la
descripcin, interpretacin y examen de los patrones observados en la informacin
cualitativa, as como los mecanismos y relaciones de causalidad que este tipo de
informacin permite identificar56.
54 Una verdadera comprensin de un programa requiere de la interaccin del evaluador con los involucrados. IDRC.
Unidad de evaluacin (2003)
55 www.iodparc.com International Organization Development Ltd 2011
56 Navarro, H. Op. cit.
52
El anlisis de contenidos puede ser efectuado con un enfoque temtico en el cual un

determinado concepto es seleccionado para el estudio y se revisa la frecuencia con
que dicho concepto se presenta en el texto.
Utilizar formas de codificacin para procesar datos cualitativos y de este modo, poder
aplicar herramientas cuantitativas, es uno de los mecanismos de tratamiento de la
informacin obtenida en el terreno. Los cdigos son usualmente palabras escogidas
para representar una opinin, sensacin o comportamiento. Seleccionar un buen
ndice de palabras es crucial para mantener la representatividad de los datos.
Esta opcin, en su forma bsica, es la misma que se encuentra en las encuestas
de satisfaccin con conceptos como: satisfecho, medianamente satisfecho, no
satisfecho, inconforme. Establecer estas categoras siempre tiene riesgos estadsticos
por:
la preferencia subjetiva hacia alguna categora por los encuestados,
la tendencia a marcar siempre los criterios neutros o centrales para evitar

situaciones difciles,
tender a marcar todo en los extremos, bien sea de satisfaccin o de

inconformismo.
Por ello se sugiere que este tipo de categoras estn revisadas y validadas
estadsticamente de forma previa, lo que supone un perodo de experiencia y
adaptacin.
Una forma reciente de codificar informacin en la evaluacin cualitativa es hacerlo a
partir del material recolectado y con el apoyo de un software para procesamiento de
textos, que puede identificar los conceptos o palabras ms frecuentemente usadas y
de este modo facilitarlas como elementos de anlisis y comparacin.
Una aplicacin de este enfoque se puede realizar con la trascripcin a un procesador
de texto de las entrevistas a participantes o a interesados claves en el proyecto, o
mediante el uso de documentos que relaten los estudios de casos. Hoy en da se
encuentran disponibles herramientas informticas libres como el Wordle para crear
EJE 4
una nube de palabras cuyo tamao es proporcional a la frecuencia con que
aparecen en el texto57.
De modo complementario el anlisis relacional tambin recurre a la identificacin de
conceptos en los textos levantados del terreno, pero adems de la frecuencia, busca
determinar las relaciones existentes entre los conceptos seleccionados.
En el grfico siguiente se inserta la nube de palabras que resulta del texto sobre
indicadores incluido en el punto 4.1 de esta Gua. Se invita a analizar la nube como
ejemplo de aplicacin.
57 www.wordle.net
53
Ejemplo de una nube de palabras
4.4 Por qu es importante combinar los mtodos cuantitativos y cualitativos

para evaluar el impacto de la formacin?
La formacin y desarrollo de competencias tienen impactos sociales; su realizacin

regular y permanente, hace recomendable que la evaluacin sea una prctica
habitual y que los mtodos cualitativos se combinen con los cuantitativos, sin
comprometer la aplicabilidad y practicidad de las herramientas.
A continuacin se resumen las principales caractersticas de tales mtodos:
Caractersticas de los mtodos de evaluacin

Cuantitativos Cualitativos
Usan tcnicas estadsticas para garantizar validez en todo La validez se garantiza visitando al terreno y con los
el proceso. participantes.
Compara entre dos grupos y se basa en un escenario Se concentra en los beneficiarios y se adapta a las
contrafactual y, por lo tanto, la causalidad del efecto de necesidades de la evaluacin.
la accin.
Valoran todos los impactos, tanto econmicos como Pueden llevarse a cabo usando tcnicas sencillas y
sociales. prcticas de recoleccin y anlisis de informacin.
Conforman equipos de trabajo con amplia expertise Conforman equipos de trabajo sensibles con las
tcnica y estadstica. prcticas sociales y culturales del contexto que se
evala.
Mayor rigor en la interpretacin de los resultados. Mayor flexibilidad en la recoleccin de la informacin.
Utilizados en acciones o programas de duracin y Mayor comprensin de las percepciones y prioridades
mbito acotados. No muy utilizados para los sistemas de de los participantes y de las condiciones y procesos que
formacin de escala nacional. pueden haber afectado los impactos de una accin.
54
4.5. Cmo se analizan la eficacia y eficiencia?
Este anlisis completa la evaluacin de impacto ya que permite conocer:
si el impacto fue conseguido (eficacia),
si el impacto generado justifica el costo de la accin (eficiencia),
si pueden existir alternativas ms eficaces y eficientes para lograr el mismo

impacto.
La eficacia de una accin est dada por el grado en que se cumplieron los objetivos
previstos en su diseo. Usualmente se recurre a una forma de planificacin como el
marco lgico, en la cual se establece la jerarqua de objetivos: general, inmediatos,
especficos, metas y actividades58.
Para cada uno de los objetivos previstos se analiza la eficacia de la accin que es
evaluada, obteniendo un ndice general de eficacia mediante una ponderacin59
de cada uno de los ndices por objetivo evaluado.
En el ejemplo a continuacin se muestra, en forma simplificada, el anlisis de eficacia
de un programa sectorial de formacin por competencias. El objetivo propuesto,
despus de cuatro aos, era desarrollar competencias laborales y facilitar el acceso
al empleo de expertos soldadores, en razn al crecimiento importante del sector
industrial en un pas.
Impactos de un programa de formacin en el acceso al empleo
Tasa de acceso al empleo en ocupaciones

relacionadas con la soldadura
Aos de ejecucin
de la accin Grupo de
Grupo de control Impacto
participantes
EJE 4
1 75 60 15
2 80 55 25
3 85 65 20
4 70 70 0
Tasa media empleo 77.5 62.5 15
Meta propuesta 90.0 90.0
Eficacia 86.1 69.4 16.7
58 Existen numerosos manuales de elaboracin del marco lgico para el diseo de proyectos. Una accin de forma-
cin bien diseada debera prever sus efectos utilizando el marco lgico.
59 La ponderacin es un promedio de diferentes datos observados en el que cada dato representa una proporcin
del total e interviene en la ponderacin de acuerdo con su peso especfico. Por ejemplo en una intervencin se
le puede otorgar un 60% al objetivo ingreso al empleo y 40% al objetivo de mejorar salarios.
55
El impacto durante los cuatro aos de funcionamiento es diferente y en el cuarto

ao, es cero. Es posible que haya habido otras acciones de formacin y que otras
personas desarrollaran competencias logrando la misma tasa de insercin laboral
que el grupo de participantes.
Por otro lado, la tasa de empleo60 va decreciendo en el tiempo, lo cual enva un
mensaje sobre el programa y las competencias que est desarrollando, o sobre el
agotamiento del sector en la generacin de nuevos puestos de trabajo. Estas son
situaciones que surgen durante las evaluaciones y que requieren la utilizacin de
mtodos combinados.
El indicador de eficacia se obtiene dividiendo el valor logrado sobre la meta de
acceso al empleo que se haba previsto: 90%, tanto para el grupo de participantes
como para el grupo de control; el impacto es la diferencia del indicador entre los dos
grupos. En el ejemplo de arriba hay un impacto positivo de 16,7% en la eficacia de
esta formacin.
En el caso anterior solo se revis el impacto y la eficacia para un objetivo, el de
acceso al empleo. Normalmente las acciones formativas se trazan otros objetivos,
como el incremento de ingresos o la continuidad educativa; el anlisis de eficacia
se realiza de forma similar pudindose efectuar una comparacin por cada objetivo,
como se presenta a continuacin:
Diferentes impactos de un programa de formacin y su eficacia

Tasa de acceso al empleo en ocupaciones
relacionadas con la soldadura
Grupo de
Objetivos de la Grupo de control
participantes Impacto
accin de formacin
Acceso empleo 77.5 62.5 15.0
Incremento ingresos 35.0 15.5 19.5
Reduccin accidentes 85.0 60.0 25.0
Meta empleo 90.0 90.0

Meta ingresos 45.0 45.0
Meta accidentes 80.0 80.0
Eficacia empleo 86.1 69.4 16.7

Eficacia ingresos 77.7 34.4 43.3
Eficacia accidentes 106.2 75.0 31.2
La eficiencia analiza el volumen de recursos gastados para alcanzar las metas. Una
actividad eficiente hace un uso ptimo de los recursos y, por tanto, tiene el menor
costo posible.
Mientras que el indicador de eficacia es usualmente una tasa porcentual, en el anlisis
de eficiencia se utilizan indicadores de costo-beneficio o de costo-eficiencia.
60 Es un indicador definido por el nmero de personas que trabajan sobre el nmero total del grupo, se expresa en
porcentaje.
56
El anlisis de la eficiencia es utilizado para comparar entre diferentes alternativas de

acciones de formacin y se puede realizar ex ante o ex post. En general, siempre que
se deban revisar opciones de inversin para emprender acciones o reorientarlas, la
bsqueda de un costo eficiente es requerida y este tipo de anlisis la facilita.
Ejemplo: analizar la opcin ms eficiente, entre dos, para desarrollar un programa
de formacin en una comunidad rural apartada. Una, es la de construir un centro
de formacin, dotar sus instalaciones, contratar y formar personal; la otra, consiste en
utilizar unidades mviles con un centro itinerante y equipos fcilmente transportables.
Es un tpico caso en el que, mediante el clculo de los costos, se puede hacer
una evaluacin ex ante de las alternativas e implementar la que se muestre ms
eficiente.
Para evaluar la eficiencia existen dos tipos de anlisis: el costo-beneficio y el costo-
efectividad.
Anlisis costo-beneficio: se expresa como una relacin entre los beneficios obtenidos
y los costos incurridos y utiliza como unidad de medida el dinero. En general, en
este tipo de anlisis se busca una relacin beneficio-costo mayor a uno, justamente
cuando los beneficios son mayores que los costos61.
Valor presente de los beneficios

Relacin beneficio-costo = X 100
Valor presente de los costos
Dentro del anlisis costo-beneficio se utiliza el indicador conocido como: Retorno

de la Inversin (ROI)62 para medir el rendimiento de las inversiones que realizan las
empresas en capacitacin.
Dentro de los costos se incluyen: pagos a los docentes, salario de los trabajadores
separados de sus funciones mientras atendan el curso, el costo de utilizar las
EJE 4
instalaciones y el de los dems insumos identificados. Como beneficios se toman
la disminucin de accidentes laborales, la reduccin de productos imperfectos, la
disminucin de accidentes laborales, la mejora en productividad.
Valor de los beneficios de la capacitacin

ROI = X 100
Valor de los costos de la capacitacin
Los beneficios y los costos son traducidos a un valor monetario por los interesados en
su medicin. Normalmente es fcil calcular estos valores, pero en algunos casos se
requiere acuerdo, por ejemplo, sobre cmo medir la variacin en la productividad y
sobre qu base valorarla.
61 Como el valor del dinero a travs del tiempo no es el mismo debido a los cambios de precios y la tasa de inters,
se utiliza el clculo del Valor Presente que consiste en hacer equivaler a moneda actual, un flujo de dinero (bene-
ficios o costos) futuro.
62 Del ingles Return on Investment. Phillips, J. Handbook of training evaluation and measurement methods. Houston:
Kogan Page. 1990.
57
Una vez sumados los valores de beneficios y costos se puede optar por compararlos
directamente o por calcular su valor presente neto si el tiempo de anlisis lo amerita.
El ROI se ha utilizado para medir el impacto de la capacitacin en experiencias de
aplicacin del Sistema Integral de Medicin y Avance de la Productividad SIMAPRO.
En el anexo 7 de este eje se incluye la descripcin de un caso.
Otro indicador que se suele utilizar es la Tasa Interna de Retorno (TIR) que define un
valor de referencia por encima del cual se considera rentable el programa. Esta tasa
hace que el valor presente de un flujo de beneficios y costos, sea igual a cero. La TIR
se compara con tasas de inters de otras inversiones alternativas; normalmente se
usa para decidir a favor de aqulla que ofrezca una tasa de retorno mayor.
Anlisis costo-efectividad: es la relacin entre los impactos obtenidos (valorados

en dinero) y el valor presente de los costos, tambin en dinero, en que incurri la
actividad desarrollada.
El costo efectividad incluye la posibilidad de traducir ciertos impactos sociales a
valores expresados en moneda corriente.
Impactos
Relacin beneficio-efectividad = X 100
Tambin permite realizar comparaciones entre impactos obtenidos con diferentes

alternativas de accin. Las decisiones que se toman con base en esta relacin
favorecen a los programas ms costo-efectivos para ser ejecutados nuevamente
o para tomar sus modelos de ejecucin como referencia en otros programas de
formacin.
Anlisis costo impacto

Una relacin muy til consiste en comparar el valor presente de los costos con el
valor del impacto obtenido, dando una idea del valor de cada unidad de impacto
generado. Es adecuada para realizar comparaciones entre proyectos terminados
(ex post) o alternativas de inversin bajo estudio (ex ante).

Relacin costo-efectividad = X 100
Impacto
Se puede calcular, por ejemplo, que si la reduccin en la tasa de desempleo provocada

por una accin de formacin fue del 12% con unos costos totales actualizados de
$150.000, entonces el costo por cada punto porcentual de reduccin del desempleo
fue de $12.500. De nuevo, esta cifra es valiosa en tanto comparable con otras
alternativas de accin o de utilizacin de los fondos invertidos en el programa.
58
En la prctica, se encuentran evaluaciones que utilizan de forma conjunta los

diferentes indicadores de eficacia y eficiencia. Como corolario de los mtodos de
evaluacin, no hay que perder de vista que la evaluacin de impacto es til para
comprobar si:
se alcanzaron los objetivos previstos;
los participantes en las acciones mejoraron su bienestar (ingresos, empleabilidad,
insercin social);
las empresas mejoraron su productividad, ambiente de trabajo y
competitividad;
las polticas pblicas impulsadas por los gobiernos, lograron su cometido en la
poblacin beneficiaria;
el uso de los fondos invertidos fue el mejor en trminos de eficiencia;
existen alternativas de costo menor para lograr los mismos impactos.
MATERIAL DE APOYO A ESTE EJE

www.oitcinterfor.org
Experiencias y aplicaciones Herramientas

1. Grado de ocupacin de los egresados de 1. Plan anual de evaluacin de la calidad,
aprendizaje dual. SENATI. Per, 2001. impacto, eficacia y eficiencia del conjunto
2. Evaluacin del impacto de la formacin del subsistema de formacin profesional
profesional industrial SENATI. Per. 2009. para el empleo. FTFE. Espaa, 2011.
3. Informe de Evaluacin de Impacto para el 2. Evaluacin de contexto. Estructura temtica
Programa Nacional de Formacin Continua y de contenidos. FTFE. Espaa, 2011.
rea Tcnica. INSAFORP. El Salvador, 2011. 3. Encuesta a participantes en acciones de
4. Informe de evaluacin. Sistema Nacional de formacin en el mbito de la empresa. FTFE.
Formacin para el Trabajo. SENA. Colombia, Espaa, 2011.
2009. 4. Las TIC en Educacin: Una metodologa
para valorar impacto social y condiciones
EJE 4
5. Evaluacin de impacto del programa jvenes
en accin. DNP-SENA. Colombia, 2008. de equidad. Fundacin Omar Dengo. Costa
Rica, 2002.
6. Evaluacin de impacto del programa jvenes
rurales emprendedores. SENA. Colombia, 5. Documento aportes metodolgicos a la
2010. comunidad virtual. MTEySS. Argentina,
2011.
7. Evaluacin de impacto de la formacin
profesional modalidades: habilitacin, 6. Instrumentos diseados para la evaluacin
complementacin y formacin continua en de la poltica de formacin continua.
centros. INFOTEP. Repblica Dominicana, MTEySS. Argentina, 2011.
2006. 7. Documento metodolgico contribucin de
8. Evaluacin de impacto del proyecto piloto SENAI. Brasil, 2011.
jvenes emprendedores rurales. Argentina, 8. Formulario para evaluacin de impacto de
2007. asistencia tcnica en empresas. INTECAP.
9. Programa de acompaamiento de egresos. Guatemala, 2011.
Evaluacin 2008-2010. SENAI. Brasil. 9. Formulario para evaluacin de impacto de la
10. Evaluacin de medio trmino. Programa formacin profesional. INTECAP. Guatemala,
educacin tcnica productiva. FAUTAPO. 2011.
Bolivia, 2010.
59

Eje 4 PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Eje 4 PDF

Cargado por

Copyright:

Formatos disponibles

Gua para la evaluacin de impacto de la formacin

Este eje se ocupa de los aspectos tcnicos de la evaluacin de impacto; plantea

Diferenciar entre los distintos mtodos de evaluacin.

Entender la importancia de su aplicacin segn las caractersticas de los

Manejar las caractersticas del anlisis de eficacia y de eficiencia.

Qu son En qu En qu Por qu es Cmo se

4.1 Qu son y cmo se construyen los indicadores en la evaluacin de

EJEMPLO DE UN INDICADOR TPICO

Tasa de Poblacin desocupada

Una de las ventajas de utilizar indicadores es la objetividad y comparabilidad;

4.1.1. Qu tipos de indicadores se utilizan y para qu?

Qu mide? Cmo se elabora?

Indicadores de resultado o producto

Qu mide? Cmo se elabora?

Qu mide? Cmo se elabora?

Qu mide? Cmo se elabora?

Variacin en la situacin de empleo Tasa de desempleo despus Tasa desempleo antes

Los indicadores de impacto:

Expresan los cambios a partir de las acciones de formacin. Deben permitir la

Reflejan cambios observados en la poblacin objetivo (salarios, empleo,

ENFOQUES UTILIZADOS EN LA EVALUACIN DE IMPACTO

4.2 En qu consiste la evaluacin de impacto con mtodos cuantitativos?

El mtodo cuantitativo busca verificar la relacin de causalidad entre la accin de

Por ejemplo, entre los objetivos de un programa de formacin de jvenes se pueden

Representaciones de los impactos de las acciones de formacin

Dentro de las evaluaciones de impacto con mtodos cuantitativos, se dispone

4.2.1. Diseo experimental

Este enfoque utiliza tcnicas de comparacin estadstica para establecer la relacin

Medicin del impacto usando dos grupos

39 Comnmente conocido como el contrafactual en la evaluacin de impacto.

En este diseo, la medicin de la o las variables de impacto (por ejemplo: salario o

4.2.2. Diseo semi-experimental

44 Grubb, W. Norton; Ryan, Paul. Op. cit.

Criterios y mtodos utilizados en la conformacin del grupo de comparacin en cuatro estudios

Grupo de tratamiento Grupo de comparacin

Medicin del impacto en un diseo no experimentado seriado

4.2.4. La recoleccin de informacin bajo el enfoque cuantitativo

Variables de impacto en las personas

Variable Tipo de medicin

Variables de impacto en las empresas

Variable Tipo de medicin

Variables de impacto en la sociedad

Variable Tipo de medicin

4.2.5. El anlisis de informacin en los mtodos cuantitativos

SALARIOS DEVENGADOS DESPUES DE LA FORMACIN

El impacto representa un incremento de 28,39% en los salarios de quienes participaron

Grupo control Grupo participantes

El anlisis de panel utiliza series de tiempo, incorporando informacin de variables

4.3 En qu consiste la evaluacin de impacto con mtodos cualitativos?

Es un tipo de evaluacin en la que las fuentes de informacin incluyen datos no

no utiliza variables preestablecidas, por lo tanto los resultados no se limitan a

no incorpora evidencia sobre individuos que no recibieron los beneficios del

identifica una serie de eventos o acciones que conducen a un resultado en

47 Mayor informacin: http://www.bccr.fi.cr/ndie/Documentos/NT-05-2000.pdf

en lugar de utilizar un experimento (comparacin) para determinar la

Algunas de las preguntas que se formulan en esta evaluacin son50:

Cules impactos produjo el programa?

Qu significado tienen estos impactos para los beneficiarios?

Cules fueron los mecanismos que generaron estos impactos?

Cul es el contexto o entorno en el cual se generaron estos impactos?

50 Navarro. CEPAL-ILPES, 2005

4.3.1. Recoleccin de informacin cualitativa

4.3.2. Anlisis de la informacin cualitativa