Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Rendimiento Laboral
Rendimiento Laboral
Evaluacin de impacto
en la capacitacin
de recursos humanos
TESIS DOCTORAL
INDICE
A. LA EVALUACION DE IMPACTO DESDE EL ABORDAJE DE LAS CIENCIAS
SOCIALES, LA ADMINISTRACION Y LA CAPACITACION_________________________7
1.- Definicin del problema y presentacin del trabajo: ____________________________7
2.-Preocupaciones en el campo terico y el campo prctico de la evaluacin__________10
2.1. El problema de la objetividad de los valores asociados a la evaluacin.......................................11
2.2. El valor poltico de la evaluacin, la responsabilidad de la evaluacin frente a sus pblicos y los
usos espurios de la evaluacin............................................................................................................. 12
2.3.Los mtodos cuantitativos vs. los mtodos cualitativos. Una falsa dicotoma.............................. 13
2.4. La cultura de la evaluacin........................................................................................................... 14
3.- Capacitacin____________________________________________________________63
3.1.- Clase de capacitacin segn la duracin..................................................................................... 63
3-2.-Tipos de capacitacin larga.......................................................................................................... 63
3.3.- Contenidos, duracin y modalidad de la capacitacin larga....................................................... 66
3.4.- Organizaciones que participan en la capacitacin.......................................................................67
4.-Evaluacin______________________________________________________________69
4.1.- Organizaciones que evalan su capacitacin de larga duracin..................................................69
4.2-Modalidad de evaluacin de la capacitacin................................................................................. 69
8.- Sntesis________________________________________________________________102
2
5.-Sntesis________________________________________________________________148
D. SINTESIS, CONTRIBUCIONES DE ESTE TRABAJO Y FREFLEXIONES FINALES_150
1.-Los marcos tericos disponibles____________________________________________152
2.-Las tensiones entre teora y prctica: _______________________________________153
3.-La institucionalizacin___________________________________________________154
4.-Los modelos ____________________________________________________________155
5.-Los supuestos de la evaluacin de impacto___________________________________156
APENDICE:________________________________________________________________160
Descripcin de los casos que evalan efectividad e impacto ___________________________160
A.-Experiencias de evaluacin de impacto_____________________________________160
Caso A ...............................................................................................................................................160
Caso B................................................................................................................................................162
Caso C................................................................................................................................................167
Caso D................................................................................................................................................170
............................................................................................................................................................170
Caso E................................................................................................................................................ 174
Caso F................................................................................................................................................ 175
Caso G................................................................................................................................................177
3
Caso H................................................................................................................................................179
Caso I................................................................................................................................................. 183
INDICE DE CUADROS
1.Organizaciones segn lugar y tipo_______________________________________________59
2.Organizaciones segn sector de actividad_________________________________________61
3.Cantidad de empleados por sector de actividad_____________________________________62
4.Organizaciones publicas y privadas segn tipo de capacitacin corta o larga_____________63
5.Modalidad de capacitacin en las organizaciones segn pblico privado:________________64
6.Contenidos de algunos de los cursos de larga duracin por sector pblico o privado________66
7.Destinatarios segn tipo de institucin pblico-privado______________________________67
8.Modalidad de capacitacin segn mbito pblico-privado____________________________67
9.Existencia de convenios con otras organizaciones para la formacin de larga duracin______68
10.Tipo de organizaciones que participan en la formacin______________________________68
11.Organizaciones publicas y privadas segn metodologa de evaluacin__________________69
12.Organizaciones que evalan impacto segn tipo de actividad y sector pblico /privado.____74
13.Organizaciones que evalan el impacto segn tamao y sector_______________________74
14.Tipo de cursos en el que se evala el impacto_____________________________________75
15.Caractersticas generales de las experiencias en las que se evala el impacto_____________76
16.Actividades de capacitacin que son evaluadas____________________________________79
17.Profundidad de la Evaluacin__________________________________________________79
18.Profundidad en el nivel de evaluacin segn tipo de institucin_______________________80
19.Amplitud y profundidad de las actividades de evaluacin____________________________80
20.Grado de institucionalizacin de las prcticas de evaluacin segn tipo de institucin pblica
o privada.____________________________________________________________________81
21.Organizaciones que evalan impacto segn grado de institucionalizacin_______________81
22.Matriz de descripcin analtica de los casos segn los atributos seleccionados___________87
23.Organizaciones que evalan el impacto segn tamao______________________________88
24.Enfoque de la evaluacin de impacto____________________________________________88
25.Instrumentos de relevamiento de la informacin en la evaluacin de impacto____________89
26.Atributos ms significativos en la descripcin de los casos___________________________90
27.Periodicidad de la evaluacin de impacto________________________________________91
28.Numero de respondientes a la encuesta en 1,2 y 3 momento_______________________111
29.Distribucin de tcnicos por provincia__________________________________________111
30.Pas donde se capacit y grado obtenido________________________________________112
31.Centro de estudios por pas__________________________________________________112
32.Tema del programa de formacin por centro al que pertenece el tcnico_______________113
33.Calidad de los estudios segn centro de capacitacin______________________________114
34.Fundamentos de la calidad de los estudios_______________________________________115
5
American Training and development Association (ASTD) National Human Resources Development Executive
Survey. Fourth Quarter Survey Report, 1997
6
CERNA, J. :Ventaja Competitiva de la Capacitacin Seminario Internacional de Evaluacin de Impacto de la
Capacitacin en la Productividad. INACAP, 7 y 8 de Abril de 2004, Santiago de Chile.
7
HOFSTEDE, GCultures Consequence. Comparing values, behaviors, institutions and organizations across nations.
Sage Publicarions, Thousand Oaks, C A, 2001
8
Con el objeto de facilitar la sistematizacin de las actividades de capacitacin relevadas, y solo a los efectos de este
trabajo, se consideraron como actividades de capacitacin de larga duracin, aquellas experiencias cuya duracin es
superior a los 5 meses.
9
.SCRIVEN, Michael "The nature of evaluation. Part I: Relation to psychology". Practical Assessment, Research &
Evaluation. (1999)
10
COHEN, E., FRANCO, R. : Evaluacin de proyectos sociales. Ed. Grupo Editor de Amrica Latina, Bs. As., 1988
10
buscados, etc. Los resultados brutos son los cambios que se observan en la poblacin objetivo y
los resultados netos son los cambios atribuidos exclusivamente al proyecto. El resultado neto es
equivalente al impacto.
Siguiendo esta clasificacin y aplicndola a la capacitacin, la evaluacin de impacto es un
tipo de evaluacin que pretende indagar acerca de los cambios producidos en el trabajo por
el proceso de enseanza. Trata de determinar si hubo cambios, la magnitud que tuvieron,
qu aspectos afectaron y en qu medida se contribuy al logro de los objetivos de la
capacitacin planteados inicialmente.
Sera interesante consentir, al menos en una primera instancia, que lo que busca la
evaluacin de impacto son indicios de una transformacin ocurrida en el mbito laboral
y en la persona que se capacita a partir de los nuevos aprendizajes realizados.
El campo de la evaluacin segn los especialistas aparece como controversial y
conflictivo. En un paneo general que no agota las preocupaciones que conciernen a
este campo, se observa la existencia de una serie de conflictos en torno a algunas
cuestiones, entre ellas: el tema de los valores y criterios de evaluacin, la
evaluacin y la poltica, los mtodos de evaluacin y la cultura de la evaluacin. A
continuacin se resean algunos de los problemas que se debaten en la literatura
especializada y que influyen directa o indirectamente en el tema que ocupa este
estudio.
11
STUFLEBEAM, D. SHINKFIELD, A. "Evaluacin sistemtica. Gua terica y prctica.". Ed. Paidos., Barcelona,
1987
12
Scriven, citado por Sttuflebeam, diferencia entre los conceptos de vala y mrito. Vala se refiere a la necesidad de
lo que se evala (es el criterio de validez). Mrito se refiere a la excelencia de lo que se mide, tiene que ver con la
buena realizacin de algo
13
AGUILAR IDEZ, M.J. Y ANDER EGG, E. "Evaluacin de servicios y programas sociales". Ed. Lumen, Bs.
As, 1994
11
JULNES, G "Supporting governmental reform through improved evaluation methods: towards a multinational
dialogue on lessons learned". VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la
Administracin Pblica. Buenos Aires, Argentina. Noviembre 2001
15
HOUSE, E. HOWE, K. Valores en evaluacin e investigacin social.Ed. Morata, Madrid, 2001.
16
JOULNES, G., op.cit.
12
Los puntos en los que se centra la crtica al valor poltico de la evaluacin se refiere a
los usos espurios de la evaluacin, es decir, la evaluacin no sirve a los objetivos de los
programas oficiales, ni a lgicas racionales, ni a la bsqueda de la verdad, y siempre
est afectada por sesgos de contexto. En esta lnea, Escolar y Domench 17 explica que
muchas veces los motivos por los cuales se realizan las evaluaciones no tienen una total
correspondencia con los usos que se tiene previsto asignar a las mismas.
ESCOLAR, C., DOMENCH, P Los proyectos y programas sociales y la evaluacin. Reflexiones en torno a una
experiencia, Universidad Nacional de Quilmes Primer Congreso Nacional de Polticas Sociales, mayo del 2002
18
NIREMBERG, Olga, BRAWERMAN, Josette, RUIZ, Violeta "Evaluar para la transformacin". Innovaciones en la
evaluacin de programas y proyectos sociales, Paidos, Bs. As. 2000.
19
NIREMBERG, op. cit.
13
Para Niremberg et al, (2000) la cuestin central no es el tipo de tcnicas a emplear, que
podrn variar en funcin de las necesidades planteadas por el proyecto, sino el diseo
evaluativo, lo que implica la definicin terica del problema y la seleccin de las
dimensiones relevantes para el estudio del fenmeno.
Las autoras sealan que adems de las caractersticas del diseo, aqu el aspecto central
es el del rigor metodolgico, alcanzable con el empleo de tcnicas cuantitativas o
cualitativas. Una vez seleccionadas dimensiones y variables, se define, en funcin de
stas, cules son los mtodos ms apropiados para recabar la informacin.
NEIROTTI, N "La funcin de la evaluacin de programas sociales en Chile, Brasil y Argentina"". VI Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina.
Noviembre 2001, WIESNER, E. "Funcin de evaluacin de planes, programas, estrategias y proyectos", Instituto
Latinoamericano y del Caribe de Planificacin Econmica y Social. ILPES. Chile, 2000. BROWM, D. "Evaluacin
de polticas y programas en la regin del Caribe de habla inglesa: problemas conceptuales y prcticos". Instituto
Latinoamericano y del Caribe de Planificacin Econmica y Social. ILPES. Chile, 2001.
21
HINTZE, S. "Reflexiones sobre el conflicto y la participacin en la evaluacin de polticas sociales" VI Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica. Buenos Aires, Argentina.
Noviembre 2001
22
MORGAN, G Imgenes de la organizacin, Mxico, Alfaomega-Ra-ma, 1993
23
SCHEIN, E: La cultura empresarial y el liderazgo, Barcelona, Ed. Plaza y Jans, 1988.
14
24
MORGAN, op.cit.
GORE, E . VZQUEZ MAZZINI, M. "Aprendizaje colectivo y capacitacin laboral" Huatana., Marzo de 2003
26
NEIROTI, op. cit. El autor explora la institucionalizacin de la funcin de evaluacin en tres casos, recoge
informacin sobre el grado de institucionalizacin en funcin de dos ejes, vertical y variedad de actividades de
evaluacin.
15
25
STTUFLEBEAM, op.cit.
Define tres grupos generales de evaluacin: 1)Las evaluaciones polticamente orientadas, 2) Las evaluaciones
destinadas a dar soluciones a preguntas concretas (cuasievaluaciones): 3)Estudios para enjuiciar o perfeccionar el
valor o el mrito de un objeto, que define como evaluaciones verdaderas. Distingue cuatro orientaciones dentro de las
que considera evaluaciones verdaderas: 1.- Estudios de orientacin de la decisin. (Cronbach, Stufflebeam, Alkin,
Reihard, Taylor, Guba, Webster.), 2.- Estudios centrados en el cliente (Stake, McDonald, Rippey Guba), 3.- Estudios
polticos (Anderson, Ball, Murphy - mtodo delphi- y, Rice, Coleman, Campbell, Hobson, Mc Partland, Moor
Heynes Y Mikeson, Clark Owens, Wolf) y 4.- Estudios basados en el consumidor (Glass, Scriven).
16
28
34
realizan (externa, interna, mixta), los propsitos y decisiones que se espera tomar
(formativa o sumativa) y los aspectos a evaluar (diseo, desarrollo, resultados)
Dentro de estos tipos de evaluacin se inserta la evaluacin de impacto. Para Pichardo
Muiz 36 la evaluacin del impacto social ex post se define como "aquella que trata de
examinar a partir de la situacin inicial diagnosticada, cules son los cambios o
variaciones generados y hasta qu punto las situaciones logradas se acercan a la
situacin deseada postulada en la imagen - objetivo, tanto en trminos de la calidad en
los cambios, como la magnitud de los mismos. Y determinar si los cambios se deben a
la naturaleza y caractersticas de la intervencin evaluada o a la naturaleza del medio
social en el cual se ejecutaron."
Se evala el impacto en tres mbitos:
a. Los productos: resultados concretos de la ejecucin de las polticas, programas
o proyectos tales como bienes producidos y /o servicios prestados
b. Los efectos: resultados obtenidos al utilizar los productos. Se diferencian del
impacto por el grado de permanencia. Su presencia por s sola no produce un
cambio histrico.
c. El impacto: son consecuencias de los efectos. Expresan cambios o variaciones
con un mayor nivel de significacin o permanencia y su presencia evidencia
cambios importantes en la tendencia histrica proyectada. Son los que tienen
que ver con el fin ltimo de un programa.
5.- Los diseos evaluativos propuestos deben ajustarse a los criterios clsicos de rigor
cientfico y representar fielmente la complejidad de la realidad social que se pretende
estudiar: Los autores insisten en la necesidad de construccin del objeto a evaluar. Esta
construccin implica la definicin terica del objeto y su operacionalizacin en
variables e indicadores que puedan ser observados.
Se seala la necesidad de ajustarse a los criterios clsicos de rigurosidad cientfica de
todo proceso de investigacin. Los mtodos y tcnicas empleadas deben observar los
criterios de validez y confiabilidad y otros criterios como: la tica, la oportunidad, y la
viabilidad. En cuanto a los abordajes metodolgicos, se seala la conveniencia de
trabajar con enfoques mixtos atendiendo a la complejidad del objeto de la evaluacin.
Un modelo evaluativo ser, entonces, una construccin basada en hiptesis tericas
sobre el funcionamiento de una realidad compleja para comprenderla y provocar
intervenciones eficaces que produzcan transformaciones deseables. El modelo
evaluativo incluye la forma o manera de evaluar diferentes realidad o fenmenos
sociales.
El modelo evaluativo deseable, segn presenta Niremberg et al, debe ser holstico,
modular, involucrarse en el proceso de gestin, flexible e incorporar la perspectiva de
los distintos actores.
En sntesis, la evaluacin de programas o proyectos sociales es entendida como
"Una actividad programada de reflexin sobre la accin, basada en procedimientos
sistemticos de recoleccin, anlisis e interpretacin de informacin, con la finalidad
36
PICHARDO MUIZ, A. op.cit distingue tres tipos de evaluacin del impacto social, la evaluacin ex ante, la
evaluacin concurrente y la ex expost
19
Existen otros trabajos de tipo socioeducativos relevados por Toranzos, L.V. en un proyecto de investigacin en
curso sobre Programas Socioeducativos: Herramientas Para La Evaluacin De Impacto Universidad de Tres de
Febrero, 2003., que se enmarcan dentro de esta lnea de trabajo.
38
JODICE, E. Evaluacin de programas de formacin de posgrado en el sector pblico. El caso del INTA Buenos
Aires, 1997. Mimeo.
39
DEVIA, S. xito o fracaso de las polticas pblicas de capacitacin laboral a jvenes? - Evaluacin del programa
testigo:"Proyecto Joven" de Argentina (1993-2000), Buenos Aires, 2003.
20
3.2. Los modelos del campo del Desarrollo de Recursos Humanos HRD.
La preocupacin central de los modelos del campo de desarrollo de recursos humanos, en
general ms orientado a organizaciones privadas, se refiere al conjunto de actividades
sistemticas y planificadas, para proveer a los miembros de la organizacin de las habilidades
necesarias para cumplir con las demandas actuales y futuras de sus puestos de trabajo40. Las
reas de inters del HRD son la capacitacin del personal, el desarrollo de carrera, los
programas de desarrollo organizacional, en un contexto actual de desafos como la falta de
calificacin de la fuerza de trabajo, la necesidad de desarrollar competitividad en la economa
global, el desarrollo de estrategias para el aprendizaje individual y el aprendizaje organizacional.
Dentro de esta perspectiva, los conocimientos y habilidades desarrolladas por la capacitacin,
son entendidas como capital cultural que la organizacin construye para mejorar su
competitividad en el mercado.
40
Es escasa la produccin sobre el tema en habla hispana, pero se relevaron una serie de
trabajos muy interesantes especficamente realizados sobre experiencias de evaluacin
de impacto42. Se mencionan dos de estos trabajos con abordajes metodolgicos
diferentes, uno orientado al sector pblico, que fueron realizado por Silvia Nakano 43
en el Instituto Nacional de Administracin Pblica y el otro orientado a la empresa
privada, desarrollado por Floriz Lpez Dukmak44 en Colombia.
Nakano y Melillo proponen una metodologa especfica para la evaluacin de
resultados en la Administracin Pblica. Rescatan la especificidad de la evaluacin en
el sector pblico en funcin del tipo de tareas, el fin social de las mismas, y las
caractersticas organizacionales. Dividen su propuesta en dos partes. la evaluacin en
el campo de las competencias y la evaluacin en el campo de los resultados.
Parten del relevamiento de las caractersticas centrales de la organizacin y del
sistema de capacitacin (modelizacin del sistema de capacitacin) reconstruyendo las
competencias involucradas en el proceso. Uno de los requisitos centrales del esquema
propuesto es la comparacin de los resultados de la capacitacin con los parmetros
de desempeo o estndares. Como en la administracin pblica esta es informacin
inexistente, definen como criterios de competencia la pertinencia, eficacia, coherencia,
eficiencia, sincronizacin y conformidad, que toman de Le Boterf.
Emplean como tcnica para relevar la informacin la construccin de Referencial bsico de
Calidad que contiene los parmetros de criterios de ejecucin de las competencias. Sobre la
base del referencial bsico construido, realizan observaciones del desempeo en el puesto de
trabajo. La informacin obtenida se compara con los indicadores de calidad esperados. De esta
forma se observan tendencias exitosas y aquellos aspectos del desenvolvimiento de las
competencias sobre los cuales hay que seguir trabajando en capacitacin. Esta informacin se
completa con entrevistas a los actores participantes de las experiencias de capacitacin y se
realiza un anlisis cruzado.
41
El INAP de Espaa realiz un trabajo sobre evaluacin de la formacin continua cuyos aportes se mencionan en la
pgina 26 de este trabajo.
42
ABDALA, E. Manual de evaluacin de impacto en programas de formacin de jvenes. CINTERFOR
http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/sala/abdala/manual/manual.pdf.., AMAYA,
P. Evaluacin de la capacitacin: clave en el desarrollo de evaluaciones pertinentes orientadas a la satisfaccin y
participacin ciudadana. Experiencias de gestin de la capacitacin en la municipalidad de Florencio Varela. VI
Congreso Internacional del Clad sobre Reforma del Estado y Administracin Pblica, Bs. As- Argentina, 5-9 de
noviembre del 2001, BIENCINTO, CH. Y CARBALLO, R. (2004). Revisin de modelos de evaluacin del impacto
de la formacin en el mbito sanitario: de lo general a lo especfico. Revista ELectrnica de Investigacin y
EValuacin Educativa, v. 10, n. 2. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm.
43
NAKANO, Silvia, MELILLO, F. Evaluacin de impacto y calidad de la capacitacin. Una propuesta
metodolgica. INAP, 1997
44
LOPEZ DUKMAK, Floriz Retorno de la inversin en Programas de capacitacin en el recurso humano ROI en
Revista Facultad de Ciencias Econmicas. Universidad de Nueva Granada . Vol. IX, n 2., Bogot Colombia, Dic.
2001
22
Tomado de la conferencia Roi- Retorno de la inversin en programas de capacitacin de personal Floriz Lpez
Dukmak el Seminario Internacional de Evaluacin de Impacto de la Capacitacin en la Productividad. INACAP, 7 y
8 de Abril de 2004, Santiago de Chile
46
BRINKERHOFF, R..Achieving results from training. How to evaluate human resource development to strengthen
programs and increase impact. Josey-Bass Publishers, San Francisco, London, 1987
23
de los capacitados una vez terminadas las actividades, y en el mejor de los casos los
aprendizajes realizados, a travs de encuestas de opinin. De esta forma slo indagan si
el curso estuvo bien organizado y si fue ameno, pero nada averiguan sobre el servicio
que el departamento de capacitacin debe brindar a la organizacin, es decir cul es el
valor que la capacitacin produce para la organizacin.
One of the criticisms most commonly leveled at HRD professionals today is that they
lack business savy and do not speak the language of business. Business language
requires HRD professionals to consider the return to the organization for dollars
spent on training47
Subrayan los autores que la forma de evaluar si la capacitacin genera resultados para la
organizacin es a travs de la evaluacin de impacto
Resulta muy curioso que no se encuentran referencias en estos trabajos a autores
centrales en los desarrollos de evaluacin en el campo de la educacin, que fueron
descriptos en los apartados anteriores. En general, siguen la lnea del modelo de
management que han tenido un fuerte auge en el ltimo decenio, denominado por
algunos autores como New Management48. Orientados a la satisfaccin del usuario o del
cliente, la principal preocupacin se centra en el criterio de eficiencia productiva y
desarrollo de la competitividad, con nfasis en estrategias de gestin como el trabajo
por resultados, la calidad total, la medicin de las relaciones costo - efectividad y el
control.
En general, estos trabajos se encuadran dentro de una lnea metodolgica clsica y
proponen distintas tcnicas para recopilacin de informacin, entre ellas el mtodo
experimental, considerado como la estrategia inobjetable para el anlisis de las
relaciones de causalidad. Aunque no se desdea el uso de metodologas cualitativas
como la observacin, o incluso la triangulacin metodolgica.
La concepcin de enseanza y de aprendizaje se encuadra en la tradicin behaviorista,
donde los objetivos deben ser definidos en trminos de conducta observable, medibles y
cuantificables. Algunos de estos autores referencian a exponentes clsicos de esta lnea
en didctica como Tyler.
Al evaluar se insiste en la obligada referencia a los objetivos planteados en el entrenamiento. Se
indica un trabajo muy cercano con la lnea para asegurar que los encargados de disear los
planes de capacitacin interpreten las necesidades de la organizacin y que stas sean
plasmadas en los objetivos.
Es clara la preocupacin de hacer observables los aprendizajes para poder "medir" el impacto.
Se considera problemtico que algunos de los resultados de la enseanza no puedan ser
observables y por lo tanto no evaluables ni traducibles en trminos monetarios.
Estos autores realizan una contribucin al tema, que en muchos casos se fundamenta sobre
la base de cuantiosa experiencia realizada, que resulta improcedente desdear. En sus
trabajos reflexionan sobre las dificultades que presenta la evaluacin de la efectividad y la
de impacto desde estas perspectivas y sugieren lneas alternativas de trabajo.
47
ROBINSON, D, y ROBINSON, J. Training for impact. How to link training to business needs and measure the
results Josey-Bass Publishers, San Francisco, London, 1989.
48
GERWITZ, S. BALL, S. J Y BOWE, R. "Market, choice, and equity in education", Buckingham y Philadelphia,
Open University Press, 1995.
24
La mayora de los trabajos revisados son variaciones sobre el modelo de Kirkpatrick 49,
pionero hace 40 aos en el campo de evaluacin de la capacitacin. A pesar de la
popularidad de este modelo, en los ltimos aos han aparecido una serie de autores que
lo revisan y sealan sus fallas, aunque no producen un modelo alternativo para
reemplazarlo. A continuacin se presenta el modelo de Kirkpatrick y luego las crticas
generales que realizan los autores. Seguidamente se presentan los otros modelos que
amplan y proponen algunas alternativas interesantes.
Modelo de Kirkpatrick
KIRKPATRICK, Donald "Evaluation" en Robert Craig (ed) "Training and development handbook. A guide to
human resource development" McGraw-Hill Book Company, NY, 1987
50
N.del A. Ntese como la definicin de aprendizaje de Kirkpatrick est referida a cambios en el comportamiento.
Desde otras perspectivas en psicologa del aprendizaje el aprendizaje es descrito como un proceso interno que puede
observarse. Por ejemplo, para Piaget la obtencin de conocimiento es una creacin que el sujeto obtiene al aprehender
con sus esquemas un objeto , lo que supone una actividad de investigacin sobre el objeto. Para Ausubel, (aprendizaje
significativo) la captacin del significado potencial que tiene un determinado contenido es un proceso en el que el
sujeto que aprende presta una significacin subjetiva a la significacin potencial de los contenidos. Esta significacin
est en funcin de su estructura mental y de sus experiencias previas. Para Bruner, el aprendizaje por descubrimiento
25
Recomienda la utilizacin de grupo control para aislar los cambios en los resultados de
otros factores distintos de la capacitacin, dejar pasar un tiempo para que los
conocimientos sean adquiridos y utilizar el esquema antes y despus en la medicin.
En este punto se agudiza el tema de evaluar los costos. Aqu la dificultad es
determinar qu figuras son significativas y en que medida estn relacionadas
directa o indirectamente al entrenamiento. En este nivel no es tan sencillo
encontrar pruebas tangibles de esta relacin. El autor invita a los capacitadores a
sentirse satisfecho con la evidencia si las pruebas no son posibles y considerarlas
como medida objetiva de medir los resultados.51
Crticas al modelo de Kirkpatrick.
Dentro de esta lnea de trabajo, pero ms recientes, se observa una serie de trabajos que
presentan una visin crtica de los enfoques tradicionales (entre ellos Nickols, 2000,
Donovan, 1999, Boverie et al, 1994, Tamkin et al, 2002, y otros citados por ellos
mismos). Los principales crticas al modelo tradicional de evaluacin de impacto, que
caracterizan como positivista, estn dirigidas especialmente al enfoque de Kirkpatrick.
Cada uno de estos autores realizan en sus trabajos una revisin de la literatura existente
y a partir de all presentan su anlisis crtico del modelo de los cuatro niveles. Se
presenta a continuacin una sntesis de las crticas principales del modelo de
Kirkpatrick y en especial las referidas a su primer nivel.
Kirkpatrick ha sido criticado por:
a.
b.
c.
d.
e.
f.
g.
h.
Algunos de los autores insisten en que muchas de estas crticas se basan en la falta de
comprensin acabada del modelo de Kirkpatrick , e incluso en la confusin acerca de lo
que debiera ser un modelo de evaluacin y un modelo de aprendizaje52. Cada una de
estas crticas, como se ver a continuacin, remite a un problema terico o
metodolgico que cada uno de los autores resolver de diferente manera.
a.-El modelo como taxonoma de resultados de evaluacin
Algunos autores sealan que Kirkpatrick presenta sus niveles arreglados en forma ascendente
segn el valor de la informacin, con lo que resulta que los datos de resultados son superiores a
51
los de reaccin, es decir es visto como una clasificacin jerrquica de resultados de evaluacin.
Sin embargo, para Tamkin et al53 Kirkpatrick nunca quiso hacer una taxonoma, sino que
desarroll un modelo simple y pragmtico para ayudar a los profesionales a pensar sobre los
programas de entrenamiento.
b.-El modelo como una cadena causal probabilstica
Existe el supuesto en el trabajo de Kirkpatrick54 de que cada nivel de evaluacin es causado o
asociado al otro. Es decir, si el entrenado est satisfecho, entonces estar motivado para el
aprendizaje, si aprende habr posibilidades de que aplique sus conocimientos en su trabajo y
si aplica sus conocimientos en su trabajo generar cambios en su entorno laboral. Sin
embargo, sealan los autores, que la existencia de relaciones causales entre cada nivel no ha
sido demostrada por la investigacin. Ms an, algunos autores han realizado estudios con el
objeto de comprobar estas relaciones con resultados no concluyentes 55.
En un trabajo sobre evaluacin de resultados de la capacitacin producido por el INAP56 de
Espaa, desde una visin crtica, se observa que los niveles de Kirkpatrick aparecen como
secuencias o escalones de una cadena causal probabilstica. Se observa que los eslabones de
esta cadena son causas necesarias probables pero no son causa suficiente para la generacin del
siguiente nivel. Esto se explica porque existen otros elementos influyentes que quedan fuera del
campo de la consideracin desde este esquema, como por ejemplo aspectos relativos a la
estructura de mando, de sistema de recompensas, etc. Por lo tanto, si los cambios producidos en
el entorno de trabajo una vez realizada la capacitacin dependern tambin de otros aspectos no
relevados, sera incorrecto pensar en el modelo como una cadena causal, o al menos ser
parcial e insuficiente para la explicacin de los cambios (o no cambios) ocurridos una vez
finalizado el proceso de enseanza.
c.-Nickols y la variacin en la perspectiva temporal
2
ENTRENAMIENTO
reaccin
LUGAR
DE TRABAJO
resultados
aprendizaje
comportamiento
AUCHEY, G. J., LEROY WARD, J., An Evaluation Model for Projet Management training programs .Purdue
University, Ws Lafayette, Indiana, Abril, 2000.
59
DONOVAN, P and HANNIGAN, K Context and Causation in the Evaluation of Training: A Review and
Research Outline, Irish Management Institute. 1999
29
El esquema de Kirkpatrick aparece para muchos autores como demasiado simple, lineal y
esquemtico. Estas crticas junto con otras son las que lo caracterizan como un abordaje de corte
positivista y reduccionista, pero sin embargo ha generado un lenguaje comn para los
profesionales de capacitacin en la prctica de evaluacin durante muchos aos60.
e.-Los propsitos y las audiencias de la evaluacin
DONOVAN, op.cit.
TAMKIN cita a PULLEY, NEWBY, PRESKILL Y TORRES, y podemos agregar los autores de la lnea clsica en
investigacin evaluativa como STAKE, SCRIVEN y otros.
62
BOVERIE, P., SNCHEZ MULCAHY, D., y ZONDO, J. Evaluating the effectiveness of training programs,
1994. http://www.zondlo.com/access/eval.htm.
30
61
SWANSON, RICHARD A.; HOLTON, ELWOOD F. Resultados. cmo evaluar el desempeo, el aprendizaje y la
percepcin en las organizaciones Mxico: Oxford University Press, 2002.
64
ASTD."El National Human Resources Developement Executive Survey ",
65
KIRKPATRICK, D. (op. Cit)
66
El autor cita a Twitchell S. Holton, E. Trott, J. Technical training evaluation practices in the United States.
Performance Improvement Quarterly, 2000. Dixon, N New routes to evaluation, Training and Development, Vol.
50, 1996.
68
KIRKPATRICK, D. op. cit.
69
Swanson, R.; Holton, E., op.cit.
70
Los autores mencionados entre los crticos de este nivel son Alliger y Janack, Dixon, Holton y otros
31
71
72
Tamkin observa que este primer grupo de trabajos tomados en conjunto si bien no
agregan cambios sustanciales al modelo original de Kirkpatrick, presentan un
modelo expandido, es decir que agregan ms instancias de evaluacin antes de
evaluar reacciones y despus de examinar los resultados organizaciones. Los
esfuerzos realizados por estos autores se orientan en el sentido de realizar un ms
amplio anlisis del contexto organizacional, haciendo nfasis en las necesidades
del negocio, su vinculacin con los objetivos y diseo ms apropiada de las
actividades de capacitacin. Este grupo de autores seguidores de Kirkpatrick
sugieren que los beneficios de la organizacin debieran ser ms explcitos y hacer
foco en los valores monetarios tales como retorno de la inversin.
Dentro de este grupo menciona Warr, Bir y Rackman, (1970),(CIRO); Hamblin,1974;
Brinkerhoff,1987; Bushnell,1990, (IPO); Sleeze et al,1992,(TEE); Phillips (1994),
(ROI); Fitz Enz, 1994, (TVS), Kaufman, Keller and Watkins, (1995)(OEM); Bernthal,
(1995), Molenda, Pershing y Reigheluth,.(1996) Indiana, Kerns y Miller, (1997),
KPMT, Industrial Society(2000), Carrusel del desarrollo. En el cuadro que se presenta a
continuacin se realiza una comparacin de los modelos que presenta el autor (ver
cuadro pp. 34 ). Con criterio similar se puede agregar tambin autores como Robinson,
y Bramley73, que si bien no son citados por el autor encuadran claramente dentro de este
grupo.
73
BRAMLEY, P. Evaluating training effectiveness. Translating theory into practice Mac Graw-Hill Book
Company. London, York, San Francisco, 1991
33
Hamblin
OEM Model
Indiana University
Contabilizacin de
la actividad (Activity
accounting)
Reaccin
Reaccin
Aprendizaje
Aprendizaje
Micro adquisiciones
Aprendizaje
Conducta
Comportamiento en
el trabajo
Desempeo Micro
Transferencia de
aprendizaje
Resultados
Organizacin
Macro
Impacto en el
negocio
Valores ltimos
Resultados Mega
societales
Impacto social
IS Carousel
Identificacin de
necesidades del
negocio, desarrollo
de objetivos, diseo
del proceso de
aprendizaje
Experiencia del
proceso de
aprendizaje
Uso y refuerzo del
aprendizaje
Phillips, ROI
Reaccin y plan de
accin
Aprendizaje
Aplicacin en el
trabajo
Resultados en el
negocio
KPMT
Proceso efectuado
para examinar las
necesidades del
negocio, disear
soluciones y
conseguirla
Reacciones al
entrenamiento y
desarrollo
Aprendizaje
Transferencia al
lugar de trabajo/
comportamiento
Valor agregado al
final (Bottom line
added value)
CIRO
Anlisis de contexto,
insumos
Reaccin
Resultados
inmediatos
Resultados
intermedios
Resultados ltimos.
Retorno de la
inversin
Extrado de TAMKIN, P, YARNALL, J , KERRIN, M. Kirkpatrick and beyond: a review of models of training evaluation, Report 392, The Institute for Employment Studies, IES, UK, 2002.
74
Traduccin propia
34
Nivel I
Nivel II
Nivel III: Tipo A
Nivel III: Tipo B
Nivel IV
Phillips y Stone 77 tambin separan el cuarto nivel en dos niveles distintos: a.Efectos en la organizacin bajo el nombre de impacto (business impact)(clima
laboral, transferencia a compaeros), b.- Retorno de la inversin- ROI (Return on
investment). La novedad que aportan los autores, es que incorporan un nivel ms,
el quinto nivel, en el que analiza el valor monetario del impacto del
entrenamiento y lo compara con su costo. Muestran el verdadero valor del
programa en trminos de su contribucin a los objetivos de la organizacin y
analizan la relacin costo - beneficio de la capacitacin.
Ratio costo beneficio:
Beneficios del entrenamiento
Costos del entrenamiento
75
PHILLIPS, J. Y STONE,
ROBINSON, D., y ROBINSON, J. Training for impact. How to link training to business needs and measure the
results Josey-Bass Publishers, San Francisco, London, 1989.
77
PHILLIPS, J., STONE, R. "How to measure training results" Mc.Graw Hill. 2002.
35
76
Un beneficio de 1 significa que los beneficios son iguales a los costos. Un beneficio de
2 implica que por cada dlar gastado dos dlares retornan en beneficios. Aunque no
hay estndares generalizados, algunas organizaciones establecen el estndar de 25 % de
retorno de la inversin. Este objetivo es similar a otros tipos de inversiones en otras
reas.
Brinkerhoff 78 incorpora otra instancia distinta de evaluacin, que no todos
consideran, que es el control del planeamiento y del proceso de la capacitacin en
relacin con dos aspectos centrales: definicin de objetivos y viabilidad del
proyecto. El autor presenta un modelo de evaluacin en seis estadios. Segn l,
este modelo ayuda a conceptualizar buenos programas de capacitacin y gua en
forma sistemtica la coleccin de informacin necesaria para hacer que funcionen
y generen beneficios para las organizaciones. 79 El modelo que presenta sirve para
monitorear toda esta secuencia. Se pregunta por la validez de los objetivos para
la organizacin, su viabilidad, las alternativas de la implementacin, la capacidad
de los sujetos para adquirir las nuevas habilidades, y si las necesidades que
dieron origen al programa van decreciendo a partir de la aplicacin del mismo.
Los 6 estadios son:
1. La fijacin de objetivos
2. Diseo del programa
3. Implementacin del programa (si el programa est funcionando como fue planeado)
4. Resultados inmediatos (si aprendieron)
5. Resultados intermedios (estn usando lo que aprendieron)
6. Impacto y valor (cul es la ganancia que genera el programa)
78
BRINKERHOFF, R. Achieving results from training. How to evaluate human resource development to strength
programs and increase impact. Josey-Bass Publishers, San Francisco, London, 1987
79
El autor explica la lgica de los programas de desarrollo de recursos humanos (HRD). Los participantes son
provistos de una suerte de experiencias de aprendizaje, a travs de un taller, capacitacin en servicio, autoaprendizaje,
cursos. Se adquieren nuevas habilidades, conocimientos y o actitudes de estas intervenciones. Luego vuelven a su
puesto de trabajo y ponen estas SKA (skills, knowledge, actituds) en uso. El uso de estas SKA tiene resultados
positivos para la organizacin, reducen un dficit o problema.
36
Los seis niveles de evaluacin segn Brinkerhoff: El crculo de decisin del HRD,
Los pasos lgicos
6. El uso de habilidades,
conocimientos y/o actitudes
beneficia la organizacin; las
necesidades originales del HRD
van decreciendo
Fuente: Brinkerhoff, Robert, Archieving results from training, p. 10. Jossey - Bass Publishers, 1987
Peter Bramley 80 toma el modelo del circuito lgico de la capacitacin en 5 niveles. Para
el objetivo central de la capacitacin es incrementar la efectividad organizacional. El
incremento de la efectividad se produce a partir de la produccin de una serie de
cambios generados por el proceso de capacitacin en: el conocimiento de los que se
capacitan, sus habilidades, sus comportamientos, la efectividad individual, grupal y
organizacional, y en los costos.
Todos los autores expresan que de alguna manera u otra que con la evaluacin de impacto, si
bien se focaliza en los ltimos tramos del circuito de capacitacin, siempre se remite a las
instancias anteriores, ya sea porque se dispone de esta informacin o se reconstruye. La
evaluacin de impacto evoca directamente cules fueron las necesidades de capacitacin que
80
BRAMLEY, P. op.cit.
37
Autor
Modelo
Aporte
1970
1974
Warr, Bir y
Rackman
Hamblin
1987
Brinkerhoff
1990
Bushnell
1992
Sleeze et al
1994
Phillips
1994
Fitz Enz
TVS (Training
Valuation System)
1995
Kaufman, Keller
and Watkins
El modelo OEM
(Modelo de los
elementos
organizacionales)
1995
Bernthal
1996
Enfoque de la U.
de Indiana:
Molenda,
Pershing y
Reigheluth
El Modelo KPMT
Kerns y Miller
1997
2000
Elaborado sobre la base de los artculos de Tamkin , Yarnall y Kerrin (2002), y Donovan y Hannigam 1999
38
Tamkin clasifica los autores de este grupo en tres: los modelos que centran su
preocupacin sobre el propsito de la evaluacin, los que utilizan diferentes
mediciones, los modelos que evalan las experiencias de capacitacin a travs de la
informtica. En lneas generales lo que observa a travs de estos nuevos autores es que
hay un nfasis creciente en las mediciones no financieras del impacto de la capacitacin,
una mayor atencin a los diferentes contextos y propsitos de la misma y a las
audiencias de la evaluacin.
Podramos agregar tambin, que estos autores desarrollan una visin ms actualizada y
menos esquemtica de los procesos de capacitacin en las organizaciones, as como del
uso de tcnicas cualitativas para recabar informacin. Se advierte en estos autores que
han incorporado en sus discursos las visiones ms recientes desarrolladas por la
investigacin evaluativa y las tcnicas de gestin y planificacin estratgica. Nos
detendremos en los dos primeros grupos a los que remite Tamkin.
Dentro del grupo de trabajos que enfocan sobre el propsito de la evaluacin menciona
a autores como Pulley (1994), Sttuflebeam (1987), Newby (1992) y Preskill y Torres
(1999).
Para Pulley el objetivo de la evaluacin debera ser proveer evidencia de manera tal que
los decisores claves puedan determinar lo que quieran saber sobre el programa de
capacitacin en relacin con sus necesidades. Propone el uso de tcnicas cualitativas y
cuantitativas, en consideracin de las necesidades de los clientes internos de la
organizacin. Newby incluye entre los criterios de evaluacin el uso de criterios no
relativos al lugar de trabajo, tales como societales, morales o polticas o usando criterios
filosficos. (como programa de igualdad de oportunidades). Preskill y Torres, por su
lado, ponen nfasis en la evaluacin como un proceso de aprendizaje. Vincula la
evaluacin a la misin y planes estratgicos de la organizacin y enfatiza que esto se
conduce como un todo dentro del contexto de aprendizaje de la organizacin.
Entre los autores del segundo grupo, que utilizan distintas mediciones, la preocupacin
est puesta en enfocar con mas claridad en diferentes tipos de resultados perseguidos
por la actividad de entrenamiento y desarrollo y confeccionar la tcnica para la
organizacin en orden de asegurar que el abordaje se corresponda o respete, con la
cultura y los valores de la organizacin. Dentro de este grupo menciona a: Kraiger et al
(1993), Kaplan y Norton (1996), Lee (1994), Anderson Consulting (Moad, 1995,
Abernathy, 1999)
Kraiger et al (1993) desarrollan el abordaje de los resultados de aprendizaje, proponen
identificar los distintos tipos de resultados (cognitivos, habilidades y afectivos) que se
desarrollan a travs de la capacitacin, y la evaluacin de los mismos desde distintas
perspectivas Las diferentes perspectivas consideran las metas del entrenamiento, las
estrategias del proceso y los criterios de desempeo.
Kaplan y Norton (1996) desarrollan el modelo de The balanced scorecard: buscan
balancear el gerenciamiento del negocio a travs de la medicin a lo largo de cuatro
diferentes perspectivas: financiera, del cliente, del proceso interno del negocio, del
39
.-Resultados de aprendizaje:
Conocimiento y aptitud son las dos opciones.
Conocimiento es el logro mental adquirido mediante estudio y experiencia. Aptitud, son
las conductas humanas que tienen resultados eficaces y eficiencia ptima adquiridas a
travs del estudio y de la experiencia en un rea especfica.
.-.Resultados de percepcin: Definen la percepcin como estados perceptivos de los
seres humanos acerca de lo que les interesa. Las percepciones del participante son las de
la gente con experiencia de primera mano en sistema, procesos, bienes, etc. Las
percepciones del interesado son las de los lderes de sistemas o de las personas con
intereses creados en los resultados deseados. Este es el punto ms dbil segn los
autores, no constituyen una buena medida de rendimiento, pero agrega que no se puede
ignorar, pues estn en la cabeza de todos en la organizacin. En cierta medida este
ltimo nivel que l presenta es el que muchas veces es la nica fuente de informacin
disponible en las organizaciones.
No siempre es adecuado elegir todas las reas y el momento de recabar los datos puede
ser variable . Para Swanson y Holton, es indispensable comparar todas las mediciones
de resultados con referente para juzgar la calidad de los rendimientos. Esto se puede
hacer con una medicin externa, otro ciclo del programa. Tambin puede remitir a un
estndar. El estndar debe ser revisado con antelacin, por ejemplo estndar de ventas
etc. Que no pueden ser arbitrarios. Puede ser una norma, lo cual proviene de una gran
base de datos y ofrece promedios (por ejemplo los promedios de la industria), puede ser
tambin un grupo control. En relacin a los resultados financieros indican que si bien
son importantes no es el nico criterio a seguir, si no que existen otros como la
adecuacin a la cultura organizacional, calidad, etc.
No obstante, es preciso destacar, aparte del entusiasmo de Donovan (1999), que
Swanson y Holton, no resuelve el problema de la causalidad, e insiste en la utilizacin
de medidas cuantitativas. Los autores incorporan el interesante concepto de conductores
de desempeo, en el proceso de evaluacin de rendimientos de sistema, que son
variables de desempeo (como por ejemplo, aumentar la motivacin, mejorar la calidad
del producto, etc.) que pueden predecir una mejora en el resultado. Propone un sistema
para construir estimados de beneficios probables a partir de los conductores de
desempeo.
Los modelos provenientes de los anlisis econmicos
Donovan cita los trabajos de Black and Lynch (1996), Barrett and OConnell (1998), Walsh (1998), entre otros.
41
Segn Donovan, si bien hay un consenso generalizado entre los economistas de que el
capital de formacin humano es tan importante como los capitales fsicos, sin embargo
los resultados de las investigaciones son que el retorno de la inversin en educacin
acadmica formal parece ser ms alta que la de capacitacin de habilidades especficas..
A menudo se sugiere que la inversin en formacin de habilidades es muy improbable
que induzcan un nivel aceptable de retorno.
Donovan seala que estos estudios presentan una dificultad seria por los fundamentos
en los cuales se asienta en relacin con la naturaleza de la organizacin. Los
economistas an ven las empresas como una caja negra dentro de la cual las decisiones
racionales son dadas como un conjunto de precios y condiciones de mercado. De esta
forma el crecimiento es analizado en trminos de identificacin de una relacin directa
entre cambios en los insumos y cambios en los productos. Desde esta perspectiva no
podrn analizar las relaciones complejas que se producen entre los recursos disponibles,
los efectivamente utilizados, los servicios derivados de los mismos, y la existencia de
factores neutralizantes (como por ejemplo reestructuracin de costos o cambios en los
precios de los productos) que entran en juego cuando se emprende la capacitacin. Los
economistas han tendido a ignorar completamente los pasos intermedios y intentar
encontrar relaciones entre entrenamiento y cambios en la productividad como una
medida de insumo producto. Los vnculos no han sido explorados en los estudios
econmicos, o ms an reconocidos como pasos intermedios en muchos casos.
No obstante, Donovan cita, dentro de los estudios econmicos, el trabajo de Penrose,
como una alternativa para dar respuestas a estos problemas. El autor analiza la relacin
insumo producto y la capacidad de la gerencia de derivar servicios de los primeros.
Afirma que no existe una relacin simple entre los cambios en el valor de los insumos y
el de los productos83. Los cambios en las capacidades pueden explicar los cambios en la
productividad, es decir, no hay una relacin simple entre los recursos humanos
disponibles, con prescindencia de los esfuerzos empleados en desarrollarlos y los
resultados, crecimiento o productividad de la firma. Sin embargo trabajos como el de
Penrose no encuadra en el foco general de los estudios econmicos
Para Donovan las posibilidades de derivar una metodologa para identificar las
necesidades de entrenamiento, la organizacin ptima e integracin de las nuevas
habilidades y aislar el impacto de los recursos aplicados al entrenamiento es limitado
dentro de este marco econmico de trabajo.
83
Parte de la distincin entre los recursos disponibles para una firma y los inputs realmente usados por la firma.
Arguye que los inputs, como son normalmente identificados, no son los recursos efectivos usados por las firmas.
Por el contrario., las firmas usan el servicio que tales inputs pueden proveer. La competencia del gerenciamiento es
evaluado por su habilidad de derivar servicios desde un nivel dado de inputs.. Como resultado de esta clarificacin no
hay razn por la cual debera haber una relacin simple entre los cambios en la cantidad de valor de los inputs y
cambios en los productos. Sin embargo las firmas ponen su atencin en que est puesto en los precios de los inputs
los cuales determinan las decisiones de produccin tecnolgicas en las firmas. , el tamao de las firmas, (relativo al
mercado) determina la cantidad de resultados y los factores que influyen en el mercado de precios.
42
Es recurrente en los textos la preocupacin por la redaccin clara de los objetivos como
forma de asegurar buenos resultados en la enseanza y facilitar luego la actividad de
evaluacin85. Sin embargo algunos autores sealan que la evaluacin en referencia a
objetivos86 no siempre es adecuada debido a que los objetivos de la capacitacin no
siempre se vinculan con el negocio. A veces algunos de los propsitos de los
entrenamientos no estn referidos a resultados organizacionales o los intereses de las
personas que asisten al entrenamiento difieren legtimamente del cometido de la
organizacin. Estos son algunos de los sealamientos que realizan los autores (ver pp.
16) que aportan una nueva visin acerca de las relaciones entre objetivos y evaluacin.
Se indica que es importante tener en claro para qu se recolecta la informacin, la
atencin a las variaciones de los contextos y a las necesidades de las diferentes
audiencias en la organizacin a la hora de evaluar el impacto de la capacitacin.
84
Valor =
RH
Nro. De personal
X banda salarial
Costo del
X
personal para la
organizacin
Puntaje de
desempeo
Otra de las preocupaciones que genera discusin entre los autores es cmo comprobar
las relaciones de causalidad que se producen entre los procesos de capacitacin y los
beneficios obtenidos para la organizacin. El problema es cmo demostrar relaciones
causa efecto en una situacin que se reconoce como una compleja trama de relaciones.
Este punto remite al problema metodolgico que est en debate an entre los
profesionales de la lnea de HRD. Tanto Donovan (1999) como Tamkin (2002), an
crticos de los modelos que denominan positivistas, no pueden escapar a este sesgo, e
insisten que an no existe un modelo probado que pueda dar cuenta de estas
relaciones complejas al evaluar el impacto.
Por otro lado, si bien, la investigacin provee de mtodos probados para el anlisis de
relaciones de causalidad como los diseos experimentales, o cuasiexperimentales, en
sus distintas variantes con o sin grupo control, ex ante, ex post 89, se advierte al recoger
los resultados de la experiencia fundamentados en investigaciones que la literatura es
demasiado optimista al recomendar este tipo de estudios90. Son pocas las organizaciones
que pueden desarrollar diseos experimentales, con inclusin de grupo control y an
diseos del tipo pre-test, post-test. Estos estudios quedaran reservados para anlisis
realizados por consultara externa o estudios acadmicos. Son tantas las dificultades que
se presentan al poner en prctica estos modelos, que atentan contra la validez de los
resultados obtenidos. Los autores son cada vez menos enfticos en recomendar este
tipo de estrategias para relevar el impacto.
Las posturas en relacin con la posibilidad de comprobacin con este punto oscilan
entre un optimismo idealista que reduce la realidad y un pesimismo dramtico. Sin
embargo, an el planteo de la discusin en estos trminos, constituye un avance
importante en relacin con una realidad y una prctica que se revela como compleja.
Tamkin (2002) reflexiona acerca de la bsqueda de conexin entre capacitacin y
beneficios como una cuestin de fe o una tarea poco realizable. La demostracin de un
vnculo entre la actividad de desarrollo y resultados organizacionales pareciera ser
una tarea parecida a la bsqueda del santo grial. Nickols (2000) niega toda
posibilidad de comprobacin de relaciones entre ambos.
89
NICKOLS, op.cit..
SACRISTAN, J. Gimeno "La pedagoga por objetivos. Obsesin por la eficiencia" Ed. Morata, Madrid, 1986.
47
Ver RUTTY, (1999). En este trabajo se evalu el impacto a travs de tcnicas experimentales. Los resultados
hallados sugieren una revisin del concepto de aprendizaje, entendido como primer trmino de una relacin causal.
94
GORE, E. "La capacitacin laboral y la construccin del conocimiento en las organizaciones. La generacin de
capacidades colectivas a la luz e un anlisis de casos" Tesis doctoral.
95
GORE, Y V MAZZINI, el de Huatana
48
El otro aspecto que hace referencia a la naturaleza de los aprendizajes, es que no todo
aprendizaje es observable y traducible en comportamientos. Esta es una preocupacin
central en la pedagoga orientada por objetivos, que busca hacer observable y medible
los objetivos planteados. Si bien es cierto que la concrecin de objetivos a partir de la
operacionalizacin sirve para aclarar su significado y su observacin en la realidad sirve
para validar la teora o tcnica pedaggica empleada, est muy lejos de coincidir con
que slo importa lo observable pues slo es cientfico lo que se ve. Por otro lado, la
educacin tiene efectos mensurables y no mensurables, por lo tanto no puede reducirse
las tcnicas a los objetivos mensurables.96
b.- El concepto de ciencia:
La visin, presente en muchos de los autores revisados, de que el mbito de la ciencia es
el campo de lo observable97 invalida muchas formas de indagacin que pueden generar
informacin en el mbito de los procesos de enseanza y aprendizaje. En el afn de
cuantificar los resultados observables de la enseanza muchos de los autores
recomiendan la aplicacin de modelos de indagacin cuantitativos y experimentales.
Sin embargo, segn Bertaux98 no puede considerarse a las ciencias sociales a la manera
de las ciencias biofsicas y no necesariamente se llega al conocimiento a travs de
metodologas cuantitativas. El entender la realidad como relaciones entre variables que
deben ser probadas (tpico del abordaje positivista) no representa la realidad si no que la
reduce. El abordaje positivista legitima la medicin como un intento cientfico con el
parmetro de las ciencias biofsicas. La tarea del investigador en ciencias sociales no es
probar hiptesis sino comprender y describir con profundidad la realidad que estudia.
De acuerdo con Weick99, la descripcin a travs de nmeros, que es una preocupacin
presente en muchos de los autores que pretenden acercar la capacitacin al lenguaje de
los negocios, es slo una forma de describir la realidad, pero no la nica.
La discusin terica acerca de los mtodos cuantitativos y cualitativos en evaluacin ha
sido resuelta, como ya se dijo, pp. 13) con un corrimiento de las preocupaciones ms
orientado a una buena construccin del objeto a evaluar, que el uso de uno u otro
abordaje.
Esta relacin dara la clave de conexin entre los esfuerzos de capacitacin y los
resultados obtenidos, y por lo tanto el criterio para la valoracin de su impacto.
Sin embargo, es necesario considerar, que los especialistas en evaluacin en los ltimos
30 aos (Sttuflebeam, 1987, Stake, 1967, Scriven, 1967 y otros) han criticado esta
postura, es decir la utilizacin solamente de los objetivos como criterio de logro.
Fundamentan sus objeciones en razn de que los objetivos del programa nunca reflejan
acabadamente las necesidades de las distintas audiencias de la capacitacin y porque,
segn Scriven, a veces los logros no previstos son ms importantes que los previstos100
Sttuflebeam101 en su crtica a Tyler, como se seal en el punto 3 (pp. 11), explica que la
insistencia en la operacionalizacin lleva a abandonar los objetivos menos concretos
que no pueden ser operacionalizados, el nfasis puesto en el rendimiento deja de lado
otros criterios y la evaluacin de esta forma, resulta parcial y desequilibrada, generando
informacin que no es til ni relevante para la prctica102.
Junto con las crticas al modelo de evaluacin en referencia a la norma se han
desarrollado otras propuestas evaluativas. Escudero103 en un interesante y extenso
recorrido histrico, destaca la proliferacin de modelos evaluativos en los ltimos tres
decenios, diferentes en sus abordajes conceptuales y metodolgicos. Segn el autor, en
la primer poca los modelos seguan la lnea propuesta por Tyler llamada de
consecucin de las metas, pero posteriormente otros modelos, por ejemplo, destacaron
la necesidad de ajustar el proceso de evaluacin al servicio de los decisores
(Sttuflebeam) y otros a los de responder a las necesidades de las distintas audiencias
(los participantes en los programas educativos) (Stake,1967, Guba y Lincoln ,1989).
En este recorrido el autor seala los diferentes sentidos atribuidos a la evaluacin de
acuerdo a los enfoques y como en funcin de ello varan los criterios de evaluacin, los
objetos, la apertura (observar no solo los resultados previstos, si no los imprevistos, no
solo informacin terminal sino de proceso tambin), la pluralidad de funciones de la
evaluacin (sumativa- formativa- socio-poltica-administrativa), los diferentes papeles
del evaluador (interno, externo), la pluralidad de audiencias y metodologas.
Interesa destacar de este punto la variacin en los criterios de valoracin de la
informacin que seala Escudero. Mientras que para los primeros enfoques la
congruencia de los resultados con las metas definidas previamente constituye el criterio
fundamental en la evaluacin, para otros el criterio ser el mrito del objeto a evaluar (si
es bueno o no) empleando estndares definidos por expertos para su valoracin. Para
otros enfoques el criterio ser la vala del programa, es decir el valor que tiene la
informacin para los distintos audiencias y contextos104. Para los enfoques referidos a
100
ESCUDERO, T. (2003). Desde los tests hasta la investigacin evaluativa actual. Un siglo, el XX, de intenso
desarrollo de la evaluacin en educacin. Revista ELectrnica de Investigacin y EValuacin Educativa, v. 9, n. 1.
http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm..
101
STUFFLEBEAM, op. cit.
102
Ver pp. 16. punto 3 Estado del arte : los distintos modelos de evaluacin de impacto
103
ESCUDERO, T. op.cit.
104
Scriven, op.cit. dice Scriven la evaluacin es devota de la determinacin sistemtica del mrito, del valor o
significado para quienes estn destinados las acciones de enseanza
50
Escudero op.cit.
Ver, nota al pie n. 8 pp. 7.
107
RUTTY, M. G. Proyecto de Investigacin "Prcticas de Evaluacin de Impacto de la Capacitacin en el Sector
Pblico y Privado". CONICET. Noviembre de 2000
108
RUTTY, M: G. "Evaluacin de Impacto de la Capacitacin en el Sector Pblico y Privado". UBA. FCE. IIA.
Centro de Investigaciones en Administracin Pblica. Doc. de trabajo N 3. Ao II, Vol. II, N 1 - 1er. semestre de
2002
51
106
5.- Metodologa
Esta tesis, entonces, abord la realizacin de dos tareas centrales. En primer lugar se
realiz un relevamiento de campo en distintas organizaciones pblicas y privadas y en
segundo lugar, el procesamiento de datos primarios ofrecidos por un organismo pblico
de una experiencia no concluida de evaluacin de impacto como base para el diseo de
una nueva metodologa. En cada caso se trabaj con tcnicas metodolgicas diferentes.
53
MATRIZ DE ANCLAJE
Caractersticas de las organizaciones
consultadas
Caractersticas del centro de capacitacin
Caractersticas del proceso de capacitacin
Modalidades del proceso de evaluacin
de la evaluacin.
Objetivos de la evaluacin, metodologas que se
emplean en la evaluacin; enfoque, indicadores,
instrumentos, momento de evaluacin.
Disponibles para el trabajo de evaluar.
Resultados obtenidos, dificultades, usuarios de la
informacin, utilidad del proceso de evaluacin de
impacto.
En el anexo (pp. 192) se presenta la matriz de anclaje completa que sirvi de gua en
este estudio y los instrumentos que fueron de orientacin en las entrevistas realizadas.
GALLART, M.: La integracin de mtodos y la metodologa cualitativa .una reflexin desde la prctica de la
investigacin en Forni, F. et al "Mtodos cualitativos II. La prctica de la investigacin" Centro Editor de Amrica
Latina. Buenos Aires.
110
J. Sntesis realizada del libro de R. E. Stake : The art of case study research. Seminario de Metodologa
Cualitatitva. CEIL, 1997
55
Las tipologas se pueden disear a partir de un marco terico o conjunto de proposiciones o bien de forma ms
mundana., desde las concepciones del sentido comn (Becker).
112
Becker, H. Trics Of the trade. How to think about your research while youre doing it.
113
Becker, op.cit
114
Becker menciona la induccin analtica y el anlisis comparativo de la diversidad segn el enfoque de Ragin
115
RAGIN, C. Constructing social research. The unity diversity of method Pine Forge Press. London.
56
Para el desarrollo de esta parte del trabajo se mantuvieron entrevistas con el personal del
Departamento de Recursos Humanos del INTA, a cargo del Programa de Seguimiento
de la Capacitacin en el Exterior. En un primer anlisis de la encuesta y los datos
obtenidos se observ la existencia de ciertas debilidades metodolgicas que impiden
obtener los resultados esperados con la aplicacin de la encuesta. Estas dificultades se
encontraron en la aplicacin del instrumento, en la cantidad de respuestas obtenidas y
otros referidos a su diseo. Estos factores reducen considerablemente la cantidad de
informacin que se obtiene.
Estas dificultades indicaron que para obtener informacin que pudiera dar cuenta del
impacto de la capacitacin recibida, era necesario emplear en su procesamiento alguna
tcnica metodolgica que permita organizar la informacin obtenida no cindose al
dispositivo original de la encuesta, sin contar con la posibilidad de volver al campo para
obtener nueva informacin.
La metodologa de trabajar sobre datos recabados por otros, encuentra sus antecedentes
en trabajos como los de Geert Hofstede116, que a partir de una investigacin realizada
entre directivos de IBM de todo el mundo, sobre ms 116.000 cuestionarios, elabor un
modelo de cuatro dimensiones de cultura organizacional, de base emprica, que es de
referencia obligada para los estudiosos de este campo. La investigacin de IBM fue
realizada por motivos internos de la corporacin, distintos del estudio de la cultura
organizacional. El autor tom esa base para el estudio de la cultura, utilizando la tcnica
que denomina arqueologa de datos.
La arqueologa de datos consiste en excavar en una base de datos existente en busca de
informacin, sin posibilidad de aadir preguntas no incluidas en el formulario original.
En este caso de la encuesta del INTA, en primer lugar se proces las encuestas y luego
se aplic la tcnica de la arqueologa de datos con el objeto de elaborar una
metodologa de evaluacin de impacto sobre la base de datos reales. La tcnica se
orienta a rastrear en el discurso de los encuestados (preguntas abiertas y cerradas)
indicios de transferencia e impacto. A partir del procesamiento y anlisis de los datos
obtenidos en las encuestas, y se realiz el ajuste o reformulacin de los instrumentos
empleados por el INTA
116
HOFSTEDE, G. "Cultures Consequence. Comparing Values, Behaviors, Institutions and Organizations Across
Nations. Sage Publications, Thousand Oaks, CA, 2001
57
58
2.1.-Lugar
La mayora de las organizaciones consultadas (30) pertenecen a Capital Federal, 5 son
de la Provincia de Bs. As. y 2 de Santa Fe.
1. Organizaciones segn lugar y tipo
ORGANIZACIONES SEGUN LUGAR Y TIPO
LUGAR
CAPITAL FEDERAL
PROVINCIA DE
BUENOS AIRES
ROSARIO
SANTA FE
TIPO DE INSTITUCION
PRIVADO
PBLICO
12
18
Total
59
Total
30
13
1
1
24
1
1
37
Como se dijo en el apartado de metodologa, (pp. 53 ) debido a que las organizaciones privadas solicitaron
preservar su identidad a partir de ahora se har referencia a ellas con un seudnimo. En el cuadro resumen del
apndice (pp 190) se puede consultar su caracterizacin por sector y actividad
118
El INDEC adopt para la realizacin del Censo Econmico de 1994 las ltimas recomendaciones internacionales
para reflejar la estructura sectorial de la economa.
119
Incluyen las actividades de armado y montaje de componentes con exclusin de construccin, como por ejemplo la
fabricacin de productos alimenticios, tabaco, textiles, de prendas de vestir, de artculos de madera, de derivados del
petrleo, sustancias y productos qumicos, minerales, etc
120
se incluyen las actividades comerciales propiamente dichas y las de reparacin de vehculos, automotores,
motocicletas, efectos personales y enseres domstico.
121
Incluye actividades como la de hoteles y restaurantes, transporte, inmobiliarias, enseanza, servicios sociales, etc
122
incluye a las organizaciones que se ocupan de la extraccin de petrleo y gas como a las actividades de servicios
relacionados con el mismo
123
incluye a aquellas organizaciones que generan, captan y distribuyen la energa elctrica, fabrican el gas y lo
distribuyen y captan, depuran y distribuyen el agua
124
est constituido por tres tipos de actividad: la intermediacin monetaria, la actividad aseguradora y las actividades
auxiliares de la intermediacin financiera
60
INDUSTRIA
MANUFACTURERA
COMERCIO POR
MAYOR Y MENOR
SERVICIOS
EXTRACCION DE
PETROLEO Y GAS
INERMEDIACION
FINANCIERA
SUMINISTRO DE
ELECTRICIDAD GAS
Y AGUA
ADMINISTRACION
PUBLICA
Total
12
12
1
4
12
13
Total
12
24
37
2.3 Tamao
El objetivo de incluir esta variable se vincula con dos razones. La primera de ellas es
que el tamao de la organizacin es una primera aproximacin que sirve para describir a
la misma. Si bien el tamao no fue uno de los criterios empleados en la seleccin de la
muestra, ya que esta se trata de una muestra no intencional cuyo criterio de inclusin
fue el que desarrollaran actividades de formacin de larga duracin, s es un criterio
explicativo en relacin con las actividades de evaluacin de la capacitacin
desarrolladas. Esto se vincula con la nocin previa de que las organizaciones con muy
bajo nmero de empleados no tienen reas especficas de capacitacin, ni desarrollaran
una prctica compleja de evaluacin en capacitacin, como lo es la evaluacin de
impacto. Se parte del supuesto de que una de las condiciones previas para la ocurrencia
61
SECTOR DE
ACTIVIDADES
INDUSTRIA
MANUFACTURERA
COMERCIO POR
MAYOR Y MENOR
EXTRACCION DE
PETROLEO Y GAS
MENOS
DE 1000
ENTRE
1000 Y 3000
ENTRE
3001 Y 6000
1
1
INERMEDIACION
FINANCIERA
SUMINISTRO DE
ELECTRICIDAD GAS Y
AGUA
TOTAL
MAS DE
6000
TOTAL
12
2
4
5
1
24
125
128
Se presenta solo el sector privado por no contar con informacin fehaciente del sector pblico..
62
3.- Capacitacin
Todas las organizaciones entrevistadas desarrollan algn tipo de actividad de
capacitacin. En este apartado se realiza una caracterizacin de las actividades de
capacitacin desarrolladas por las organizaciones consultadas, en funcin de la duracin
de las actividades, su modalidad, los destinatarios de las mismas, si la capacitacin est
a cargo de las mismas organizaciones o participan otras instituciones en el desarrollo de
las mismas.
REALIZAN
CAPACITACION CORTA
TIPO DE INSTITUCION
Total
PBLICO
PRIVADO
REALIZAN ADEMAS
CAPACITACION
LARGA
SI
NO
12
1
21
3
33
4
Total
63
13
24
37
PRIVADO
TOTAL CASOS
%
RTAS
%
CASOS
14
17
32.1
51,5
Desarrollo de carrera
17
27,3
Cursos internos
18
34
54,5
17
27,3
TOTAL RESPUESTAS
16
35
53
TIPO DE CURSO
Especializaciones,
Maestras, doctorados
N CASOS
12
21
33
Cada responderte puede desarrollar ms de un tipo de curso a la vez. En base a 33 casos,
porcentajes y totales tomados sobre los respondientes y los casos.
Dentro de los cursos internos se presentan diversas modalidades segn los objetivos
previstos y estructura de desarrollo de las experiencias de capacitacin, como por
ejemplo, la formacin de cuerpos especficos, o la formacin de cuadros de reemplazo
para cargos estratgicos.
129
PUBLICO
PRIVADO
TOTAL
Especficos
13
18
Administracin
11
12
TOTAL
14
20
34
Los cursos de larga duracin estn dirigidos en la mayora de los casos a los niveles
superiores (78%) y medios (51 %) de la pirmide jerrquica de la organizacin, tanto en
el mbito pblico y como en el privado. Es menor la cantidad de experiencias de
capacitacin larga dirigidas a los sectores operativos.
Hay casos en que los cursos se han orientado especficamente en el sector privado a la
capacitacin de usuarios, como uno de los casos de una empresa distribuidora de
bebidas del sector privado, en el que ofrecen tambin capacitacin a clientes a raz de un
cambio en las caractersticas del producto. Este procedimiento se realiza aprovechando
polticas de exencin impositiva para las organizaciones que ofrecen capacitacin a sus
pblicos. En el sector pblico, los organismos como por ejemplo el INTA, el INTI,
SENASA, y la procuracin Nacional del Tesoro incluyen dentro de sus funciones el
130
PRIVADO
TOTAL
%
RTAS
%
CASOS
Nivel Gerencial
20
26
43.3
78,8
Nivel Medio
17
28.3
51,5
Nivel Operativo
6.7
54,5
15
27,3
Otros Destinatarios
6.7
12,1
NIVEL
TOTAL RESPUESTAS
20
40
60
N CASOS
12
21
33
Cada responderte puede dirigir sus cursos a distintos niveles a la vez. En base a 33 casos,
porcentajes y totales tomados de los respondientes y de los casos.
PRIVADO
TOTAL
%
RTAS
%
CASOS
Presencial
10
21
31
73.8
93.9
A Distancia
14.3
18.2
En Servicio
11.9
15.2
TOTAL RESPUESTAS
N CASOS
14
12
28
21
42
33
MODALIDAD
Cada respondiente puede desarrollar ms de una modalidad Sobre 33 casos, porcentajes y totales
tomados de los respondientes y casos.
FORMAN OTRAS
ORGANIZACIONES
Total
SI
NO
TIPO DE INSTITUCION
PBLICO PRIVADO
5
19
7
2
12
21
Total
24
9
33
Los tipos de instituciones a los que asiste el personal de organizaciones privadas son
universidades argentinas o del exterior, o consultoras especializadas de acuerdo a la
rama en la que se desempea la organizacin, como por ejemplo instituciones
especializadas como el Instituto argentino del Petrleo y el Gas (IAPG). Tambin
algunas organizaciones acuerdan la participacin de consultoras para armar planes de
capacitacin o para participar en actividades de evaluacin como assesment center,
donde se evalan las habilidades del personal en vistas al planeamiento de planes de
carrera. (ver cuadro n 10)
10. Tipo de organizaciones que participan en la formacin
Recuento
TIPO DE
ORGANIZACIONES
QUE PARTICIPAN
EN LA FORMACION
UNIVERSIDADES
CONSULTORAS
UNIVERSIDADES
Y CONSULTORAS
OTRAS
Total
68
TIPO DE INSTITUCION
PBLICO PRIVADO
2
11
1
3
5
Total
13
1
19
3
24
4.-Evaluacin
En este apartado se describen las modalidades de evaluacin de la capacitacin de larga
duracin desarrolladas por las distintas instituciones, considerando si evalan la
capacitacin, qu niveles alcanzan al evaluar, si evalan todas las experiencias o slo
algunas y con qu profundidad, las metodologas que emplean para evaluar, si evalan
transferencia o impacto y qu tipo de metodologas emplean.
METODOLOGA
DE LA
EVALUACION
LARGA
TIPO DE INSTITUCION
PBLICO PRIVADO
SEGUIMIENTO FORMAL
3
5
EVALUACION DE LOS
5
APRENDIZAJES
SISTEMA DE
EVALUACION DE
4
DESEMPEO
EVALUACION
4
7
ESPECIFICA
Total
12
16
Total
8
5
4
11
28
a.-Seguimiento formal
Se refiere a tomar como criterio de evaluacin las certificaciones formales que
expiden las instituciones externas a la organizacin a la que concurren los
empleados. Este sistema se emplea en el caso de las experiencias de formacin en
universidades, como especializaciones, maestras y doctorados en el pas o en el
exterior. Las organizaciones que envan a su personal a capacitarse realizan un
seguimiento formal que consiste en las certificaciones de aprobacin de los
cursos que emiten las instituciones formadoras.
Realizan un seguimiento formal de la capacitacin de sus empleados 8
organizaciones, 5 privadas del sector manufacturero, de fabricacin de
69
72
INDUSTRIA
MANUFACTURERA
EXTRACCION DE
PETROLEO Y GAS
SUMINISTRO DE
ELECTRICIDAD GAS
Y AGUA
ADMINISTRACION
PUBLICA
Total
Total
2
2
2
7
En relacin con los datos estructurales de estas organizaciones que evalan el impacto,
se observa que la mayora son de gran tamao (ms de 1000 empleados) y 2 son
medianas (400 y 600 empleados) . (cuadro 13)
13. Organizaciones que evalan el impacto segn tamao y sector
Recuento
TIPO DE INSTITUCION
Total
PBLICO
PRIVADO
CANTIDAD DE EMPLEADOS
MENOS
ENTRE
ENTRE
DE 1000
1000 Y 3000 3001 Y 6000
2
2
3
2
2
3
4
74
Total
2
7
9
Caso A
Caso B
Caso C
Caso D
Caso E
Caso F
Caso G
Caso H
Caso I
Especializaciones,
maestras ,
doctorados
Desarrollo de
carrera
Cursos
internos
Otro tipo de
cursos
X
X
X
X
X
X
X
X
X
X
X
X
Caso A
Caso B
Caso C
Caso D
Caso E
Caso F
Caso G
Caso H
Caso I
Denominacin de la Modalidad de
experiencia
experiencia
Curso de
Presencial/ a
administrador
distancia
tributario
Todos los cursos del
Presencial
rea
Escuela de negocios
Presencial
gerencial
Desarrollo de carrera
Presencial
Especializaciones,
maestras
doctorados
Desarrollos de
carrera
Directivos
Presencial
Destinatarios
Duracin
Niveles
medios
4 o 5 aos
Medios y
gerenciales
5 meses
Gerenciales
Gerenciales
Niveles
medios y
gerenciales
(Tcnicos)
2 aos
2 a 4 aos
Presencial
Gerenciales
6 meses
Presencial
Gerenciales
Niveles
medios y
gerenciales
5 meses
Gerenciales
160 hs.
Desarrollos de
carrera
Presencial
Programa intensivo
de direccin de
empresas
Presencial
Participan otras
organizaciones
1 ao
Universidades
nacionales,
extranjeras y
entidades
Consultora
Universidades o
centros de
formacin
Consultora
Todos los entrevistados de los centros de capacitacin expresaron sus inters acerca de
este tipo de prcticas y sealaron (tanto los que han desarrollado experiencias de
evaluacin de impacto como los que an no lo han hecho) los principales problemas
que presenta su aplicacin, que se agrupan en cuatro cuestiones.
1.- Dificultad de medir apropiadamente el impacto de la capacitacin realizada a
travs de indicadores cualitativos. Se observa que resulta muy difcil encontrar
parmetros objetivos de medicin del impacto del aprendizaje en la organizacin que
puedan dar cuenta de los beneficios generados. Los esfuerzos encaminados en este
sentido, dicen, se encuentran teidos por la subjetividad de los evaluadores.
2.- El peso de los elementos de contexto , ya sea provenientes del negocio particular al
que se dedica la institucin o las alternativas del entorno poltico o econmico en el que
se inserta la organizacin. La multiplicidad de variables intervinientes desvirta
cualquier esfuerzo de evaluacin del impacto.
3.- Uno de los sealamientos generalizados es que ni los encargados de capacitacin, ni
el personal de lnea, disponen de tiempo para realizar la evaluacin, o incluso para
procesar luego los datos recabados.
4.- Finalmente en repetidas oportunidades los capacitadores declaran que hace falta
instalar una cultura de la evaluacin en las instituciones, de manera de lograr una mayor
76
77
Se tomaron para este estudio tres tipos de condiciones: condiciones organizacionales, metodolgicas y
pedaggicas, ver punto.4.- Hiptesis de trabajo, pp. 51.
132
SCHEIN, op.cit.
133
Schein, op. cit. explica que descifrar los significados que portan los artefactos culturales no es una tarea
sencilla.Los datos superficiales pueden ser obviamente, del todo precisos. Pero hasta que no llegamos a lo profundo,
simplemente ignoramos si lo que hemos observado no es ms que una manifestacin superficial o una caracterstica
de la forma en que los miembros de la empresa quieren que los percibamos, o si acaso refleja esquemas ms
profundos del grupo..Las esencias culturales solo pueden extraerse a travs de un esfuerzo conjunto de
observadores y partcipes hasta lograr que se vuelva patente aquello que corrientemente queda desgajado de la
conciencia
134
Fernndez de Ruiz, explica que el concepto de institucionalizacin presenta distintos significados a saber: a.institucin como establecimiento alude a una organizacin con una funcin especializada, b.- institucin como
regularidad social expresada en normas que pauta el comportamiento de individuos y grupos. c.-Institucin ligado a
los significados y alude a la existencia de un mundo simblico en conciente e inconsciente que orienta al sujeto para
comprender la realidad social. Fernndez de Ruiz, Lidia El anlisis de lo institucional en la escuela. Un aporte a la
formacin autogestionaria para el uso de los enfoque institucionales. Notas tericas. Paidos, Buenos Aires 1998pp
13 16. )
78
TODAS LAS
ACTIVIDADES DE
CAPACITACION
SON EVALUADAS
ALGUNAS DE LAS
ACTIVIDADES DE
CAPACITACION
SON EVALUADAS
Total
Total
10
13
23
12
16
28
Las razones que acompaan la decisin de no evaluar todos los casos son que los cursos
llamados "subjetivos" por los entrevistados, es decir, aquellos cursos que estn
orientados al desarrollo de actitudes, no se pueden evaluar.
b.-La profundidad que se alcanza en el nivel de evaluacin, alude a los objetivos
perseguidos por la evaluacin. En el difundido esquema de Kirkpatrick se desarrollan
cuatro niveles de evaluacin135.
1.
2.
3.
4.
Se observ que la mayora trabaja con evaluacin de la opinin en todas sus actividades
de capacitacin, sobre 28 casos, 86% trabaja con opinin, 60 % con aprendizaje, el 50%
con transferencia y 32 % evala impacto.
Kirkpatrick, D. "Evaluation training programs. The four levels". Berret-Koehler Publishers. San Francisco, 1998.
En el primer nivel de evaluacin (opinin) se busca informacin sobre la satisfaccin del alumno acerca del curso
recibido. En el segundo nivel (evaluacin del aprendizaje) se indaga en qu medida se aprendieron los conocimientos
impartidos en el curso. En el tercer nivel (evaluacin del desempeo) se intenta obtener informacin acerca del
proceso de transferencia de los conocimientos al puesto de trabajo. En el cuarto nivel (la evaluacin de resultados) se
analiza impacto que la capacitacin tiene en la organizacin. Es decir qu beneficios ha generado la capacitacin en
trminos del producto del trabajo de los capacitados. Kirkpatrick, op. cit.
79
136
RESPUESTAS
Opinin
24
37,5
17
Aprendizaje
26,6
Transferencia
14
21,9
9
Impacto
14,1
TOTAL
64
100
Cada respondierte tiene ms de una opcin de respuesta
CASOS
85,7
60,7
50,0
32,1
228,6
TIPO DE INSTITUCION
PBLICO PRIVADO
4
2
Total
6
16
1
28
1
12
PUNTUAL
PA
PM
PB
GENERAL
GA
GM
GB
INSTITUCIONALIZACION DE
ORGANIZACIN
PUBLICO PRIVADO
4
8
4
3
2
2
3
2
12
16
TOTAL
12
7
4
3
2
28
Recuento
EVALUAN IMPACTO
SI
NO
INSTITUCIONALIZACION
Total
Total
12
19
28
82
d.-Especificidad de la evaluacin
Algunas organizaciones evalan el impacto empleando una metodologa especialmente
desarrollada a los efectos de su evaluacin. Es decir, el diseo de un encuadre con la
definicin de dimensiones a evaluar, una serie procedimientos establecidos para la
obtencin de los datos, dispositivos diseados especialmente con el objetivo de evaluar
el impacto de las actividades especficas de capacitacin en la tarea de los empleados.
Otras organizaciones aprovechan los dispositivos existentes en la organizacin
diseados para otros propsitos, pero que son relativamente adaptables a los fines de
evaluar la capacitacin.
.--Utilizan tcnicas especficas o diseadas especialmente para relevar el impacto de las
actividades de capacitacin.
f. Periodicidad:
Se refiere a si las organizaciones evalan el impacto como una prctica habitual o peridica, o
contingente, es decir si todas las actividades de capacitacin son sometidas a evaluacin de
impacto o se indican slo para algunas actividades. A veces las organizaciones que evalan el
impacto no lo hacen corrientemente sino para una actividad en especial por el inters que sta
representa para la organizacin. En otros casos se ha tratado de estudios piloto y se ha realizado
con personal interno o especialmente contratado a tal fin. Y en algunos casos son experiencias
puntuales que no se vuelven a repetir.
85
Ragin, C. op.cit.
86
A. MIXTO
G. CONTROL
TRIANGULACION
ESTANDARES
TRADUCCION EN $
METODO ESPECIFICO
OBSERVACION PAUTADA
ENCUESTAS
METODOS MIXTOS
PERIODICIDAD
CORTOS
LARGOS
1
1
1
1
1
1
1
1
1
A. CUANTITATIVO
1
1
0
1
1
1
1
1
1
A. CUALITATIVO
INFRAESTRUCTURA
1
1
1
1
1
1
1
0
1
E. CS. SOCIALES
ORGANIZACIONESGRANDES
A
B
C
D
E
F
G
H
I
ENFOQUE HRD
CASOS
ATRIBUTOS
INSTITUCIONALIZADA PRACTICA
22. Matriz de descripcin analtica de los casos segn los atributos seleccionados
0
1
1
1
0
1
1
1
1
1
0
0
0
1
0
0
0
0
1
0
1
1
1
1
1
1
1
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
1
0
0
1
0
0
1
0
1
0
0
0
1
0
0
1
0
0
0
0
0
0
0
1
1
1
0
1
0
1
0
1
0
1
0
0
0
1
1
1
0
1
1
1
1
1
1
1
1
1
1
1
1
0
0
1
1
1
1
1
1
0
1
0
1
0
1
0
0
1
1
1
0
1
1
1
1
1
0
0
0
1
0
0
0
0
7.2.-Las similitudes
Se observan una serie de aspectos comunes a todos los casos en relacin con los datos
de contexto, los abordajes metodolgicos (cualitativos o cuantitativos) y los
instrumentos empleados:
a.-Datos de contexto organizacional
Como se observa en el cuadro 22, y coincidentemente con lo que se viene
desarrollando en el captulo anterior (pp. 78), las organizaciones que evalan el
impacto de sus actividades de capacitacin poseen gran tamao, disponen de
infraestructura adecuada y demuestran un alto grado de institucionalizacin de la
evaluacin. Esto se aplica tanto a organizaciones pblicas como privadas. Slo uno
de los casos, una de las organizaciones del sector privado (Caso C, pp. 167), no
138
El autor realiza un anlisis causal de condiciones que provean la ocurrencia del fenmeno de estudio.
87
Total
2
Los datos de infraestructura que han sido tomados son: si cuentan con un departamento
de capacitacin o un rea especfica dentro de recursos humanos para atender las
actividades de capacitacin y qu cantidad de personal disponen para atender las tareas
de capacitacin. Como se observ en el captulo 5 (pp. 73), las 9 instituciones que
evalan impacto cuentan con departamento dedicado a la capacitacin. Si comparamos
con el resto de las 28 organizaciones que evalan su capacitacin larga, 24 tienen rea
especfica de capacitacin y entre stas se encuentran las 9 que evalan el impacto. Por
otro lado, se observ en lneas generales, a travs de las entrevistas, que las 6
organizaciones del sector privado que evalan impacto se ubican en la relacin ms alta
de personal de capacitacin y empleados a atender (1 a 500 ), en contraste con las otras
organizaciones.
b.-Abordaje cualitativo o cuantitativo
Ninguna de las organizaciones emplea exclusivamente modelos cuantitativos para
evaluar el impacto, as como tampoco tcnicas de tipo experimentales con el uso
de grupos testigos, estrategias recomendadas por algunos de los autores de la lnea
tradicional en evaluacin, como procedimiento metodolgico ptimo para analizar
relaciones causales. En general emplean tcnicas cualitativas y si pueden incluyen
algn tratamiento cuantitativo de los datos, que se refiere bsicamente a la
traduccin en nmeros, e incluso en trminos de moneda de la informacin que se
obtiene a travs de encuestas y observacin como en el caso (Caso B, pp. 162), que
se ver ms adelante.
Recuento
ENFOQUE DE
EVALUACION
DE IMPACTO
CUALITATIVOS
TIPO DE INSTITUCION
PBLICO PRIVADO
4
MIXTOS
Total
Total
4
Las nueve instituciones que evalan impacto utilizan y combinan distintos instrumentos
de relevamiento de la informacin, en general en forma combinada, a saber:
observacin de los jefes, encuestas, entrevistas y en algunos casos la aplicacin de
dispositivos de relevamiento de informacin ms complejos como el focus group. Salvo
en dos de los casos, uno del sector pblico y otro del privado, se trabaja especficamente
con encuestas. Estos datos son coincidentes con una encuesta realizada por ASTD139.
La tcnica de focus group consiste en un pequeo grupo de discusin conducido
por un facilitador experimentado. Est destinado a solicitar juicios cualitativos
sobre un asunto especfico previamente planificado. Esta experiencia es
particularmente til para obtener informacin cualitativa sobre un programa de
capacitacin140
25. Instrumentos de relevamiento de la informacin en la evaluacin de impacto
Recuento
INSTRUMENTO
DE EVALUACION
DE IMPACTO
Total
ENCUESTAS
COMBINACION DE
INSTRUMENTOS
OTROS
TIPO DE INSTITUCION
PBLICO PRIVADO
1
1
Total
2
1
7
1
9
Las diferencias en este punto entre los casos son la utilizacin de estndares en la
comparacin, la traduccin en valores monetarios y los estudios de retorno de la
inversin, como se ver ms adelante.
En sntesis, a travs del anlisis comparativo se observan algunas caractersticas y
formas de hacer similares en las nueve organizaciones en relacin con las situaciones de
contexto de los centros de capacitacin, como el tamao de la organizacin, la
disponibilidad de recursos, los hbitos establecidos de evaluacin, los abordajes
metodolgicos y los instrumentos elegidos para recabar informacin. A continuacin se
examinan las diferencias
139
American Training and development Association (ASTD) "National Human Resources Development Executive
Survey" Fourth Quarter Survey Report, 1997
140
PHILLIPS. J. Handbook of training evaluation and measurement methods Gulf Publishing Company,
Texas,1997.
89
CASOS
ENFOQUE HRD
E. CS. SOCIALES
ESTANDARES
METODO
ESPECIFICO
PERIODICIDAD
LARGOS
CORTOS
ATRIBUTOS
A
B
C
D
E
F
G
H
I
0
1
1
1
0
1
1
1
1
1
0
0
0
1
0
0
0
0
0
1
0
1
0
0
0
1
0
1
1
1
0
1
0
1
0
1
1
1
0
1
0
1
0
1
0
1
0
0
0
1
0
0
0
0
0
1
1
1
0
1
1
1
1
7.3.-Las diferencias
a.-Marco de referencia conceptual y metodolgico:
Slo 2 de las organizaciones, el caso A y E ambas del sector pblico, utilizan para
evaluar el impacto modelos referenciales provenientes de las ciencias sociales.
Desarrollan instrumentos complejos para el relevamiento de gran cantidad de
informacin, incluyen en sus procedimientos tcnicas de investigacin como
triangulacin de observadores. Las otras organizaciones utilizan los modelos
referenciales del HRD. Los instrumentos que utilizan se caracterizan por su simplicidad.
Los procesos de evaluacin en general cuentan solamente con la observacin pautada de
los jefes como dispositivo de recoleccin de la informacin.
b.-Especificidad de la evaluacin:.
Seis de las organizaciones emplean instrumentos especialmente diseados para evaluar
la capacitacin (casos A, B, C, E, G, I). Las otras tres (casos D, F y J) trabajan con
90
TIPO DE INSTITUCION
Total
LA EXPERIENCIA DE
EVALUACION DE IMPACTO
ES PUNTUAL U OPERA EN
LA ACTUALIDAD
OPERA EN LA
PUNTUAL
REALIDAD
PBLICO
1
1
PRIVADO
3
4
4
5
Total
2
7
9
Con lo cual puede decirse, si pensamos en trminos estrictos, que en la mayora de los casos
no se utiliza la aplicacin de evaluacin de impacto en forma directa, como prctica corriente
en las organizaciones, sino slo vinculada a proyectos especiales.
d.-Uso de criterios y estndares predefinidos
Uno de los problemas centrales al evaluar el impacto es encontrar indicadores que den
cuenta de las transformaciones ocurridas en el espacio laboral. Estos indicadores pueden
estar estandarizados o generarse en funcin de las caractersticas de la capacitacin y
del trabajo de los capacitados. Este es un punto nodal en la estrategia de evaluacin de
impacto y el que ms controversias genera entre los especialistas en el tema.
Uno de los aspectos centrales es que la estandarizacin de los indicadores permite
comparaciones sucesivas en los diferentes procesos de capacitacin y aseguran una
mayor objetividad en la aplicacin de las evaluaciones, pero si bien el uso de estndares
hace ms objetivo el proceso de evaluacin, los estndares no estn disponibles para las
actividades de capacitacin y en general es necesario construirlos o descubrirlos en la
organizacin en funcin de las caractersticas de las actividades de enseanza.
91
Una de las estrategias que aplican las organizaciones que evalan a travs de evaluacin
de desempeo, es tomar como criterios estndares de productividad definidos y/o
estndares de evaluacin de los modelos de competencias que estn definidos para la
organizacin. Otra alternativa, especialmente en las organizaciones que trabajan con
formas directas de evaluar el impacto, es la comparacin con niveles de desempeo
alcanzados con anterioridad. En todos los casos los estndares son construidos, salvo
raras oportunidades, siempre sus categoras son cualitativas o conceptuales, aunque sean
traducidas en porcentajes. En 4 de los casos los aspectos a evaluar son definidos de
forma ajustada en relacin con la capacitacin realizada.
e.-Extensin del proceso de evaluacin
La extensin de los procesos de evaluacin est definida por el contexto institucional y
asociada al encuadre referencial utilizado. En la mayora de las organizaciones,
especialmente las privadas, la informacin se necesita con la mayor celeridad posible y
no hay demasiada disponibilidad de tiempo para dedicarle a esa tarea.
SI
EstndaresSin
Estndares
EstndaresSin
Estndares
EstndaresSin
Estndares
EstndaresSin
Estndares
ESPECIFICO
PERIODICIDAD
HABITUAL
NO HABITUAL
LARGOS
CORTOS
LARGOS
CORTOS
NO
1
BARTON, A.: El concepto del espacio de propiedades en la investigacin social. En Conceptos y variables en la
investigacin social Korn, F. Lazarsfeld, P., Barton, A. Menzel, H. Ed. Nueva Visin, 1984
92
SI
NO
EstndaresSin
Estndares
EstndaresSin
Estndares
EstndaresSin
Estndares
EstndaresSin
Estndares
ESPECIFICO
PERIODICIDAD
HABITUAL
NO HABITUAL
LARGOS
CORTOS
LARGOS
CORTOS
Una de las primeras observaciones que se puede realizar es que la extensin coincide con el
marco de referencia. El enfoque HRD supone procesos cortos y el de las Cs. Sociales procesos
largos. El uso de estndares se encuentra asociado con la especificidad de los mecanismos de
evaluacin, es decir, las evaluaciones indirectas que emplean el sistema de evaluacin de
desempeo, utilizan los criterios y estndares previamente definidos. Esto permite realizar una
primera simplificacin del cuadro eliminando las variables extensin y uso de estndares
incorporndolos a la definicin de los enfoques.
Si entonces categorizamos los casos de acuerdo al enfoque, especificidad y periodicidad nos
encontramos con tres tipos claramente discriminados
1 + 2= evaluacin con el marco de las ciencias sociales, con metodologa especialmente
desarrollada y procesos largos. Estos pueden ser puntuales o establecidos como permanentes. El
xito de los procesos depender de la disponibilidad de recursos materiales, de tiempo y
tcnicos para llevar a cabo los procesos de capacitacin.
3 + 4= marco de referencia de HRD con abordajes especficos y procesos cortos. Este grupo
toma como referencia los autores de la lnea de capacitacin, pueden ser puntuales o habituales.
El xito de los procesos depender de la conexin existente entre la lnea y recursos humanos.
5= Marco de referencia de HRD con abordajes no especficos, y procesos cortos. Este grupo
toma mecanismos ya establecidos en las organizaciones como el de la evaluacin de
desempeo son habituales y disponen de criterios y estndares prediseados por la
organizacin.
Tabla de simplificacin de dimensiones: enfoque, especificidad, periodicidad
93
ESPECIFICO
MARCO DE REFERENCA
CS.SOCIALES
SI
NO
HRD
Habitual
No habitual
Habitual
No habitual
ESPECIFICO
SI
NO
MARCO DE REFERENCA
CS.SOCIALES
HRD
2
4
evaluacin especfica del
evaluacin especifica del impacto
impacto desde el enfoque de de las habilidades aprendidas en
las ciencias sociales
la capacitacin en vinculacin
con el management
0
3
evaluacin no especfica del
impacto a partir de mediciones
globales del desempeo de los
trabajadores
2
7
COMO APLICARLO
INDICADORES DE XITO
persona desde el crculo completo de contactos diarios que esta pueda tener, abarcando desde el
personal hasta clientes, jefes y compaeros143. En este caso tambin la evaluacin se realiza
sobre competencias estandarizadas para toda la compaa, como se observa, por ejemplo en la
planilla que se presenta a continuacin:
Manejo de la poltica
Mejora continua
Satisfaccin de clientes
Produce un trabajo de alta calidad
Seguridad y medio ambiente
Resolucin de problemas
2.-Anlisis de problemas y toma de
Hallazgo de hechos
Decisiones
Ejerce su criterio
Recursos internos
Jugador de equipo
3.-Trabajo en equipo
Abierto
Solidaridad y confianza
Resolucin de conflictos
Trabajo bajo presin
Relaciones interpersonales
4.-Comunicacin
Escuchar
Emisin y recepcin de datos
Compromiso con la organizacin
5.-Responsabilidad y compromiso
Integridad
Automotivacin
Disposicin
Tenacidad
Es flexible
6.-Adaptabilidad / flexibilidad
Adaptabilidad
Enfoque mltiple
Comprensin emptica
Espritu emprendedor
7.-Creatividad e innovacin
Creatividad
Es innovador
Curiosidad intelectual
Orientacin hacia el proceso
8.-Capacidades tcnicas y analticas
Planeamiento y organizacin
Negociacin
Capacidades funcionales
Influencia
9.-Liderazgo
Conocimiento y visin del negocio
Constructor de quipos
Creacin de condiciones de desarrollo
Autonoma
10.-Delegacin
Empowerment
Seguimiento
Consultor
Extrado de Planilla de evaluacin de desempeo caso H
1 Sistema de gestin empresaria
Las competencias detalladas en cada uno de los casos resultan muy generales y vagas.
La influencia de la capacitacin en estos casos es muy indirecta. El argumento en cada
uno de los casos es que la capacitacin se planifica utilizando estas competencias como
objetivos o lnea direccional. Sin embargo, en alguno de los casos, como por Ej. el caso
143
El nivel 4 se aplicaba a los 8 meses a travs de los supervisores o jefes directos. El objetivo de
este nivel era constatar en qu medida se haban satisfecho las necesidades que originaron los
cursos de capacitacin. Se indagaba si se haban producido cambios en las personas que
realizaron el curso. Los aspectos a evaluar estaban definidos segn los cursos y en funcin de
las competencias definidas y estandarizadas por la organizacin. La informacin se recababa
con cuestionarios o entrevistas y la observacin de los jefes.
PROPUESTA
EQUIPOS
MATERIALES
EQUIPO
HUMANO
Cual....
Los posee actualmente?
Fuente: Extrado de Gua para la aplicabilidad del conocimiento caso C
98
RECURSOS
ECONOMICOS
Mucho
mejor
Algo
mejor
Sin
cambio
Algo
peor
Mucho
peor
NC
Capacitacin
Toma de decisiones
Iniciativa
Hacia el trabajo
Hacia sus subordinados
Hacia sus jefes
Fuente: Extrado de Gua para la evaluacin de resultados Caso C
99
100
En el caso del INTA (Caso E, pp. 104 y pp. 174) se evala el impacto de la formacin
recibida de los tcnicos que asisten a posgrados en el exterior. El inters en realizar
estas evaluaciones es la obtencin de informacin relevante para ajustar las decisiones
sobre la gestin de la capacitacin. Se releva informacin sobre las caractersticas de la
capacitacin recibida, la calidad de asistencia que recibe de su institucin durante su
proceso de capacitacin y el desempeo del tcnico y su contribucin a la organizacin
una vez de regreso en su puesto de trabajo.
La evaluacin se realiza en tres etapas, una vez que los tcnicos ya formados regresan al
pas, a los tres y seis meses posteriores. Se utiliza un complejo y extenso cuestionario
como instrumento de recoleccin de la informacin, que indaga en cada una de las
etapas sobre las caractersticas de la formacin recibida, la conformidad por la
formacin obtenida en cuanto a excelencia y pertinencia, el xito en el traslado a la
tarea, su nueva produccin y las caractersticas contextuales que pudieron impedir su
aplicacin.
En las dos ltimas etapas se solicita tambin, en el mismo cuestionario la opinin del
jefe y del grupo de trabajo. Esta evaluacin tiene una duracin de 6 meses. Una de las
dificultades centrales que conspira contra el xito de la misma es que los capacitados no
responden el cuestionario y que luego no se dispone de personal para procesarlo. Por
otro lado, en la consideracin de jefes y grupo de trabajo, por la forma en que est
solicitada, se sesgan las respuestas, lo que conspira contra la validez de la informacin
obtenida.
En el caso A los mecanismos de evaluacin de impacto se encuentran instalados y
funcionan corrientemente, en el caso E es una actividad que no logra ser puesta en
marcha por las dificultades sealadas, a pesar de reconocer otros intentos de evaluacin
realizados en el mismo organismo, en aos anteriores, a travs de la contratacin de
especialistas144.
144
8.- Sntesis
A partir del trabajo desarrollado en esta parte B, podemos sealar los siguientes
resultados:
En primer lugar como resultado de la consulta realizada a 49 empresas u organismos se
ha obtenido un panorama general de las prcticas de evaluacin de impacto sobre la
base de los 9 casos encontrados que emplean este tipo de evaluacin.
Las organizaciones que evalan el impacto son en general de tamao grande, pertenecen
a distintas ramas de la produccin del sector pblico y privado. La evaluacin se aplica
a cursos con distinto tipo de modalidades y contenidos, destinados en su mayora a
niveles gerenciales. Se observ a partir del anlisis de las caractersticas estructurales y
de tipo de prcticas de evaluacin que la institucionalizacin de la evaluacin es un
requisito importante para el desarrollo de la evaluacin de impacto.
Cuando las organizaciones intentan evaluar el impacto se enfrentan con una serie de
dificultades como la complejidad de obtener parmetros objetivos de medicin de
impacto, el control de los elementos de contexto cuyo peso pueden desvirtuar la
influencia de la capacitacin, la falta de tiempo y de recursos necesarios para la
aplicacin de esta tcnica y la inconveniencia de no contar siempre con una cultura de la
evaluacin instalada en las organizaciones, que resulta un elemento facilitador para
desarrollar estas prcticas.
Es a travs de la aplicacin de sus saberes prcticos que las 9 organizaciones que
fueron encontradas en la consulta han resuelto la brecha que se plantea entre teora y
prctica, es decir la distancia entre las recomendaciones de los expertos y la posibilidad
de aplicacin de las tcnicas de evaluacin, resolviendo todos o algunos de los
problemas que se sealaron precedentemente.
Estas organizaciones presentan experiencias que resultan de inters a los capacitadores
en aplicar la evaluacin de impacto. Por lo tanto, con el objeto de caracterizar estas
formas de resolver los problemas planteados se utiliz el anlisis comparativo mediante
la cual se lleg a obtener tres tipos definidos de evaluacin del impacto de la
capacitacin operantes en la prctica:
a.-evaluacin no especfica del impacto a partir de mediciones globales del desempeo
de los trabajadores,
b.-evaluacin especfica del impacto
management,
contrastacin de los modelos operantes en la prctica con los modelos tericos que
presenta la bibliografa especializada permite encontrar las debilidades en los modelos
tericos predominantes y/o la propuesta de estrategias alternativas para su resolucin
Tambin, como otro de los resultados del trabajo de campo, se obtuvo un panorama
general del contexto en el cual se desarrollan las prcticas de evaluacin de impacto a
partir de la caracterizacin de las organizaciones que integraron la consulta. Estas
organizaciones pblicas y privadas de la Capital Federal, predominantemente del sector
manufacturero (en el caso de las privadas), de gran tamao y con reas especficas
dedicadas a la capacitacin de personal desarrollan actividades de capacitacin de larga
duracin dirigidas a sus mandos medios y altos.
Se pudo observar distintas modalidades de capacitacin de larga duracin: cursos
externos en general en convenios con universidades para la realizacin de
especializaciones, maestras y doctorados, y cursos internos desarrollados por las
mismas organizaciones como por ejemplo: programas de desarrollo de carrera
orientados al reemplazo de cuadros, programas de formacin de cuerpos especiales
(especialmente en el sector pblico) como el cuerpo de abogados de la Nacin (ISEN,
ECAE, etc.) algunos de ellos discontinuados. La duracin de estos cursos vara entre 5
meses y 3 aos, los contenidos se vinculan en su mayora con la tarea central de la
organizacin y otro tanto sobre temas de administracin. Algunos de estos cursos son
evaluados a travs de la evaluacin de impacto, pero muchos de ellos emplean otras
estrategias de evaluacin y otros no emplean ningn tipo de evaluacin.
Se recopil a travs de este estudio, distintas modalidades de evaluacin de sus
actividades de capacitacin de larga duracin. Las organizaciones que evalan sus
actividades de capacitacin lo hacen a travs de los sistemas de evaluacin ya existentes
en la organizacin, a travs de credenciales expedidas por terceros o mecanismos
especialmente diseados a tal fin. Se detectaron cuatro modalidades: seguimiento
formal (certificaciones formales que expiden las instituciones externas que participan en
la capacitacin), confiando en la idoneidad de los centros de formacin, evaluacin de
los aprendizajes, se evala el aprendizaje de los alumnos a travs de dispositivos
clsicos con el objeto de indagar la adquisicin de conocimientos, pero sin extenderse a
la transferencia de los mismos al puesto de trabajo. El tercer mecanismo es el de la
evaluacin del desempeo se orienta a evaluar el desempeo del alumno en el trabajo
(logros, competencias, productos y valores) utilizado preferentemente por
organizaciones privadas, y sistemas de evaluacin especfica que indagan acerca de las
transformaciones ocurridas en el trabajo ms all de las certificaciones formales
obtenidas.
En sntesis, esta recopilacin de formas de evaluacin de la capacitacin con foco en la
evaluacin de impacto conduce, al menos en una primera instancia, a abrir el camino
para la construccin de un modelo terico de evaluacin de impacto sobre base emprica
que permita resolver las brechas existentes entre los desarrollos tericos y su aplicacin
en la prctica de la capacitacin. En la parte C se analiza en profundidad un tipo
especial de evaluacin de impacto con el objeto de contribuir en este sentido.
103
105
145
146
2.4.-Metodologa de evaluacin
Se realiz un estudio de evaluacin de impacto en tres etapas a travs de la
aplicacin de una encuesta autoadministrada con preguntas abiertas y cerradas,
(ver Anexo II, pp. 197).
La primera etapa se aplica en forma inmediata a la finalizacin de la capacitacin en
el exterior y est a cargo del tcnico que ha recibido la formacin. Se requiere
informacin sobre
INDICADORES
TIPO DE
PREGUNTA
Nombre
Edad
Centro
Director
Periodo
Grado
Objetivo de la capacitacin
Logro de los objetivos
Abierta
1 ENCUESTA
DATOS PERSONALES
Datos laborales y formacin
acadmica
148
SI
NO
Abierta
Cerrada
Abierta
A veces el problema es que si el gerente no tiene una lnea clara, el tcnico busca sus propios espacios
independientemente de las necesidades de la organizacin y sus usuarios. (extrado de entrevistas con personal del
INTA)
108
Abierta
Cerrada
APRENDIZAJE REALIZADO
Que aprendi
APRENDIZAJE PENDIENTE
Desea profundizar
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
MODIFICACIONES EN LAS
TAREAS POR LA CAPACITACION
RECIBIDA
Aplico
Causas de la aplicacin
Razones de la aplicacin parcial
Razones de la no aplicacin
Hubo modificaciones
Modificaciones ocurridas
Razones de la no ocurrencia de
modificaciones
OBSTACULOS EN LA APLICACION Enumeracin de obstculos
COMENTARIOS
3 ENCUESTA
109
Cerrada
Abierta
Cerrada
Cerrada
Cerrada
Cerrada
Abierta
Abierta
Abierta
ALTA
MEDIO
BAJA
Cerrada
SI
NO
PARCIALMENTE
Cerrada
COMENTARIOS
2 ENCUESTA
APLICACIN DE LO
APRENDIDO EN LA TAREA
EN QUE SE DESEMPEA
Abierta
Abierta
Abierta
Abierta
Cerrada
Abierta
Cerrada
Cerrada
DATOS CENTRALES DE LA
CALIDAD DE LA FORMACION
OTRAS INSTITUCIONES
RECOMENDADAS
EXPECTATIVA DE APLICACION
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Cerrada
Abierta
Abierta
Abierta
Abierta
Para el tcnico
TRANSFERENCIA DE LOS
CONOCIMIENTOS AL GRUPO DE
TRABAJO
METODOLOGIA DE
TRANSFERENCIA
Transfiri conocimientos
Grado de transferencia en %
SI
NO
PARCIALMENTE
Cursos
3.
4.
Taller
5.
Jornadas
Grupo de pertenencia
PERTINENCIA DE LA
INCORPORACION DE
CONOCIMIENTOS
MEJORAS POR LA
INCORPORACION DE NUEVOS
CONOCIMIENTOS
ADECUACION DE LA
METODOLOGIA DE
TRANSFERENCIA
OBSTACULOS EN LA
TRANSFERENCIA,
INCORPORACION Y APLICACIN
DE CONOCIMIENTOS
Cambios
Tipos de cambios
Porcentaje de cambios
Razones de la no ocurrencia de
modificaciones
Pertinencia
Razones de la pertinencia
Razones de la no pertinencia
Enumeracin de mejoras
Adecuacin
Razones de la adecuacin total
Razones de la adecuacin parcial
Razones de la no adecuacin
Existieron obstculos
Enumeracin de los obstculos
Sugerencias para salvar los obstculos
110
Cerrada
Semiabierta
Abierta
Abierta
Cerrada
Abierta
Abierta
SI
NO
PARCIALMENTE
Cerrada
SI
NO
PARCIALMENTE
Cerrada
SI
NO
PARCIALMENTE
Cerrada
SI
NO
PARCIALMENTE
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Abierta
Cerrada
Abierta
Abierta
ENCUESTA 1
ENCUESTA 2
ENCUESTA 3
Total
36 casos
N
34
22
16
72
%
Respuestas
47.2
30.6
22.2
100.0
%
Casos
94.4
61.1
44.4
200.0
Estas variaciones en los totales de respondientes van a ser observados en los totales de
los cuadros que se presentan en este captulo.
149
CENTRO REGIONAL
Porcentaje
vlido
Porcentaje
acumulado
Frecuencia
Porcentaje
2.8
2.8
2.8
22.2
22.2
25.0
5
1
4
2
2
1
13.9
2.8
11.1
5.6
5.6
2.8
13.9
2.8
11.1
5.6
5.6
2.8
38.9
41.7
52.8
58.3
63.9
66.7
8.3
8.3
75.0
2.8
2.8
77.8
4
4
36
11.1
11.1
100.0
11.1
11.1
100.0
88.9
100.0
Centros de Formacin
En realidad el nmero ser siempre 36 pues una persona realiza dos capacitaciones distintas y es tomada como dos
personas.
111
Count
PAIS
DONDE SE
CAPACITO
ESPAA
MAESTRIA
5
DOCTORADO
6
CURSO DE
CAPACITACION
O CHARLAS
MAESTRIA Y
DOCTORADO
NO
CONTESTA
3
Total
14
ESTADOS UNIDOS
BRASIL
ARGENTINA
MEXICO
CUBA
FRANCIA
NO CONTESTA
Total
CANADA
1
1
8
16
36
Los centros de formacin a los que asistieron los becarios en cada pas son en general
universidades de distintas regiones, en el cuadro que se observa a continuacin se puede ver
algunos de estos centros por pas.
31. Centro de estudios por pas
PAIS DONDE SE
CAPACITO
LUGAR
DONDE
SE
UNIVERSIDAD DE ALMERIA
UNIVERSIDAD DE ANDALUCIA
FORMO
UNIVERSIDAD DE CORDOBA
ESPAA
UNIVERSIDAD DE ZARAGOZA
UNIVERSIDAD POLITECNICA DE VALENCIA
INSTITUTO VALENCIANO DE INVESTIGACIONES AGRARIAS
UNIVERSIDAD DEL ESTADO DE WASHINGTON
UNIVERSIDAD DE TENNESSE
UNIVERSIDAD DE WISCONSIN MADISON
UNIVERSIDAD DE SAN PABLO
RADIO NEDERLAND TRAINING CENTER
EEA RAFAELA-SANTA FE
FUNDASOL
INRA SAD DIJON-CLEARMONT-FERRAND-MONTPELLIER
.
.
14
Total
ESTADOS UNIDOS
.
5
Total
BRASIL
.
2
Total
ARGENTINA
Total
FRANCIA
Total
CANADA
UNIVERSIDAD DE GUELPH
Total
MEXICO
UNIVERSIDAD DE YUCATAN
Total
CUBA
150
2
1
1
8
C. R. SANTA FE
Salud animal
Mastitis bov ina
Inmunologa, biologia molecular
Entrenamiento en tcnicas de biologa molecular aplicables al
diagnstico de enfermedades bov inas
C. R. ENTRE RIOS
C. R. CORRIENTES
C. R. MISIONES
Desarrollo forestal
Agroecologa
Agroecologa y desarrollo rural
Desarrollo econmico en America Latina
Mejoramiento de cebolla
C. R. PATAGONIA NORTE
113
Se les pregunt a los tcnicos si estaban conformes con la calidad de los estudios.
La mayora respondi que s. Dos de los encuestados responden estar
parcialmente conformes con la calidad de los estudios debido a que consideraron
escasa la cantidad de horas ctedras y encontraron desajuste en los contenidos de
los cursos en relacin con sus necesidades. (Cuadro 33)
33. Calidad de los estudios segn centro de capacitacin
CALIDAD DE LOS
ESTUDIOS
SI
ESPAA
PAIS DONDE
SE CAPACITO
11
PARCIALMENTE
2
TOTAL
13
ESTADOS UNIDOS
BRASIL
ARGENTINA
MEXICO
CUBA
FRANCIA
NC
7
31
Total
7
2
33
33 respondientes.
Se pidi tambin que explicaran la razn por la cual estaban conformes con la calidad de los
estudios y las respuestas se agrupan de acuerdo a los juicios que emiten los estudiantes sobre los
contenidos y la propuesta pedaggica. Respecto de los contenidos de los programas se indaga
sobre su actualizacin y especializacin. Las caractersticas de la propuesta pedaggica ofrecida
por los programas se refiere a la pertinencia y calidad de las actividades de la formacin, la
posibilidad de interactuar con alumnos de otras especialidades, especialistas o investigadores,
etc.. Es decir se tom en cuenta tanto la forma de organizacin de las actividades de enseanza
y aprendizaje como la variedad de experiencias ofrecidas.
La mayora de las respuestas coinciden en que lo que fundamenta la calidad de
los programas es la especializacin de los contenidos y las caractersticas de la
propuesta pedaggica, como se observa seguidamente en el cuadro 34. Sin
embargo, tambin algunos becarios destacaron como elementos de juicio para
avalar la calidad de los estudios el prestigio o trayectoria de las instituciones (3
114
respuestas).
34.
Count
FUNDAMENTOS DE
CALIDAD DE LOS
ESTUDIOS
ACTUALIZACION DE
LOS CONTENIDOS
ESPAA
ESTADOS
UNIDOS
BRASIL
PROPUESTA
PEDAGOGICA
ESPECIALIZACION Y
PROFUNDIDAD DE
LOS TEMAS DE
INTERES
CONTENIDOS Y
PROPUESTA
PEDAGOGICA
MEXICO
CUBA
NC
1
1
Total
2
ARGENTINA
3
3
20
20 Respondientes, 16 no responden.
De los 33 que responden a la pregunta sobre su conformidad con la calidad de los estudios, slo
20 lo justifican.
Se pregunt si los profesores a cargo del desarrollo de los programas estuvieron a la altura
acadmica de las expectativas de la capacitacin en relacin con los temas de su
especializacin. La mayora, 26 de los 28 que respondieron, estuvieron satisfechos con la
calidad de los profesores, 2 lo estuvieron parcialmente, uno de ellos justific su respuesta por la
baja calidad acadmica de algunos profesores.
Se solicit que justificaran su juicio acerca de la calidad de los profesores (preguntas
abiertas). Las respuestas fueron categorizadas de la siguiente manera:
EE.UU.
BRASIL
ARGENTINA
MXICO
CUBA
NC
TOTAL
Formacin
acadmica
Experiencia en
investigacin
Experiencia de
trabajo en el rea
Capacidad docente
15
Prestigio
1
0
115
ESPAA
EE.UU.
BRASIL
ARGENTINA
MXICO
CUBA
FRANCIA
NC
TOTAL
11
37. Por que recomienda la institucin por tema del programa y centro de formacin
U. DE ALMERIA
U. DE ANDALUCIA
Agroecologa
Agroalimentos
U.POLITECNICA DE VALENCIA
Citricultura
Reconocimiento internacional en
citricultura.
Postcosecha de ctricos
Entrenamiento en tcnicas de
biologa molecular aplicables al
diagnstico de enfermedades
bov inas.
U. DE CORDOBA
U. DE TENNESSE
U. DE SAN PABLO
La ex periencia de Cuba es
importante.
118
QUE APRENDIO
UNIVERSIDAD DE ALMERIA
UNIVERSIDAD DE ANDALUCIA
Agroecologa
Agroalimentos
Economa institucional. Herramientas para anlisis del sistema agroalimentario, competitividad de Pymes,
articulacin y coordinacin con el sistema agroalimentario.
UNIVERSIDAD DE ZARAGOZA
Produccin animal
Mayor amplitud de visin. Diversas tcnicas aplicadas para la investigacin de reproduccin animal.
Citricultura
UNIVERSIDAD DE CORDOBA
Metodologa para el estudio biolgico de plagas, anlisis de datos de laboratorio y campo, estudios
bioqumicos, matemticos y estadisticos.
I. VALENCIANO DE INVESTIGACIONES AGRARIAS
Postcosecha de ctricos
Parmetros de calidad de frutos citricos, influencia del uso del frio, importancia tratamiento cuarentario.
UNIVERSIDAD DE TENNESSE
Mastitis bovina
Mejoramiento de cebolla
UNIVERSIDAD DE YUCATAN
Salud animal
119
39. Que desea profundizar por tema del programa y centro de estudios y becario
TEMA DEL PROGRAMA DE FORMACION
CENTRO
REGIONAL
CENTRO REGIONAL
CORRIENTES
CENTRO REGIONAL MENDOZA
SAN JUAN
CENTRO REGIONAL LA PAMPA
SAN LUIS
Salud animal
Citricultura
Postcosecha de ctricos
Uso de baos de agua caliente para reducir daos del frio, mecanismos
de daos por frio.
Mejoramiento de cebolla
Agroalimentos
Aprendizaje de adultos.
120
Otros becarios expresaron su deseo de profundizar sus estudios parcialmente. Como por
ejemplo el caso del becario del Centro Regional Misiones, con su especializacin en
desarrollo forestal, que le interesa profundizar en programacin lineal. O el becario que
se perfeccion en Agro-ecologa, que le interesara parcialmente continuar estudiando
sobre desarrollo y extensin rural entre otras cosas.
NO
PARCIALMENTE
5
Total
5
falta flexibilidad
otorgamiento prorroga
la escasa duracion de la
beca para la realizacion del
doctorado
15
a. TUVO INCONVENIENTES = SI
Respondieron
25, 10 no responden
Los otros casos se refieren a situaciones de desajuste entre los montos de las becas y el
costo de la vida en el pas que se capacitaron, o dificultades en la comunicacin con sus
directores por razn de las distancias .
Expectativas
Se pregunt a los encuestados en qu medida crean que iban a poder aplicar en su tarea
lo aprendido en su reinsercin en su lugar de trabajo en el INTA. Respondieron a esta
121
EXPECTATIVA DE APLICACION
ALTO
RAZONES POR
LAS QUE TIENE
EXPECTATIVAS
DE APLICACION
(CODIFICADA)
MEDIO
NC
Total
VINCULO ENTRE
FORMACION Y SU TRABAJO
17
17
LOS CONTENIDOS DE LA
FORMACION SON VALIOSOS
PARA EL SECTOR
FALTA DE RECURSOS O
EQUIPOS
OTRO
NC
Total
23
36
Los que dicen que tienen expectativas medias de aplicacin se remiten directamente a la
crisis econmica y a la falta de disponibilidad de presupuesto e infraestructura para
llevar a cabo la aplicacin de los nuevos conocimientos adquiridos. A continuacin se
122
La crisis econmica en la zona en que me desempeo hace que los conocimientos se puedan aplicar
medianamente
Recursos limitados para hacer investigaciones complementarias a las efectuadas
Se necesita incorporar equipamiento bsico y la elaboracin de bases de datos lleva mucho tiempo
con informacin no siempre disponible
Algunas metodologas no las puedo aplicar por falta de equipamiento y financiacin, desarrollo un
programa con los efectos benficos de la cebolla en la salud
4.
Se solicit tambin la opinin de los encuestados (en preguntas abiertas) sobre los
factores a nivel institucional, del grupo de trabajo y personal, que favorecen u
obstaculizan la aplicacin de los conocimientos adquiridos en su capacitacin: Esta
pregunta se vuelve a realizar en la segunda y tercer etapa.
Los factores institucionales fueron categorizados en tres: lneas de trabajo
coincidentes con la formacin recibida, provisin de recursos materiales para
realizar su trabajo en el rea y la existencia de grupos de trabajo especficos que
trabajan en el rea de inters del becario.
La mayora, 14 de 21 personas de los distintos Centros Regionales que respondieron a
este tem, expresaron que los factores institucionales que favorecen la aplicacin son
las lneas de trabajo coincidentes con la formacin recibida (cuadro 42 ). En 3 de los
centros (Santa F, Corrientes y San Luis) se le agrega adems, como factor positivo, la
provisin de recursos materiales para trabajar en el tema.
42. Factores
Recuento
CENTRO
REGIONAL
PROVISION DE
RECURSOS
MATERIALES
PARA TRABAJAR
EN EL AREA
CONSTITUCION
DE EQUIPOS DE
TRABAJO EN EL
AREA
OTRO
C.R. SANTA FE
C.R. CORDOBA
Total
C.R. CORRIENTES
C.R. MISIONES
NC
1
Total
1
8
5
2
1
2
1
13
34
1
1
14
Cada respondiente tiene ms de una opcin de respuesta. En base a 21 respondientes, totales sobre las respuestas
123
NO PROVISION
DE RECURSOS
HUMANOS Y
MATERIALES
C.R. SANTA FE
C.R. CORDOBA
CENTRO
REGIONAL
NO HAY LINEAS
DE TRABAJO
COINCIDENTES
CON LA
FORMACION
1
OTROS
Total
1
2
3
C.R.CORRIENTES
C.R. MISIONES
NO HAY
EQUIPOS DE
TRABAJO
CONSTITUIDOS
1
1
2
2
13
2
1
17
Cada responderte tiene ms de una opcin de respuesta. En base a 17 respondientes, totales sobre las respuestas .
En relacin con los factores grupales que favorecen la aplicacin las respuestas se
centran en la buena formacin de los compaeros o en la buena predisposicin a
trabajar en esos temas.
En los factores grupales que obstaculizan la aplicacin contestaron slo 10 de los
encuestados y se refieren a carencia de equipos formados, de recursos y en dos de
los casos a la escasa prioridad del tema para el resto de l grupo.
Los factores personales que favorecen la aplicacin se refieren al desafo del
mejoramiento personal e inters centrado en el tema. En cuanto a los factores
negativos se refieren a cuestiones salariales o incentivos, que en realidad, tiene que
ver con lo institucional.
Aplic lo aprendido
ALTO
SI
12
PARCIALMENTE
3
NC
8
Total
23
18
36
MEDIO
NC
1
13
En qu aplic lo aprendido
Debido a que las orientaciones de formacin y los tipos de trabajo que realizan los
becarios son dispares se opt por formular preguntas abiertas, que si bien permiten
captar mayor riqueza de informacin, traen inconvenientes en el procesamiento de la
informacin, pues las respuestas, no son homogneas.
Otra de las dificultades es que las personas no respondieron a todas las preguntas
formuladas lo cual genera falta de representatividad en el total de las respuestas. En
cuanto a los problemas de aplicacin, se observa que no todos los encuestados
respondieron a las mismas preguntas debido a que no cumplimentaron los mismos
cuestionarios.
En razn de estas dificultades y con el objeto de aprovechar la informacin existente se
realiz anlisis de texto de las preguntas abiertas, se tomaron las respuestas a dos de las
preguntas formuladas y se las proces como una.
Una de las preguntas que hace referencia a la aplicacin de los conocimientos fue
formulada de la siguiente manera:
1)
NO
PARCIALMENTE
Otra de las preguntas hizo referencia a los logros obtenidos a raz de la aplicacin de los
conocimientos. Pero tampoco esta pregunta fue respondida por todos los becarios por
las mismas razones expuestas precedentemente y se trat por separado.
En sntesis, la informacin se proces agrupando las respuestas en una variable que se
denomina Aplicacin y transferencia de los conocimientos.
Las respuestas se categorizaron de la siguiente manera:
Aplicacin de nuevas tcnicas en este punto se incluyen la aplicacin de nuevos
conocimientos aprendidos en el proceso de formacin, tanto en el rea de
investigacin, de extensin o de gestin.
126
Direccin de tesistas
127
Aplicacin de nuevas
tcnicas
BUENOS AIRES
SANTA FE
1
4
3
1
1
3
1
1
0
0
ENTRE RIOS
2
1
0
1
1
CORRIENTES
1
2
0
0
0
MISIONES
2
1
0
0
1
CHACO-FORMOSA
1
0
1
1
1
TUCUMAN
0
2
2
1
2
LA PAMPA
2
1
1
0
1
PATAGONIA
2
3
3
3
2
TOTAL
14
15
11
7
9
RESPUESTAS
(24.6%) (26.3%) (19.3%) (12.3%) (15.8%)
Direccin de tesis
Realizacin de
vnculos institucionales
Publicaciones
Capacitacin de
recursos humanos
CENTRO
REGIONAL
Realizacin de
proyectos
0
0
0
0
0
0
0
1
0
1
(1.8%)
TOTAL
RESPONDIENTES
4
3
2
2
2
1
2
2
3
21
Logros obtenidos
Esta pregunta resulta de difcil categorizacin por las mismas razones expuestas
precedentemente. De 21 encuestados, 15 afirman haber obtenido logros en la aplicacin
de los conocimientos (6 no responden).
Los logros enunciados en las respuestas abiertas por los encuestados estn referidos a :
8.
9.
EL TECNICO APLICO
LO APRENDIDO 12
MESES DESPUES
Total
Total
3
8
5
16
EXPECTATIVA
DE APLICACION
AL FINALIZAR LA
CAPACITACION
ALTO
EL TECNICO APLICO LO
APRENDIDO 12 MESES DESPUES
PARCIAL
SI
MENTE
NC
3
5
15
Total
23
25
36
MEDIO
NC
Total
Si realizamos un seguimiento de los progresos de aplicacin se observa que dentro del grupo de
9 con expectativas moderadas 2 aplican a los 6 meses y 3 a los 12 meses. Los 15 que presentan
expectativas altas de aplicacin, afirman que aplican a los 6 meses, y 7 a los 12 meses.
49. Cruce
Count entre los que aplicaron 6 meses despus y los que aplicaron 12 meses despus
EL TECNICO APLICO LO
APRENDIDO 12 MESES
DESPUES
SI
APLICO LO APRENDIDO
A SUS TAREAS 6
MESES DESPUES
SI
PARCIALMENTE
2
PARCIALMENTE
Total
Total
Es decir que de los 32 con expectativas de aplicacin (altas o medias), se tiene noticias a travs
de este relevamiento de que 19 aplican sus conocimientos entre los 6 y los 12 meses. Quizs se
podra sugerir como hiptesis, que pasados los 12 meses hay una baja en el porcentaje de
aplicacin, si a los 6 meses haba varios encuestados que respondan que la aplicacin era alta,
ahora se instala el mayor nmero de respuestas en aplicacin intermedia. Sin embargo el
nmero de respuestas se va reduciendo tanto que slo sirve como para tomarlo en cuenta como
una tendencia posible en futuras indagaciones ms completas. (cuadro n 50).
50. Aplicacin de lo aprendido a los 6 y 12 meses segn expectativas previas de aplicacin
APLICO 12 MESES DESPUES
EXPECTATIVA
DE APLICACION
PREVIAS
ALTO
APLICO 6 MESES
DESPUES
SI
SI
2
PARCIALMENTE
Total
15
PARCIALMENTE
NO CONTESTA
Total
NC
NO
CONTESTA
NO CONTESTA
MEDIO
PARCIALMENTE
SI
NO CONTESTA
Total
4
131
TOTAL
12
3
8
23
2
7
9
1
3
4
Respuestas
Casos
19.2
71.4
15.4
57.1
15.4
57.1
15.4
57.1
15.4
57.1
19.2
71.4
26
100.0
371.4
N
Transferencia a travs de
artculos
Transferencia a travs de
seminarios
Transferencia a travs de
asesoramiento
Transferencia a travs de
formulacin de proyectos
Transferencia a travs de
relaciones Inst.
Transferencia a travs de
capacitacin
TOTAL
Responden 7 personas, 9 no responden
52.
Cambios observados en la aplicacin 12 meses despus por Centro Regional
Recuento
CAMBIOS OBSERVADOS EN LA APLICACION 12
MESES DESPUES
PARCIAL
SI
NO
MENTE
NC
CENTRO
REGIONAL
CENTRO REGIONAL
BUENOS AIRES SUR
CENTRO REGIONAL
SANTA FE
CENTRO REGIONAL
CORDOBA
CENTRO REGIONAL
CORRIENTES
CENTRO REGIONAL
MISIONES
CENTRO REGIONAL
TUCUMAN S.DEL
ESTERO
CENTRO REGIONAL
LA PAMPA SAN LUIS
CENTRO REGIONAL
PATAGONIA NORTE
Total
1
1
1
1
Total
16
a. ENCUESTA 3 = SI
CENTRO
REGIONAL
CENTRO REGIONAL
SANTA FE
CENTRO REGIONAL
CORRIENTES
CENTRO REGIONAL
MISIONES
CENTRO REGIONAL
TUCUMAN S.DEL
ESTERO
CENTRO REGIONAL
LA PAMPA SAN LUIS
CENTRO REGIONAL
PATAGONIA NORTE
Total
Total
3
1
1
1
1
133
11
LUGAR
DE
TRABAJO
CR CORRIENTES
CR PATAGONIA NORTE
EEA RAFAELA
Adopcin de metodologas de
experimentacin adaptativa en el plan de
extensin, desarrollo de actividades
tendientes al desarrollo sostenible del
Gran Chaco
CR SANTA FE
CR SAN LUIS
EE MONTECARLO
Mayor autodeterminacin y
autosuficiencia.
EE SAN LUIS
EA CERRO AZUL
134
Pertinencia de lo transferido
Esta pregunta fue respondida por 10 de las 16 personas que respondieron a la tercer
encuesta, que afirman que lo transferido es pertinente para el grupo.
Tabla de contingencia CENTRO REGIONAL * LO TRANSFERIDO POR EL BECARIO
12
a
MESES DESPUES ES PERTINENETE PARA EL GRUPO,SEGUN EL GRUPO
55. Pertinencia de los conocimientos transferidos por el tcnico para el grupo por centros
regionales.
Recuento
LO TRANSFERIDO POR EL
BECARIO 12 MESES DESPUES ES
PERTINENETE PARA EL
GRUPO,SEGUN EL GRUPO
PARCIAL
SI
MENTE
NC
CENTRO
REGIONAL
CENTRO REGIONAL
BUENOS AIRES SUR
CENTRO REGIONAL
SANTA FE
CENTRO REGIONAL
CORDOBA
CENTRO REGIONAL
CORRIENTES
CENTRO REGIONAL
MISIONES
CENTRO REGIONAL
TUCUMAN S.DEL
ESTERO
CENTRO REGIONAL
LA PAMPA SAN LUIS
CENTRO REGIONAL
PATAGONIA NORTE
1
3
1
1
2
3
Total
1
3
Total
3
3
16
a. ENCUESTA 3 = SI
Razones de la pertinencia
Se pregunt en forma abierta sobre las razones de la pertinencia. En lneas generales los
compaeros expresan que hubo una mejora en la capacidad del grupo y la afinidad de
los conocimientos adquiridos con el trabajo que se desarrolla en el centro experimental.
Se pregunt tambin sobre la existencia de mejoras para el grupo. 10 de los encuestados
afirmaron haber percibido mejoras en el grupo. Estas mejoras son:
135
1.
2.
3.
4.
3.12.-Sntesis
La encuesta piloto fue aplicada a 36 tcnicos del INTA que realizaron experiencias de
capitacin en el exterior, en tres tiempos, a su regreso al lugar de trabajo, a los 6
meses y a los 12 meses. Hubo una prdida importante entre la primera y la ltima
encuesta de ms de la mitad de los respondientes.
La mayora los becarios del INTA provienen de Centros Regionales del interior del
pas de Corrientes, Entre Ros, Santiago del Estero, Chaco, Crdoba, Ro Negro, Santa
Fe, San Luis, Buenos Aires, La Pampa y Mendoza. Se formaron en universidades del
exterior, concentrndose principalmente en Espaa (40 %) para la obtencin de sus
ttulos de maestra o doctorados. Algunos de los encuestados asistieron a cursos de
capacitacin o charlas..
En relacin con la primera parte de la encuesta, el 90 % de los becarios afirman haber
alcanzado los objetivos de su formacin en las distintas reas. La mayora se encuentra
conforme con la calidad de los estudios. Se observa un ajuste prcticamente total entre
las expectativas de formacin y la formacin recibida debido al prestigio de los lugares
elegidos, la excelencia del cuerpo de profesores y las caractersticas del programa de
formacin. (61 %)
El 88 % de los que respondieron en esta etapa expres el deseo de profundizar sus
conocimientos en distintas temticas. A su vez, el 90% recomienda los mismos centros
donde se formaron para futuros estudiantes, 8 tcnicos recomiendan otros centros de
estudios como mejores o alternativos a los que concurrieron de acuerdo a los temas de
formacin.
136
137
En sntesis, la formacin recibida parece haber tenido algn tipo de impacto en el trabajo de los
becarios que respondieron a la encuesta, pero no se puede dimensionar con claridad la
profundidad del mismo. Las reas donde se observa mayor impacto es en la mejora en el
desempeo de trabajo a partir de la incorporacin de nuevas tcnicas y procedimientos y la
realizacin de proyectos.
138
140
Si
No
Si
No
ALTO
MEDIO (EFECTIVIDAD)
INCOHERENTE
NULO
A partir del cruce de estas dos variables se obtiene una medida general del impacto de la
capacitacin recibida, como alto, medio, nulo. El paso siguiente es la identificacin de las
reas de impacto y la consideracin de los aspectos intervinientes de tipo estructural o
vincular que inciden en el proceso de transferencia e impacto en cada una de las instituciones
a las que pertenecen los encuestados.
Si se toma la categorizacin en reas construida sobre la base de las respuestas se puede
observar entonces los cambios en el desempeo y producto del trabajo. En el cuadro que se
presenta a continuacin se puede ver como sobre 21 de 35 encuestados los beneficios que el
153
Esta relacin causal se estima como orientativa y no cerrada, se trata ms de un supuesto que de una comprobacin
fehaciente de la transformacin como resultado de la intervencin.
142
% Resp.
25.4
20.6
22.2
15.9
15.9
60
N
0
4
1
1
0
6
% Resp
0
66.7
16.7
16.7
0
5.7
N
5
4
10
6
11
36
% Resp
13.9
11.1
16.7
27.8
30.6
34.3
1.-DATOS GENERALES
143
NOMBRE
CENTRO DEL INTA
PERIODO DE FORMACIN
GRADO OBTENIDO EN LA CAPACITACIN
TEMA
(Pueden categorizarse en relacin con las lneas de trabajo del INTA o de categoras relativas al
rea disciplinar)
DE COYUNTURA
Econmicos
Polticos
Actualizacin de conocimientos
Ajuste de los conocimientos y la experiencia de los participantes. Conocimientos pasibles de ser
aplicados
Experiencia de trabajo interdisciplinario
Buena combinacin de investigacin y formacin
PRODUCTOS OBTENIDOS
Nueva sistematizacin de informacin a partir de la aplicacin de nuevas tcnicas segn
reas de polticas o de trabajo del INTA
Extensin
Investigacin
Nuevos proyectos realizados
Recursos humanos capacitados
Experiencias de difusin cientfica realizadas
Nuevos equipos formados
Publicaciones
Realizacin de vnculos institucionales
Institucionales (facilitadores/obstaculizadores)
Externos (facilitadores/obstaculizadores)
145
154
En relacin con la dificultad de evaluar la productividad de organizaciones cientficas, slo a ttulo de ejemplo se
puede mencionar un interesante trabajo de Snchez Aizcorbe (1971) que entiende por productividad el cociente de un
producto por uno de los factores de la produccin teniendo en cuenta que:.-No implica una relacin causal (causa
efecto) entre el factor y el resultado , y por lo tanto no pretende aportar una solucin al problema de la imputacin. .no expresa, bajo ninguna de sus forma, aspectos eminentemente particulares de la relacin entre la produccin y el
conjunto de los medios puestos en accin. Define como productos: las publicaciones, la produccin cientfica y la
formacin de recursos humanos y define como factores de la produccin: los recursos humanos , los materiales y los
recursos financieros. SANCHEZ AIZCORBE, Csar, et al Estudio de la productividad del sistema cientfico en el
rea de las ciencias geo-heliofsicas en la Repblica Argentina, Universidad del Salvador, Buenos Aires, 1971. Sobre
este punto ver tambin Gngora, N: "Algunos problemas de la evaluacin de las organizaciones de I.D." en
"Seminario Franco Latinoamericano de Gestao Tecnologica" . ALTEC-Universidade de Sao Paulo. Sao Paulo. 1985.
146
El valor de las medidas financieras no tienen sentido en este nivel de anlisis. El retorno
de la inversin en tecnologa e investigacin para el pas requiere de estudios muy
especficos que pueden desarrollarse sobre la base de experiencia acumulada luego de
algunos aos de seguimiento con este esquema, sumando una perspectiva econmica en
el marco de las polticas de desarrollo agropecuario.
Si bien es deseable la realizacin de un control permanente del proceso de transferencia y
aplicacin, tambin es importante realizar un balance entre los tiempos de la gestin y la
posibilidad de obtener informacin. Es preferible intervenir menos veces en el campo y obtener
mejor informacin, con lo cual una encuesta intermedia a los 6 meses de retorno del tcnico a su
lugar de trabajo permite prever (si el procesamiento es rpido) las dificultades de aplicacin
para subsanarlas, si es posible a la brevedad. Pero en realidad el mecanismo podra realizarse
slo en dos veces: al regreso y luego al tiempo que podr ser entre los 6 y 12 meses.
La metodologa clsica en evaluacin de impacto postula la construccin de una lnea de
base para poder realizar un examen antes y despus comprobando los cambios producidos en
las conductas y productos. Sin embargo esta metodologa exige un trabajo de diagnstico previo
importante que puede ahorrarse a travs del anlisis minucioso de los productos y los factores
intervinientes en relacin con las lneas de poltica, los objetivos de la capacitacin y
necesidades de las distintas audiencias de la capacitacin.
En relacin con los instrumentos las encuestas y la observacin de los jefes y pares
implementada de manera de guardar la privacidad y la expresin libre en las respuestas,
son herramientas valiosas para recabar informacin cualitativa y cuantitativa. Las
entrevistas con los jefes pueden reforzar la informacin obtenida.
Este diseo se perfecciona con el uso y se orienta a conformar una base sencilla de fcil
sistematizacin y que permita la realizacin de estudios por cortes por rea de desarrollo
tcnico-agropecuario y por centros o estaciones regionales.
147
5.-Sntesis
En esta parte del trabajo se present una nueva propuesta metodolgica de evaluacin
de impacto de la capacitacin en base a la reformulacin de la encuesta de evaluacin
de impacto realizada por el INTA. Se realiz el procesamiento de los datos primarios
-no recabados por la autora- de las 72 encuestas cualitativas aplicadas en tres tiempos a
los tcnicos del INTA y un anlisis de los aspectos metodolgicos de la encuesta
destacando sus aciertos y debilidades.
Se encontraron dificultades tanto en la construccin como en la aplicacin del
instrumento, las principales son: 1.- la encuesta posee gran nmero de preguntas
abiertas y es demasiado extensa, 2.-no se aplic el mismo instrumento a todos los casos,
3.- no se cuenta con indicadores pre-diseados o medida de impacto, por la diversidad
de ocupaciones de los sujetos, 4.- no existe un registro claro y unvoco de las
modificaciones ocurridas en el trabajo a partir de los relatos de los sujetos debido en
parte a la formulacin de las preguntas. Una de las debilidades centrales de la consulta
es el poco nmero de respuestas obtenidas y la prdida de prcticamente casi la mitad
de los encuestados.
Luego del procesamiento y anlisis de los datos se aplic la tcnica de la arqueologa de
datos empleada por Geert Hofstede155, con el objeto de elaborar una metodologa de
evaluacin de impacto en base a datos reales, de acuerdo con los objetivos planteados
por la institucin
A partir del anlisis se propone la redefinicin del concepto de evaluacin de impacto,
entendido como una mejora en las prcticas y la generacin de nuevos productos, con
la intencin de construir un indicador que resuma las transformaciones ocurridas. Se
categorizar las reas de impacto del INTA en aplicacin de nuevas tcnicas,
formulacin de proyectos, formacin de recursos humanos, desarrollo de nuevos
vnculos y publicaciones.
Se procesan los datos de acuerdo a una nueva recategorizacin del instrumento y se
observa que sobre un total de 105 respuestas el 60 % expresan una transformacin alta
en la produccin que podra esperarse de los becarios, con lo cual podra suponerse que
el impacto del programa estudiado es moderado. Las reas de mayor impacto son la
aplicacin de nuevas tcnicas, formulacin de proyectos y formacin.
Finalmente se propone un nuevo instrumento y nuevos procedimientos de
administracin de la encuesta, as como la bsqueda de parmetros de comparacin de
la calidad de los productos.
Esta nueva metodologa de evaluacin de impacto de la capacitacin, realizada a partir
de una nueva mirada del concepto de impacto surge como una propuesta que, avalada
desde lo terico y desde la praxis organizacional, resulta factible de ser aplicada en las
155
Geert Hofstede "Cultures Consequence. Comparing Values, Behaviors, Institutions and Organizations
Across Nations. Sage Publications, Thousand Oaks, CA, 2001
148
149
3.-La institucionalizacin
Una de las hiptesis que orientaron este trabajo es que para la realizacin de
evaluaciones de impacto se precisa previamente una serie de condiciones que fueron
definidas como condiciones estructurales, metodolgicas, pedaggicas que generan un
marco adecuado y posibilitador de realizar prcticas ms complejas de evaluacin. En
realidad lo que se precisa es un grado importante de institucionalizacin de las prcticas
156
ARGYRIS, C. Conocimiento para la accin . Una gua para superar los obstculos del cambio en las
organizaciones.Granica,
154
4.-Los modelos
Si pensamos en la implementacin de actividades de evaluacin de impacto como un
problema a resolver, la prctica de evaluacin en organizaciones nos muestra diferentes
soluciones. Los tres modelos observados, entendidos como formas de hacer de los
actores, son tres respuestas posibles a la hora de evaluar el impacto de la capacitacin,
cada uno con sus ventajas y dificultades.
Las evaluaciones indirectas del impacto son menos confiables en la medida en que sus
conclusiones sern estimativas y depende en gran medida del ajuste existente entre la
planificacin del desarrollo de recursos humanos y las actividades de capacitacin. Pero
son ms econmicas pues se obtiene algn tipo de informacin en un mecanismo
culturalmente instalado y legitimado organizacionalmente y con bajo costo de obtencin
en recursos y tiempo. Utilizar los registros de la evaluacin de desempeo puede ser
incluso una interesante actividad complementaria
Los modelos directos requieren mayor inversin de tiempo y esfuerzo pero la
informacin que se obtiene es mucho ms rica, pertinente y ajustada a las necesidades
que originan la evaluacin. El diseo de los indicadores no es una tarea sencilla y no es
raro que se precise del concurso del personal de la lnea, si se trabaja con el juicio de
jefes y pares. Es posible desde este abordaje, si la situacin lo permite (caractersticas de
la capacitacin, del trabajo, etc.), realizar anlisis de tipo financiero de la contribucin
de la capacitacin. En el caso de los diseos del tipo de las ciencias sociales, demandan
un tiempo que no est disponible en la mayora de las organizaciones privadas. Pero el
seguimiento que se realiza es mucho ms profundo porque en general obtiene
155
158
Ver sobre los efectos olvidados en LAZZARI, L.., MACHADO, E. PEREZ, R..Teora de la Decisin Fuzzy
Ediciones Macchi. Buenos Aires1998.
156
WEICK, op.cit.
GORE, op. cit.
157
Sin embargo, dando todos estos supuestos por sentado y dadas las caractersticas del
conocimiento en las ciencias sociales (ver pp. 49) una alternativa es realizar las
evaluaciones como una exploracin en sucesivas aproximaciones de las
transformaciones que la intervencin pudiera generar en los destinatarios y sus espacios
laborales a partir del aprendizaje. An teniendo en cuenta que las relaciones que se
enuncian no son concluyentes, si no ms vale tentativas, alguna informacin siempre es
mejor que ninguna.
Esa exploracin de las transformaciones se pueden realizar a travs de la observacin,
de la obtencin de registros existentes en la organizacin, o a travs de preguntas a los
sujetos o sus grupos de trabajo. La solucin es una propuesta flexible en relacin con el
contexto o la disponibilidad de recursos o evaluaciones. Cada una con miradas que
generan informacin
La observacin parece ser un instrumento interesante para tener en cuenta a pesar de los
sesgos (que son reales y existen) La observacin es uno de los instrumentos de mayor
empleo en las aulas por parte de los docentes a la hora de evaluar la tarea, lo mismo
puede ocurrir con los jefes o subalternos. El entrenamiento en observar es una prctica
que se pone en uso en varios de los casos en los que no se trabaja con evaluacin de
impacto.
El aprovechamiento de los registros existentes puede ser una buena alternativa y a
menudo las organizaciones disponen de registros que no son tomados en cuenta. Estos
pueden ser capitalizados como fuente de informacin en la tarea de evaluacin, Muchos
de ellos abren tambin la posibilidad de cuantificacin. Si bien la cuantificacin no
asegura la verificacin de las relaciones de causalidad, (hablar en cifras no asegura
mayor objetividad frente a ciertos fenmenos), provee de informacin de otro tipo que
es interesante contar.
Siguiendo la idea de Nickols de que no hay recetas para evaluar (o que quizs existan
varias disponibles ajustables a la realidad de la organizacin), es posible pensar que la
puesta en acto en sucesivas oportunidades permite ir reajustando y perfeccionando las
prcticas en la generacin de conocimiento pertinente para la organizacin y sus
miembros. Armar una historia de la evaluacin de impacto, como se ha observado que
hicieron en algunas instituciones, observar sus beneficios, corregir los errores, acumular
experiencia y luego socializarla es la forma de que la evaluacin pase a formar parte de
la cultura de la organizacin.
Evaluar el impacto deja de ser una cuestin de fe cuando se cambia de postura respecto
de la concepcin de aprendizaje, de ciencia y evaluacin que se emplea, as como los
marcos tericos sobre la realidad de las organizaciones. El aprendizaje en las
organizaciones, es un proceso complejo que se inscribe en una red de relaciones
construidas colectivamente. La evaluacin debe atender las caractersticas de este
proceso y orientar sus esfuerzos a generar la informacin posible que resulte de utilidad
para los miembros de la organizacin.
158
159
APENDICE:
Descripcin de los casos que evalan efectividad e impacto
En este apndice se presenta una descripcin profunda de las 2 experiencias de
evaluacin de efectividad y las 9 de impacto Se describen los casos tomando en cuenta
:
1.
2.
3.
4.
suceda cuando los alumnos se retiraban a hacer el curso y dejaban el puesto de trabajo,
qu trastornos provocaba en la carga y en el clima de trabajo.
Tambin se relev informacin del desempeo de los egresados acerca de si una vez
concluido el curso les haban asignado tareas de mayor responsabilidad en sus puestos
de trabajo, si haban pasado a reas de mayor jerarqua, las diferencias que notaban los
jefes en el desempeo de los cursantes, y si los trabajos finales de alumnos haban sido
tomados en cuenta.
5. Resultados obtenidos
La experiencia de evaluacin se realiz entre octubre del 98 y fines del 99 y result muy
satisfactoria para los entrevistados. Los resultados obtenidos permitieron constatar que
el curso era bueno y que era deseable que continuara con la realizacin de algunas
ajustes o modificaciones. No obstante a pesar de que los resultados recomendaban la
continuidad de la experiencia el programa fue discontinuado.
6. Modalidad de evaluacin
Esta evaluacin se trata de una evaluacin ex post de tipo cualitativa, que combina la
evaluacin de procesos con la evaluacin de impacto y la metodologa de triangulacin
a travs del relevamiento de informacin de distintas fuentes.
Caso B.
1. Datos generales de la organizacin e infraestructura con la que cuentan
Sector: Extraccin de petrleo y gas
Rama de la actividad: Extraccin de petrleo crudo y gas natural
Tamao: entre 3000 y 6000 empleados
El sector capacitacin est conformado por un grupo de profesionales en permanente
vinculacin con la lnea. Todas las tareas de recursos humanos estn involucradas con la
lnea, incluida la capacitacin. La capacitacin es entendida como uno de los pilares de
la empresa. Hay una cultura fundacional instalada que propugna al negocio como gestor
de los recursos humanos. El rea de Capacitacin tiene la funcin de soporte y ayuda a
los diferentes reas de negocio y cada negocio tiene un representante. La capacitacin es
entendida como un rea de servicio. La empresa est sometida a normas de calidad, lo
que tambin involucra al rea de Capacitacin. Los instructores son de la compaa,
tienen un perfil propio en relacin con los objetivos y capacitacin.
2. Caractersticas de los procesos de capacitacin desarrollados
El negocio detecta las necesidades de capacitacin con una herramienta corporativa que
sale de la evaluacin de desempeo que se realiza anualmente y consiste en el punto de
partida para la capacitacin. Algunas actividades surgen centralmente, pero la
capacitacin se plantea en general desde el negocio En los procesos de evaluacin de
desempeo anual las personas arman su propio plan de capacitacin.
162
Todas las actividades de capacitacin corporativa duran aproximadamente dos das pero
existen otras experiencias de capacitacin de mayor duracin entre otros como los
siguientes:
..-Plan de desarrollo de directivos en combinacin con el IAE o la Universidad Austral
El IAE desarrolla cursos de capacitacin para directivos a medida para cada
organizacin.
.-Nuevos profesionales son cursos dirigidos a 40 o 50 personas que ingresan a la
empresa. Involucra distintos tipos de cursos de introduccin a la empresa (induccin)
dirigidas a personas que estn en la compaa con una duracin de hasta 6 meses
.- Formacin de mandos medios, orientados hacia los planes de mejoras para el negocio.
.- Programa para tutores de nuevos profesionales para apoyarlos en el desarrollo de su rol.
.-Programa para secretarias
3. Objetivos de la evaluacin
El objetivo de las actividades de evaluacin es evaluar el negocio y encontrar las
debilidades y fortalezas de los programas. Se persigue obtener una retroalimentacin
sobre las mejoras y asegurar el mximo del aprendizaje ulico.
4. Estrategia metodolgica
Se realiza evaluacin de impacto en algunas de las actividades de capacitacin. Como
en el caso del negocio de lubricantes. El encuadre con el que se trabaja se basas en el
modelo de niveles de Kirkpatrick y de Phillips con la medicin de ROI.
En el nivel 1 se pide la opinin de los capacitados sobre los contenidos del curso., la
organizacin, la utilidad y la evaluacin del instructor. La clasificacin general del
curso de pobre a excelente.
CLASIFICACIN DE ACTIVIDADES DE CAPACITACIN
Pobre
Falto
desarrollo
Cumpli
Muy
bueno
Excelente
En el nivel 2 se toma un examen a libro abierto. A los directivos no se los somete a test, pero
son evaluados a travs de diversas tcnicas como entrevistas , observacin, centros de
evaluacin(assesment center), consultores, etc. .Los aspectos sobre los que se indaga son:
163
El nivel 3 (efectividad) se trabaja con observacin por parte de los jefes. Se busca
informacin sobre si el empleado aplic lo aprendido a la tarea, si mejor su
performance o competencia, y si lo aprendido permaneci en el tiempo, contribuyendo a
los resultados del negocio. La aplicacin se traduce en porcentajes definidos
previamente en 5 categoras que se vuelcan en una planilla. Los porcentajes son los
siguientes:
0 a 20 % El supervisor no observa mejora en la performance como resultado
de la capacitacin que realiz el empleado u observ algunos
efectos superficiales o temporarios que no incidieron finalmente en el
mejor desempeo de la competencia. Consensuado con el
empleado, manifiesta algunas de estas situaciones.
20 a 40 % El empleado aplica algunos de los conceptos o destrezas
aprendidos, pero manifiesta inseguridad o vacos en aspectos
crticos de la tarea a desarrollar. El empleado manifiesta inseguridad
en algunos puntos que se trabajaron durante la capacitacin.
Necesita refuerzo o realizar nuevamente el curso
50 a 60 % El empleado aplica conceptos o destrezas aprendidos pero
an manifiesta inseguridad o vacos en algunos aspectos
crticos de la tarea a desarrollar. El empleado, si bien mejor
su desempeo, necesita refuerzo en algunos temas que debi
desarrollar en el curso.
70 a 90 % El empleado aplica mayormente conceptos o destrezas
aprendidos con seguridad, especialmente en aspectos crticos
o claves de su tarea. Falta reforzar algunos de esos aspectos
para que obtenga una total autonoma
100%
El empleado manifiesta que aplica lo aprendido a todos los
aspectos crticos o claves de su tarea, demostrando una
mejora sustancial en su performance respecto de la
competencia correspondiente, o una optimizacin de la misma
en caso de que ya la realizara con cierta habilidad.
Extrado de Gua para la observacin y clasificacin del grado de aplicacin a la tarea Caso B
Esto permite tambin hacer un seguimiento del grado de avance de la aplicacin de los
conocimientos al puesto de trabajo. El avance se mide por la diferencia de la aplicacin
entre diciembre y enero X 100.
AVANCE = (DIFERENCIA DE LOS PROMEDIOS DE APLICACIN ENTRE ENERO Y DICIEMBRE) X 1OO
PROMEDIO DE LA APLICACIN A ENERO
164
Dpto./
Nombre
Supervisor alumno
Fecha del
curso
% de aplicacin de la competencia
Enero 99 Diciembre 99
Jos
Prez
Juana
Gmez
El negocio de los
lubricantes
Administracin de
servicio al cliente
Tcnicas de venta
Seminario de
management
40
70
70
90
20
40
% de avance
Precios internacionales,
mercado burstil,
poltica nacional,
poltica internacional,
consumo (oferta/demanda),
publicidad,
tecnologa,
competencia externa,
apertura de nuevos negocios,
presupuesto interno,
nuevo personal,
165
la
la
lo
se
produccin,
condiciones de salud e higiene ambiental,
desarrollo del personal (rotaciones, traslados, promociones),
condiciones de trabajo,
MBO,
liderazgo,
capacitacin ,
labor del personal,
consultores y asesores.
Caso C
1. Datos generales de la organizacin, e infraestructura con la que cuentan
Sector: Industria manufacturera
Rama de la actividad: productos alimenticios y bebidas
Tamao: menos de 1000 empleados
El departamento de recursos humanos est compuesto por una sola persona que atiende
cuatro funciones distintas de gestin de recursos humanos, entre las que se encuentra la
capacitacin.. En el ano 2001 se interrumpi el presupuesto para capacitacin,
considerada un rea no prioritaria en ese momento y los recursos se dirigieron al sostn
del negocio. Se suspendieron todas las actividades de capacitacin corporativa161.
2. Caractersticas de los procesos de capacitacin desarrollados
Actualmente la organizacin realiza capacitacin tcnica con sede en sus plantas y
capacitacin sobre management. En el ao 2000 se realiz una escuela de negocios
gerencial y de mandos medios cuya duracin alcanz los seis meses. Tambin se realiz
capacitacin del personal a travs de Master en Administracin de Negocios en el IAE.
Actualmente las nicas actividades de capacitacin que se realizan son cursos cortos y
tcnicos a nivel planta.
La planificacin de la capacitacin tiene dos fuentes: la evaluacin del personal en su
nivel de desempeo y la aplicacin de un diagnstico de necesidades de capacitacin
Una vez por ao y slo a una franja del personal por sistema SAP-METAse realiza
evaluacin de desempeo y se califica segn matriz (FODA) en la cual se consignan las
fortalezas y debilidades del personal. El otro insumo para la planificacin se obtiene a
travs del instrumento de deteccin de necesidades de capacitacin que se realiza
anualmente.
La organizacin cuenta con una serie de competencias definidas institucionalmente que
se cruzan con la capacitacin. Por ejemplo, dos de estas competencias son orientacin a
los resultados y orientacin al cliente. Los cursos se disean en funcin de estas
competencias.
161
En parte, estas son las razones por la cual la entrevistada estaba dejando la compaa en el momento de
realizarse esta entrevista.
167
3. Objetivos de la evaluacin
En relacin con la evaluacin de niveles 3 y 4 el objetivo se orientaba a conocer la
evaluacin de los supervisores de los participantes de las diferentes actividades, en
trminos de la modificacin de la actitud de los mismos en relacin con una mejora en
la eficiencia .
4. Estrategia metodolgica
Habitualmente se trabajaba con el esquema de Kirkpatrick, pero no todos los cursos se
evaluaban en todos los niveles. Cuando se realizaba capacitacin seguan la
metodologa de Kirkpatrick con sus 4 pasos, con un grilla de seguimiento que se
muestra a continuacin:
IN S T R U M E N T O
N IV E L E S
F E C H A
L e
E N C U E S T A
P R E S E N C IA L
T E S T E S C R IT O
A U T O A D M IN IS T R A B L E
E N C U E S T A
E N T R E V IS T A
D E V O L U C I N
D E R E A
a g r a d
G E R E N T E
D E
E V A L U A C IO N
L o
a p lic a ?
M e jo r
s u
tr a b a jo ?
E n e . - D ic . 2 0 0 0
M a rz o
A p r e n d i
E n e . - D ic . 2 0 0 0
F e b . 2 0 0 1
A L
2 0 0 1
tambin acerca de los factores que eran necesarios para la aplicacin de los
conocimientos (equipos materiales, humano y econmicos) y si estaban disponibles.
En este nivel tambin se aplicaban tcnicas como la de focus group .
GUIA PARA LA EVALUACIN DE APLICABILIDAD DE CONOCIMIENTOS
Cuales son los dos o tres conceptos bsicos desarrollados en el curso que puede o podra
implementar en su trabajo
En qu medida estos conceptos son aplicables a su tarea
Como llevara a cabo la implementacin de los mismos?
Tomado de Gua para la evaluacin de la aplicabilidad de los conocimientos. Caso C
EQUIPOS MATERIALES
EQUIPO HUMANO
RECURSOS
ECONOMICOS
Cual....
En el nivel 4, de evaluacin de los resultados, por ejemplo en uno de los casos se intent relevar
un cambios de actitud en los capacitados segn la opinin de sus supervisores. El cambio de
actitud era entendido como una mejora en la eficiencia de su desempeo (reduccin de costos).
169
En la planilla que se observa a continuacin se sealan los aspectos que deban ser observados
por los supervisores en el comportamiento de sus subalternos.
Actitud hacia
Mucho
mejor
Algo
mejor
Sin
cambio
Algo
peor
Mucho
peor
NC
Capacitacin
Toma de decisiones
Iniciativa
Hacia el trabajo
Hacia sus subordinados
Hacia sus jefes
Extrado de Gua para la evaluacin de resultados Caso C
6. Resultados obtenidos
La preocupacin central de la entrevistada es cmo aplicar la evaluacin de impacto en un
contexto muy cambiante donde todas las previsiones acerca de lo que se puede esperar del
proceso de capacitacin pueden dar por tierra a partir de las influencias del contexto. Por
ejemplo, una empresa capacita a una persona invirtiendo grandes sumas de dinero en un ao
pero luego, cuando esa persona se reincorpora a su trabajo lo despide. "La persona se lleva un
capital de la empresa que la empresa no recupera." (sic).
El otro de los temas que presenta dificultades es la escasez de tiempo para dedicar a la
capacitacin. dos das de capacitacin es mucho para el personal, no se los puede retirar de
su puesto de trabajo. El problema conexo es que una vez concluida la capacitacin el
capacitado se desvincula y es muy difcil realizar actividades de seguimiento. En sntesis de
acuerdo a la opinin de la entrevistada, las dificultades que presenta esta tcnica son que se
requiere una importante predisposicin de los participantes y jefes y gran disponibilidad de
tiempo para realizar el seguimiento posterior.
7. Modalidad de evaluacin
Aplicacin del modelo de cuatro niveles de Kirkpatrick
Caso D
1. Datos generales de la organizacin e infraestructura con la que cuentan
Sector: Industria manufacturera
Rama de la actividad: Productos alimenticios y bebidas
Tamao: entre 1000 y 3000 empleados
La organizacin es una franquicia de una empresa de bebidas, integrada por 2000
empleados, de los cuales 1000 constituyen la fuerza de venta. El departamento de
recursos humanos est formado por 7 personas y se divide en tres reas: Desarrollo
social, Relaciones laborales y Desarrollo y planeamiento del personal, integrada por
dos instructores y un gerente.
170
Plan de
desarrollo
individual
Capacitacin
Evaluacin y
plan de
mejoras
Ev.
desempeo
163
Se entiende por competencias una construccin, a partir de una combinacin de recursos (conocimientos, saber
hacer, cualidades o aptitudes , y recursos del ambiente (relaciones, documentos, informaciones y otros) que son
movilizados para lograr un desempeotomado de Le Boterf. De 40 preguntas sobre competencia laboral en
www.ilo.org/public/spanish/region/ampra/cinterfor/temas/complab
171
3. Metodologa
Para evaluar la capacitacin se utiliza entonces tres metodologas distintas: el centro de
evaluacin, la evaluacin de desempeo y la evaluacin de los aprendizajes.
a.-El centro de evaluacin incluye test psicolgicos, simulaciones, juegos de negocios
para la construccin de los perfiles. Se trabaja el tema de comunicacin, la empata, y el
conocimiento del negocio.
164
173
APLICACIN /
ACCION
COMO APLICARLO
Desarrollar ms la
parte C (sociabilidad)
Cantidad de contactos
Calidad del vnculo
Una pregunta en cada
interaccin
2 meses
Desarrollar ms la
parte D (percepcin)
5 meses
Cuestionar el status
quo
El mapeo mental
Desarrollo de la
intuicin
5 meses
5 meses
5 meses
4. Resultados obtenidos
Segn el entrevistado, hay tantas variables en juego que es muy difcil de medir,
segn su opinin la medicin cuantitativa no sirve porque no existe un correlato entre la
habilidad desarrollada y los resultados. Se puede trabajar con evaluacin cualitativa
pero "algunas personas no escriben"(sic). Es difcil demostrar en qu ha mejorado la
venta, puede no mejorar la venta, pero las condiciones externas hacen que no se
produzca un aumento en la venta y entonces el resultado es engaoso.
5. Modalidad de evaluacin
Evalan la capacitacin a travs de la evaluacin de desempeo
Caso E165
1. Datos generales de la organizacin y infraestructura con la que cuentan
Sector: Administracin pblica
Rama de la actividad: Administracin del estado y aplicacin de polticas econmicas
y sociales
Tamao: entre 3000 y 6000 empleados (3228 agentes)
165
Se presenta un resumen breve de las entrevistas realizadas. Este caso se desarrolla en profundidad en la parte C
104
174
Caso F
Apuntes para encuadrar la entrevista
175
Caso G
1. Datos generales de la organizacin infraestructura con la que cuentan
Sector: Extraccin de petrleo y gas
Rama de la actividad: Extraccin de petrleo crudo y gas
Tamao: entre 1000 y 3000 empleados (1200 agentes en argentina)
Es una empresa multinacional dedicada a la exploracin, explotacin, refinado y
comercializacin del petrleo. Posee refineras, estaciones de servicio y plantas de
177
Se transform en una organizacin regional integrados por 46 pases y gerenciada por unidades de negocios. La
compaa se organiz en clases de negocios y clases de servicios .
178
Caso H
1. Datos generales de la organizacin e infraestructura con la que cuentan
Sector: Suministro de electricidad, gas y agua
Rama de la actividad: distribucin de combustible gaseoso por caera
Tamao: menos de 1000 empleados (640 personas)
Esta organizacin es uno de los 10 empresas que se desprendieron de una empresa
estatal en el momento de la privatizacin. Se encarga de transportar el gas en el sur del
pas, en 7 provincias. Poseen 7000 Km. de cao de transporte. La mayora de sus
empleados poseen un perfil tcnico (ingenieros,) y de gestin (Lic. en administracin,
contadores, etc.)
El departamento de capacitacin est integrado por tres personas. El entrevistado dice
contar adems, con "brazos" en las provincias. Trabajan en forma interrelacionada con
la lnea, dice "no puedo hacer nada si no tengo la lnea asociada"(sic). Una de las
formas de vinculacin es a travs de lo instrumentos institucionales de planeamiento de
la capacitacin. (a mitad de ao se solicitan los diagnsticos de capacitacin que se
realizan en las otras sedes del pas cuando tienen presupuesto asignado para
capacitacin.)
2. Caractersticas de los procesos de capacitacin desarrollados
La organizacin desarrolla 4 tipos de actividades de capacitacin (corta y de larga duracin.):
a.-Actividades de capacitacin tcnica operativa: es capacitacin en aspectos tcnicos como
"Medidores ultrasnicos" o "Medicin bsica"
b.-Actualizaciones: cuyo propsito es actualizar al personal en temas tcnicos, como por
ejemplo conocimiento de nuevas normas legales que prescriben los procedimientos tcnicos.
c.-Actividades de capacitacin en gestin o managment: que se vincula con el desarrollo de
alguna competencia especfica. Como por ejemplo "negociacin"
d.-Actividades de desarrollo de personal. Estas actividades estn orientadas a la produccin de
cuadros de reemplazo. Se realiza una deteccin de necesidades de capacitacin a travs de la
evaluacin de desempeo de los agentes y luego se entrevista a los directores y se planifica
conjuntamente el plan de actividades de desarrollo personal. En estos planes se fijan metas de
tiempo en el cual el empleado deber encontrarse en determinadas condiciones tcnicas para
179
poder ocupar el puesto para el que se prepara, aunque el puesto no est efectivamente vacante
para ese momento.
Para las actividades de desarrollo se trabaja en vinculacin con otras instituciones como por
ejemplo: la Universidad de Buenos Aires (UBA), la Universidad de San Andrs, el Instituto
Tcnico Buenos Aires (ITBA), el Instituto Argentino de Petrleo y Gas (IAPG). A travs de
estos convenio los alumnos pueden cursar un posgrado o algunas materias, de acuerdo con la
oferta de la institucin externa.
La duracin de las actividades de capacitacin corta es en promedio de una jornada de trabajo.
Las actividades de desarrollo son aproximadamente de un ao de duracin.
3. Objetivos de la evaluacin
Los objetivos de la evaluacin de desempeo son consensuados entre evaluador y evaluado.
Uno de los objetivos es identificar aquellas competencias que presentan dificultades en su
ejercicio, para mejorarlas.
4. Estrategia metodolgica
La evaluacin de impacto se realiza a travs de la evaluacin de desempeo, en referencia a los
objetivos, planteados como resultados de desempeo a alcanzar. Se trabaja con autoevaluacin,
y con la observacin de los jefes, considerada la evaluacin por excelencia, ya que es el que
observa cul es el impacto de la capacitacin en el sujeto.
El procedimiento de evaluacin se aplica a travs de Internet: Primero se auto - evala
el empleado a travs de una planilla estandarizada a travs de Internet. l evala su
avance en las competencias estandarizadas para toda la empresa. Esta evaluacin pone
de manifiesto qu competencias debe mejorar la persona. Una vez completada por el
empleado, el jefe inmediato superior evala al empleado sobre la planilla del evaluado
(ver planilla pp. 162). Luego, se renen los dos y acuerdan la evaluacin. Esta reunin
se denomina charla de feedback.
Una vez que se renen todas las evaluaciones, se analizan cuales son las competencias con
mayor dficit y se arma el plan de capacitacin del ao siguiente para la compaa.
El rea de capacitacin administra este proceso de evaluacin. Cuando se enva a alguien a
capacitar se prevn unos objetivos que tambin son de conocimiento de la persona que se
capacita.
Tambin se realiza un tipo de evaluacin de desempeo llamada 360, que consiste en que la
persona es evaluada por su jefe, por los pares y los empleados. Luego se promedian las
respuestas y ese es el resultado de la evaluacin.
Los cursos de larga duracin se evalan a travs de la observacin de los jefes inmediato, no lo
hace directamente el sector de evaluacin, pero es quien participa en el armado de las planillas
de evaluacin de desempeo.
Tambin cuentan aspectos formales que son considerados en la capacitacin a largo plazo, que
son determinado nivel de asistencia y el diploma.
180
2.-Grado de importancia :
%.Resultados
_____________________________________________________________________
181
EVALUACION DE DESEMPEO
Seccin 2.-COMPETENCIAS
Manejo de la poltica
Mejora continua
Satisfaccin de clientes
Produce un trabajo de alta calidad
Seguridad y medio ambiente
Resolucin de problemas
Hallazgo de hechos
Ejerce su criterio
Recursos internos
Jugador de equipo
Abierto
Solidaridad y confianza
Resolucin de conflictos
Trabajo bajo presin
Relaciones interpersonales
Escuchar
Emisin y recepcin de datos
Es flexible
Adaptabilidad
Enfoque mltiple
Comprensin emptica
Espritu emprendedor
Creatividad
Es innovador
Curiosidad intelectual
Influencia
Conocimiento y visin del negocio
Constructor de quipos
Creacin de condiciones de desarrollo
Autonoma
Empowerment
Seguimiento
Consultor
No
satisfactorio
3.-Trabajo en equipo
4.-Comunicacin
5.-Responsabilidad y compromiso
6.-Adaptabilidad/Flexibilidad
7.-Creatividad e innovacin
9.-Liderazgo
10.-Delegacin
Poco
satisfactorio
Satisfactorio
Muy
satisfactorio
Caso I
1. Datos generales de la organizacin e infraestructura con la que cuentan
Sector: Suministro de electricidad, gas y agua
Rama de la actividad: distribucin de agua
Tamao: entre 3000 y 6000 empleados (4000 empleados)
Es una organizacin publica privatizada hace 10 aos. Posee un departamento de capacitacin
central y luego distintos centros por cada una de las 4 regiones y una fbrica de agua. El
departamento central de capacitacin est integrado por dos personas que coordinan las
actividades de capacitacin, dos de logstica y un jefe. Los centros perifricos estn integrados
por un jefe de recursos humanos que responde a las necesidades de la lnea y dentro de ese
equipo un coordinador de capacitacin en permanente vinculacin con el departamento de
capacitacin central.
2. Caractersticas de los procesos de capacitacin desarrollados
La capacitacin es entendida en la empresa como herramienta de gestin. Desde su inicio como
empresa privada, se desarroll una importante tarea de capacitacin para nivelacin de
conocimientos, especialmente se capacit en conocimientos de informtica Se desarrollaron en
los ltimos 5 aos 500.000 horas de capacitacin que fue planteada como una meta de logro de
la empresa.
La capacitacin se planifica a partir de los resultados de la evaluacin de desempeo. En
lneas generales, la capacitacin est orientada al puesto y ocasionalmente para el desarrollo,
tanto con capacitacin actitudinal como tcnica. La duracin habitual de las experiencias de
capacitacin alcanzan los dos das de duracin, pero tambin se desarrollan experiencias de
mayor duracin. Se desarroll un Programa Intensivo de Direccin de Empresas que
dur 160 horas. Tambin tienen 26 personas becadas (50%) en posgrados. Pero no es
una poltica abierta sino hacia algunas personas escogidas.
3. Objetivos de la evaluacin
No se realiza evaluacin de impacto en forma habitual, si no vinculada a proyectos
especiales. Si bien la prctica cotidiana en la organizacin es realizar una evaluacin de
opinin al finalizar la capacitacin, hubo una experiencia de evaluacin de impacto
desarrollada por una consultora
183
4. Estrategia metodolgica
Se utiliz un instrumento que era muy sencillo, pero tena una carga importante de
seguimiento posterior, lo que hizo que no se volviera a utilizar..
En relacin con la evaluacin, para los miembros de esta organizacin "lo que ms vale
es la palabra de la lnea. Ellos son el termmetro que utilizan para chequear si la
capacitacin result til". Estn en permanente comunicacin en forma espontnea.
5. Resultados obtenidos
Si bien los resultados obtenidos con la experiencia fueron interesantes, duda de la
utilidad de la evaluacin de impacto, porque las tareas de seguimiento posterior que
demandan no estn acordes, segn la entrevistada, a los ritmos de la organizacin
Sugiere que es un tema en discusin. La organizacin no la realiza y prefiere confiar en
la comunicacin permanente con la lnea.
6. Modalidad de evaluacin
Evaluacin de tipo cualitativa. Los registros de la experiencia no estn disponibles
184
atiende la llamada del usuario est ms capacitado para orientarlo y evitar gastos
innecesarios.
Otras de las mediciones que se realizan a travs de un sistema de capacitacin
programado (e-learning) es la tasa de retencin de los conocimientos y de la utilizacin
de lo aprendido.
6. Resultados obtenidos
No realizan evaluacin de impacto porque si trabajan con encuestas al jefe es muy
difcil recuperarla. De acuerdo con el entrevistado, para poder implementar este tipo de
experiencias de evaluacin se necesita instalar previamente un sistema informtico que
la recupere por s mismo y provea los resultados, pues no hay tiempo para hacer el
procesamiento de la informacin.
Caso K
1. Datos generales de la organizacin e infraestructura con la que cuentan
Sector: Industria manufacturera
Rama de la actividad: Fabricacin de partes, piezas y accesorios para automotores
Tamao: entre 1000 y 3000 empleados (1000 empleados)
Esta organizacin es una empresa multinacional que pertenece a la industria automotriz
y se dedica a la produccin de autopartes . El rea de recursos humanos est integrada
por dos personas en ajustada conexin continua con 7 divisiones a travs de consultas y
evaluaciones.
2. Caractersticas de los procesos de capacitacin desarrollados
En esta organizacin se trabaja a partir de la concepcin de que no hay nada que no
impacte en el negocio. Las actividades de capacitacin se planifican partiendo de una
deteccin de necesidades de capacitacin desde el rea de capacitacin con la
colaboracin de la lnea. El rea elabora los instrumentos y la orientacin para que la
lnea pueda trabajar en el diagnstico. Entre las herramientas habituales de seguimiento
de la capacitacin se emplean fichas de capacitacin por puesto de trabajo con matrices
de capacitacin en planta.
Las actividades de capacitacin que desarrolla la organizacin son de tres tipos :
a.- capacitacin "in company" (el instructor da el entrenamiento en las aulas). Se trabaja
con la participacin de instructores internos o externos, que en algunas oportunidades
son los gerentes o jefes o compaeros de trabajo.
'
b.- capacitacin "out company" : Pueden ser cursos de posgrado como Master in
Bussiness Administration (MBA) en convenio con universidades, o el curso de
186
187
1
Segurid
ad e
higiene
Proteccin
contra
incendios
Calidad
Movimiento de
carga
Mantenimiento
del sistema de
calidad
4
D
D
F
7
F
ASISTENT
E
CARGA
HORARI
A
COSTO
M: medio D: dbil
Puede mejorar no
obligatorio
6 7
Bueno
8 9
Muy bueno
No requiere
mejora
10
Excelente
189
INDUSTRIA MANUFACTURERA
1
2
3
C
D
PRODUCTOS ALIMENTICIOS Y
BEBIDAS
FABRICACION DE PRODUCTOS
MINERALES NO METALICOS
FABRICACION DE SUSTANCIAS Y
PRODUCTOS QUIMICOS
FABRICACION DE AUTOMOTORES
MAQUINARIA Y APARATOS
ELECTRICOS
FABRICACION DE SUSTANCIAS Y
PRODUCTOS QUIMICOS
COMERCIO MINORISTA
EXTRACCION DE PETROLEO
CRUDO Y GAS NATURAL
EXTRACCION DE PETROLEO
CRUDO Y GAS NATURAL
EXTRACCION DE PETROLEO
CRUDO Y GAS NATURAL
DISTRIBUCION DE COMBUSTIBLE
GASEOSO POR CAERIA
DISTRIBUCION DE AGUA
DISTRIBUCION ENERGIA
ELECTRICA
5
6
7
8
9
COMERCIO POR MAYOR Y MENOR
1
2
3
1
2
3
190
CLASIFICACION CENSAL DE
ACTIVIDADES
PRODUCTOS ALIMENTICIOS Y
BEBIDAS
EVALUAN LA
CAPACITACION DE
LARGA DURACION
INSTITUCION
ADMINISTRACION FEDERAL DE
INGRESOS PUBLICOS
INSTITUTO NACIONAL DE TECNOLOGIA
AGROPECUARIA
ESCUELA NACIONAL DE GOBIERNO
INSTITUTO NACIONAL DE
ADMINISTRACION PUBLICA
INSTITUTO NACIONAL DE TECNOLOGIA
INDUSTRIAL
INSTITUTO DE SERVICIO EXTERIOR DE
LA NACION
MINISTERIO DE EDUCACION
ESCUELA DE ABOGADOS DE LA NACION
MINISTERIO DE SALUD
SERVICIO NACIONAL DE SANIDAD
ANIMAL
DEAPARTAMENTO PEDAGOGICO-FCCE
AFIP
INTA
SGP
INAP
INTI
ISEN
MEC
ECAE
SENASA
UBA
191
INDICADORES
Institucin de la que forman parte
Recursos
Articulacin entre el centro de capacitacin y la lnea
Caractersticas del proceso Motivos que originan la capacitacin
de formacin o
capacitacin
Contenidos de la capacitacin
Objetivos
Modalidades de capacitacin
Educacin formal
Educacin a distancia
Vnculos con otras organizaciones
Desarrolladas por la organizacin
Duracin
Destinatarios
Nivel jerrquico
Modalidades del proceso
Tipos de evaluacin
Evaluacin diagnstica
de evaluacin
Evaluacin de reaccin
Evaluacin de aprendizajes
Evaluacin de impacto
Grado de institucionalizacin de
la evaluacin
Cantidad de personal
Trabajan articuladamente
Quienes evalan
Qu dificultades encuentran
193
Personal dedicado
especialmente
Personal que realiza otras
actividades
Los jefes participan
194
Resultados esperados
Resultados no esperados
Retroalimentacin de las
actividades de capacitacin
Anlisis costo beneficio
Jefes
Capacitadores
Usuarios de la
capacitacin
12. La evaluacin de impacto pretende averiguar acerca de los efectos de la capacitacin en las personas, en su
trabajo, etc. Responde a la pregunta "para qu sirvi la capacitacin"?
Realizan evaluacin de impacto de las actividades de capacitacin?.
13. Qu tipo de evaluacin emplean para evaluar el impacto de la capacitacin?
13.1. Evaluacin diagnstica
195
196
de los tcnicos del Organismo, como tambin dotar de mayores elementos de juicio al programa de
capacitacin para las siguientes actividades.
El objetivo de la segunda etapa es el de recabar informacin sobre la aplicacin de la capacitacin
recibida, los logros obtenidos, como tambin los obstculos que pudieron haber surgido en su
aplicacin.
El objetivo de la tercera etapa es el de recabar informacin sobre la transferencia de conocimientos
adquiridos por el tcnico con motivo de su capacitacin en el exterior al grupo de trabajo al que
pertenece y a eventuales demandantes relacionados con el rea de conocimientos en la que el
profesional se capacit.
198
ENCUESTA N 1
ENCUESTA A CUMPLIMENTAR POR EL TECNICO A LA
FINALIZACION DE LA BECA EN EL EXTERIOR
DATOS PERSONALES:
Apellido y nombre:..................................................................................................................................
Fecha de nacimiento:.............................................................................................................................
Unidad:....................................................................................................................................................
CAPACITACION:
Centro capacitador:..............................................................Lugar:......................................................
................................................................................................................................................................
Tema:......................................................................................................................................................
Nombre Director o Tutor:........................................................................................................................
Perodo:..................................................................................................................................................
Grado obtenido:......................................................................................................................................
Objetivo de la capacitacin:...................................................................................................................
................................................................................................................................................................
................................................................................................................................................................
................................................................................................................................................................
................................................................................................................................................................
199
1)
Considera Ud. que la capacitacin recibida durante la realizacin de la beca ha cubierto sus
expectativas en relacin a los objetivos planteados en el momento de su solicitud?
SI
NO
PARCIALMENTE
2)
NO
PARCIALMENTE
Los profesores que dictaron las materias de los estudios realizados estuvieron a la altura
acadmica de las expectativas de la capacitacin a que Ud. aspiraba en relacin a los temas
de su especializacin?
SI
NO
PARCIALMENTE
NO
PARCIALMENTE
200
5)
En el caso de que algn tcnico del INTA buscara ampliar sus conocimientos en esa especializacin:
a)
b)
NO
NO
NO
PARCIALMENTE
8)
Ha tenido inconvenientes durante su estada en el exterior referidos al cumplimiento de su
beca que obstaculizaron el normal desenvolvimiento de sus estudios?
a) Relacionados con el INTA
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
SI
NO
PARCIALMENTE
MEDIO
BAJO
.........................................
caso) la
OBSTACULIZAN
....................................
.........................................
....................................
..........................................
...................................
202
A nivel de grupo de
trabajo
A nivel personal
..........................................
..................................
...........................................
..................................
...........................................
..................................
..........................................
..................................
...........................................
.................................
...........................................
..................................
..................................................
........................................................
Lugar y fecha
203
ENCUESTA N 2 (Mediata)
En relacin a la capacitacin recibida con motivo de la beca ha podido aplicarla en la tarea que
desempea, segn los objetivos planteados en oportunidad de solicitar la formacin realizada?
SI
NO
PARCIALMENTE
Puede indicar algunos logros en relacin a modificaciones realizadas en las tareas en razn de la
incorporacin de la capacitacin recibida?
SI
NO
PARCIALMENTE
.
En el caso de que su respuesta fuera NO puede indicar las causas?
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
3)
Si hubieran surgido obstculos para la aplicacin parcial o total de los conocimientos adquiridos
para la realizacin de su tarea durante esta etapa puede sealarlos?
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
OBSERVACIONES GENERALES
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
..........................................................................................................................................................
.....................................
.................................................
Lugar y fecha
Firma
Nombre y apellido/ N legajo
205
ENCUESTA N 3
ENCUESTA A CUMPLIMENTAR POR EL TECNICO Y EN CONJUNTO POR EL GRUPO DE
TRABAJO, TRANSCURRIDOS 12 MESES DE LA FINALIZACION DE LA CAPACITACION.
OBJETIVO : Recabar informacin sobre la transferencia de conocimientos adquiridos por el becario,
al grupo de trabajo al cual pertenece.
a)
NO
PARCIALMENTE
* Cursos
* Taller
* Jornadas
.3) Cunto tiempo expresado en horas, das, etc., le ha dedicado a dicha transferencia?
....................................................................................................................................................
....................................................................................................................................................
....................................................................................................................................................
4)
NO
PARCIALMENTE
206
NO
PARCIALMENTE
3)
NO
PARCIALMENTE
NO
PARCIALMENTE
Lugar y fecha
Firma
Nombre y apellido/ Leg.N
208
Bibliografa
ABDALA, Ernesto. Manual de evaluacin de impacto en programas de formacin de jvenes.
CINTERFOR
/s.f.
http://www.cinterfor.org.uy/public/spanish/region/ampro/cinterfor/publ/sala/abdala/manual/m
AGUILAR IDAEZ, Mara Jos, ANDER- EGG, Ezequiel. Evaluacin de servicios y programas
sociales LUMEN, 1994.
AMAYA, Paula. Evaluacin de la capacitacin: clave en el desarrollo de evaluaciones pertinentes
orientadas a la satisfaccin y participacin ciudadana. Experiencias de gestin de la capacitacin en la
municipalidad de Florencio Varela. VI Congreso Internacional del CLAD sobre Reforma del Estado y
Administracin Pblica, Bs. As- Argentina, 5-9 de noviembre del 2001
American Evaluation Association. AEA-Task Force ."Guiding Principles for Evaluators", 2004.
http://www.eval.org/Guiding%20Principles.htm
American Training and development Association (ASTD) National Human Resources Development
Executive Survey. Fourth Quarter Survey Report, 1997
ANGULO, Jos Flix: Evaluacin de programas sociales de la eficacia a la democracia
APPLEGARTH, Michael: Programas de capacitacin. Cmo realizar una auditora. Ed. Legis,
Colombia, 1992
ARGYRIS, C. Conocimiento para la accin. Una gua para superar los obstculos del cambio en la
organizacin. Ed. Granica, Bs.As., 1999
AUCHEY, G. J., LEROY WARD, J., An Evaluation Model for Projet Management training
programs .Purdue University, Ws Lafayette, Indiana, Abril, 2000.
BALLART, X. "Cmo evaluar programas y servicios pblicos?. Una aproximacin sistemtica y
estudios de caso" Ministerio para las Administraciones Pblicas. Madrid, 1992
BARTON, A: El concepto del espacio de propiedades en la investigacin social. En Conceptos y
variables en la investigacin social Korn, F. Lazarsfeld, P., Barton, A. Menzel, H. Ed. Nueva Visin,
1984
BECKER, H. Trics Of the trade. How to think about your research while youre doing it University
or Chicago Press, 1998.
BERTAUX, D. "Biography and Society. The Life History Approach in the Social Sciences", Sage,
London, 1981.
BERTONI, A., POGGI, M. Evaluacin nuevos significados para una prctica compleja. Ed.
Kapelusz,
BIENCINTO, CH., CARBALLO, R. (2004). Revisin de modelos de evaluacin del impacto de la
formacin en el mbito sanitario: de lo general a lo especfico. Revista ELectrnica de Investigacin
y EValuacin Educativa, v. 10, n. 2. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm.
Consultado en (poner fecha).
BOLLMAN, L, DEAL, T.: Organizacin y Liderazgo. El arte de la decisin, EUA, Addison-Wesley
Iberoamericana, 1995
BOVERIE, P., SNCHEZ MULCAHY, D., y ZONDO, J. Evaluating the effectiveness of training
programs, 1994. http://www.zondlo.com/access/eval.htm.
BRAMLEY, Peter. Evaluating training effectiveness. Translating theory into practice Mac GrawHill Book Company. London, York, San Francisco, 1991
BRINKERHOFF, R. Achieving results from training. How to evaluate human resource development
209
to strengthen programs and increase impact. Josey-Bass Publishers, San Francisco, London, 1987.
BRIONES, G. Evaluacin Educacional. Formacin de docentes en investigacin educativa. Mdulos
de autoaprendizaje. CAB. Colombia, 1998
BROWM, D. "Evaluacin de polticas y programas en la regin del Caribe de habla inglesa:
problemas conceptuales y prcticos". Instituto Latinoamericano y del Caribe de Planificacin
Econmica y Social. ILPES. Chile, 2001.
CAMPBELL, D., STANLEY, J. Diseos experimentales y cuasiexperimentales en la investigacin
social. Amorrortu, Bs. As.1993
CARRIN CARRANZA, C. Valores y principios para evaluar la educacin. Piados Educador,
Buenos Aires, 2001.
CASTRO, Gregorio y CHAVES, Patricio Evaluacin de impacto de proyectos sociales. UNESCO,
Caracas, 1994.
CASTRO, Gregorio y CHAVES, P. Evaluacin de impacto de proyectos sociales. UNESCO,
Caracas, 1994
CERNA, J. :Ventaja Competitiva de la Capacitacin Seminario Internacional de Evaluacin de
Impacto de la Capacitacin en la Productividad. INACAP, 7 y 8 de Abril de 2004, Santiago de Chile.
CHELIMNSKY New dimension in evaluation. En OED-Word Bank: Evaluation and Development.
Proceedings of the 1994 World Bank Conference, Washington, 1995.
COHEN, E., FRANCO, R.: Evaluacin de proyectos sociales. Ed. Grupo Editor de Amrica Latina,
Bs. As. , 1988.
COOK, T.D.; REICHARDT, CH.S. ; Mtodos cualitativas y cuantitativos en investigacin evaluativa. Ed. Morata,
Madrid, 1986
la
LITWIN, Edith "La evaluacin campo de controversias y paradojas o un nuevo lugar para la nueva
enseanza". En Camilioni, A., Celman, S. Litwin, E. Y Palou de Mat, M. "La evaluacin de los
aprendizajes en el debate didctico contemporneo". E. Paidos Bs. As. 1998
LOPEZ DUKMAK, F. Roi- Retorno de la inversin en programas de capacitacin de personal
211
214