LA REALIDAD LOCAL DE LA EVALUACIN DE LA CAPACITACIN La hiptesis escrita antes de esta realidad.

Hace un tiempo, me pidieron que escribiera sobre la evaluacin de impacto de la capacitacin, dado que una de mis tesis vers sobre ese tema, y elabor un artculo que denomin Evaluacin de Impacto de la Capacitacin, una reflexin desde la prctica1, en el cual uno de los elementos centrales fue precisar que: En no pocas oportunidades es posible observar que cuando se intenta evaluar el resultado de la capacitacin, nos encontramos con que, o faltan elementos o informacin relevante, o la accin formativa no responde a necesidades y objetivos determinados, o simplemente se desea saber si lo hecho tiene algn grado de calidad y/o de efectividad (ex post facto). Esta premisa es la que orienta el presente escrito, por lo que revisaremos algunas intervenciones que hemos realizado en el tema y veremos si esta situacin se mantiene en estos das.

Por qu se est evaluando la capacitacin? En los ltimos 4 aos, la inversin en capacitacin ha tenido un aumento sostenido, especialmente en el sector pblico, con base en el Programa de Mejoramiento de Gestin (PMG), especficamente en el rea de Recursos Humanos, Sistema de Capacitacin, en que se estima que los recursos se acercan mucho al 1% de las remuneraciones imponibles de los funcionarios, asimilndose a lo dispuesto mediante la franquicia tributaria para capacitacin (SENCE) para las empresas privadas. De este aumento presupuestario se desprende que es necesario saber si esa inversin realmente genera resultados o si en vez de inversin debemos hablar de gasto.

Jaime Neilson Vargas, publicado en gestiopolis.com, ciberdocencia.com.pe, wikilearning.com y en otros sitios web. 2004 1

Especficamente, el PMG indica para el presente ao lo siguiente 2:

Las precisiones especficas al Programa Marco Bsico se refieren a los siguientes sistemas 3: a) Capacitacin. Se precisa que el objetivo contempla el ptimo funcionamiento de la institucin y se define dicho concepto. En la etapa 1 se trasladan objetivos especficos que quedarn como requisitos tcnicos y se agrega la informacin de los organismos capacitadores que presentaron propuesta en el portal Chilecompra y los resultados de la aplicacin del mecanismo de evaluacin y seleccin de oferentes. En la etapa 2 se incorpora en el objetivo lo relativo al diseo de los mecanismos de evaluacin de resultados de la capacitacin (satisfaccin, aprendizaje y aplicacin de lo aprendido en el puesto de trabajo). En la etapa 3 se agrega al objetivo relativo al Plan Anual de capacitacin lo correspondiente al gasto ejecutado en consistencia con el presupuesto de capacitacin asignado por la Ley de Presupuestos. Adicionalmente se traslada desde la etapa 3 a la 4 la aplicacin del mecanismo de evaluacin de los resultados de la capacitacin para mejorar la consistencia en la definicin de las etapas, ya que sta corresponde a la etapa de evaluacin. En la etapa 4, adicionalmente a lo sealado en la etapa 3, se agrega el objetivo de aplicar mecanismos de evaluacin de las competencias, ya que explcitamente no se seala. Finalmente, se precisa el objetivo referido a la Poltica de Capacitacin, sealando explcitamente que el Servicio formula, perfecciona y aplica la poltica de capacitacin, considerando las orientaciones de la Direccin Nacional del Servicio Civil.

Si bien esto se explicita de esta forma para el presente ao, en algunas instituciones pblicas se ha comenzado a evaluar la capacitacin desde el ao 2006 aproximadamente. En la empresa privada, el nfasis de la evaluacin se da, fundamentalmente, por dos aspectos: el primero por buscar aumentar la productividad por medio de la eficiencia de las personas, lo cual redunda en que se capacite con ese fin y, para poder determinar el efecto de esto se deban medir sus resultados en la productividad; en segundo lugar, por requerimientos dados por los sistemas de gestin de calidad basados en la Norma ISO 9001:2000, que en su captulo 6.2 expresa 4:
La organizacin debe

2 Requisitos Tcnicos y Medios de Verificacin, Programa de Mejoramiento de Gestin 2008, Direccin de Presupuestos, Ministerio de Hacienda, Diciembre 2007. 3 Ibid, p 6.4 ISO 9001:2000, traduccin certificada, p 6.

a) determinar la competencia necesaria para el personal que realiza trabajos que afectan a la calidad del producto, b) proporcionar formacin o tomar otras acciones para satisfacer dichas necesidades, c) evaluar la eficacia de las acciones tomadas, d) asegurarse de que su personal es consciente de la pertinencia e importancia de sus actividades y de cmo contribuyen al logro de los objetivos de la calidad, y e) mantener los registros apropiados de la educacin, formacin, habilidades y experiencia.

Como consultor, inserto en las empresas que me corresponde gerenciar, he realizado estudios para evaluar a la capacitacin ntese que evito usar el trmino de evaluar el impacto de la capacitacin en que he podido comprobar el estado de los sistemas de capacitacin y que procedo a describir a continuacin. Qu est pasando con los sistemas de capacitacin en las organizaciones? Sin duda que los sistemas de capacitacin estn mucho ms maduros que hace una dcada, ya que han integrado el enfoque sistmico a su accionar, basndose por lo general, en el modelo de mejora continua o ciclo Deming, en el cual se puede observar claramente la presencia de la evaluacin, relacionada con las otras etapas del proceso5.
PROPORCIONAR LA CAPACITACIN EVALUAR RESULTADOS DE LA CAPACITACIN MONITOREAR DISEAR Y PLANIFICAR LA CAPACITACIN DEFINIR LAS NECESIDADES DE CAPACITACIN

En lo referido a la gestin organizacional, es necesario reiterar que capacitacin se ha de asociar con sus polticas, objetivos, estrategias, planes, programas, resultados, etc. Adems, considero pertinente indicar que todo proceso de evaluacin puede diferenciarse, en lo general, segn sus fines6: 1) determinar la efectividad de las acciones de capacitacin, para determinar si stas han sido beneficiosas para la organizacin, y 2) determinar la eficiencia de las acciones de capacitacin, para establecer si la inversin realizada es social y financieramente rentable.
Basado en Norma ISO 10015 - 1999 Quality management - Guidelines for training. Bravo, Contreras y Crespi; Evaluacin de Impacto en Formacin Empresarial: el caso FUNDES; McGraw-Hill Interamericana, Chile, 2000; 1 2 pp. Neilson V. Jaime; Diseo de un Modelo de Capacitacin con Evaluacin del Impacto en la Productividad, en el Marco de la Educacin Continua; UMCE, Chile, 2001; 106 127 pp.
6 5

A la luz de resultados actualizados. Para entender cuando hablamos de niveles de evaluacin, considero necesario indicar que se est trabajando sobre la base de dos modelos, complementarios entre si, y que son los ms conocidos y utilizados en nuestro pas; me refiero a los generados por
Donald L. Kirkpatrick, (Univ. Wisconsin) y Jack J. Phillips (Univ. Alabama):

NIVEL
NIVEL I

Donald Kirkpatrick
Reaccin o satisfaccin Quedaron satisfechos los participantes con el programa?

Jack Phillips
Reaccin y Acciones Planeadas Mediciones de la reaccin de los participantes al programa y los resultados especficos de planes de implementacin. Medicin de los cambios en las habilidades, conocimientos y actitudes. Mediciones del cambio en la conducta en el trabajo y las aplicaciones especficas del material de capacitacin. Medicin del impacto del programa en el negocio. Costo/Beneficio: Medicin del valor monetario de los resultados y costos del programa, usualmente expresado en porcentaje.

NIVEL II Aprendizaje

NIVEL III

Aplicacin o transferencia

Qu aprendieron los Aprendizaje participantes en el programa? Se cumplieron los objetivos del curso? Cambiaron su Aplicaciones al conducta los Trabajo participantes en base a lo que se aprendi? Estn utilizando lo que aprendieron? El cambio afect Resultados de positivamente a la Negocio organizacin? Cules fueron los beneficios objetivos? -.Resultados

NIVEL IV

Resultados

NIVEL V -.-

Al realizar el anlisis de los resultados de las diversas organizaciones en las que he intervenido con el tema de evaluacin de la capacitacin, puedo concluir que se puede llegar sin mayor dificultad al nivel de evaluacin de aplicacin (nivel 3), con algunas
4

dificultades en el nivel 2; pero los dos niveles superiores son prcticamente inalcanzables en este momento. Esta conclusin se basa en la informacin obtenida en estudios realizados los aos 2006 y 2007 y que se resume en la siguiente tabla: .
Organizacin Pblica Privada TOTAL Actividades evaluadas 17 % 13 % 30 % NIVEL EVALUADO SEGN DATOS PROPORCIONADOS 1 2 3 4 5 17 10 16 1 0 100,0% 58,8% 94,1% 5,9% 0,0% 12 7 12 1 0 92,3% 53,8% 92,3% 7,7% 0,0% 29 17 28 2 0 96,7% 56,7% 93,3% 6,7% 0,0%

Grficamente se expresa de la siguiente forma:

Resultados por Nivel de Evaluacin

100,0% 80,0% % 60,0% 40,0% 20,0% 0,0% 1 Nivel Nivel 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5

Especficamente puedo indicar que la evaluacin de reaccin o satisfaccin (nivel 1) est instaurada en las organizaciones, aunque an se perciben algunas acciones que se quedan slo en la medicin, sin que se apliquen las acciones de mejora en los aspectos deficitarios; en lo referido al segundo nivel, evaluacin de aprendizajes, se observa que se aplican test de carcter sumativo, al finalizar la actividad, lo que permite medir el resultado de aspectos cognitivos, con algunas instancias de medicin de habilidades prcticas, pero que slo en poco ms de la mitad ha considerado los niveles de entrada de los participantes, lo que al ser realizado permite mostrar los logros de aprendizaje real de cada persona y del conjunto. En el nivel 3, de habilidades transferidas al puesto de trabajo, se ha logrado establecer el porcentaje de transferencia al poder definir los desempeos esperados de la actividad, contrastndolos con lo que las personas estn aplicando en sus
5

puestos de trabajo, aunque tambin se ha debido realizar estudios ex post, al no estar relacionada la capacitacin con la gestin (evaluacin) del desempeo, debiendo extraerse desde los objetivos explicitados para la accin de capacitacin. En el cuarto nivel, asociado a resultados obtenidos que impactan en el proceso al cual se asocia la capacitacin, no se aprecia que se considere en la planificacin y diseo de la capacitacin la informacin derivada de mediciones de indicadores de gestin o resultados, y slo en una oportunidad se pudo medir en este nivel, y fue cuando la necesidad surgi de mediciones cuantitativas de un sistema (atencin a usuarios), referidas a reclamos sobre aspectos concretos y que se pudo asociar directamente con determinadas competencias y, a su vez, establecer las brechas de los funcionarios respecto de esas competencias, por lo que al capacitarlos en las competencias deficitarias, se pudo verificar posteriormente, mediante una nueva medicin de reclamos de clientes asociados al aspecto definido inicialmente, si se haba revertido la situacin que gener la accin. Finalmente, el quinto nivel, conocido como ROI, no se ha logrado medir, al no contarse con informacin de cmo cada persona aporta a un resultado financiero de la organizacin y, por ende, a los cambios que se puedan generar en l al fortalecer competencias de las personas. En resumen, no ha sido posible determinar cunto de lo invertido (o gastado) en capacitacin lo recupera la organizacin. A modo de conclusin, se puede indicar que la evaluacin de la capacitacin slo se podr llevar a cabo en todos sus niveles o al menos hasta el cuarto nivel en la medida que su gestin sea integral. Esta integralidad se dar cuando se considere lo siguiente: La gestin de la capacitacin est asociada a la gestin de las personas y, a travs de sta, a la gestin organizacional. Al determinar las necesidades de capacitacin se establezcan claramente: o El origen (proceso y cliente interno), la situacin problemtica a mejorar (hecho el anlisis causa efecto). o Indicadores de gestin o de resultados asociados, con sus valores previos a la capacitacin.
6

o Competencias involucradas. o Brechas detectadas, identificando a las personas (idealmente asociado a gestin del desempeo). Durante el proceso de capacitacin se considere: o Determinacin de desempeos esperados. o Comunicacin de los desempeos y resultados esperados a los involucrados (facilitadores, alumnos, jefaturas) o Definicin de evaluaciones a realizar (diagnstico, sumativas tericas y prcticas, reaccin). o Controlar la actividad para reducir o evitar desviaciones. Despus de terminada la capacitacin: o Informar de los resultados y sugerencias para fortalecer lo aprendido a jefaturas y participantes. o Evaluar las habilidades (competencias) de los participantes en su puesto de trabajo. o Medir los resultados de los indicadores asociados.

La hiptesis hoy. Recordemos que al comienzo de este artculo indicamos: En no pocas oportunidades es posible observar que cuando se intenta evaluar el resultado de la capacitacin, nos encontramos con que, o faltan elementos o informacin relevante, o la accin formativa no responde a necesidades y objetivos determinados, o simplemente se desea saber si lo hecho tiene algn grado de calidad y/o de efectividad (ex post facto). Con un poco de pesar debo reconocer que an se mantiene lo indicado hace varios aos atrs, ya que an falta informacin, la capacitacin responde ms bien a tendencias generales que a objetivos especficos de la organizacin y se tiende a evaluar al final (ex post facto), sin considerar que la evaluacin debe estar presente en todo el proceso. Sin embargo, soy optimista, al ver que el concepto ya se est instalando y que las organizaciones estn trabajando para que se logre determinar el resultado real de la capacitacin, por lo menos a establecer las competencias generadas y/o fortalecidas, y a las mejoras en los resultados de los procesos que eso provoca. Personalmente, y en conjunto con el equipo de Empresas Proeduca, estamos trabajando sobre esto con nuestros clientes, generando las orientaciones y procedimientos para fortalecer la gestin integral del desarrollo de las personas, mediante el uso de los resultados de las evaluaciones de la capacitacin realizadas, que si bien han llegado slo al tercer nivel, nos han permitido visualizar aspectos a mejorar, lo que nos recuerda que evaluar no es slo es medir, sino analizar la informacin, concluir sobre ella y generar decisiones que permitan mejorar permanentemente..

Jaime Neilson Vargas, Gerente General, Empresas Proeduca. gerencia@proeducaconsultores.cl

Antecedentes del autor: Sr. Jaime Neilson Vargas, Licenciado en Educacin, Magster en Gestin Educacional, Diplomado en Gestin de RR.HH. por Competencias. Consultor senior con ms de 24 aos de experiencia en Desarrollo de las Personas, Gestin Educacional, Gestin por Competencias y Evaluacin de la Capacitacin. Consultor en Gestin de Calidad Escolar de Fundacin Chile. Profesional acreditado en Gestin de Recursos Humanos por Competencias por la OIT. Gerente General de Empresas Proeduca. Su experiencia en el tema de evaluacin de capacitacin data desde el ao 1994, en que siendo Asesor Docente en la Fuerza Area de Chile, estuvo a cargo del diseo, implementacin y gestin sistema de evaluacin de conocimientos y habilidades del personal institucional, continuando posteriormente conn asesoras a empresas como CMPC Tissue, INACAP, ENAER, etc. Ha trabajado como consultor para el sistema pblico chileno, en instituciones como son Capredena, FONASA, CDE, Gendarmera de Chile, Hospitales y Servicios de Salud, desde el ao 2002.