Establecimiento de Competencias Esenciales para Evaluadores de Programa

Maestra en Educacin Superior, FFyL, BUAP
Traduccin: Lic. Mara Esther Vargas Elas

Toward a Taxonomy of Essential Evaluator Competencies. American Evaluation Journal of Evaluation,
Establecimiento de competencias esenciales para

evaluadores de Programa
Laude Stevahn
Universidad de Seattle
Jean A. King
Gail Ghere
Jane Minnema
Universidad de Minnesota, Minneapolis-St. Pablo
Resumen: Este artculo presenta una taxonoma exhaustiva de las competencias esenciales para
evaluadores de programa. En primer lugar, los autores proponen un fundamento para el desarrollo
de las competencias de un evaluador, junto con una breve historia del desarrollo inicial y la
validacin de la taxonoma de las competencias esenciales del evaluador en King, Stevahn, Ghere y
Minnema (2001). En segundo lugar, presenta una versin revisada de esa taxonoma y describe el
proceso de revisin.
En tercer lugar, el cotejo que acompaa a la taxonoma indica que
competencias
orientan las normas, principios y habilidades y que son
respaldadas por
asociaciones de evaluacin de gran renombre en Norte Amrica. Por ltimo, los autores identifican
futuras necesidades relacionadas con la taxonoma, incluida la necesidad de investigar la
validacin, una comprensin comn de trminos, y la construccin de rbricas descriptivas para
evaluar la competencia.
Palabras clave: competencias del evaluador; formacin en evaluacin, cuestiones profesionales, normas
La evaluacin de programa comenz como un tema de se puede hacer. Frente a oportunidades sin
precedentes durante la poca de programas bien fundamentados de la Gran Sociedad, los evaluadores en
los aos 1960 y 1970 aplicaron las tcnicas de investigacin social a gran escala para estudiar la eficacia
de los programas. Los tericos en Evaluacin definieron trminos y etiquetaron conceptos para describir
una nueva prctica como son la evaluacin formativa contra la sumativa (Scriven, 1967), la evaluacin de
respuesta (STAKE, 1980), y la evaluacin centrada en la utilidad (Patton, 1978).
Los Modelos de
evaluacin se multiplicaron en tantos modelos como personas trabajaban en diferentes reas y con
diferentes necesidades. (vase, por ejemplo, Alkin, 1969; Provus, 1969; Stufflebeam, 1973). Aquellos que
se enfocaron en el diseo de mtodos para estudiar programas en situaciones no propicias para la
investigacin cuantitativa tradicional incluyendo el cuasi-experimento (Campbell y Stanley, 1963) y los
mtodos naturalistas (Guba, 1978). Al igual que los campos que han crecido en respuesta a demandas
legales (por ejemplo, la educacin especial), la evaluacin del programa surgi en gran parte en su
prctica misma.
Laurie Stevahn, Profesor Asistente de Educacin, Director de Currculo e Instruccin, Escuela de Educacin, Universidad de Seattle, PO Box
222000, Seattle, WA 98122-1090; telfono: (206) 296-2559, e-mail: stevahnl@seatdeu.edu .
Nota de los Autores: Queremos agradecer de todo corazn a las muchas personas que participaron en la discusin, proporcionando
retroalimentacin, compartiendo ideas, proporcionando informacin, y ofreciendo sugerencias para la revisin de la taxonoma de las
competencias esenciales para los evaluadores del programa presentado en este artculo.
Revista: American Journal of Evaluacin, Vb. 26 N 1, marzo de 2005 43 a 59
DOI: 10.1177/10982140042731 gO
2005 Asociacin Americana de Evaluacin
Seminario de Planeacin y Evaluacin de la Educacin Superior

A travs de los aos, la actitud de se puede hacer, junto con el trabajo arduo, se dirigi a aumentar la
profesionalizacin del campo. Las organizaciones profesionales -la Sociedad para la Investigacin en
Evaluacin y la Red de Evaluacin, que se fusionaron en 1985 para formar la Asociacin Americana de
Evaluacin - desarrollaron, tanto revistas como libros de texto dedicados a la evaluacin de programas.
Dirigido por Daniel Stufflebeam, el Comit Mixto de Normas para la Evaluacin Educativa (1994),
represent 16 organizaciones profesionales, comprometidas en un proceso de varios aos para desarrollar
y publicar normas oficiales que articulaban los atributos clave para mejorar la evaluacin de los
programas: utilidad, viabilidad, correccin y precisin. Un grupo de trabajo de la Asociacin Americana de
Evaluacin (1995) ms tarde crearon los Principios rectores para los evaluadores, proporcionando las
directrices para las prcticas de evaluacin y seguir desarrollando el campo como una profesin. En
Nuevas orientaciones para la Evaluacin de Programas se public una lista de programas para la
formacin en evaluacin (Altschuld, Engle, Cullen, Kim, y Macee, 1994), y Fitzpatrick, Sanders, y Worthen
(2004) resaltaron los rasgos de la evaluacin de programas que sugieren un crecimiento constante para
alcanzar la categora profesional.
En un rea, sin embargo, -el desarrollo de competencias para evaluadores- el campo de la evaluacin de
programa ha sido decididamente menor de lo que puede hacerse. La mayora de las reas reconocidas
como profesiones han desarrollado usualmente competencias por la prctica (por ejemplo, en el cuidado
de la salud, la enseanza, el asesoramiento, etc) al pedirle a un grupo de distinguidos profesionales, -a
menudo en nombre de una organizacin profesional -para generar primero un esquema de categoras y
lista
inicial de competencias, y luego instituir un proceso de revisin experto para editarlas y
perfeccionarlas. Las competencias se ponen entonces a disposicin de los profesionales en campo para
estructurar lo siguiente: programas de formacin para principiantes; programas de educacin continua
para profesionales con experiencia, y revisin peridica para actualizarse en la teora, investigacin y
prctica con lo que se evoluciona con el tiempo. Esto todava no ha ocurrido en el mbito de la evaluacin
de programas.
Distinguidos escritores y profesionales en la evaluacin de programas han seguido un curso diferente.
Debatieron si an era posible descubrir un tema comn de las competencias en un rea con tal diversidad
en su contexto y su contenido. Funciones internas versus funciones externas del evaluador, por ejemplo,
abarcan diferentes tipos de relacin entre evaluador y cliente (por ejemplo, asociaciones de corto plazo
versus largo plazo), que a su vez implican diferentes tipos de oportunidades y limitaciones (por ejemplo,
perspectiva interna frente a las perspectivas externas). Del mismo modo, evaluadores de programa que
trabajan en empresas, gobierno, educacin, salud, organizaciones no lucrativas, y otros sectores
enfrentan diferentes asuntos de inters en esos sectores. Esto ha creado una situacin clsica de la
pregunta de qu fue primero, el huevo o la gallina. Si no hay acuerdo sobre las competencias para la
evaluacin del programa, entonces el campo no puede convertirse en una profesin unificada mediante el
trabajo de sus diferencias. Al mismo tiempo, si el campo es verdaderamente diverso y no puede expresar
sus diferencias, entonces nunca ser posible identificar las competencias.
La taxonoma de las
competencias esenciales del evaluador propuesta en King, Stevahn Ghere y Minnema (2001) marc un
esfuerzo que aport esperanza de que las competencias del evaluador pudieran ser posibles. Este artculo
supone un segundo paso en esta bsqueda.
Una razn para desarrollar Competencias para evaluadores de Programa

Despus de 30 aos ms o menos de discusin, uno bien podra preguntarse: "Si las competencias son la
solucin, cul es exactamente el problema?" Dicho de otro modo, existen consecuencias por no haber
establecido las competencias para los evaluadores de programa? Varias respuestas vienen a la mente.
En primer lugar, ya que no se cuenta con licencias estandarizadas o credenciales de educacin, nadie
puede reclamar ser un evaluador.
A causa de esto,
evaluadores incompetentes, charlatanes y
defraudadores bien pudieran pasar por profesionales con experiencia.
En segundo lugar, los directores del programa que dispusieron contratar a un evaluador no la tienen fcil
de saber quien est calificado para hacer el trabajo, y ante el aviso de no hay advertencia les puede

proporcionar un poco de consuelo. En tercer lugar, personas interesadas en convertirse en evaluadores
pueden encontrar dificultades para determinar lo que necesitan aprender o donde pueden estudiar. En
cuarto lugar, aquellos que trabajan en programas de desarrollo profesional universitario pueden basar sus
planes de estudios en sus necesidades evidentes o en preferencias personales.
En quinto lugar, una preocupacin ms amplia es la queja continua de que el campo carece de
investigacin en evaluacin de programa, dirigida a desarrollar y validar modelos descriptivos basados en
la teora para guiarse a una prctica efectiva. En cambio, el campo ha producido principalmente modelos
prescriptivos para la prctica derivados de necesidades prcticas en contextos particulares (Aikin, 2004).
Todos estos temas se relacionan directamente con la falta de competencias en campo, creando un
problema orientado a su lgica para desarrollar las competencias.
Basndose en parte en estos aspectos negativos, creemos que existe tambin una razn afirmativa para
las competencias del evaluador. Para nuestra manera de pensar, el campo se beneficiara de las
competencias de evaluador en cuatro formas principales: (a) mejorar la formacin, (b) ampliar la prctica
reflexiva, (c) promover el avance de la investigacin en evaluacin, y (d) potenciar la profesionalizacin
continua del campo.
Mejorar la Formacin
Hay varias maneras en que las competencias del evaluador pueden facilitar el mejoramiento de la
capacitacin en evaluacin. En los entornos universitarios con programas de preparacin formal que
premian con grados acadmicos o certificados de formacin, las competencias de evaluador pueden
servir como un ancla para estructurar los cimientos del programa y de los diferentes cursos que sean
necesarios. Al implementar estas competencias de manera sistemtica en todos los cursos, colectiva o
individualmente se puede crear un programa coherente que prepare a los alumnos con conocimientos,
habilidades y actitudes que necesitarn para la prctica profesional exitosa. Las competencias tambin
pueden guiar la instruccin y evaluacin efectivas en todos los cursos requeridos. Aunque actualmente la
facultad puede basar los programas y las decisiones curriculares en la Evaluacin del Programa de
Normas (Comit Mixto de Normas para la Evaluacin Educativa, 1994), esas normas hablan de lo que
constituyen las evaluaciones eficaces, y no de en qu consiste ser el evaluador competente que lleva a
cabo esas evaluaciones.
Sin identificacin explcita, las competencias esenciales pueden ser o asumidas o pasarse por alto,
dejando a los aprendices sin una gama completa de habilidades.
Por ejemplo, pocos programas
universitarios ofrecen capacitacin formal en las habilidades interpersonales necesarias para muchos
mtodos de evaluacin, particularmente en enfoques orientados a la participacin. Una taxonoma
completa de las competencias del evaluador pondra de relieve la necesidad de dicha formacin, as como
inducira a educadores y estudiantes a enfocarse en las habilidades interpersonales para su prctica
profesional. La competencia en el desarrollo de tales habilidades incluso podra ser incluido como criterio
de candidatura o en entrevistas de salida, junto con competencias en tcnica investigativa, -tales como en
mtodos cuantitativos o cualitativos- que normalmente constituyen el fundamento de programas de
evaluacin de la universidad.
En la formacin para evaluadores en entornos no universitarios, las competencias del evaluador tambin
pueden guiar la toma de decisiones sobre los tipos de experiencias para el desarrollo profesional necesaria
y la secuencia de tales experiencias. Tanto las organizaciones pueden proporcionar a evaluadores
formacin continua a los trabajadores o pueden promover el desarrollo profesional para fines especficos,
-tal como el fortalecimiento de la capacidad de evaluacin para estudiantes independientes o en
formacin continua- una taxonoma de las competencias esenciales de evaluador puede ser til para
examinar los conocimientos, habilidades y actitudes en la participacin que ya poseen y en cuales reas
de crecimiento es probable el avance tanto en el desarrollo personal como en los objetivos de la
organizacin.

Mejora de la prctica reflexiva
Otra de las caractersticas de eficacia profesional es el aprendizaje continuo y el perfeccionamiento de
habilidades. Una taxonoma de las competencias para la reflexin sistemtica en la prctica puede facilitar
este proceso. Si se trabaja en un contexto en el que se apoya el desarrollo profesional mediante la
promocin de la participaron en actuales experiencias de formacin, -tales como las de dentro de una
organizacin que patrocina el curso de formacin- o trabajando en una situacin en la que el desarrollo
profesional se busque por propia iniciativa, as como cuando los evaluadores trabajen como consultores
independientes las competencias de evaluador pueden anclar una prctica reflexiva, mediante una
autoevaluacin sustancial.
Similar a practicar la metacognicin, los evaluadores se benefician de lo siguiente: adquieren consciencia
de sus preferencias personales para la evaluacin, as como de sus fortalezas y limitaciones; autoseguimiento de resultados de acciones destinadas a facilitar estudios de evaluacin eficaces; y
planeacin de formas para mejorar futuros intentos. Una taxonoma exhaustiva de las competencias de
evaluador puede brindar resultados significativos para esta reflexin.
Hemos identificado cuatro tipos de evaluadores que creemos podran encontrar tal taxonoma til para la
reflexin y la autoevaluacin: (a) nuevos evaluadores, es decir, personas que entran en el mbito de la
evaluacin de los programas que no estn comprometidos en el desarrollo profesional, sino que se
encuentren encarando circunstancias que requieren un conocimiento adicional o el desarrollo de nuevas
habilidades para satisfacer las exigencias de sus circunstancias evaluatorias; (b) evaluadores ocasionales,
es decir, personas sin formacin que han recibido la responsabilidad de realizar las evaluaciones, a veces
con poco inters en esa labor y que estn tratando de averiguar exactamente lo que ser necesario hacer
en el trabajo;(c) profesionales transitorios, es decir, gente profesional en un rea, pero han elegido ser
evaluadores; y (d) evaluadores con experiencia que quieren mantenerse al da con cambios en la teora del
campo y la prctica, ampliar conocimientos a travs de criterios de evaluacin, o el desarrollo de teora de
la evaluacin en un sentido acadmico en un sentido de prctica pragmtica en el mundo real. Por todos
estos evaluadores, una taxonoma de las competencias esenciales de evaluador se convierte en una
herramienta til para identificar reas de fortaleza ya existentes (por ejemplo, enfoques determinados
para la evaluacin, mtodos, habilidades comunicativas, habilidades interpersonales), as como en las
reas donde haya necesidad.
Avance de la Investigacin en la evaluacin
Las tareas de formular y validar teoras de prctica efectiva, como tradicionalmente se ha seguido en otras
disciplinas cientficas sociales, generalmente no han sido enfocadas en el mbito de la evaluacin de
programas (Christie, 2003; Stufflebeam, 2001). Esta es un rea donde las competencias esenciales de
evaluador puede desempear un papel til, especialmente en su relacin con la formulacin de la
evaluacin de diferentes modelos y enfoques exitosos. Las competencias proporcionan abundantes
posibilidades para determinar preguntas tiles (o problemas) de la prctica a investigar, identificar
variables dependientes e independientes, formular relaciones hipotticas y examinar diversos aspectos
de efectividad.
Algunas posibles reas para la investigacin sistemtica sobre la evaluacin de programas incluyen: (a)
examinar el papel de las competencias en una prctica de evaluacin efectiva, por ejemplo, enmarcar las
preguntas de evaluacin, permaneciendo abiertos a otros aportes, o resolviendo conflictos de manera
constructiva, (b) investigar del impacto de la formacin en la adquisicin de habilidades y su aplicacin,
es decir, identificar qu tipo de experiencias de desarrollo profesional facilitan el desarrollo de las
habilidades y la transferencia de la formacin, y (c) determinar las variables que intervienen en la prctica
de evaluacin con xito, tales como la identificacin de las condiciones que facilitan u obstaculizan el uso
de las competencias y su eficacia, especialmente, en contextos particulares o modelos de prctica. Las
competencias tambin pueden ser un trampoln para seguir trabajando en la definicin de las variables
operativas o describir las actividades que realiza el evaluador con base en las habilidades para entender

mejor las dimensiones personales de la prctica de la evaluacin en contextos especficos. La ejecucin de
estas reas de la investigacin posee el potencial para un avance en el campo de la evaluacin de
programa, contribuyendo en la elaboracin y validacin de teoras descriptivas tiles para refinar, ampliar
y orientar una prctica efectiva.
Profesionalizacin del Campo
Argumentaremos posteriormente que existe un beneficio inherente al campo para discutir los
conocimientos especficos, habilidades y disposiciones que definen a la prctica de la evaluacin
competente. Aun en ausencia de acuerdos, el debate sobre las competencias profesionales establece un
programa para lidiar con lo que es importante para la prctica de evaluacin en diferentes reas. Por otra
parte, si el campo quiere avanzar hacia dar licencia u otorgar credenciales a los evaluadores, las
competencias pueden servir de tema para el debate inicial y el perfeccionamiento (Altschuid, 1999). La
existencia de una serie de competencias tambin puede aumentar la posibilidad de acreditacin de
programas, si una organizacin como la Asociacin Americana de Evaluacin fuese a adoptar y adaptarlas
a este fin, -un paso importante en la profesionalizacin del campo.
Taxonoma de competencias esenciales para evaluadores de Programa

La taxonoma de competencias esenciales para los evaluadores del programa que se presenta en este
artculo, amplia y perfecciona una versin anterior propuesta por King y col. (2001). Esta publicacin
describe cmo un grupo de cuatro individuos en la Universidad de Minnesota puso en marcha un estudio
de validez sobre una serie inicial de competencias de evaluador. El proceso de validacin inicial emple
un procedimiento de logro de consensos Multi atributos (MACR) procedimiento con 31 participantes
localizados en el rea o cerca de Minneapolis-St. Paul (Minnesota). Esos participantes representaron a
las diversos roles de evaluador, Contextos, niveles de formacin y aos de experiencia. Los resultados
cuantitativos y cualitativos indicaron un consenso sobre la importancia percibida de ms de tres cuartas
partes de las competencias propuestas. En reas donde el consenso no surgi entre los participantes,
tendieron a reflejar aspectos especficos de su contexto y de su papel en su prctica de evaluacin.
Aunque la taxonoma inicial se mantuvo constante durante todo el estudio de validacin completo, a todos
los participantes se les pregunt qu crean que deba aadirse (u omitirse de) la lista de competencias
despus de su participacin en las tareas de validacin. Sus sugerencias y razones subyacentes fueron
sistemticamente reconocidas para futuras consideraciones. Una descripcin completa del diseo del
estudio y una discusin completa de sus resultados aparecen en King y colaboradores. (2001).
Tras la publicacin del primer conjunto de competencias de evaluador de King y colaboradores (2001), el
grupo inicial de cuatro investigadores continu con el desarrollo de competencias esenciales en varios
frentes. Un grupo de complicadas acciones se presentaron en las publicaciones de las conferencias sobre
competencias profesionales, incluyendo la reunin anual de la Asociacin Americana de Evaluacin (AEA) y
el anuario de Instituto de Estudios de Evaluacin de Minnesota (MESI). Otra complicada tarea consisti en
crear y llevar a cabo un curso de un crdito-en la Universidad de Minnesota, a nivel postgrado, fue el de
Programa de Estudios de Evaluacin en el cual los participantes confrontaban con temas relevantes el
conjunto de competencias de evaluador publicado.
Adems, consultamos con el profesor James
Altschuid, quien haba liderado un grupo de trabajo sobre este tema para la Asociacin Americana de
Evaluacin.
Dos objetivos principales guiaron nuestro esfuerzo. El primero fue generar una discusin crtica y
continuar con nuevas aportaciones a la taxonoma de las competencias de evaluador, de los profesionales
y estudiantes en campo. Al hacerlo, nos preguntbamos si algo deba aadirse (u omitirse de) a la lista y
por qu. Nuestro segundo objetivo era proporcionar a los individuos que asistieron a las sesiones una
oportunidad para la reflexin sobre su propia prctica evaluatoria y su desarrollo profesional. Sus
impresiones personales proporcionaron informacin sobre la taxonoma de las competencias iniciales.

Ms de 100 individuos participaron en las diversas presentaciones, reuniones, o sesiones que se
realizaron para obtener aportes adicionales a la taxonoma de competencias esenciales para evaluadores
de programa.
De este modo, registramos sistemticamente observaciones, cuestionamientos y
sugerencias que surgieron durante los debates. Los temas recurrentes que surgieron de la crtica de esos
registros, junto con nuestro propio pensamiento continu sobre las competencias y los participantes * de
gran inters y entusiasmo por una mayor discusin, sugirieron los siguientes cinco necesidades de
revisin: (a) la necesidad de un formato fcil de usar , (b) la necesidad de cruzar sistemticamente las
competencias con las normas de evaluacin aprobadas por asociaciones de evaluacin, (c) la necesidad de
competencias adicionales para apoyar integralmente normas vigentes de la asociacin de evaluacin, (D)
la necesidad de precisar cada competencia y ( e) la necesidad de diseminar la taxonoma revisada con el
fin de facilitar la discusin continua puntual y crtica. La taxonoma de las competencias esenciales para
evaluadores de programas presentada en la Tabla 1 tiene la intencin de abordar cada una de estas
necesidades.
Antes de profundizar en las siguientes secciones sobre la forma de abordar cada necesidad indicada
anteriormente, queremos hacer notar de que no existe una definicin generalmente aceptada para las
competencias (Rychen, 2001), no hay acuerdo sobre la manera de describirlas. El trmino competencias
se deriva del trmino competencia, que en el mundo del trabajo significa que una persona ha alcanzado
cierto nivel de experiencia en multifacticas habilidades que son necesarias para tener xito en un
campo determinado. Diferentes marcos de referencia, sin embargo, sealan cmo las competencias son
concebidas y operacionalizadas (Weinert, 2001). En educacin, por ejemplo, algunas competencias
consideran incluir las habilidades y conocimientos especializados mientras que otros incluyen tambin
las actitudes o disposiciones (Blanton, 1992; Gettinger, Stoiber, Goetz, y Caspe, 1999). A pesar de la
falta de acuerdo, la mayora de las taxonomas sobre competencias se centran en " sistemas de accin
complejos que abarcan no slo conocimientos, sino tambin estrategias y rutinas para la adecuada
aplicacin de estos conocimientos y habilidades, as como las emociones apropiadas y actitudes y la
autorregulacin
efectiva
de
estas
competencias
"(Rychen,
2001,
p.
8).
En consecuencia, elegimos utilizar un enfoque de competencias que incluye conocimientos, habilidades y
disposiciones que los evaluadores de programa necesitan para ser eficaces y profesionales. Tambin
elegimos describir las competencias en lenguaje conductual (en la medida de lo posible), describiendo "las
cosas que puedes ver o escuchar siendo hechas " (Green, 1999, p. 7). Por lo tanto, las competencias
predominantemente describen varias actividades que los evaluadores llevan a cabo para alcanzar los
estndares que constituyen una evaluacin adecuada
(Por ejemplo, las normas del Programa de
evaluacin, del Comit Mixto de Normas para la Evaluacin Educativa, 1994). Es importante sealar, sin
embargo, usar un lenguaje comportamental no es el mismo que adoptar un enfoque de comportamiento
para el desarrollo de las competencias, ya que ste tiende a analizar tareas en forma de comportamientos
discretos en lugar de considerar el resultado como un todo funcional. (McAllister, 1998)
Necesidad de un Formato accesible para el usuario
La taxonoma publicada anteriormente se organiz en un esquema de tres niveles (ver King y col., 2001).
El primer nivel design cuatro dominios generales, el segundo nivel identific las categoras principales
dentro de cada dominio, y el tercer nivel los temas especficos que figuran en cada categora. Este
esquema de clasificacin en tres niveles fue establecido por MACR para la validacin del proceso en el
estudio original, pero result difcil ponerlo en prctica. Por ejemplo, muchos individuos encuentran a los
niveles de dominio ser tan generales que no traen a la mente de inmediato las competencias que figuran
en cada uno (los cuatro dominios fueron: I. Investigacin sistemtica, II. Prctica de evaluacin
competente, III. Habilidades Generales para la Prctica de Evaluacin, y IV. Profesionalizacin en
Evaluacin. El esquema multinivel tambin dio lugar a un sistema de numeracin engorroso que utiliz
nmeros romanos para los Dominios, letras del alfabeto para las categoras y nmeros arbigos para los
artculos (ilustrado de la siguiente manera: dominio IV. Evaluacin de la Prctica categora IVE.
Desarrollo Profesional, tem IVE4. Actualizacin personal en el campo de la evaluacin). Aunque metdico,
este sistema numrico escalonado dificulta a los individuos recordar rpidamente, as como analizar las
competencias.

Tabla 1
Taxonoma de Competencias esenciales para Evaluadores de Programa
King,
Stevahn,
Ghere, &
Minnerna
(2001)
[V
IVC
VD
VB
IVB1
Competenc
ias
esenciales
p/
evaluadore
s
de
programa
1.0
1.1
Prctica Profesional
Aplica las normas de evaluacin
1.2
Acta ticamente y con integridad y
honestidad
en la realizacin de evaluaciones
IVB2
1.3
IVB3
Transmite la evaluacin y se acerca y habilita

a clientes potenciales
1.4 Respeta a clientes, encuestados,
participantes,
y otros interesados
Comit mixto
AEA
Sociedad
canadiense
De Normas
Principios de Evaluacin
p/ programa de
Guade habilidad esencial
Evaluacin(1994)
(1995)Series (1999)
AI2
D.l
Pl
P2
P3
P4
P5
P
P7
P8
C.l
C.2
C.3
C.4
C.5
C.6
P5
All
P3
R4_
Ninguna
1.5
Considera el bienestar general y pblico en

la prctica de la evaluacin
Ninguna
I
IB1
B5
IA3
IA4
IC3
14
A
I4A
IB3
fB4
1.6
Contribuye al conocimiento base de la
evaluacin
2.0
Investigacin Sistemtica
2.1
Comprende y conoce las bases de la
evaluacin
(trminos, conceptos, teoras, hipotesis)
2.2
None
Conoce los mtodos cualitativos
2.4
Conoce los mtodos mixtos
2.5
2.6
Dirige revisiones de la literatura

Revisa la teora del programa
2.7
Formula preguntas de evaluacin
2.8
Desarrolla diseos de evaluacin
IC2
IC4
2.9
2.10
Identifica las datos

Recaba datos
2.11
Evala la validez de los datos
2.12
Evala la confiabilidad de los datos
D.l
D.2
D.3
D.5
D.4 E
E.2
E.3
E.5
Ninguna
4.i
Ninguna
A.2
A9
A.2
A.3
A8
A.2
A.3
Ninguna
Ninguna
Ninguna
A.2
A.3
Ninguna
Ninguna
_U3"
A.2 E
A3
A4
A5
A6
A4
A5
A6
A7
A5
A7
A6
A7
1.1
A.3
Conoce los mtodos cuantitativos
2.3
C.7
D.l
C.5
Ninguna
1.1
A.l
A.2
Ninguna
A.l
A.l
A.l
Ninguna
1.a
l.b
l.c
l.d
4.f
. 4.f
Ninguna
Ninguna
2.e
2.
"
.4.a
Le
l.f
2.e
4.d
Ninguna
3.d
4.c
4.e
4.c
Tabla 1 (continuacin)
King,
Stevahn,
Ghere, &
Minnema
<2001)
Comit mixto
AEACompetenci Sociedad
Normas
Principios as C. d
Evaluacion
p/programa
Guaesenciales
De
Evaluacin
(1995) parahabilidades
Series
(1994)
(1999)
evaluadores
l.h
2.13 A7
Analiza los datos A.!
A8
A9
2.14 Interpreta los datos
U4
A.3
l.h
A10
Hace juicios
U4
Ningun
Ninguna
a
A!0
2.16 Formula recomendaciones
Ninguna
Ningun
Ninguna
2.17 A10
Justifica las decisiones
aA.2 en toda la
Ninguna
evaluacin
U5
A.3
l.h
2.18 P6
Informa el procedimiento
y
los
resultados
E.3
4-J
Al1
2.19
de la
A12Seala fortalezas
A.2 y limitaciones Ninguna
evaluacin
2.20 Conduce meta-evaluaciones
2.15
IC5
3.0
Analiza la situacin
IC6
IB6
IB7
Ninguna
Al
Ningun
a
Ul
II IA
UI U3
VI Pl
P7
1C7
A2
IIIA
F2
IB8
IIB
3.1
3.2
3.3
Describe el programa
Determina la viabilidad del programa
Identifica los intereses de la parte interesada
3.4
Proporciona informacin necesaria a futuros usuarios
3.5
Orienta los conflictos
Ningun
a
Ningun
a
E.l
C.l
2.h
Ningu
na 2.a
2.d
2.f
2-g
Ningu
na
Ningu
C.4
E.4
E.2
IIA
C.3
E.l
IIB 3
E.2
UB4
IIB5
Ningun
a
3.6
Examina el contexto organizacional de la evaluacin
3.7
Analiza las consideraciones polticas para la evaluacin
U7
F2
3.8
Atiende los asuntos del uso de la evaluacin
l.k
4,k
3.c
3-g
3.h
Ninguna
'Ninguna
Ninguna
3.9
Atiende los asuntos del cambio organizacional
3.10
ea necesari
Respeta la
singularidad
del cliente
D.3
D.5
E.l
C.2
P4
3
.
1
1
M
a
n
t
i
e
n
e
a
p
e
r
t
u
r
a
a
o
t
r
a
s
i
n
f
l
u
e
n
c
i
a
s
3
.
1
2
M
o
d
i
f
i
c
a
e
l
e
s
t
u
d
i
o
s
e
g
n
s
Ningun
a
Ningun
IIC
IICI
4.0
Administra proyectos
4.1
Responde a las propuestas solicitadas
4.2
Negocia con el cliente antes que la
evaluacin comience
4.3
Escribe acuerdos formales
4.4
Se comunica con el cliente durante la
evaluacin
1IC3
4.5
4.7
Ni
nguna
P2
P2
U
5
L'
6
P
6
Presupuesta una evaluacin
4.6
Justifica la necesidad de determinados
costos
F
3
P
8
F
3
P
8
B.
2
C.l
A.
2
Ninguna
2.a
2.d
2.f
Ninguna
I .i
Ninguna
A.3
C.l
C.2
C.5
C.6
C.l
l-j
2.d
C.1
1.g
1.g
Tabla 1 (continuacin)
King,
Stevahn,
Ghcre, &
Minnema
(2001)
IIC4
[IIE
UC5
IIC6
IIC7
IIC8
IVA
IVE1
IVE2
IVE
IVE4
IVE
IVE5
IVE3
IIID
UIB
IIIC
Competenc
ias
esenciales
p/
evaluadore
s
de
programa
Comit Mixto
De Normas
p/programa de
evaluacin(19
94)
4.7 Identifica los recursos necesarios para evaluacin;

Ninguna
informacin, experiencia, personal, instrumentos
4.8 Utiliza la tecnologa apropiada
Ninguna
4.9 Supervisa otros involucrados en la evaluacin
Ninguna
4.10 Capacita otros involucrados en la evaluacin
Ninguna
4.11 Realiza la evaluacin de manera ininterrumpida
4.12 Presenta el trabajo de manera oportuna
B.l
B.2
Ninguna
Ninguna
Ninguna
Ninguna
Ninguna
FI
U6
Sociedad
Canadiense
De Evaluacion
De habilidades
Series (1999)
Ninguna
Ningun
a
Ningun
a
Ningun
a
Ningun
a
Ningun
a
E.l
5.0
5.1
U2
5.2
Ningun
Prctica Reflexiva
Es consciente de si como evaluador
(conocimiento, habilidades, disposiciones)
Reflexiona sobre su prctica personal
(competencias
y reas de crecimiento)
Persigue el desarrollo profesional en
evaluacin
5.3
5.4 Persigue el desarrollo profesional in reas
relevantes
5.5 Establece relaciones profesionales para
mejorar la prctica
6.0
Competencia Interpersonal
6.1
Utiliza las habilidades de comunicacin escrita
B.l
B.
2
B.
3
Ningun
B.3
aNingu
Ninguna
na
B.3
Ninguna
U5
P4
U1D1
IIID2
IIID3
IIID4
IIID5
AEA
Principio
s
Gua
(1995)
6.2
Utiliza habilidades de comunicacin verbal y
de escucha
1IID6
6.3
Utiliza habilidades de negociacin
6.4
Utiliza habilidades de resolucin de conflicto
6.5
Facilita relaciones interpersonales

constructivas (trabajo en equipo,
integracin grupal, procesamiento del
grupo) -
6.6-
Demuestra competencia multicultural
P4
P7
P4
P7
F2
Ning
A.
3
C.l
C.
2
C.
3
C.
4
C.
5
C.
6
E.
3
A.
3
C.l
C.
2
C.
3
C.
4
C.
5
C.
6
E.
3
C.l
E.4
D.
5
Ningu
na
Ningun
a
Ningu
na
Ningu
na
Ningun
a
4j
4j
Ninguna
Ninguna
l.i
2.d
La taxonoma revisada y presentadas en la Tabla 1 muestra un esquema de clasificacin ms

simple que el original que organiza las competencias en seis categoras diferentes, a saber, (a)
prctica profesional), (b) investigacin sistemtica, (c) anlisis situacional, (d) gestin de proyectos,
(e) la prctica reflexiva, y (f) competencias interpersonales, cada uno de los cuales identifica ms
claramente las competencias especficas que contiene. Competencias en la Prctica profesional se
centran en las normas y valores fundamentales subyacentes de la prctica en la evaluacin, como
sujetarse a las normas y a la tica. Las Competencias en la investigacin sistemtica se orientan en
aspectos ms tcnicos de la prctica de evaluacin, tales como el diseo, la recopilacin de datos,
anlisis, interpretacin y presentacin de informes. Competencias en Anlisis situacional se
enfocan en el anlisis y atencin a las particularidades, los problemas y las circunstancias del
contexto respecto a una evaluacin determinada. Las competencias de gestin de proyectos se
centran en las habilidades para la realizacin de la evaluacin, tales como el presupuesto, la
coordinacin de recursos, y la supervisin de los procedimientos. Las competencias en la prctica
reflexiva se centran en la conciencia del experto en evaluacin y la necesidad de crecimiento,
incluyendo el conocimiento de s mismo como evaluador, evaluar las necesidades personales para
mejorar su prctica, y comprometerse en su desarrollo profesional hacia ese objetivo. La
competencia interpersonal se centra en las habilidades que se utilizan para realizar estudios de
evaluacin, tales como la comunicacin, negociacin, manejo de conflictos, colaboracin, y
habilidades transculturales.
Cuando se presenta en forma lineal, la secuencia de estas seis categoras de competencias
esenciales se expone la importancia en primer lugar de las bases de todos las programas de
evaluacin sobre normas, valores y criterios que sustentan el tema; lo siguiente es la experiencia
en el ejercicio de la investigacin tcnica, del anlisis situacional, y de las habilidades para la
gestin de proyectos en planeacin y conduccin de la evaluacin, seguido del pensamiento
continuo y el esfuerzo para mejorar la propia prctica profesional. Por ltimo, aunque es difcil
imaginar un programa efectivo de evaluacin sin incluir la competencia interpersonal, esa categora
es sealada al final porque la necesidad de gente eficaz no es exclusiva del mbito de la
evaluacin, sino que tales habilidades son integradas a una prctica efectiva generalizada a
numerosas disciplinas. A pesar de la explicacin arriba planteada para ordenar estas categoras de
competencias, pensamos que la representacin visual en un diagrama de Venn de seis crculos que
se interceptan reflejara ms apropiadamente su interconexin, como actualmente se lleva a cabo
en la prctica de la evaluacin.
Necesidad de una Comparacin Cotejada
Cualquier taxonoma exhaustiva de competencias del evaluador ciertamente debe especificar lo
que sin duda los evaluadores necesitan, que rena las normas eficazmente, que se incorpore a los
principios, o que aplique las directrices aprobadas por las asociaciones profesionales de evaluacin.
Por lo tanto, identificamos a las asociaciones en Amrica del Norte, que avalan normas, principios
o directrices en contra que nos pueden llevar a realizar una comparacin cotejada. Hemos
delimitado para el cotejo incluir solo aquellas directrices desarrolladas por organizaciones cuya
funcin primaria sea promover la prctica profesional de programas de evaluacin en general. Se
excluyeron los estndares de evaluacin o de competencias adoptadas por organizaciones que
tienen un enfoque de evaluacin ms estrecho (por ejemplo, Competencias Profesionales de la
Asociacin de Consultores de Investigacin Cualitativa, 2003) y de aquellos que utilizan la
evaluacin para cumplir otras responsabilidades (por ejemplo, Normas de Evaluacin del Consejo
del Tesoro de Canad, 2001; o Competencias y Responsabilidades de la Comisin Nacional para la
Credencializacin de Educacin de la Salud, 1996).
Tres series de directrices para evaluacin de programa surgieron de la comparacin cotejada: (a) El
Programa de Normas de Evaluacin aprobado por el Comit Mixto de Normas para la Evaluacin Educativa
(1994), los Principios Rectores para Evaluadores aprobada por la AEA (1995), y las Series de Habilidades
esenciales en Evaluacin aprobado por la Sociedad Canadiense de Evaluacin (1999). Cotejando estos
tres conjuntos de pautas de evaluacin con la taxonoma propuesta de competencias esenciales de
evaluador de King y col. (2001) se dio el primer paso hacia la comparacin final que aparece en la Tabla 1.
Nuestros pasos y decisiones para la preparacin del cotejo inicial fueron los siguientes:
1.
Cada autor individualmente determin cuales de las competencias esenciales abordaban las
normas respectivas, principios, o habilidades en las otras tres directrices.
2. Los propsitos centrales (o los principios bsicos) de cada apartado se utiliz para el cotejo, ms
que palabras especficas o frases sacadas de contexto. Por ejemplo, subnormas en cada una de las
cuatro normas principales en el Programa de Normas de Evaluacin, subprincipios de los cinco
principios importantes en los principios rectores, y subdestrezas en los cuatro principales
clasificaciones de la Serie Habilidades Esenciales (cuales ordenamos secuencialmente a, b, c, d , e,
etc) fueron interpretadas en el contexto de la categora principal en el que fueron clasificados. El
principal objetivo de cada norma, principio o habilidad, y el lenguaje utilizado para expresarlo, tena
que estar alineado con el propsito principal de la competencia esencial especfica al cual estuvo
cotejada. Debido a que las rbricas de los principios rectores incluan una leyenda explicativa, en
algunos casos era apropiado cotejar esos encabezados separarlos y apartarlos de sus subprincipios.
3.
El consenso entre los cuatro autores era necesario. Cuando los desacuerdos persistan, se
debatan a fondo las diversas interpretaciones, luego, se aplicaba sistemticamente la regla de
segunda decisin (detallado ms arriba) para llegar a un consenso total.
Llevar a cabo el contraste inicial demostr su utilidad para diversos fines. En primer lugar, facilit una
validacin adicional de la serie inicial de las competencias esenciales de King y col. (2001) al mostrar
coincidencias considerables entre las competencias y las directrices de otros (es decir, 62 de las 69 del
competencias esenciales de King tenan al menos una norma, principio, o habilidad compatible). En
segundo lugar, proporcion un mtodo alternativo til para la determinacin sistemtica de las
competencias esenciales, distinto de (pero tambin til) el ms comnmente usado "panel de expertos"
mtodo que se basa en la experiencia personal y el juicio profesional. Por ltimo, puso de manifiesto las
deficiencias de la taxonoma de King y col., sealando las competencias adicionales necesarias para el
logro de ciertas pautas de evaluacin ampliamente reconocidas como importantes por las asociaciones
nacionales de evaluacin.
La taxonoma revisada de las competencias esenciales para evaluadores de programa en el cuadro 1
ampla la taxonoma de King y col. (2001) mediante la inclusin de nuevos conocimientos, habilidades, o
disposiciones que los evaluadores necesitan tanto para realizar como para producir el tipo de evaluaciones
especificadas por las normas, principios y directrices aprobadas por las asociaciones de evaluacin de
renombre en Norte Amrica. Despus de completar la revisin, se elabor una segunda comparacin
(mostrada en la Tabla 1) utilizando el mismo procedimiento de consenso y decisin de reglas descrito
anteriormente. Una vez ms, se encontraron coincidencias importantes entre la taxonoma revisada de
competencias y directrices aprobadas por las principales asociaciones de evaluacin (es decir, 53 de las
61 competencias clasificadas en las seis principales categoras tuvieron por lo menos una coincidencia con
alguna norma, principio, o habilidad). En la siguiente seccin, se identifican las competencias adicionales
en la taxonoma revisada y se exponen las razones de su inclusin.
Necesidad de competencias adicionales
El cotejo inicial que compar la taxonoma de las competencias esenciales de evaluador de King y col.
(2001) con las normas, principios y conocimientos aprobadas por asociaciones de evaluacin de renombre
en Norte Amrica (descrito anteriormente) revel la necesidad de hacer las competencias esenciales ms
amplias. En primer lugar, se revis el cotejo inicial para identificar qu elementos de las dems directrices
no fueron abordados en la serie inicial de las competencias esenciales de King y col.
Despus
deliberamos sobre lo central de estos elementos a lo largo de la evaluacin del programa, llegando a un
consenso sobre el grado en que creamos esos temas fueron significativos, a continuacin, desarrollamos
competencias adicionales para apoyar aquellos elementos que acordamos eran importantes. La Tabla 1
presenta la taxonoma revisada de las competencias esenciales para evaluadores de programa
conteniendo 13 competencias adicionales. Una adicin, a la categora principal (5,0 Prctica Reflexiva),
resultado de la reorganizacin de las competencias de King y col. en su formato actual de fcil manejo.
Los otros 12 aadidos que resultaron de la necesidad de elaborar nuevas dimensiones crticas de las seis
clasificaciones de categoras principales. Estas adiciones son los siguientes:
2.6
2.11
Especifica la teora del programa

Evala la validez de los datos
2.12
3.1
3.2
3.3
3.5
3.6
3.8
4.2
4.4
4.6
Evala la confiabilidad de los datos

Describe el programa
.
Determina la viabilidad del mtodo de evaluacin del programa
Identifica los intereses de las partes interesadas
Busca solucionar los conflictos
Examina el contexto organizacional de la evaluacin
Atiende las cuestiones de los usos de la evaluacin
Negocia con los clientes antes que la evaluacin inicie
Se comunica con los clientes durante el proceso de evaluacin
Justifica el costo de las necesidades de informacin dadas
Adems, 10 competencias de King y col. (2001) no aparecen en la Tabla 1. Esas competencias se

observan en la Tabla 2, junto con las explicaciones de su omisin. En concreto, en King y col., varios
Dominios generales (II y III) y categoras principales (IA, IB y IC) se convirtieron innecesarios en el formato
accesible revisado. Diversos artculos sobre las competencias tambin fueron omitidos debido a que
concernan a investigacin en vez de la evaluacin (IA1 IA2 y), exclusivamente centrada en las
necesidades evaluacin, sin especificar otros tipos de estudios (IB2), o demasiado amplia centrada en la
habilidad de gestin, sin especificar otras caractersticas personales (IIC9). Por ltimo, tambin se omite
la competencia de "pensamiento lgico y crtico" (IIIA) de King et al., porque tal pensamiento es un
componente integral subyacentes prcticamente de todas las otras competencias, especialmente aquellas
que requieren directamente la determinacin de fortalezas y limitaciones de los estudios, proporcionando
razones para toma de decisiones, sopesar alternativas, haciendo juicios razonados, y as sucesivamente
(vase, por ejemplo, la Tabla 1 , las competencias 2,17 y 2,19). Esto estaba en contraste con las
habilidades de comunicacin verbal y escrita que se pueden ensear de manera independiente, de ah que
siguen siendo competencias separadas.
Necesidad de una precisin dentro de cada competencia
El esfuerzo por una taxonoma exhaustiva de competencias esenciales para evaluadores de programa
tambin nos llev a repensar las competencias de King y col. (2001) que incluy a ms de un elemento
descriptivo.
Por ejemplo, el elemento IA4 de la taxonoma original incorpor a tres descriptores,
refirindose a las competencias en trminos cuantitativos, cualitativos y mtodos mixtos. Un elemento
que incorpora mltiples descriptores puede arriesgar la futura utilidad de la taxonoma como una
herramienta para la auto-evaluacin dado que un evaluador puede poseer diferentes niveles de aptitudes
en cada indicador dentro de ese elemento. Por lo tanto, siempre que fue posible, se separaron mltiples
indicadores contenidos en artculos iguales, presentado cada uno en una competencia separada en la
taxonoma revisada en el Cuadro 1. Por ejemplo, la competencia 2,2 de orientar un conocimiento con
mtodos cuantitativos, 2,3 orientar con mtodos cualitativos los conocimientos y la competencia 2,4 que
los orienta con mtodos mixtos. En algunos casos, sin embargo, nosotros preferimos mantener mltiples
indicadores de una competencia debido a la estrecha y algo inseparable naturaleza de los indicadores
(especficamente ver las competencias1.2, 1.3, 1.4, 1.5, 2.18, 2.19, 3.10, 5.2, y 6.2). Por ejemplo, la
competencia 1.2 habla de la importancia de actuar con tica y lucha por la integridad y la honestidad en la
realizacin de evaluaciones. El comportamiento tico, la integridad y la honestidad estn tan entrelazados
que pareca ms prudente para incorporar todos estos indicadores en una competencia, en lugar de
enumerar cada uno por separado.
Cuadro 2
Competencias de King, Stevahn, Ghere, y Minnema (2001)
Omitidas en la Taxonoma Revisada en Cuadro 1
Clasificacin
Omitidas
Descripcin
Dominios
II
III
Categoras
IA
IB
IC
IIIA
tems
IA1
IA2
Competente en
Evaluacin Prctica
Habilidades Generales
para la Prctica de la
Evaluacin
Capaz de hacer
actividades orientadas a
la investigacin
Capaz de hacer
actividades orientadas a
evaluar
Capaz de hacer
actividades comunes a la
investigacin y evaluacin
Habilidades de
pensamiento lgico y
critico
Encuadrar las
preguntas de
investigacin
IB 2
Diseo de la investigacin
IIC9
Evaluacin de
Necesidades
Capaz de manejar el
estrs durante un
proyecto
Razn de la
Omisin
Este amplio dominio no es necesario
en la taxonoma revisada que
reorganiza las competencias en seis
clasificaciones especficas.
Este amplio dominio no es necesario
en la taxonoma revisada que
reorganiza las competencias en seis
clasificaciones especficas.
Esta categora pertenece a la
investigacin (no evaluacin) por lo
tanto no se aplica a la taxonoma
revisada
Esta categora no es necesaria porque
se aplica a travs de toda la taxonoma
revisada.
Esta categora no es necesaria ya que
la taxonoma se aplica a la prctica de
la evaluacin (no de investigacin).
Esta categora separada no es
necesaria porque el pensamiento crtico
subyace a todas las competencias de la
taxonoma revisada.
revisada
revisada
Este punto se omite porque la
taxonoma revisada no especifica tipos
particulares de estudios; en su lugar las
evaluaciones deben dirigir las
preguntas (como indica la Tabla 1,
competencias 2.7 and 2.8).
Este punto es demasiado abierto y sera
ms apropiado si es subsumido por
competencias 5.1 and 5.2 de la Tabla 1.

Traduccin: Lic. Alejandro Jara Lezama
Necesidad de contar ahora con una taxonoma revisada
Creemos que el objetivo ltimo de cualquier taxonoma til y completa de
competencias para evaluadores de programa debe ser su validacin amplia y
generalizada y aprobada por profesionales del rea. Siendo realistas, se trata de
una tarea a largo plazo. Varios pasos en el proceso incluyen la revisin de la
literatura en la evaluacin de programas, formulacin de taxonomas iniciales, que
pueden fusionarse en una sola, establecer la validez de la confrontacin, buscar
informacin diversa para la revisin, determinar las estrategias de validacin,
explora las normas de validacin en diferentes regiones geogrficas o sectores
concretos de la prctica, perseguir la validacin generalizada en todo el campo de
la prctica profesional, revisar y refinar cualquier acuerdo sobre taxonoma en vista
de nuevos desarrollos en campo, y as sucesivamente.
La taxonoma de las
competencias esenciales para los evaluadores de programa en este artculo
representa nuestro progreso en este recorrido de largo plazo, que inici en 1998 y
fue el primero en reportarse en King y col. (2001).
Aunque algunos pueden argumentar que es prematuro presentar la taxonoma
revisada de las competencias esenciales en la Tabla 1, antes de su validacin formal
en el campo a largo plazo, creemos que ponerla ahora a disposicin es un paso
intermedio til. Hacerlo as, fomenta el tipo de discusin continuada y crtica
necesaria para determinar el grado en que un amplio consenso de una serie comn
de competencias puede lograrse por evaluadores de programa quienes tienen
papeles especficos y trabajan en diversas situaciones. De hecho, creemos que
este conjunto de competencias beneficiaran a evaluadores de programa de
mltiples maneras, especialmente (como se seal anteriormente), estableciendo
una fundacin en la que se promueva y mejore la formacin, mejore la prctica
reflexiva, avance en la investigacin en evaluacin, y fomente la profesionalizacin
del rea. Sin embargo, ofrecer el fundamento para avanzar en la discusin parece
prudente, dado el inters recurrente en el tema durante la ltima dcada. Tal
inters no slo ha sido evidente en la literatura (vase, por ejemplo, Altschuld,
1995, 1999, Fitzpatrick et al., 2004; Mertens, 1994; Patton, 2001; Smith, 1999) y en
las reuniones de las asociaciones de evaluacin profesional (vase , por ejemplo,
Altschuld y Bickman, 1998; Covert, 1992; King, Minnema, Ghere, y Stevahn, 1998;
King, Stevahn, Ghere, y Minnema, 1999; Smith, 1998), pero adems es un foco de
atencin dentro de las organizaciones actuales que estn trabajando para
establecer series de competencias profesionales importantes para la evaluacin del
programa (vase, por ejemplo, Consejo de enlace entre la universidad y Prctica de
Salud Pblica, s / f; Junta Internacional de Normas para la Formacin, Actuacin, e
Instruccin, 2003; tambin del editor DF Russ-Eft, Desarrollo de Recursos Humanos
que aparece cuatrimestral, comunicacin personal, 30 de junio de 2004). En suma,
encontramos que la taxonoma en la Tabla 1 representa una til herramienta
profesional de desarrollo en los programas que facilita. En su forma actual, la
taxonoma sirve como plataforma para participar de manera significativa en la
reflexin de evaluadores, auto-anlisis y discusin en grupo sobre una amplia gama
de conocimientos, habilidades y disposiciones relacionadas con la prctica.
Iniciativas futuras
Dos actividades principales son necesarias para consolidar una taxonoma de las
competencias esenciales para evaluador de programa para su uso generalizado. La
primera es llevar a cabo sistemticamente un estudio y validacin integral para
determinar el grado en que los evaluadores de programa en todo el campo puedan
lograr un consenso sobre la importancia de una serie de competencias esenciales
para la prctica profesional. Al hacerlo, se requerir incluir una amplia muestra
representativa de evaluadores en el proceso de validacin que representen las

diversas funciones de la evaluacin, orientaciones e intereses- ms parecidos a los
integrantes de las organizaciones tales como la AEA, una organizacin bien
posicionada para continuar el desarrollo de competencias y su aprobacin en el
futuro. Tambin ser necesario definir los trminos para promover la coherencia en
el significado y la comprensin consensada. Actualmente estamos preparando un
glosario de trminos utilizados en la taxonoma revisada en el cuadro 1, una
muestra de lo que aparece en el cuadro 3.
La segunda actividad consistir en la construccin de rbricas descriptivas para las
competencias esenciales de evaluador que especifiquen diversos niveles de
ejecucin de las aptitudes. De manera ms inmediata, como una herramienta que
prueba la utilidad de la auto-evaluacin de las habilidades de uno como evaluador,
de ese modo adems esclarece las reas de desarrollo profesional. As mismo,
tales rubricas podran ser aplicadas inmediatamente en programas de evaluacin
de programas de formacin para evaluar el progreso formativo o sumativo. Por
ltimo, a largo plazo, las rbricas seran tiles en cualquier certificacin de
credenciales u otorgamiento de licencias que puedan darle seguimiento las
organizaciones especficas o el campo en general.
Cuadro 3
Glosario muestra de trminos seleccionados en la Taxonoma revisada en cuadro 1
Trminos
Conflicto
Comportamient
o tico
Enfoque de la
evaluacin
Diseo de la
evaluacin
Normas de
evaluacin
Honestidad
Integridad
Metaevaluacin
Mtodos mixtos
Teora del
programa
Definicin
Cuando los intereses incompatibles y / o acciones se producen entre los seres

humanos
Las acciones que encarnan los ideales aceptados que rigen la conducta de una
profesin
Una orientacin general hacia la realizacin de una evaluacin til de los programas para
abordar cuestiones concretas, por ejemplo, orientado al consumidor, orientada a objetivos,
orientada a la gestin , u orientada a los participantes direccionan la evaluacin, por
nombrar algunos
Especifica las preguntas de evaluacin, fuentes de datos, recopilacin de datos y mtodos
de anlisis, y los procedimientos para llevar a cabo un estudio de evaluacin y comunicacin
de resultados, un plan para llevar a cabo una evaluacin
Las normas o principios de Evaluacin aprobadas por asociaciones nacionales de evaluacin
y ampliamente aceptados en el campo, por ejemplo, el Comit Conjunto del Programa de
Normas de Evaluacin, la Asociacin Americana de Evaluacin principios rectores para los
evaluadores'''
No hay engao, se caracteriza por la integridad
La adhesin a un cdigo de conducta tica

Evaluacin de un estudio de evaluacin del programa
Utilizando mtodos tanto cuantitativos como cualitativos de recopilacin de datos y mtodos
de anlisis para abordar
preguntas de evaluacin
Un modelo lgico del programa a veces se denomina la teora de un programa de cambio;
supuestos subyacentes de la eficacia de un programa; explicacin de los mecanismos que se
presume hacen un programa efectivo
Tal como las normas de evaluacin proveen orientacin para la toma de decisiones
al llevar a cabo estudios de evaluacin de programas, las competencias de
evaluador que especifican los conocimientos, las habilidades y las disposiciones
fundamentales para llevar a cabo eficazmente esas normas tienen la capacidad de
seguir aumentando la efectividad de los esfuerzos de evaluacin. Inspirados en el
espritu de se puede hacer en la evaluacin, creemos que continuar trabajando
hacia un acuerdo sobre la serie de competencias fundamentales para la prctica
efectiva es fundamental para el avance de esta rea. Aunque algunos pueden
cuestionar la conducta bsica subyacente implcita en cualquier
serie de
competencias, cada vez vemos ms un creciente inters y trabajo en esta rea. Por
ejemplo, en profesiones distintas a la evaluacin, tales como cuidado de la salud y
la educacin, vemos que las competencias de evaluador encajan en calificar la
acreditacin y otorgar la credencializacin (ver la Comisin Nacional para la
credencializacin de la Educacin en Salud, (1996) Responsabilidades y
competencias o el Consejo Nacional para la acreditacin de Formacin de Personal
Docente (2002) Normas profesionales para la acreditacin de Escuelas,

Universidades y Departamentos de Educacin). Vemos que tambin las
asociaciones nacionales de evaluacin, tales como la Sociedad Japonesa de
Evaluacin que examina la viabilidad de los sistemas de acreditacin que
necesariamente requieren la identificacin de habilidades de evaluador deseadas
(ver Nagao, 2003). Para afrontar las cuestiones de competencia hacia la mejora
continua en la prctica de la evaluacin de programa, le ofrecemos la taxonoma
revisada de las competencias esenciales para evaluadores de programa esperando
sea de utilidad. Adems esperamos que proporcione significados sustanciales para
abastecer la discusin crtica rigurosa y permanente entre los evaluadores de
programa que buscan profesionalizar ms el rea.
Nota del traductor:
Descriptor no es una palabra que refleje lo que quiere significar, en su lugar se
utiliz indicador.

Establecimiento de Competencias Esenciales para Evaluadores de Programa

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Establecimiento de Competencias Esenciales para Evaluadores de Programa

Cargado por

Copyright:

Formatos disponibles

Maestra en Educacin Superior, FFyL, BUAP

Traduccin: Lic. Mara Esther Vargas Elas