Está en la página 1de 69

(SNTESIS DEL

DOCUMENTO DE TRABAJO)

ELABORACIN Y VALIDACIN
DE INSTRUMENTOS DE
EVALUACIN DE
COMPETENCIAS
PROFESIONALES

2012

1
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
El presente documento es la sntesis de los aspectos importantes que
comprende el documento de trabajo titulado elaboracin y validacin de
instrumentos de evaluacin de competencias profesionales, elaborado por la
DEC-CONEAU en el 2012 con la finalidad de servir de soporte de aprendizaje a
los que se forman como evaluadores de competencias profesionales.

Por ser una parte del documento de trabajo, se aborda desde la


metodologa para la elaboracin de instrumentos de evaluacin de
competencias profesionales que comprende los procedimientos generales para
la elaboracin de la matriz de instrumentos de evaluacin de competencias
profesionales, explicando sus componentes como son: los criterios de
desempeo, indicadores y reactivos de evaluacin as como las evidencias
requeridas para la evaluacin.

Un aspecto importante del documento es la elaboracin de instrumentos


para la evaluacin de competencias profesionales, se describe los requisitos,
componentes y tipos de instrumentos como son: las listas de chequeo para el
recojo de evidencias de desempeo y producto y el cuestionario para el recojo
de evidencias conocimientos

El documento finaliza abordando la validez de instrumentos de


evaluacin, desde la validacin externa donde se describe el procedimiento de
la validez de contenido por juicio de expertos, las evidencias basadas en el
contenido con ejemplos de procedimiento de validez segn Gregory y la V de
AIKEN. Un aspecto importante que se detalla tambin es la confiabilidad de un
instrumento segn mtodos en el clculo de la fiabilidad.

2
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
SISTEMA NACIONAL DE EVALUACIN, ACREDITACIN Y CERTIFICACIN DE
LA CALIDAD EDUCATIVA - S.I.N.E.A.C.E

Consejo Superior:

Peregrina Morgan Lora (IPEBA) PRESIDENTE


Jaime Zrate Aguilar (CONEAU)
Luis Humberto Ludea Saldaa (CONEACES)
CONSEJO DE EVALUACIN, ACREDITACIN Y CERTIFICACIN DE LA
CALIDAD DE LA EDUCACIN SUPERIOR UNIVERSITARIA - C.O.N.E.A.U.

Directorio:

Jaime Zrate Aguilar


Miguel ngel Saravia Rojas
Francisco Delgado de la Flor Badaracco
Jonathan Golergant Niego
Edwin Uribe Pomalaza
Wilson Alcntara Vidal

Direccin de Evaluacin y Certificacin:

Elaborado por: Revisado por: Aprobado por:


tala Navarro Montenegro
Ruth Seminario Rivas
Silvia Bravo Hernndez
Myriam Sosa Espinoza
Valia Venegas Meja

Lima-Per

3
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
INTRODUCCIN

La Certificacin profesional en el Per es una realidad an incipiente y dbil. Tres aos


de trabajo conjunto, CONEAU-Colegios Profesionales, es poco tiempo para los logros
alcanzados a la fecha. Sin embargo, ello no nos desva del convencimiento de que hay
muchos aspectos a mejorar.

Uno de los aspectos crticos de la evaluacin de competencias es el recojo de


evidencias del postulante, a travs del empleo de instrumentos de evaluacin con
caractersticas idneas, vlidos y confiables.

Con base en la experiencia desarrollada hasta ahora de capacitacin para el


fortalecimiento de capacidades en los colegios profesionales y en una dinmica de
mejora continua, la DEC-CONEAU ha diseado y est ejecutando el Curso de
elaboracin de instrumentos para la evaluacin de competencias profesionales.

El curso, aborda los aspectos conceptuales generales de la evaluacin de


competencias y la elaboracin de los instrumentos ms utilizados para ella, enfatiza
dos aspectos esenciales. El primero es una metodologa para asegurar que los
instrumentos se elaboren cubriendo todos los componentes de la norma de
competencia a travs de una matriz de consistencia; y el segundo es el desarrollo de
procesos de validacin externa e interna de los instrumentos elaborados.

El presente es todava un documento de trabajo que busca orientar a los participantes


que se forman como evaluadores de competencias profesionales correspondientes al
mdulo denominado instrumentos de evaluacin de competencias profesionales,
esperamos mejorarlo con los aportes y crticas constructivas de sus lectores.

Un agradecimiento especial a la Profesora tala Navarro Montenegro por su sustantivo


aporte al presente documento.

4
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
NDICE

1. CONCEPTOS CLAVES Y CONSIDERACIONES IMPORTANTES PARA LA


ELABORACIN DE INSTRUMENTOS DE EVALUACIN DE COMPETENCIAS
PROFESIONALES.

2. MARCO CONCEPTUAL DE LA EVALUACIN DE COMPETENCIAS PROFESIONALES


2.1 Definiciones de evaluacin de competencias profesionales
2.2 Evaluacin tradicional frente a evaluacin de competencias

2.3.Evaluacin de competencias profesionales en el Per


2.4 Caractersticas de la evaluacin de competencias
2.5 Principios bsicos de la evaluacin de competencias
2.6 Fases o etapas de la evaluacin de competencias
2.7. Norma de competencia como estndar de evaluacin de competencias profesionales

3. METODOLOGA PARA LA ELABORACIN DE INSTRUMENTOS DE EVALUACIN DE


COMPETENCIAS PROFESIONALES.
3.1 Procedimientos generales para elaboracin de la matriz de instrumentos de evaluacin de
competencias profesionales
3.2. Criterios de desempeo
3.3 indicadores de evaluacin
3.4. Reactivos de evaluacin
3.5 evidencias requeridas para la evaluacin de competencias

4. ELABORACIN DE INSTRUMENTOS PARA LA EVALUACION DE COMPETENCIAS


PROFESIONALES.

4.1 Instrumentos de evaluacin de competencias

4.1.1 Requisitos de los Instrumentos de evaluacin


4.1.2 Componentes del instrumento de evaluacin:
4.1.3 Instrumentos de evaluacin para el recojo de evidencias de desempeo y producto
4.1.3.1 La Lista de Chequeo
4.1.4 instrumento de evaluacin de conocimientos. Cuestionario
4.1.5 pasos para la elaboracin del cuestionario.

5. VALIDEZ DE UN INSTRUMENTO.

5.1 Validacin externa de instrumentos de evaluacin


5.1.1 Procedimiento de la validez de contenido por juicio de expertos
5.1.2 Evidencias basadas en el contenido
5.1.3 Ejemplo de procedimiento de validez segn Gregory y la V de AIKEN.

5.2 Confiabilidad
5.2.1 Confiabilidad de un instrumento
5.2.2 Enfoques y mtodos en el clculo de la fiabilidad

ANEXOS

5
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
3. METODOLOGA PARA LA ELABORACIN DE INSTRUMENTOS DE
EVALUACIN DE COMPETENCIAS PROFESIONALES

La evaluacin de competencias profesionales es un proceso importante y complejo


con varias etapas y procedimientos en cada una de ellas. Por ello es necesario
establecer una metodologa pertinente que permita la congruencia y consistencia de la
evaluacin a travs de instrumentos vlidos y confiables.

La metodologa para la elaboracin de instrumentos de evaluacin de competencias


profesionales consiste en elaborar una matriz de consistencia y congruencia de todos
los componentes de la norma de competencia, estableciendo indicadores que
permitan elaborar los reactivos o preguntas segn tcnicas e instrumentos para el
recojo de las evidencias requeridas.

Una Matriz o rbrica es una tabla de doble entrada, en la evaluacin de competencias


se emplea para ordenar todos los componentes de la norma de competencia a
evaluar, con la finalidad de establecer los indicadores de evaluacin segn los tipos de
evidencias para que partir de estos se formulen los reactivos o preguntas que irn en
el instrumento de evaluacin.

La matriz permite organizar todos los componentes de la norma a evaluar de manera


total y sistemtica.

3.1 Procedimientos generales para elaboracin de la matriz de


instrumentos de evaluacin de competencias profesionales

Para la construccin de la matriz se recomiendan los siguientes pasos:

1) Colocar en la primera columna de la matriz la norma de competencia a evaluar


(recuerda que la norma est integrada por competencias concretas a las que
se les denomina elementos de competencia.)
2) En la segunda columna colocar en orden cada elemento de competencia de la
norma a evaluar, esto es muy importante para ubicar los criterios en el
elemento de competencia que le corresponda.
3) En la tercera columna colocar los criterios correspondientes al elemento de
competencia. Realizar igual con todos los elementos de la norma.
4) En la cuarta columna colocar el rango correspondiente al elemento de
competencia
5) En la quinta columna colocar todos los conocimientos y comprensin
esenciales del elemento de competencia
6) En la sexta columna establecer los indicadores segn evidencias de
evaluacin, est columna se subdivide en tres para los indicadores de
conocimiento, desempeo y producto. Cada indicador se formula analizando
cada criterio de desempeo, el rango y los conocimientos y comprensin
esenciales correspondientes al criterio analizado. Ejemplo: si en el elemento de
competencia Recoger evidencias de las competencias del postulante segn
pautas establecidas por la entidad certificadora y CONEAU, de la norma:
Ejecutar la evaluacin de las competencias de los postulantes, segn las
normas y procedimientos establecidos por la entidad certificadora, tiene los
criterios a,b,c,d,e y en los conocimientos y comprensin esenciales el
conocimiento 1 est relacionado al criterio a) el conocimiento 2, 3, 4 y 5
tambin; quiere decir que ningn criterio puede quedar al margen del
conocimiento establecido en la norma por lo tanto el criterio a) tiene cinco
6
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
indicadores. Es bueno tambin revisar el rango que debe ser cubierto o estar
relacionado con los criterios y conocimientos. En la construccin de los
indicadores de conocimientos se debe considerar los niveles de complejidad
del pensamiento: baja, media y alta, utilizando para ello una taxonoma en
coherencia al criterio requerido en la norma y la experticia del profesional. Los
niveles de complejidad de los indicadores formulados determinaran los pesos
para colocar el puntaje de las preguntas.
Para formular los indicadores de desempeo se analiza el criterio
correspondiente y se redacta en accin de desempeo observable, ejemplo:
Orienta al postulante sobre la evaluacin segn evidencia a recoger y pautas
establecidas.
Los indicadores de producto se formulan analizando cada criterio, segn lo
que indica el criterio, ejemplo: registro de instrumento de desempeo.

7) Establecer las tcnicas y los instrumentos en la parte final de las columnas que
corresponde a los indicadores segn evidencias. Ejemplo: para recoger
evidencias de conocimiento la tcnica es formulacin de preguntas y el
instrumente el cuestionario. Para el recojo de evidencias de desempeo la
tcnica de evaluacin es observacin y su instrumento la lista de chequeo de
desempeo, la tcnica para el recojo de evidencias de producto es la
valoracin de producto y su instrumento la lista de chequeo de producto.

SECUENCIA PARA LA ELABORACIN DE MATRIZ DE CONSISTENCIA DE


INSTRUMENTOS DE EVALUACIN DE COMPETENCIAS PROFESIONALES

NORMA DE COMPETENCIA Y ELEMENTOS DE


1
COMPETENCIA A EVALUAR

CRITERIOS DE DESEMPEO DEL ELEMENTO


2
DE COMPETENCIA

3 RANGO

CONOCIMIENTOS Y COMPRENSIN
4 ESENCIALES

FORMULACIN DE INDICADORES DE
EVALUACION SEGN EVIDENCIAS DE
5
DESEMPEO CONOCIMIENTO Y PRODUCTO

A continuacin un ejemplo de matriz de elaboracin de instrumentos de evaluacin de


competencias profesionales:

7
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
MATRIZ DE CONSISTENCIA PARA LA ELABORACIN DE INSTRUMENTOS DE EVALUACIN DE
COMPETENCIAS PROFESIONALES
ELEMEN CRITERIOS DE RANGO CONOCIMIENTOS INDICADORES DE EVALUACIN SEGN EVIDENCIAS
NORMA DE TOS DESEMPEO Y COMPRENSIN
COMPETENCIA ESENCIALES
CONOCIMIENTO DESEMPEO PRODUCT
O
a) El postulante 1. Identifica las normas de competencia a evaluar, 1.Orienta al
es orientado 1. Normas de segn priorizacin de la Entidad certificadora. postulante
sobre la competencias en 2. Identifica la comunicacin asertiva como habilidad sobre la
evaluacin, segn que se evaluar al social del evaluador. evaluacin
tipos de postulante 3. Diferencia las tcnicas de evaluacin de segn
evidencias a priorizadas por la competencias segn gua de participantes del evidencia a
recoger y pautas entidad curso de evaluadores recoger y
establecidas. certificadora. (a, b, 4. Identifica los tipos, caractersticas y condiciones de pautas
c, d) instrumentos de evaluacin de competencias a establecidas
aplicar segn gua de evaluacin CONEAU.
2.Habilidades 5. Analiza los tipos de evidencias para la evaluacin
sociales del de competencias segn directrices de
1. evaluador de normalizacin CONEAU.
Recoger competencias (Gua 6. Analiza la actuacin tica del evaluador en un
evidenci del participante del caso.
as de las Tcnicas de curso de 7. Identifica los procedimientos para la aplicacin de
compete evaluacin: evaluadores) (a) los instrumentos de evaluacin de competencias.
ncias del b) Los Observacin 1. Identifica las evidencias de conocimiento de 2. Aplica Registros
postulan instrumentos de en ambiente 3.Tcnicas de las normas de competencia a evaluar. instrumentos de
te segn evaluacin de real evaluacin de 2. Describe el procedimiento del uso de de instrument
pautas conocimiento se Simulacin competencias instrumentos de recojo de evidencias de conocimiento os de
estableci aplican de Valoracin de segn Gua de conocimiento, segn tcnica. segn conocimien
das por acuerdo a las productos evaluacin 3. Identifica evidencias de conocimiento para evidencia a to
Ejecutar la la evidencias a Formulacin CONEAU ( a, b, c, la evaluacin de competencias recoger y aplicados
evaluacin de las entidad recoger y pautas de preguntas d) 4. Analiza la actuacin tica del evaluador en pautas
competencias de certifica establecidas. casos de aplicacin de instrumentos de evaluacin establecidas.
los postulantes, dora y Tipos de 4.Tipos de de conocimiento.
segn las normas y CONEA evidencias: evidencias para la 5. Analiza un caso de aplicacin de un
procedimientos U. Conocimiento evaluacin de cuestionario.
establecidos por la Desempeo competencias 6. Analiza un caso de registro de evidencias de
entidad Producto segn Gua de conocimiento.

8
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
certificadora. c) Los evaluacin 1. Analiza las evidencias de desempeo de las 3. Aplica Registro
instrumentos de Tipos de CONEAU (a, b, c, normas de competencia a evaluar en un caso instrumentos de
evaluacin de instrumentos: d) 2. Relaciona el instrumento de evaluacin de de desempeo instrument
desempeo se Cuestionario desempeo con a tcnica correspondiente a la segn o de
aplican de Lista de 5.Pautas ticas de evidencia a recoger evidencia a desempe
acuerdo a las chequeo la evaluacin de 3. Describe las caractersticas, condiciones y recoger o
evidencias a competencias procedimientos del uso del instrumento de
recoger y pautas segn cdigo de evaluacin de desempeo.
establecidas. tica del evaluador 4. Analiza la actuacin tica del evaluador en casos
CONEAU(a, b, c, d de aplicacin de instrumentos de evaluacin de
y e) desempeo.
5. Analiza la aplicacin de una lista de verificacin de
6. Procedimientos desempeo en un caso.
para la aplicacin 6. Describe el procedimiento para el registro de
de los instrumentos evidencias.
d) Los de evaluacin de 1. Identifica las evidencias de producto de las 4. Aplica Registro
instrumentos de competencias normas de competencia a evaluar. instrumentos de
evaluacin de segn Gua de 2. Relaciona el instrumento de evaluacin de de producto instrument
producto se evaluacin de producto con la tcnica correspondiente a la segn o de
aplican de CONEAU (a, b, c, evidencia a recoger evidencia a producto
acuerdo a las d). 3. Describe las caractersticas, condiciones y recoger
evidencias a procedimientos del uso del instrumento de
recoger y pautas 7. Procedimiento evaluacin de producto.
establecidas. para el registro de 4. Analiza la actuacin tica del evaluador en
evidencias segn casos de aplicacin de instrumentos de evaluacin
Gua de evaluacin de producto.
CONEAU (b, c, d, 5. Describe los procedimientos para la
e). aplicacin del instrumento de evaluacin de
producto.
8. Pautas para la 6. Describe el procedimiento para el registro de
determinacin del evidencias de producto
e) La logro de las 1. Reconoce los principios ticos en la 5. Registra el Registro
determinacin del competencias determinacin del logro de las competencias y su logro de la de logro de
logro de la segn Gua de registro. competencia competenc
competencia es evaluacin 2. Analiza los procedimientos para la en los ia
registrada en los CONEAU (e). determinacin del logro de las competencias. formatos
formatos 3. Describe el procedimiento para el registro del logro establecidos
establecidos de las competencias.
segn pautas
establecidas.

9
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
a) Los Actores 1.Organizacin del 1. Reconoce la organizacin del expediente del 1.Revisa y Registro
2. expedientes Involucrados expediente del evaluado para el informe final de la evaluacin. organiza de
Comunic de los .Postulante evaluado para el 2. Analiza la tica del evaluador en relacin a la expedientes verificacin
ar a los postulantes evaluado informe final de la revisin y organizacin de los expedientes de los de evaluados y
actores evaluados son .Responsables evaluacin (en postulantes evaluados. segn pautas expediente
involucra revisados y de Gua de EC s
dos los organizados evaluacin/ges Procedimientos organizado
resultado de acuerdo a tin para la s
s de la pautas de la - Evaluacin de
evaluaci entidad Resultado de Competencias
n, segn certificadora. la evaluacin con fines de
normas b) La -Demostr la certificacin 1. Diferencia la comunicacin individual, emptica, 2. Comunica al
estableci comunicacin Competencia profesional- asertiva, y respetuosa de los resultados de la postulante los
das de los - no demostr CONEAU) (a) evaluacin. resultados de
resultados de la 2. Pautas para la 2. Analiza las formas de comunicacin de los la evaluacin
la evaluacin competencia comunicacin de resultados en un caso. de manera
es realizada los resultados a emptica,
de manera los postulantes asertiva,
individual, evaluados (en respetuosa
emptica, Gua de siguiendo
asertiva y evaluacin pautas
respetuosa CONEAU)(b). establecidas.
con el 3. Pautas de
postulante elaboracin del
segn pautas informe (en Gua
establecidas. Procedimientos
c) La redaccin para la 1. Reconoce las recomendaciones para la elaboracin 3.Redacta el Informe
del informe Evaluacin de del informe final de resultados de la evaluacin. informe final a final
final a la EC Competencias la EC con consolidad
es realizada con fines de participacin o de
con la certificacin del equipo resultados
participacin profesional- evaluador de
del equipo CONEAU) (c, d, evaluacin
evaluador. e). de
4. Pautas para la competenc
entrega del ias
informe (en Gua
d) El informe de Procedimientos 1. Identifica las partes del informe final de la 4. Redacta el
la evaluacin para la evaluacin. informe final
de evaluacin de 3. Analiza las pautas ticas del evaluador de cumpliendo

10
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
competencias competencias competencia en la redaccin del informe. recomendacio
es redactado CONEAU) (e) nes
cumpliendo 6. Pautas de establecida
las manejo de por la EC
recomendacio contingencias en
nes la evaluacin y
establecidas elaboracin del
por la entidad informe de la EC.
certificadora. (e)
7. Pautas de tica
e) La del evaluador de 1. Analiza las pautas para la presentacin del 5. Realiza la
presentacin del competencias. informe final de la evaluacin de competencias en
presentacin
informe se realiza (a, e, d) un caso. del informe
considerando su 8. Contingencias en 2. Identifica los principios ticos en la presentacin
considerando
integridad, la elaboracin del informe final de la evaluacin su integridad,
seguridad y del informe seguridad y
confidencialidad segn EC(f) confidencialida
de acuerdo a lo d de acuerdo a
establecido por la lo establecido
EC. por la EC.
f) Las 1. Reconoce pautas para el manejo de contingencias 6. Maneja
contingencias en la elaboracin del informe a la EC. contingencias
durante la 2. Analiza las pautas ticas del evaluador de durante la
elaboracin del competencias en el manejo de contingencias en la elaboracin
informe son elaboracin del informe a la EC. del informe de
manejadas de acuerdo a
acuerdo a pautas pautas
establecidas por establecidas
la EC. por la EC.
TECNICAS E INSTRUMENTOS SEGN EVIDENCIAS
Formulacin de Observacin-Lista Anlisis de producto-Lista de chequeo de
peguntas- de chequeo de producto
Cuestionario desempeo

11
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
3.2. CRITERIOS DE DESEMPEO

La evaluacin por competencias se basa en criterios que son juicios tcnicos y ticos
que orientan el desempeo profesional.

Los criterios de desempeo son la base para poder evaluar si un profesional alcanza
el resultado esperado del desempeo establecido en el elemento de competencia,
expresan lo que se espera del desempeo y el cmo se espera que sea el resultado.

Por lo tanto los criterios describen la calidad de los resultados de los desempeos,
identifican los aspectos esenciales o crticos para el desempeo del elemento de
competencia.

Expresin

Los criterios de desempeo se deben expresar con oraciones en las que se identifique
claramente el:

Desempeo crtico o el resultado crtico, y

Enunciado evaluativo.

Estructura gramatical

Los criterios se redactan siguiendo la estructura OBJETO+VERBO+CONDICIN,


donde el desempeo o resultado esperado que se expresa con el objeto y el verbo,
debe poder evaluarse con base en lo enunciado en la condicin.

EJEMPLOS DE CRITERIOS

OBJETO VERBO CONDICIN


Sobre qu aplicar. Accin. Cmo:
Sujeto o cosa sobre el Accin principal del Especificacin/restriccin.
que se aplica la accin profesional. Los referentes para evaluar la
accin fundamental
EJEMPLO:
sobre la evaluacin, segn
1. El postulante es orientado tipos de evidencias a recoger y
pautas establecidas.

2. Los instrumentos de se aplican de acuerdo a las evidencias a


evaluacin de recoger y pautas establecidas.
conocimiento
de acuerdo a pautas de la
son revisados y entidad certificadora.
3.Los expedientes de organizados
los postulantes de manera individual,
evaluados emptica, asertiva y
es realizada respetuosa con el postulante
4 .La comunicacin de segn pautas establecidas.
los resultados de la
evaluacin

12
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
3.3 INDICADORES DE EVALUACIN

3.3.1 Definiciones

El Diccionario de la Real Academia Espaola define al indicador como aquello que


indica o sirve para indicar, mientras que este ltimo trmino es a su vez definido como
"dar a entender o significar una cosa con indicios o seales". Una definicin parecida
proporciona el diccionario Larousse, que define al indicador como aquello que indica,
que permite conocer o que sirve para indicar. Por su parte, el Oxford Dictionary lo
define como una cosa que seala algo o un tablero que da informacin sobre la
situacin actual. 1

Los indicadores son construidos desde los criterios de desempeo descritos en el


elemento de competencia de la norma a evaluar.

Son definidos como medidas objetivas de los sucesos del proceso que a su vez
permiten evaluar si se est cumpliendo o no, o en qu medida, los criterios de
evaluacin que se han elaborado.

Son variables empricas que permiten al evaluador medir el elemento de competencia


y constituyen el mximo grado de operacionalizacin de la competencia profesional.
Los indicadores son especficos y concretos, sirven para elaborar los reactivos del
instrumento de medicin.

3.3.2 Ventajas
Los indicadores de evaluacin describen las habilidades, conocimientos, y
actitudes, destrezas que se desean evaluar. Hacen observable a los criterios del
elemento de competencia permitiendo valorar el desempeo del profesional con
objetividad al recoger las evidencias.
Permite la elaboracin de instrumentos pertinentes.
Permiten verificar el cumplimiento de los criterios de evaluacin (condiciones de
desempeo).

3.3.3 Las caractersticas que deben tener los Indicadores:


Representan una medida cuantitativa o cualitativa.
Deben revelar los propsitos de los criterios de evaluacin elaborados.
Deben ser comprensibles para que puedan ser interpretados por todos los
involucrados en el proceso.
Deben ser verificables.
Deben servir para orientar futuras decisiones para mantener o modificar
acciones.

3.3.4 Estructura de un indicador

Los indicadores presentan generalmente los siguientes elementos: capacidad


especfica o accin observable, contenido y condicin de calidad.

1 Alejandro Tiana Ferrer. Indicadores de evaluacin en educacin.


13
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Capacidad especfica (accin) que, generalmente, hace alusin a una operacin
mental.

Contenido hace posible el desarrollo de la capacidad especfica. Responde a la


pregunta qu es lo que... (la capacidad especfica)? La respuesta es el contenido.

Condicin en el que se evidencia el desarrollo de la capacidad en productos


tangibles.

Ejemplo:

Reconoce la organizacin del expediente del evaluado para el informe final de la


evaluacin, segn pautas establecidas.

Qu hace el evaluado? Capacidad especfica o accin= Reconoce


Qu reconoce el evaluado? Contenido=La organizacin del expediente del evaluado
Cul es la condicin/producto? Condicin de calidad = segn pautas establecidas
para la organizacin de expediente del postulante a certificacin

3.3.5. Recomendaciones

Debe haber coherencia entre criterios, indicadores y las preguntas (reactivos,


tems) que se plantean en el instrumento de evaluacin. Para un indicador se
puede formular ms de un reactivo o pregunta.
Los criterios de evaluacin son confundidos con los Indicadores y por lo tanto
tiene mala aplicacin. Al elaborarlos se tendr en cuenta que los criterios
representen lo sustantivo de los propsitos del elemento de competencia, y que
las medidas de los Indicadores permitan evaluar si se estn cumpliendo esos
criterios de desempeo.
Para establecer los indicadores de conocimiento es necesario considerar los
niveles de complejidad del pensamiento: bajo, medio y alto, de esa forma los
reactivos o preguntas medirn todos los niveles segn taxonoma.

A continuacin presentamos la complejidad de los niveles de pensamiento


expresado en capacidades y sus caractersticas.

COMPLEJIDAD DEL PENSAMIENTO


CAPACIDAD CARACTERSTICAS
Se observa la capacidad cuando el evaluado:

Identifica Seala algo, hace marcas, subraya, resalta expresiones,


hace listas, registra lo que observa, etc.
Relaciona Establece las conexiones lgicas, causales o
cronolgicas entre hechos e ideas, buscando
coherencia o soluciones.
Infiere Extrae conclusin/es (ir ms all) a partir de la
interpretacin.
Interpreta Identifica los aspectos fundamentales y comprende el
significado.
Juzga Apoya o rechaza una inferencia, con el respaldo de

14
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
argumentos.
Sintetiza Enuncia brevemente lo esencial de un tema,
organizndolo de un modo personal.
Identifica supuestos Descubre por inferencia algo que funciona como
fundamento y cuya verdad no ha sido probada.
Clasifica Distribuye objetos o ideas en clases o conjuntos,
segn un criterio de clasificacin.

En los anexos encontrar un cuadro completo de los niveles de complejidad del


pensamiento expresados en capacidades, segn procesos mentales. Tambin la de L
DHainaut)2

Ejemplo de criterios e indicadores de norma de competencia del evaluador:

CRITERIOS INDICADORES
a) El postulante es orientado 1. Identifica las normas de competencia a evaluar, segn
sobre la evaluacin, segn priorizacin de la Entidad certificadora.
tipos de evidencias a recoger 2. Identifica la comunicacin asertiva como habilidad social
y pautas establecidas. del evaluador.
3. Diferencia las tcnicas de evaluacin de competencias
segn gua de participantes del curso de evaluadores
4. Identifica los tipos, caractersticas y condiciones de
instrumentos de evaluacin de competencias a aplicar
segn gua de evaluacin CONEAU.
5. Analiza los tipos de evidencias para la evaluacin de
competencias segn directrices de normalizacin
CONEAU.
6. Analiza la actuacin tica del evaluador en un caso.

7. Identifica los procedimientos para la aplicacin de los


instrumentos de evaluacin de competencias.

3.4. REACTIVOS DE EVALUACIN

Un reactivo es una unidad de medida, con un estmulo (pregunta, actividad, etc ) y


una respuesta preestablecida, de la cual se puede inferir el desempeo del evaluado
(conocimiento, habilidad, predisposicin o cualidad). Adaptado de Osterlind (1990)

Un reactivo es la formulacin de una proposicin o un problema para que sea


contestado por un sujeto, con el fin de conocer el nivel de dominio de un tema o rea
de conocimiento determinado
CENEVAL-UNAM 2006

De los conceptos anteriores podemos concluir que un reactivo es una pregunta a


contestar, afirmacin a valorar, problema a resolver, caracterstica a cubrir o accin a
realizar; estn siempre contenidos en un instrumento de evaluacin especfico; tienen
la intencin de provocar o identificar la manifestacin de algn comportamiento,
respuesta o cualidad.

2 Ver CASAS, Luis. Evaluacin de capacidades y valores en la sociedad del conocimiento. 2007. Editorial Norma
(fundamentos de la Taxonoma D HAINAUT como herramienta til para evaluacin de capacidades. Pg. 63-71)
15
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
El reactivo debe ser cuidadosamente construido, como base para conocer el logro de
la competencia.

Criterios para construir un reactivo (Osterlind, 2003)

1.-Los indicadores deben estar claramente definidos


2.- Debe haber congruencia entre los criterios indicadores y los reactivos, ya que es la
base de la validez
3.- La unidimensionalidad o atribucin a una sola habilidad.
4.- La Independencia de la respuesta de un reactivo respecto a otro.
5.- El uso correcto del lenguaje, reglas de puntuacin, redaccin, etc.

Tipos de reactivos:

Existen diferentes reactivos, segn el tipo de evidencia a recoger. Ejemplo reactivos


cognitivos para la evaluacin de los conocimientos y reactivos cualitativos para
evidencias de desempeo y producto.

3.5 EVIDENCIAS REQUERIDAS PARA LA EVALUACIN DE COMPETENCIAS

3.5.1 Definiciones:

Las evidencias son pruebas claras y objetivas, elementos tangibles que permiten
demostrar que se ha logrado cubrir de manera satisfactoria un requerimiento o un
criterio especfico de desempeo.3

"Pruebas necesarias para evaluar y juzgar la competencia laboral de una persona,


definida en los criterios de desempeo y los conocimientos y compresiones esenciales
y delimitadas por el rango de aplicacin" (SENA, 2005)

De las definiciones podemos concluir que las evidencias son:

Pruebas claras y manifiestas de los conocimientos, habilidades, destrezas y actitudes


que una persona posee y que determinan su competencia.

Evidencia significa demostrar o poner de manifiesto algo. Las evidencias como parte
de los componentes de la competencia, refieren de manera precisa si el evaluado es
capaz de realizar la funcin referida en la competencia de manera consistente.

Por qu son valiosas?

Demuestran el grado de alcance de la competencia


Documentan la experiencia del evaluado.
Conforman el portafolio del evaluado
Son un insumo importante en el proceso de mejora
Los tipos de evidencias son:

3
Directrices para la identificacin y normalizacin de competencias con fines de certificacin
profesional. CONEAU-2da versin 2011

16
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
1. De desempeo

Son las habilidades, destrezas, conocimientos y actitudes aplicados en la


ejecucin de una funcin.

2. De Producto

Es la demostracin tangible, que resulta al ejecutar una funcin productiva, y su


valoracin se fundamenta en las condiciones del criterio de desempeo.

3. De Conocimiento

Son los conocimientos que fundamentan la prctica; es el saber qu, por qu y


para qu. Son teoras, principios, conceptos e informacin relevante que una
persona aplica para lograr resultados en su desempeo laboral.

4-ELABORACIN DE INSTRUMENTOS PARA LA EVALUACION DE


COMPETENCIAS PROFESIONALES

4.1 Instrumentos de evaluacin de competencias

El instrumento de evaluacin es un documento referido a una norma de competencia


en el que se establecen los mecanismos que permiten determinar si una persona es
competente o no, con relacin a una o varias funciones laborales. (CONOCER,
Mxico)

El instrumento de evaluacin es una herramienta destinada a documentar los aspectos


a verificar y sus resultados, en relacin con las habilidades, destrezas y conocimientos
que poseen los trabajadores para desempear una funcin productiva, basndose en
una norma de competencia. (SENA, Colombia).

Los instrumentos de evaluacin se constituyen en la base de un Sistema de


Evaluacin y Certificacin de Competencias, y de su planificacin y organizacin
dependen sus resultados.

Para ello se debe aplicar tcnicas y contar con instrumentos de evaluacin elaborados
especficamente, que sean vlidos y confiables.

Las evidencias de desempeo, son pruebas de la manera cmo el/la profesional


ejecuta los procedimientos y tcnicas al realizar una funcin. Se evalan
principalmente mediante la observacin sistemtica basada en indicadores de
desempeo que deben ser registradas rigurosamente; se puede complementar con
entrevista y videos.4

4
Adaptado de Tobn, S. Competencias, calidad y educacin superior. Cooperativa Editorial, Magisterio,
Bogot, Colombia 2006:143.
17
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Las evidencias de producto, son pruebas o productos especficos que dan cuenta de
las finalidades de la competencia evaluada (resultado inmediato) en los que hay que
considerar sus requerimientos de calidad.i5

Las evidencias de conocimiento fundamentan la prctica; es el saber qu, por qu y


para qu. Son teoras, principios, conceptos e informacin relevante que una persona
aplica para lograr resultados en su desempeo profesional.

Dado que es indispensable recoger de manera eficaz las evidencias se hace necesaria
la seleccin del instrumento en coherencia a la tcnica.

Existen diversas tcnicas para evaluar competencias. Las tcnicas son herramientas
metodolgicas que permiten obtener las evidencias requeridas por la norma de
competencia durante el proceso de evaluacin de desempeo de una persona. Es
conveniente definir la tcnica que permita recoger el mayor nmero de evidencias
requeridas en la norma con el fin de reducir costos y hacer ms eficiente el proceso de
evaluacin. (SENA, Colombia. 20036)

Las tcnicas ms usadas para recoger evidencias de desempeo son:

1. la observacin directa en ambiente real de trabajo,


2. la simulacin de situaciones,
3. anlisis de productos, anlisis de documentos, y
4. entrevistas.

1. Tcnica de observacin
La observacin directa en ambiente real de trabajo es la tcnica por excelencia
para recoger evidencias7. A travs de esta tcnica se obtiene informacin sobre el
comportamiento o la conducta espontnea del profesional. Esta tcnica es
aplicable en cualquier momento de la evaluacin continua, aunque su mayor
utilidad est en el recojo de datos para valorar el dominio de procedimientos y el
desarrollo de actitudes durante el trabajo diario (relacin consigo mismo, con sus
compaeros de trabajo, comprobar su ndice de autoestima, capacidad autocrtica,
autonoma, colaboracin, respeto, etc.).8
Para facilitar la observacin y reducir las omisiones, sesgos y otros aspectos
subjetivos asociados al observador es imperativo la elaboracin y uso de
instrumentos: listas de chequeo.
2. Simulacin de Situaciones
La simulacin de situaciones (SS) es una tcnica a travs de la cual se generan
condiciones similares a las reales de un ambiente o escenario laboral profesional,
pero teniendo bajo control diferentes variables complejas, como riesgo,
temperatura, situaciones atpicas que afectan el resultado esperado entre otras.
Se debe usar cuando no es posible la observacin directa en el ambiente real de
trabajo, por razones de costos, riesgos, seguridad del paciente y del evaluado,

5
Idem. Tobn 2006
6
Gua para seleccionar tcnicas y elaborar instrumentos de evaluacin de competencias laborales. SENA-
Colombia, 2003.
7
Idem. SENA, Colombia. 2003
8
Adaptado de Canales, Isaac. 180?
18
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
baja frecuencia de la actividad, procurando una representacin autntica del
desempeo a evaluar.

3. Valoracin de productos
Tcnica utilizada cuando son observables los productos que genera la funcin
productiva; el producto refleja evidencias esenciales sobre el desempeo.
Los productos pueden ser registros, formatos, reportes, planes, informes, diseo
de procesos, maquetas, , entre otros, segn la profesin.
Siempre la evaluacin del producto debe hacerse con el rigor establecido para as
efectivamente determinar la competencia del evaluado.

Procedimiento para seleccionar las tcnicas

1. Analizar globalmente las normas que componen la profesin.


2. Analizar la norma de competencia y los elementos que la integran.
3. Estudiar los componentes normativos de cada elemento.
4. Identificar para cada evidencia requerida la(s) tcnica(s) ms adecuadas para
su evaluacin. Precisar cules evidencias se pueden obtener en el ambiente
real de trabajo, el sitio en que se pueden recoger, las que deben generarse por
simulacin u otras tcnicas, y determine (si la norma no lo seala), las veces
que se requiere ejecutar la misma actividad para recoger las evidencias. Tener
en cuenta aspectos claves: frecuencia, riesgo, complejidad, costos materiales,
secretos de la organizacin.

4.1.1 Requisitos de los Instrumentos de evaluacin

Validez: Un instrumento es considerado vlido cuando sirve para evaluar lo que se


pretende. En otras palabras: cuando la informacin que permite obtener es coherente
con los criterios y evidencias de desempeo, de producto y de conocimiento
estipulados en la norma.

Confiabilidad: Un instrumento es confiable cuando al ser aplicado por distintas


personas para evaluar a un mismo postulante, se obtienen resultados semejantes en
situaciones similares. Al ser utilizado por una persona para evaluar al mismo
postulante, en diversas oportunidades, se obtienen resultados semejantes.

Representatividad: La relevancia de los distintos aspectos considerados en detrimento


de los menos significativos.

Objetividad: independencia del juicio del evaluador en el registro de la informacin.

Quines elaboran los instrumentos de evaluacin?

a. Un equipo tcnico conformado por expertos en la competencia


correspondiente.
b. Formados en la metodologa de evaluacin y certificacin de competencias y
c. Formados en la elaboracin de instrumentos de evaluacin de competencias.

Cmo se elabora un instrumento de evaluacin?

19
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Identificando en la matriz de consistencia para la elaboracin de instrumentos de
evaluacin, la tcnica de evaluacin y el tipo de instrumento segn la evidencia a
recoger.

4.1.2 Componentes del instrumento de evaluacin:

1. Informacin general para el proceso de evaluacin


2. Introduccin
3. Instrucciones de aplicacin del instrumento.
4. Tabla de aplicacin o cuerpo del instrumento.
5. Instrucciones para la calificacin del instrumento.
6. Instrucciones para determinacin del resultado.
7. Resultado
8. Retroalimentacin al candidato.
9. Firmas correspondientes

4.1.3 Instrumentos de evaluacin para el recojo de evidencias de desempeo y


producto

4.1.3.1 La Lista de Chequeo

Es un instrumento de evaluacin que contiene una serie de enunciados afirmativos o


interrogativos sobre los resultados (hechos, caractersticas o secuencia de acciones,
entre otros) que debe demostrar una persona en su desempeo para ser considerada
competente. Estos resultados estn previstos en la norma de competencia y mediante
la lista de chequeo se pretende constatar su presencia o ausencia.

Procedimiento de elaboracin

1. Identificar los indicadores de desempeo establecidos en la matriz de


consistencia para la elaboracin de instrumentos de evaluacin de
competencias profesionales.
2. Segn el orden secuencial de los indicadores redactar el reactivo (actividad del
desempeo).

Recomendaciones: Tener muy en cuenta lo siguiente:

1. Los reactivos deben ser ordenados en la secuencia del proceso.


2. Los reactivos deben ser claramente observables.
3. Los reactivos deben ser explcitos, con redaccin directa y precisa.
4. Los reactivos deben posibilitar slo distinciones dicotmicas (SI/NO), (correcto
/incorrecto).
5. La cantidad de reactivos es determinada por los indicadores de desempeo

Ejemplos de lista de chequeo de desempeo y producto.

20
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
LISTA DE CHEQUEO DEL DESEMPEO
I. INFORMACIN GENERAL PARA EL PROCESO DE EVALUACIN

FECHA DE INSCRIPCIN DA: MES: AO:

ENTIDAD CERTIFICADORA CONEAU


NOMBRES Y APELLIDOS
DE EVALUADOR (A):
LUGAR DE EVALUACIN

FECHA DE EVALUACIN

DATOS DEL EVALUADO (A)


DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES

TIPO DE INSTRUMENTO LISTA DE CHEQUEO DE CDIGO DEL INSTRUMENTO DE EVALUACIN:


DE EVALUACIN DESEMPEO LChD-ECP-OD-003-DEC-2012

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR


CDIGO VERSIN NOMBRE

3 1 Ejecutar la evaluacin de las competencias de los postulantes, segn las


normas y procedimientos establecidos por la entidad certificadora.
ELEMENTOS DE 3.1 Recoger evidencias de las competencias del postulante segn pautas establecidas
COMPETENCIA por la entidad certificadora y CONEAU..
3.2 Comunicara los actores involucrados los resultados de la evaluacin, segn normas
establecidas.

II. INTRODUCCIN

Este documento presenta el instrumento de evaluacin del desempeo correspondiente el elemento de


competencia 3.1. Recoger evidencias de las competencias del postulante segn pautas
establecidas por la entidad certificadora y CONEAU. Perteneciente a la Norma de Competencia 3,
que el evaluador(a) debe demostrar para ser considerado(a) competente en la norma correspondiente.
El presente instrumento de evaluacin est diseado para evaluar la competencia profesional de las
personas que se desempean como EVALUADORES DE COMPETENCIAS PROFESIONALES y
contiene las instrucciones que debe seguir para su aplicacin.
Posteriormente se presentan las instrucciones de calificacin del instrumento de evaluacin, as como
para la emisin del juicio de competencia.
El instrumento contiene trece (13) reactivos.

III. INSTRUCCIONES DE APLICACIN DEL INSTRUMENTO DE EVALUACIN

Usted encontrar la tabla de aplicacin o cuerpo del instrumento que contiene los reactivos a aplicar, su
numeracin o cdigo, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de
observaciones que como evaluador considere conveniente realizar.
Marque SI, cuando el candidato cumpla con el desempeo o muestre las evidencias correspondientes y
NO cuando no cumpla con los aspectos sealados.

21
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
IV. TABLA DE APLICACIN O CUERPO DEL INSTRUMENTO DE EVALUACIN

REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES


1. Se encuentra en el lugar establecido para la evaluacin a
la hora indicada.
2. Utiliza vestimenta apropiada segn sea el caso (profesin
y requerimientos de bioseguridad).
3. Saluda de manera cordial al postulante y entabla una
comunicacin amigable.
4. Orienta al postulante sobre las normas de
comportamiento, la ejecucin del desempeo y el inicio y
trmino de la evaluacin.
5. Se ubica en un lugar que le permita recoger evidencias y
se desplaza para observar con mayor detalle el tem
requerido en el instrumento.
6. Registra lo observado en el instrumento de evaluacin
correspondiente.
7. Evita interferir en el desempeo del evaluado.
8. Evita hacer gestos, seales o sonidos que perturben al
evaluado.
9. Terminado el desempeo del postulante le invita a
esperar unos minutos para la comunicacin del resultado.
10. Revisa el instrumento aplicado y registra el resultado
antes de llamar al postulante para comunicar el resultado.
11. Informa al evaluado el resultado de la evaluacin de
manera asertiva.
12. Firma y solicita la firma del postulante en el instrumento
con el resultado de la evaluacin.
13. Se despide del evaluado de forma cordial.

V. INSTRUCCIONES PARA LA CALIFICACIN DEL INSTRUMENTO DE EVALUACIN

Todas las respuestas afirmativas indican la competencia.


VI. INSTRUCCIONES PARA LA EMISIN DEL RESULTADO

Si todos los reactivos son afirmativos el resultado es que cumple lo solicitado por la norma de
competencia y si hay algn reactivo con respuesta negativa el resultado es que No Cumple. No puede
haber tem sin marcar.
VII. RESULTADO DE LA EVALUACIN

CUMPLE NO CUMPLE

VIII. RETROALIMENTACIN AL CANDIDATO IDENTIFICACIN DE ASPECTOS PARA MEJORA


(Anotar el nmero del reactivo que requiere mejorar).

N de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

.
FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

22
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
LISTA DE CHEQUEO DEL PRODUCTO

I. INFORMACIN GENERAL PARA EL PROCESO DE EVALUACIN

FECHA DE INSCRIPCIN DA: MES: AO: 2010

ENTIDAD CERTIFICADORA CONEAU


NOMBRES Y APELLIDOS DE
EVALUADOR (A):
LUGAR DE EVALUACIN

FECHA DE EVALUACIN

DATOS DEL EVALUADO (A)


DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES

TIPO DE INSTRUMENTO DE CDIGO DEL INSTRUMENTO DE EVALUACIN:


LISTA DE CHEQUEO DE PRODUCTO
EVALUACIN LChP-ECP-001 EC

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR


CDIGO VERSIN NOMBRE

3 0 Ejecutar la evaluacin de las competencias de los postulantes, segn las


normas y procedimientos establecidos por la entidad certificadora.
ELEMENTOS DE 3.1 Recoger evidencias de las competencias del postulante segn pautas establecidas
COMPETENCIA por la entidad certificadora y CONEAU..
3.2 Comunicara los actores involucrados los resultados de la evaluacin, segn
normas establecidas.

II. INTRODUCCIN

Este documento presenta el instrumento de evaluacin de los productos correspondientes del elemento de
competencia 3.1. Aplicar instrumentos de evaluacin para recopilar las evidencias de las competencias del
postulante, segn las normas de competencia a evaluar y los procedimientos establecidos por la entidad
certificadora, perteneciente a la Norma de Competencia de Ejecutar la evaluacin de las competencias de los
postulantes, segn las normas y procedimientos establecidos por la entidad certificadora, que una persona debe
demostrar para ser considerada competente.
El presente instrumento de evaluacin de producto est diseado para evaluar la competencia profesional de las
personas que se desempean como EVALUADORES DE COMPETENCIAS PROFESIONALES y contiene las
instrucciones que debe seguir para su aplicacin.
Posteriormente se presentan las instrucciones de calificacin del instrumento de evaluacin, as como para la
emisin del resultado de la evaluacin.
El instrumento contiene seis (8) reactivos.
III. INSTRUCCIONES DE APLICACIN DEL INSTRUMENTO DE EVALUACIN

Usted encontrar la tabla de aplicacin o cuerpo del instrumento que contiene los reactivos a evaluar, su
numeracin o cdigo, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de observaciones que
como evaluador considere conveniente realizar.

Marque SI, cuando el producto cumpla con el criterio o tem (reactivo) correspondiente y NO cuando no cumpla con
los aspectos sealados.

23
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
IV. TABLA DE APLICACIN O CUERPO DEL INSTRUMENTO DE EVALUACIN

REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES

1. Cumple con las recomendaciones generales de presentacin y registro de formatos


y documentos (Hacer documento de recomendaciones: legibilidad, orden, limpieza,
enmendaduras con iniciales, informacin completa, color del lapicero, lpiz?)
2. Contiene todos los datos de Informacin General del instrumento.

3. Todos los tems de la tabla de aplicacin estn marcados segn el contenido del
portafolio de aplicacin del instrumento.
4. El resultado de la evaluacin es coherente con las instrucciones del mismo para la
emisin del resultado.
5. La sumatoria de los puntajes por rubros y el puntaje total son correctos .

6. Contiene el porcentaje alcanzado.

7. El porcentaje registrado es coherente con el clculo matemtico establecido para la


equivalencia del 20% como mximo.
8. Aparecen las firmas de los evaluadores y del evaluado.

V. INSTRUCCIONES PARA LA CALIFICACIN DEL INSTRUMENTO DE EVALUACIN


Todas las respuestas afirmativas indican la competencia.

VI. INSTRUCCIONES PARA LA EMISIN DEL RESULTADO


Si todos los reactivos son afirmativos el resultado es que cumple lo solicitado por la norma de competencia y si hay algn
reactivo con respuesta negativa el resultado es que No Cumple. Marque con una X o un / en el casillero al lado derecho de
cada resultado.
VII. RESULTADO DE LA EVALUACIN

RESULTADO CUMPLE NO CUMPLE

VIII. RETROALIMENTACIN AL CANDIDATO IDENTIFICACIN DE ASPECTOS PARA MEJORA (Anote el nmero del
reactivo que debe mejorar)

N de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

.
FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

24
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
4.1.4. INSTRUMENTO DE EVALUACIN DE CONOCIMIENTOS. CUESTIONARIO

El instrumento ms utilizado para evaluar conocimientos es el cuestionario (CT)


de preguntas.

Mateo (2000:74) establece que suele entenderse por pregunta una


declaracin, asunto o tema sobre el que se va a evaluar. Tambin se
denomina tem.

Estos pueden ser de dos tipos:

A) PRUEBAS DE DESARROLLO
Son aquellas en las que se solicita, a travs de preguntas, el desarrollo por
escrito de un discurso que evidencie el desarrollo de determinadas
capacidades. Pueden ser de respuesta libre u orientada.

stas pueden ser cortas o restringidas, o respuesta libre frente a una


interrogante o tema especfico. Generalmente se emplean cuando se desea
evaluar la capacidad de anlisis y sntesis, la organizacin de la informacin, la
consistencia de los argumentos, la inferencia y el juicio crtico.

Las pruebas de desarrollo son tiles, pues fomentan la exposicin ordenada y


clara, el desarrollo del razonamiento y el pensamiento crtico, as como la
discriminacin de informacin relevante y complementaria.
Una de las mayores dificultades de este tipo de pruebas es la calificacin, pues
pueden verse seriamente afectadas por la subjetividad del evaluador. Las
siguientes sugerencias podran contrarrestar tales efectos:
Precisar en forma clara los aspectos que se tendrn en cuenta en la
calificacin y comunicarlos al evaluado antes del examen. Por ejemplo:
exposicin lgica de las ideas, concisin, adecuado uso de los conectores,
entre otros.
Explicitar claramente el tipo de respuesta (corta o de extensin libre).
Dar pistas sobre lo que se espera que desarrolle el evaluado (que explique,
que resuma, que presente contraejemplos, etc.)
Tener paciencia en la correccin y hacerlo respuesta por respuesta para
manejar los mismos criterios de calificacin.Este tipo de pruebas se puede
utilizar para evaluar la interpretacin de cuadros estadsticos, la comprensin
lectora, el juicio crtico, la produccin de textos, el manejo de informacin, entre
otras capacidades.

B) LAS PRUEBAS OBJETIVAS


Las pruebas objetivas son el tipo de pruebas escritas formadas por una serie
de preguntas que slo admiten una respuesta correcta y cuya calificacin es
siempre uniforme y precisa para todos los evaluados.
Son las de uso ms comn debido a su facilidad de calificacin y a la creencia
de que eliminan toda posibilidad de subjetivismo.
La clave para que las pruebas objetivas se conviertan en instrumentos eficaces
de evaluacin, es la calidad con que se elaboren pues de esa forma lograrn
poner en juego un gran nmero de capacidades del evaluado.
25
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Caractersticas de las pruebas objetivas:
A) Objetiva La prueba conduce a mediciones independientes del evaluador.
B) Confiable Arroja resultados consistentes. La prueba tiene precisin.
C) Vlida La prueba mide lo que pretende medir, es coherente a la
competencia a evaluar.
Etapas para el desarrollo de la prueba escrita
Qu tipo de prueba va a ser?
1.- DISEO
Cules son los indicadores de evaluacin?(responden a los
criterios de la competencia)
Cul es mi tabla de especificaciones, cmo va a estar
estructurado el instrumento?
Cmo se evaluar?
2.- ELABORACIN
Preguntas
Casos prcticos

3.- PILOTEO Sometida a revisin por expertos.


Aplicada en forma experimental.
Permite identificar y corregir dificultades y asegurase que van
resultar replicables, precisas, completas, realistas y prcticas
Cmo se analizar que sea objetivo, valido y confiable?
4.- VALIDACIN
Cul ser el criterio de calificacin y la asignacin de sta?
5.- CALIFICACIN

1.- El diseo
Es la planeacin del instrumento.

a. Perfil de referencia:
Es el fundamento de la prueba y objeto de medida de la prueba relacionado a la
competencia a evaluar expresado en indicadores que responden a los criterios de la
competencia.

b. Tabla de Especificaciones
Presenta la organizacin lgica de los componentes definidos operacionalmente
Establece el nivel y tipo cognoscitivo con que debern ser medidos en la prueba
(descrito en los indicadores).

2.-Elaboracin
Es la construccin de la prueba o cuestionario con base en el diseo y en la tabla de
especificaciones de la matriz de consistencia.
Se debe partir de los indicadores descritos en la matriz de consistencia de la norma a
evaluar.
Se parte de la evaluacin de la capacidad (reconocer, describir, comparar, seleccionar,
analizar, sintetizar, evaluar, aplicar, etc) a los diferentes niveles de dominio (bajo,
medio, alto)por medio de reactivos de opcin mltiple, o de puntuaciones asignadas a
tipo de respuesta en relacin con los criterios. Ver anexo 2 cuadros de capacidades y
procesos cognitivos.

Desarrollo del Instrumento

26
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Debe abarcar todos los aspectos contemplados en la descripcin de la norma de
competencia, el perfil de referencia y la tabla de especificaciones.
Los instrumentos de conocimientos, puede estar formado por:
Preguntas de opcin mltiple: completamiento, apareamiento, solucin
problemas, jerarquizacin, identificacin de graficas o diagramas y cuestionario
directo.
Preguntas abiertas
Situaciones prcticas, etc.

3.- Piloteo
Monitorear la confiabilidad y validez de los exmenes.
Vigilar el nivel de dificultad y la capacidad de discriminacin de los tems.
Generar bancos de reactivos o items suficientemente amplios.
Realizar pilotajes de los exmenes.

4.- Validacin
Consiste en analizar la construccin de los reactivos que realmente
representen al criterio a evaluar y analizar los resultados de aplicaciones
preliminares de la prueba para confirmar estadsticamente su validez y su
confiabilidad as como establecer las condiciones definitivas para el manejo y
administracin del instrumento con los usuarios.

5.-Calificacin
Es el mecanismo de ponderacin y valoracin de los resultados obtenidos
Utilizar un criterio de calificacin y explicarlo.
En el caso de prueba objetiva: Analizar la dificultad de reactivos, considerando
para la calificacin los que se encuentren en el rango de aceptables, mejorar
los reactivos que no estn en ese rango. Analizar la discriminacin de estos, en
caso de que no discriminen, revisar redaccin del reactivo y los distractores
para plantearlo de manera diferente.
Establecer con base a lo anterior los puntos de corte.
En el caso de la evaluacin del desempeo, establecer el puntaje aprobatorio.

El CONEAU considera que los reactivos en una prueba de conocimientos pueden


tener diferentes pesos de acuerdo a su nivel de complejidad, sin embargo para
demostrar la competencia debe alcanzarse el 100% de la evaluacin.

TIPOS DE PRUEBAS OBJETIVAS


DE RESPUESTA ALTERNATIVA
Este tipo de pruebas plantean una serie de proposiciones que el evaluado debe
marcar como verdaderas o falsas. nicamente tendr estas dos opciones para
responder, de all su nombre de respuesta alternativa.
Podemos emplear este tipo de pruebas cuando deseemos evaluar:
- la capacidad para identificar la exactitud de hechos.
- las definiciones de los trminos.
- la capacidad de distinguir los hechos de las opiniones.
- la capacidad de percatarse de las relaciones de causa y efecto.

27
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Para la elaboracin de este tipo de pruebas y potenciar sus beneficios podemos seguir
las Evitar
siguientes recomendaciones:
aseveraciones muy generales.
Evitar aseveraciones negativas
Evitar oraciones demasiado largas y complejas.
Evitar incluir dos ideas en una aseveracin, a menos que se trate de apreciar una
relacin de causa a efecto.
Si en la aseveracin se incluye una opinin, debe indicarse a quin corresponde
Calcular que las aseveraciones ciertas y las expresiones falsas tengan ms o
menos la misma longitud

Ejemplo:
En relacin a los procedimientos generales para la aplicacin de los instrumentos de
evaluacin, segn la gua de evaluacin CONEAU, identifique las afirmaciones
verdaderas y las falsas y marque la respuesta correcta.

i. El equipo evaluador debe estar conformado por un mnimo de dos evaluadores. ( )


ii. Todos los instrumentos deben ser firmados por el postulante y al menos uno de los
evaluadores. ( )
iii. La firma del postulante en el instrumento de evaluacin es requisito para la apelacin
a que hubiere lugar. ( )
iv. Antes de comunicar los resultados intermedios y el resultado final de la evaluacin, el
equipo evaluador debe realizar una verificacin de todo lo actuado. ( )

a. V F F V b. V V V F c. V F V V d. V V F V

DE CORRESPONDENCIA

Este tipo de reactivos exigen al evaluado establecer relaciones entre dos columnas
paralelas, de tal manera que cada palabra, nmero o smbolo de una de ellas
corresponda con una palabra, oracin o frase de la otra columna.
Ejemplo: Relacione las tcnicas de evaluacin con sus respectivos enunciados.

A. Formulacin de preguntas ( ) Tcnica por excelencia para recoger evidencias.


B. Observacin directa ( ) Genera condiciones similares a las normales.
C. Simulacin de situaciones ( ) Usada cuando son observables los productos.
D. Valoracin de productos ( ) Obtiene evidencias de los conocimientos esenciales.

a. A B C D b. D B A C c. C A D B d. B C D A

Las siguientes orientaciones pueden ser de ayuda para el evaluador:

Usar slo material homogneo (que se refieran al mismo tema) dentro de


cada columna.
Construir las columnas con diferente nmero de elementos.
Tratar de que el ejercicio sea breve (que no supere los 6 pares de relacin).
Procurar que todo el ejercicio quede contenido en una misma pgina.

28
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
DE SELECCIN MLTIPLE

Es el tipo de reactivos que plantean una pregunta, un problema o una aseveracin


inconclusa junto con una lista de soluciones entre las que slo una es correcta. El
evaluado debe seleccionar la correcta subrayando, encerrando en un crculo, etc.
Generalmente son empleados cuando se pretende evaluar:
- Identificacin de informacin (datos, hechos).
- Uso de mtodos y procedimientos.
- Aplicacin de hechos y principios (cuando en la prueba se le presentan
situaciones nuevas en las que puede aprovechar sus conocimientos).
- habilidad para interpretar relaciones de causa y efecto.
Ejemplo:
En la orientacin al postulante un evaluador es preguntado sobre la justificacin para
recoger evidencias de desempeo. La respuesta correcta a esa inquietud es:

a. La norma de competencia indica un rubro de evidencias de desempeo y por


tanto es obligatorio recogerlas.
b. Las evidencias de desempeo son las ms importantes de evaluar, por tanto no
puede omitirse recogerlas.
c. La competencia se demuestra en el desempeo mismo por tanto no se puede
omitir su recojo en la evaluacin.
d. Las evidencias de desempeo no son indispensables por tanto evaluar la
posibilidad de omitirla en su caso.

Este tipo de reactivos presenta ventajas y desventajas:


Ventajas Desventajas
Amplitud de su campo de aplicacin. Se limita a los productos del
Evitan la ambigedad y la vaguedad aprendizaje, en desmedro del
de las respuestas. proceso.
Pueden centrarse en puntos No son apropiados para medir la
especficos. capacidad de organizar y presentar
Permiten al evaluador, por medio del ideas.
anlisis de las respuestas incorrectas, Resulta difcil elaborar las
descubrir con mayor claridad las alternativas de forma que todas
deficiencias de los evaluados. parezcan posibles pero que slo
exista una respuesta correcta.

Para elaborar pruebas o preguntas de seleccin mltiple debemos tomar en cuenta las
siguientes recomendaciones:

29
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Cuidar que el problema o aseveracin que se exponga se encuentre claramente
definido e incluya slo la informacin necesaria para que su lectura sea gil.
Expresar la aseveracin en forma negativa slo cuando sea absolutamente
necesario.
Formular las posibles respuestas cuidando que stas guarden congruencia
gramatical con la aseveracin (si la aseveracin termina en ...es la:_______" no
pueden ponerse artculos masculinos entre las respuestas).
Cuidar que todas las respuestas sean de posible aceptacin aunque una sola sea
correcta.
Plantear la aseveracin de modo que sta no sugiera la respuesta.
La respuesta correcta de un reactivo debe colocarse en una ubicacin diferente
respecto a los dems reactivos.

DE ORDENAMIENTO

Es el tipo de reactivos que demandan al evaluado ordenar o secuenciar debidamente


los datos, hechos o partes de un proceso presentadas en sucesin desordenada.
En general, este tipo de reactivos se pueden emplear cuando se pretende evaluar:
-la capacidad de ubicar cronolgicamente hechos histricos.
-la comprensin de la secuencia en determinados procesos.
-la capacidad de organizar mentalmente ciertos conocimientos.
Para elaborar pruebas con este tipo de preguntas debemos tomar en cuenta lo
siguiente:
Plantear cada hecho o etapa con claridad y precisin.

4.1.5 PASOS PARA LA ELABORACIN DEL CUESTIONARIO.

Una vez identificados los indicadores se hace necesaria una representacin


esquemtica de su distribucin, con el propsito de no incurrir en errores producto
del subjetivismo o la simpata por algunos indicadores. En tal sentido, en una tabla
de especificaciones se hace una relacin de indicadores, anotando a continuacin
el porcentaje que represente la importancia o jerarqua de cada uno de ellos dentro
del total de indicadores como tambin la cantidad de tems por indicador. El
porcentaje de importancia relativa debe ser resultado del acuerdo entre varios
especialistas, para erradicar la influencia de opiniones y factores personales en la
decisin final.

1ero.- TABLA DE ESPECIFICACIONES DE LA PRUEBA

Tomamos como referencia para ejemplificar el elemento de competencia Recoger


evidencias de las competencias del postulante aplicando los instrumentos de
evaluacin de la entidad certificadora

a) Determinacin de los propsitos: Evaluacin de competencias profesionales


para la certificacin.

La prueba que se va a elaborar debe servir para evaluar indicadores de evidencia de


conocimiento segn el elemento de competencia. Recoger evidencias de las

30
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
competencias del postulante aplicando los instrumentos de evaluacin de la entidad
certificadora

b) Identificacin del objeto a evaluar. Una vez establecido el propsito, se determina


el objeto a evaluar, es decir la identificacin de los sujetos a quienes se les aplicar la
prueba. En este caso, los evaluadores de la entidad certificadora.

Tabla de especificacin de la prueba

Cantidad
Conocimientos Nmero
ELEMENTO DE PESO de
y comprensin CRITERIOS Indicador de
COMPETENCIA (%) preguntas
pregunta
esenciales /

1.Normas de 1. Identifica las normas de 2.5


competencias en competencia a evaluar, 1 1
que se evaluar al segn priorizacin de la EC.
postulante. (a, b, c, 2.5
d) 2 Identifica la comunicacin
asertiva como habilidad 1 2
social del evaluador.
2.Habilidades
3. Diferencia las tcnicas de
sociales del
evaluacin de 4
evaluador de
competencias segn gua 1 3
competencias (Gua
de participantes del curso
del participante del
de evaluadores
curso de A) El postulante 4. Identifica los tipos
evaluadores) (a) es orientado 2.5
caractersticas y
sobre la condiciones de
evaluacin, instrumentos de evaluacin 1 4
segn tipos de de competencias a aplicar
3.Tcnicas de evidencias a
1. 1.Recoger segn gua de evaluacin
evaluacin de recoger.
evidencias de las CONEAU.
competencias ( a, b,
competencias del 5. Analiza los tipos de
c, d) 4
postulante aplicando evidencias para la
los instrumentos de evaluacin de
evaluacin de la competencias segn 1 5
entidad certificadora 4.Tipos, directrices de normalizacin
caractersticas y CONEAU.
condiciones de 6. Analiza la actuacin tica
del evaluador en un caso.
4 1 6
instrumentos de
evaluacin de 7. Identifica los
competencias (a, b, procedimientos para la 4
c, d) aplicacin de los instrumentos 1 7
de evaluacin de
competencias
1.-Identifica las evidencias de
5.Tipos de conocimiento de las normas 2.5
1 8
evidencias para la de competencia a evaluar.
evaluacin de B) Los 2.Describe el procedimiento
competencias (a, b, instrumentos de del uso de instrumentos de 4
c, d) evaluacin de recojo de evidencias de 1 9
conocimiento se conocimiento, segn tcnica.
aplican de 3.Identifica evidencias de
acuerdo a las conocimiento para la 2.5
6.Pautas ticas de
1 10
evidencias a evaluacin de competencias
la evaluacin de recoger 4. Analiza la actuacin tica
competencias (a, b, del evaluador en casos de 4
c, d y e) aplicacin de instrumentos de 1 11
evaluacin de conocimiento.

31
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
5. Analiza un caso de
aplicacin de un cuestionario. 4 1 12
7. Procedimientos 6. Analiza un caso de registro
para la aplicacin de de evidencias de conocimiento 4 1 13
los instrumentos de 1.-Analiza las evidencias de
evaluacin de desempeo de las normas de 4
competencias (a, b, competencia a evaluar en un 1 14
c, d). caso.
2. Relaciona el instrumento de
evaluacin de desempeo con 4
a tcnica correspondiente a la 1 15
8. Procedimiento evidencia a recoger
C) Los
para el registro de 3Describe las caractersticas,
instrumentos de
evidencias (b, c, d, condiciones y procedimientos 4
evaluacin de
e). del uso del instrumento de 1 16
desempeo se
aplican de evaluacin de desempeo.
acuerdo a las 4. Analiza la actuacin tica
del evaluador en casos de 4
9. Pautas para la evidencias a
recoger. aplicacin de instrumentos de 1 17
determinacin del
evaluacin de desempeo.
logro de la
5. Analiza un caso de
competencia (e). 4
aplicacin de una lista de 1 18
verificacin de desempeo.

4
6. Describe el procedimiento
para el registro de evidencias 1 19

1.Identifica las evidencias de


producto de las normas de 2.5
1 20
competencia a evaluar.
2.Relaciona el instrumento de
evaluacin de producto con la 4
tcnica correspondiente a la 1 21
evidencia a recoger.
D) Los
3.Describe las caractersticas,
instrumentos de 2.5
condiciones y procedimientos
evaluacin de 1 22
del uso del instrumento de
producto se
evaluacin de producto.
aplican de
4.Analiza la actuacin tica del
acuerdo a las 4
evaluador en casos de
evidencias a 1 23
aplicacin de instrumentos de
recoger.
evaluacin de producto.
5.Describe los procedimientos
para la aplicacin del 4
instrumento de evaluacin de 1 24
producto.
6.-.Describe el procedimiento
para el registro de evidencias 4
1 25
de producto
1.-Reconoce los principios
ticos en la determinacin del 2.5
E) La 1 26
logro de las competencias y su
determinacin
registro.
del logro de la
2.Analiza los procedimientos
competencia es 4
para la determinacin del logro 1 27
registrada en los
de las competencias.
formatos
3. Describe el procedimiento
establecidos 4
para el registro del logro de las 1 28
competencias
100 28
TOTAL

32
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
c) Eleccin de la escala de medicin. Se debe determinar si la escala ser
decimal, vigesimal, centesimal u otra. Para el ejemplo la escala es centesimal.

d) Asignacin de los puntajes de la prueba. Los puntajes de la prueba deben estar


de acuerdo con los criterios a evaluar y stos se derivan de los elementos de la
competencia.

Para el ejemplo se ha considerado cinco criterios y el criterio C Los instrumentos


de evaluacin de desempeo se aplican de acuerdo a las evidencias a recoger es el
que ms puntaje tiene (24) y el criterio E La determinacin del logro de la competencia
es registrada en los formatos establecidos es el que menos puntaje tiene (10,5).

e) Asignacin de pesos a los reactivos o tems. El puntaje total del criterio sirve de
parmetro para asignar pesos a los reactivos o tems de la prueba en funcin de las
capacidades y conocimientos a evaluar. En el ejemplo, los reactivos de menor peso
(2,5) corresponden al criterio A El postulante es orientado sobre la evaluacin, segn
tipos de evidencias a recoger proceso bsico de describir o explicar.

f) Jerarquizacin lgica de los tems. Es conveniente presentar previamente los


tems simples y los ms complejos despus. Tambin conviene agrupar los tems por
afinidad temtica u otros criterios que considere el evaluador.

2do.- Elaboracin de la estructura del cuestionario

La estructura de la prueba (cuestionario) se expresa mediante un cuadro de doble


entrada en el que se explicita el contenido y la capacidad a evaluar. En el ejemplo
propuesto, se trata de medir los conocimientos en funcin de dos variables: a)
algunas las capacidades segn la taxonoma de L.DHainaut, y b) los
conocimientos sobre normas, tcnicas, procedimientos, registro de evidencias para
el logro de las competencias profesionales.

Las capacidades que se pretenden medir deben estar identificadas en forma clara y
precisa. En este caso, se ha considerado la Taxonoma propuesta por L.DHainaut
(reproduccin, conceptualizacin, aplicacin, exploracin, movilizacin y resolucin de
problemas), de esta taxonoma para el ejemplo slo se ha considerado a tres
capacidades.

33
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Tabla de estructura de la prueba

capacidad/ conocimiento Reproduc conceptu aplicacin Solucin de TOTAL PUNTAJE


cin alizacin problemas
1. Normas de competencias en 3 2 5 15.5
que se evaluar al postulante. (a,
b, c, d)
2.Habilidades sociales del 1 2 3 10.5
evaluador de competencias (Gua
del participante del curso de
evaluadores) (a)
3.Tcnicas de evaluacin de 1 2 1 4 14.5
competencias ( a, b, c, d)
4.Tipos, caractersticas y 1 3 4 14.5
condiciones de instrumentos de
evaluacin de competencias (a,
b, c, d)
5.Tipos de evidencias para la 1 2 1 4 14.5
evaluacin de competencias (a,
b, c, d)
6.Pautas ticas de la evaluacin 2 2 4 16
de competencias (a, b, c, d y e)
7. Procedimientos para la 1 1 2 4 14,5
aplicacin de los instrumentos de
evaluacin de competencias (a,
b, c, d).
Total 8 7 7 6 28
Peso 2.5 4 4 4
Puntaje total 20 28 28 24 100

En el ejemplo propuesto se observa que se elaborar una prueba con 28 tems o


reactivos que darn un puntaje de 100 puntos que resultan de multiplicar el total de
tems de cada nivel de dominio por el peso asignado.

La asignacin de pesos depende de la importancia que asigne el evaluador a un


determinado nivel o dominio de la capacidad del elemento de competencia a evaluar.
En el presente caso se observa que se est asignando mayor peso (4) a la
conceptualizacin, aplicacin de la informacin y resolucin de problemas.

Elaboracin de los reactivos de la prueba

Para cada indicador se formularn varios reactivos o tems. Si el evaluador dispone


de un banco de tems, reactivos o preguntas, seleccionar los tems ms adecuados
para la prueba que est construyendo, teniendo en cuenta las necesidades de la
evaluacin. En caso contrario, deber elaborar los tems previstos en la estructura
cubriendo la totalidad de conocimientos requeridos para el criterio de evaluacin.

El conjunto de tems conforman una muestra representativa del universo de


contenidos que interesa evaluar.

Por ejemplo, uno de los instrumentos que utilizaremos para medir competencias
profesionales es una prueba de conocimientos (cuestionario) donde elaboraremos
preferentemente reactivos de opcin mltiple.

34
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Tabla de criterios, indicadores y reactivos del elemento de Competencia
Recoger evidencias de las competencias del postulante aplicando los
instrumentos de evaluacin de la entidad certificadora

CRITERIO INDICADOR REACTIVO ALTERNATIVAS


A) El 1. Identifica las normas a) Las normas de competencia a a. CONEAU - SINEACE
de competencia a evaluar son priorizadas por: b. Postulante a evaluar
postulante evaluar, segn c. Colegio Profesional
es priorizacin de la EC. d. Evaluador certificado
orientado
2. Identifica la b) Una habilidad social del a. Expresar lo que piensa, cree
sobre la habilidad social de evaluador de competencias es y siente en forma positiva.
evaluacin, comunicacin: la comunicacin asertiva que b. Demostrar afecto, confianza
segn asertividad. consiste en: y perseverancia al
postulante.
tipos de c. Justificar sus errores y
evidencias equivocaciones ante los
a recoger. dems
d. Analizar sus fortalezas y
debilidades para
relacionarse.

3. Diferencia las c) Relacione las tcnicas de A. Formulacin de preguntas


tcnicas de evaluacin con sus B. Observacin directa
evaluacin de respectivos enunciados. C. Simulacin de situaciones
competencias segn D. Valoracin de productos
gua de participantes ( ) Tcnica por excelencia
del curso de para recoger evidencias.
evaluadores ( ) Genera condiciones
similares a las normales
( ) Usada cuando son
observables los productos
( ) Obtiene evidencias de los
conocimientos esenciales.
a. A B C D b. D B A C c.
C A D B d. B C D A

4. Identifica los tipos d) Los tipos de instrumentos a. Cuestionarios y guas de


caractersticas y para evaluar competencias entrevistas.
condiciones de de acuerdo a la gua de b. Listas de chequeo y
instrumentos de evaluacin del CONEAU son: cuestionarios.
evaluacin de c. Estudio de casos y listas de
competencias a chequeo.
aplicar segn gua de d. Encuestas y guas de
evaluacin Coneau. entrevistas

5. Analiza los tipos de e) En la orientacin al postulante a. La norma de competen-cia


evidencias para la un evaluador es preguntado indica un rubro de
evaluacin de sobre la justificacin para evidencias de desempe-o y
competencias segn recoger evidencias de por tanto es obliga-torio
directrices de desempeo. La respuesta recogerlas.
normalizacin correcta a esa inquietud es: b. Las evidencias de
CONEAU. desempeo son las ms
importantes de evaluar, por
tanto no puede omitirse
recogerlas.
c. La competencia se
demuestra en el desempeo
mismo por tanto no se puede
omitir su recojo en la
evaluacin.
d. Las evidencias de desem-
peo no son indispensables
por tanto evaluar la posibi-
lidad de omitirla en su caso.

35
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
6. Analiza la actuacin f) Falta elaborar i. El equipo evaluador debe
tica del evaluador estar conformado por un
en un caso. mnimo de dos evaluadores.
( )
7. Identifica los g) En relacin a los ii. II.-Todos los instrumen- tos
procedimientos procedimientos generales deben ser firmados por el
para la aplicacin para la aplicacin de los postulante y al menos uno
de los instrumentos de evaluacin, de los evaluadores. ( )
instrumentos de segn la gua de evaluacin iii. III-La firma del postulante en
evaluacin de CONEAU, identifique las el instrumento de evaluacin
competencias. afirmaciones verdaderas y las es requisito para la
falsas y marque la respuesta apelacin a que hubiere
correcta. lugar. ( )
iv. IV.Antes de comunicar los
resultados interme-dios y el
resultado final de la
evaluacin, el equipo
evaluador debe realizar una
verificacin de todo lo
actuado. ( )

a. VFFV b. VVVF c.
VFVV d. VVFV

36
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
EJEMPLO DE CUESTIONARIO

I. INFORMACIN GENERAL PARA EL PROCESO DE EVALUACIN

FECHA DE INSCRIPCIN DA: MES: AO: 2010

ENTIDAD CERTIFICADORA CONEAU

NOMBRES Y APELLIDOS DE
EVALUADOR (A):

LUGAR DE EVALUACIN

FECHA DE EVALUACIN

DATOS DEL EVALUADO (A)

DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES

CDIGO DEL INSTRUMENTO DE EVALUACIN:


TIPO DE INSTRUMENTO DE
CUESTIONARIO
EVALUACIN
C-ECP-001 EC

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR

CDIGO VERSIN NOMBRE

ELEMENTOS DE
COMPETENCIA

II. INTRODUCCIN

Este documento presenta el instrumento de evaluacin de los productos correspondientes del elemento de
competencia 3.1, perteneciente a la Norma de Competencia de.., que una persona
debe demostrar para ser considerada competente.

El presente instrumento de evaluacin est diseado para evaluar la competencia profesional de las personas que
se desempean como y contiene las instrucciones que debe seguir para su aplicacin.

Posteriormente se presentan las instrucciones de calificacin del instrumento de evaluacin, as como para la
emisin del resultado de la evaluacin.

El instrumento contiene reactivos.

37
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
III. INSTRUCCIONES DE APLICACIN DEL INSTRUMENTO DE EVALUACIN

Usted encontrar la tabla de ..

IV. TABLA DE APLICACIN O CUERPO DEL INSTRUMENTO DE EVALUACIN

1 En la evaluacin del dolor abdominal uno de los siguientes aspectos es menos relevante:

a) Tiempo de inicio
b) Ubicacin y caractersticas
c) Tiempo de duracin
d) Mejora con analgsico
2.

3.

ETC.

V. INSTRUCCIONES PARA LA CALIFICACIN DEL INSTRUMENTO DE EVALUACIN

Todas las ..

VI. INSTRUCCIONES PARA LA EMISIN DEL RESULTADO

Si todos los reactivos..

VII. RESULTADO DE LA EVALUACIN

CUMPLE NO CUMPLE

VIII. RETROALIMENTACIN AL CANDIDATO IDENTIFICACIN DE ASPECTOS PARA MEJORA

(Anotar el nmero del reactivo que requiere mejorar).

N de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

38
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
HOJA DE RESPUESTAS

FECHA DE
DA: 30 MES: MAYO AO:
INSCRIPCIN

ENTIDAD
COLEGIO
CERTIFICADORA

NOMBRES Y APELLIDOS
XXXXXX
DE EVALUADOR (A):

LUGAR DE EVALUACIN EMERGENCIA

FECHA DE EVALUACIN DDMMAA

DATOS DEL EVALUADO (A)

DNI COLEGIATURA APELLIDO PATERNO APELIDO NOMBRES


MATERNO

CDIGO DEL INSTRUMENTO DE


TIPO DE INSTRUMENTO DE EVALUACIN:
CUESTIONARIO
EVALUACIN

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR

CDIGO VERSIN NOMBRE

ELEMENTOS DE
COMPETENCIA

RESPUESTAS

A B C D A B C D A B C D

1 X 11 X 21

2 X 12 X 22

39
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
3 X 13 X 23

4 X 14 X 24

5 X 15 X 25

6 X 16 X 26

7 X 17 X 27

8 X 18 28

9 X 19 28

10 D C B A 20 30

40
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
5. VALIDEZ DE UN INSTRUMENTO

Algunos autores definen:

La validez de un instrumento de medicin es el grado en que el instrumento


mide realmente lo que el investigador pretende medir. (Hernndez Sampieri)
Grado en que un instrumento realmente mide lo que el investigador
pretende. (Thorndike)

Ambas definiciones coinciden que el requisito de un instrumento para lograr la


confiabilidad es la validez. Pero lo recproco no es cierto, puesto que un instrumento
puede ser confiable sin ser vlido.

La validacin de un instrumento sirve para controlar variables confusas, sesgos,


generar mejores procesos e interpretar de mejor modo los procedimientos
realizados.

Para determinar la validez de un instrumento es necesario el anlisis psicomtrico


que exige respuesta a las siguientes preguntas:

Hasta qu punto son consistentes las puntuaciones? Responder esta interrogante


implica informar sobre la confiabilidad del instrumento.

Qu es lo que mide la prueba? Responder esta interrogante implica informar sobre


la validez del instrumento.

En tal sentido, para determinar la eficacia del instrumento de medicin se debe


precisar su validez y confiabilidad.

Eficacia del instrumento de medicin

La eficacia del instrumento de recoleccin de datos est referida a su validez y


confiabilidad.

Validez de Contenido (validez externa)

A travs de la validez de contenido se trata de determinar hasta dnde los tems de


una prueba son representativos de los indicadores del criterio a evaluar de las
competencias profesionales que se desea medir, establece la relacin del instrumento
con los criterios de los elementos de la competencia que pretende medir. Da garantas
de que se ha operacionalizado claramente desde la competencia, unidad de
competencia, elementos de la competencia, criterios, indicadores y reactivos. El
instrumento (prueba) a travs de los tems debe contener los conocimientos
claramente definidos.

Si no se cuenta con la seguridad de que los reactivos representan a los contenidos de


los criterios de la competencia en evaluacin se debe proceder a la consulta de

41
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
expertos quienes evalan la representatividad de los indicadores relevantes de los
criterios de los elementos de la competencia.

La validez de contenido establece la relacin del instrumento con los criterios de los
elementos de la competencia que pretende medir. Siendo indispensable elaborar la
tabla de especificaciones, elaborar la prueba que se ajusta a la tabla de
especificaciones y determinar si los tems de una prueba son representativos de los
indicadores del criterio a evaluar. ( capacidad del instrumento).

Validez de criterio (Validez externa)

Nos permite expresar el grado de eficacia con el que se puede predecir o pronosticar
un criterio a partir de las puntuaciones del instrumento.

Validez Concurrente: Si el criterio se fija en el presente, cuando los


resultados del instrumento se correlacionan con el criterio en el mismo
momento. Por ejemplo una encuesta para detectar preferencias del
electorado antes de las elecciones se correlaciona con los resultados
finales de la eleccin.
Validez Predictiva: Si el criterio se fija en el futuro. Ejemplo una prueba
de admisin para ser evaluador, se puede comparar sus resultados
con su rendimiento futuro (criterio: promedios finales). Es decir la
validez predictiva se juzga por la calidad del rendimiento obtenido por
el participante en un tiempo posterior al que fue aplicado el
instrumento.
Si las dos medidas se dan en el mismo momento se habla de validez concurrente,
pero si la segunda medida se hace en un futuro y la primera se hace con la intencin
de estimar la segunda se habla de validez predictiva.

Validez de constructo (Validez interna)

Se define como el grado en que una prueba mide la construccin terica elaborada
respecto a los conocimientos o conducta que se mide.

Los procedimientos estadsticos apuntan a establecer de manera probabilstica


grupos de tems que debern ser definidos como dimensiones. Estas dimensiones
son conceptualizadas de manera consensuada para otorgarle el carcter de tiles y
cientficamente vlidos, por cuanto no existe una prueba patrn.

Si los dominios han sido construidos de manera terica, la estadstica corrobora la


idoneidad de estas agrupaciones y nos daremos respuestas a estas interrogantes:

El concepto terico est reflejado realmente en el instrumento?

Qu significan las puntuaciones del instrumento?

El instrumento mide el constructo y sus dimensiones?Por qu s? Por qu


no?

Cmo opera el instrumento? (Hernndez-Sampieri, 2010)

5.1 VALIDACIN EXTERNA DE INSTRUMENTOS DE EVALUACIN


42
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
5.1.1 Procedimiento de la validez de contenido por juicio de expertos

Evala la capacidad del instrumento para recoger lo que se desea medir:

Se presentan tres momentos:

1.- Cuando no sabemos las respuestas que nos van a dar las unidades de estudio hay
una aproximacin a la poblacin y las interrogantes deben ser abiertas y con ellas se
proceder a construir una lista de tems.

2.-Juicio de expertos cuando el conocimiento disponible es insuficiente para que el


evaluador pueda construir un instrumento de manera autnoma.

3.-La revisin del conocimiento disponible cuando existe la teora suficiente para
poder construir un instrumento.

Esta validez se refiere a si el cuestionario elaborado, y por tanto si los tems elegidos,
son evidencias de lo que se pretende medir.

5.1.2 Evidencias basadas en el contenido

Aglutina dos tipos de estudio suplementarios. Unos encaminados a evaluar las


relaciones entre el constructo y el contenido del test, y otros dirigidos a valorar los
factores contextuales internos y externos que puedan aadir varianza no deseada
(Elosua, 2003)

El objetivo de este tipo de estudios es obtener evidencias para determinar si los tems
del instrumento representan adecuadamente el constructo que se pretende medir. No
olvidemos que los tems son el estmulo necesario para obtener las muestras de
conducta indicadoras del constructo. Este tipo de estudio examina si los tems pueden
hacer bien su papel (GONZALES, 2006: 16)

Para ello hay cuatro estrategias: La fundamentacin en una teora, la consulta a


expertos, el anlisis de errores y la supervisin de los resultados totales. (ANASTASI Y
URBINA, 1998), las dos primeras son las ms reconocidas y recurrentes.

En el primer caso, la fundamentacin terica, la evidencia basada en el contenido la


realiza el mismo investigador apoyndose en la teora y los supuestos que guan la
seleccin de los tems (BRIONES, 2001); en este sentido, el dominio de contenido de
un variable, normalmente, es definido o establecido por la literatura (teoras y
antecedentes) (HERNANDEZ,2006: 279)

La forma en que esta estrategia se opera presenta ciertas ambigedades e


imprecisiones: Algunos autores hacen referencia al anlisis racional de los contenidos
posibles (MUIZ, 2003), Otros a la operacionalizacin de las variables (CASTAEDA,
DE LA TORRE, MORAN Y LARA) y otros la articulan a una estrategia global que
integra: Fundamentacin terica, consulta a expertos y anlisis estadstico.
(HERNANDEZ, 2006: 279).

La estrategia de consulta a expertos, consiste en preguntar a uno o varios expertos si


los reactivos evalan lo que uno quiere que evale (SALKIND, 1999) esta estrategia
es planteada como complementaria o simultnea de la fundamentacin terica por
algunos autores(BRIONES, 2001; HERNADEZ,2006; MUIZ, 2003), mientras que
otros plantean su uso en caso de que el constructo o variable de estudio sea definida
43
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
de manera aproximada o imprecisa, esto es, sin una buena fundamentacin
terica.(GREGORY, 2001)
Relevancia entendida como relacin de la variable, y los tems, con la teora utilizada
(PARDO, 2006)

La consulta a expertos se utiliza bsicamente para establecer si los tems del


instrumento representan adecuadamente el constructo que se pretende medir.

3.1.3. Veamos un ejemplo: Procedimiento segn GREGORY, 2001

El siguiente cuestionario tiene el objetivo central Recoger evidencias de las


competencias del postulante aplicando los instrumentos de evaluacin de la entidad
certificadora

Le pedimos su colaboracin para establecer la validez de contenido, en caso de aceptar


le sugerimos seguir las siguientes instrucciones:

1 Lea cuidadosamente la especificacin de cada una de las secciones de esta tabla


de especificaciones, ya que cada una representa, diferentes dimensiones de estudio:
Elemento de competencia, criterio de desempeo, indicador y conocimientos.

2 A continuacin indique que tan bien considera usted que el tem o reactivo sea
parte del, indicador, del criterio de desempeo y de la unidad de competencia que se
aborda a continuacin:

3 Juzgue cada tem o reactivo de manera individual comparando el contenido del tem
con el contenido de la dimensin de estudio. (Analice la tabla de especificaciones de la
prueba con la tabla de criterios, indicadores y reactivos)

Tabla de especificaciones de la prueba de conocimientos

Cantidad Nmero
ELEMENTO DE PESO
Conocimiento CRITERIOS Indicador de de
COMPETENCIA (%)
preguntas pregunta

1.Normas de 1. Identifica las normas de 2.5


competencias en competencia a evaluar, 1 1
que se evaluar al segn priorizacin de la EC.

1. 1.Recoger postulante. (a, b, c, 2. Identifica la habilidad social 2.5


evidencias de las d) de comunicacin: 1 2
competencias del A) El postulante asertividad.
postulante aplicando 2.Habilidades es orientado
3. Diferencia las tcnicas de 4
los instrumentos de sociales del sobre la
evaluacin de
evaluacin de la evaluador de evaluacin,
competencias segn gua 1 3
entidad certificadora competencias (Gua segn tipos de
de participantes del curso
del participante del evidencias a
de evaluadores
curso de recoger.
4. Identifica los tipos 2.5
evaluadores) (a)
caractersticas y
condiciones de
3.Tcnicas de
instrumentos de evaluacin 1 4
evaluacin de
de competencias a aplicar
competencias ( a, b,
segn gua de evaluacin
c, d)
CONEAU.

44
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
5. Analiza los tipos de 4
4.Tipos, evidencias para la
caractersticas y evaluacin de
1 5
condiciones de competencias segn
instrumentos de directrices de normalizacin
evaluacin de CONEAU.
competencias (a, b, 6. Analiza la actuacin tica 4
c, d) 1 6
del evaluador en un caso.
7. Identifica los procedimien- 4
5.Tipos de tos para la aplicacin de los
evidencias para la 1 7
instrumentos de evaluacin
evaluacin de de competencias
competencias (a, b, 1. Identifica las evidencias de 2.5
c, d) conocimiento de las normas 1 8
de competencia a evaluar.
6.Pautas ticas de 2. Describe el procedimiento 4
la evaluacin de del uso de instrumentos de
competencias (a, b, recojo de evidencias de 1 9
c, d y e) conocimiento, segn
tcnica.
7. Procedimientos B) Los
3. Identifica evidencias de 2.5
para la aplicacin de instrumentos de
conocimiento para la
los instrumentos de evaluacin de 1 10
evaluacin de
evaluacin de conocimiento se
competencias
competencias (a, b, aplican de
4. Analiza la actuacin tica 4
c, d). acuerdo a las
del evaluador en casos de
8. Procedimiento evidencias a
aplicacin de instrumentos 1 11
para el registro de recoger
de evaluacin de
evidencias (b, c, d,
conocimiento.
e).
5.Analiza un caso de 4
aplicacin de un 1 12
9. Pautas para la
cuestionario.
determinacin del
6. Analiza un caso de registro 4
logro de la
de evidencias de 1 13
competencia (e).
conocimiento
1.-Analiza las evidencias de 4
desempeo de las normas de
1 14
competencia a evaluar en un
caso.
2. Relaciona el instrumento de 4
evaluacin de desempeo con
C) Los 1 15
a tcnica correspondiente a la
instrumentos de
evidencia a recoger
evaluacin de
3Describe las caractersticas, 4
desempeo se
condiciones y procedimientos
aplican de 1 16
del uso del instrumento de
acuerdo a las
evaluacin de desempeo.
evidencias a
4. Analiza la actuacin tica 4
recoger.
del evaluador en casos de
1 17
aplicacin de instrumentos de
evaluacin de desempeo.
5. Analiza un caso de 4
aplicacin de una lista de 1 18
verificacin de desempeo.
6. Describe el procedimiento 4
1 19
para el registro de evidencias
D) Los 1.Identifica las evidencias de 2.5
1 20
instrumentos de producto de las normas de
evaluacin de competencia a evaluar.
producto se 2.Relaciona el instrumento de 4
aplican de evaluacin de producto con la 1 21
acuerdo a las tcnica correspondiente a la
evidencias a evidencia a recoger
recoger. 3. Describe las caractersticas, 2.5 1 22
condiciones y procedimientos

45
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
del uso del instrumento de
evaluacin de producto.
4. Analiza la actuacin tica 4
del evaluador en casos de 1 23
aplicacin de instrumentos de
evaluacin de producto.
5. Describe los procedimientos 4
para la aplicacin del 1 24
instrumento de evaluacin de
producto.
6.-.Describe el procedimiento 4
1 25
para el registro de evidencias
de producto
1.-Reconoce los principios 2.5
E) La ticos en la determinacin del 1 26
determinacin logro de las competencias y su
del logro de la registro.
competencia es 2.Analiza los procedimientos 4
1 27
registrada en los para la determinacin del logro
formatos de las competencias.
establecidos 3. Describe el procedimiento 4
1 28
para el registro del logro de las
competencias
TOTAL 100 28

46
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
TABLA DE CRITERIOS, INDICADORES Y REACTIVOS

CRITERIO INDICADOR REACTIVO escala


1. Identifica las normas de 1.-Las normas de competencia a evaluar son
El competencia a evaluar, priorizadas por:
0
postulante segn priorizacin de la a. CONEAU - SINEACE
EC. b .Postulante a evaluar 1
es 2. Identifica la habilidad social c. Colegio Profesional
de comunicacin: d. Evaluador certificado 2
orientado asertividad.
3
sobre la 3. Diferencia las tcnicas de 2.-Una habilidad social del evaluador de
evaluacin, evaluacin de competencias es la comunicacin asertiva que 0
competencias segn gua consiste en:
segn de participantes del curso 1
tipos de de evaluadores
4. Identifica los tipos
a. Expresar lo que piensa, cree y siente
en forma positiva.
2
evidencias caractersticas y b. Demostrar afecto, confianza y 3
condiciones de perseverancia al postulante.
a recoger. instrumentos de evaluacin c. Justificar sus errores y equivocaciones
de competencias a aplicar ante los dems
segn gua de evaluacin d. Analizar sus fortalezas y debilidades para
Coneau. relacionarse.
5. Analiza los tipos de
evidencias para la 3. Relacione las tcnicas de evaluacin con
evaluacin de sus respectivos enunciados.
competencias segn 0
directrices de
normalizacin CONEAU.
a. Formulacin de preguntas
b. Observacin directa
1
6. Analiza la actuacin tica c. Simulacin de situaciones 2
del evaluador en un caso. d. Valoracin de productos
7. Identifica los ( ) Tcnica por excelencia para recoger 3
procedimientos para la evidencias.
aplicacin de los ( ) Genera condiciones similares a las
instrumentos de normales
evaluacin de ( ) Usada cuando son observables los
competencias. productos
( ) Obtiene evidencias de los
conocimientos esenciales

4.-Los tipos de instrumentos para evaluar


competencias de acuerdo a la gua de
0
evaluacin del CONEAU son: 1
2
a. Cuestionarios y guas de entrevistas.
b. Listas de chequeo y cuestionarios. 3
c. Estudio de casos y listas de chequeo.
d. Encuestas y guas de entrevistas

5.-En la orientacin al postulante un evaluador


es preguntado sobre la justificacin para
recoger evidencias de desempeo. La 0
respuesta correcta a esa inquietud es: 1
a. La norma de competencia indica un rubro
2
de evidencias de desempeo y por tanto 3
es obligatorio recogerlas.
b. Las evidencias de desempeo son las
ms importantes de evaluar, por tanto no
puede omitirse recogerlas.
c. La competencia se demuestra en el
desempeo mismo por tanto no se puede
omitir su recojo en la evaluacin.
d. Las evidencias de desempeo no son
indispensables por tanto evaluar la
posibilidad de omitirla en su caso.

6.-Falta elaborar 0
1
2
7.-En relacin a los procedimientos generales 3
para la aplicacin de los instrumentos de
evaluacin, segn la gua de evaluacin
CONEAU, identifique las afirmaciones 0
verdaderas y las falsas y marque la respuesta
correcta. 1
I.-El equipo evaluador debe estar conformado
por un mnimo de dos evaluadores. ( )
2
II.-Todos los instrumentos deben ser firmados 3
por el postulante y al menos uno de los

47
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
evaluadores. ( )
III-La firma del postulante en el instrumento de
evaluacin es requisito para la apelacin a
que hubiere lugar. ( )
IV.Antes de comunicar los resultados
intermedios y el resultado final de la
evaluacin, el equipo evaluador debe realizar
una verificacin de todo lo actuado. ( )

4Para evaluar utilice la siguiente escala.


0 El tem no pertenece a la dimensin de estudio
1 El tem probablemente no pertenece a la dimensin de estudio
2 El tem probablemente si pertenece a la dimensin de estudio
3El tem si pertenece a la dimensin de estudio.

5 Anota su consideracin en la columna de la escala de la tabla de criterios,


indicadores y reactivos.

6 Completa la tabla resumen

Tabla de resumen criterio A

Total (S)
Experto Experto Experto Experto Experto Experto sumatoria de media
tem ESCALA
1 2 3 4 5 6 acuerdos T/6
1 0 2 3 1 2 3 11 1,8 dbil
validez
2 3 3 1 2 2 3 14 2.3 validez
aceptable
3
4
5
6
7
total

7 Procedemos a observar la media de cada tem, y en caso de ser menor 1,5 el


tem se elimina.

Con los tems restantes se obtiene una media general de cada criterio que lo
compone y el resultado se interpreta con la siguiente escala:

Intervalos Escalas
1,6 a 2 Dbil validez
2,1 a 2,5 Validez aceptable
2,6 en adelante Validez fuerte

8 Se consolidan los resultados de validez de contenido en una tabla de validez y


se

48
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Tabla de validez de contenido de tems

ITEM Media Escalas


1
2
3
4
5
6
7

Los instrumentos de evaluacin deben ser vlidos y confiables: Son vlidos cuando el
instrumento se refiere realmente a la variable que pretende medir. Son confiables en
la medida que la aplicacin repetida del instrumento al mismo sujeto, bajo situaciones
similares, produce iguales resultados (HERNNDEZ, 1997).

Tambin para comprobar la validez de contenido a travs del juicio de expertos.


Sobre la respuesta de los expertos se aplica el coeficiente V de Aiken.9
9.-Procedimiento para obtener el coeficiente v de Aiken para evaluar la validez de
contenido a travs del juicio de expertos. Se obtiene la validez del contenido de
cada tem a travs del coeficiente V de Aiken, para lo cual se usa la siguiente
frmula: V = S/ (n(c-1))

Donde:

S: sumatoria de las respuestas o acuerdos de los expertos por cada tem


n: nmero de expertos
N: Nmero de tem
c: nmero de valores en la escala de valoracin ( 2 si se trata de acuerdo y
desacuerdo) ( 4 si se trata de escala: 0,1,2,3)
Tabla de resumen criterio A

tem Experto Experto Experto Experto Experto Experto Total (S) V ESCALA
1 2 3 4 5 6
sumatoria de Aiken:
acuerdos s/ (n (c-1))
1 0 2 3 1 2 3 11 11/6(3) = 0,6 dbil validez
2 3 3 1 2 2 3 14 14/6(3) = 0.77 dbil validez
aprox 0,8
3 3 3 3 3 3 3 18 18/6(3) = 1 validez fuerte
4 3 2 3 3 3 3 17 17/6(3)= 0,94 validez fuerte
5 3 3 1 2 2 3 14 0,8 Validez dbil
6 3 3 1 3 3 3 16 0,88 validez
aceptable
7 3 3 3 3 3 3 18 1 validez fuerte
N=7 Validez
5,99/ 7 = 0,85 aceptable

9
Adaptado de Separata: Programa de maestra en educacin. PAME- Callao .(2009)
49
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Para que el tem sea aceptado o vlido debe alcanzar un coeficiente V igual
o superior a 0.81.

Cuando alcanza un valor menor debera analizarse su redaccin, las


recomendaciones y observaciones de los jueces y tener en cuenta: que la idea
principal del tem debe estar en el enunciado, evitar los conocimientos
excesivamente triviales o excesivamente rebuscados, evitar cuestiones sobre
opiniones, no encadenar unos tems con otros, minimizar el tiempo de lectura, evitar
el uso de negaciones.

A continuacin veremos la validez interna expresada en las puntuaciones de una


prueba. Las puntuaciones son vlidas en la medida en que sirven a los fines para los
cuales se elaboraron y depender del cuidado con el que hemos llevado a cabo cada
proceso desde la elaboracin del instrumento hasta su aplicacin.

BIBLIOGRAFA

ABAD, Francisco; GARRIDO, Jess, otros (2006)Introduccin a la psicometra: Teora Clsica


de los Test y Teora de la Respuesta al tem. Universidad autnoma de Madrid.

BARRAZA, Arturo (2007) La consulta a expertos como estrategia para la recoleccin de


evidencias de validez basadas en el contenido. Universidad Pedaggica de Durango. INED.

CENTRO PARA EL DESARROLLO DEL POTENCIAL COGNITIVO. La Modificalidad Cognitiva


Estructural y el Programa de Enriquecimiento Instrumental, PEI-Nivel I, Mdulo 1, Lima 2005.

DAMIAN, Luis. (2007). Evaluacin de capacidades y valores en la sociedad del conocimiento.


Edit. Norma
ESQUIVEL, Jos y VENEGAS, Valia. (2008).Instrumentos de medicin.Gutemberg.
GARCA Fraile, TOBON Sergio (coords.) 2008 Gestin del currculo por competencias. F.M.
servicios grficos S.A. Lima Per
HERNANDEZ, Roberto y otros Metodologa de la investigacin(1999).McGRAW-HILL.

HUAMN BERROS Julio Enrique. Evaluacin por competencias

MARTINIANO ROMN PREZ, Sociedad del conocimiento y la refundacin de la escuela


desde el aula, Ediciones Libro Amigo, Imprenta Snchez, SRL, 2004.

MEJIA, Elas. (2005). Tcnicas e instrumentos de investigacin .UNMSM.

MORALES, Pedro. ( 2007) La fiabilidad de los test y escalas. Universidad Pontificia Comillas,
Madrid.

MORALES, Pedro. ( 2011) Gua para construir cuestionarios y escalas de actitudes .


Universidad Rafael Landivar, Madrid.

ASAMBLEA NACIONAL DE RECTORES 2008 Evaluacin de los aprendizajes

SALINAS Dino. 2002. Maana examen! La evaluacin entre la teora y la realidad. Barcelona
GRAO.

SOSA ESPINOZA, Myriam Janett. Evaluacin del aprendizaje. 2009 ICE. USMP. Lima, Per.
Evaluacin de competencias en la educacin universitaria. 2011 UCA. UNALM.

50
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
VELA DAMONTE, Jorge. Gua Metodolgica de Programacin Curricular Modular para la
Educacin Superior Tecnolgica

Revista del Instituto de Investigacin de la Facultad de Ciencias Contables. Vol. 17, N.


34Julio - Diciembre 2010UNMSMLima, Per

ANEXOS

ANEXO1. Taxonoma de L DHainaut)10

CAPACIDADES CARACTERSTICAS
reproduccin memoria, discriminacin y generalizacin
conceptualizacin define, describe, define caractersticas,
caracteriza una situacin

aplicacin El evaluado utiliza la informacin asimilada a una


situacin diferente, realiza operaciones, aplica
estrategias, utiliza instrumentos, expresa
mediciones, transforma, relaciona, grafica)
exploracin investigar, indagar, experimentar, simular,
proyectar, planificar

movilizacin Convergente crear, inventar, disear, elaborar,


integra resultados.

solucin de problemas Criticar, sustentar, determinar, categorizar,


resolver

10
Ver CASAS, Luis. Evaluacin de capacidades y valores en la sociedad del conocimiento. 2007.
Editorial Norma (fundamentos de la Taxonoma D HAINAUT como herramienta til para evaluacin de
capacidades. Pg. 63-71)
51
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
ANEXO 2 CUADRO DE CAPACIDADES Y PROCESOS COGNITIVOS

CAPACID.ESPEC.
PROCESOS COGNITIVOS
CAPACIDAD Q TIENEN
DEFINICIN FORMA DE EVIDENCIA
ESPECFICA PROCESOS COGNITIVOS / PROCESOS
CARACTERSTICA DEL PROCESO SIMILARES
MOTORES
Capacidad para ubicar Proceso mediante el cual se lleva la
Recepcin de informacin. El estudiante
en el tiempo, en el informacin a las estructuras mentales.
identifica cuando
espacio o en algn Proceso mediante el cual se encuentra
Caracterizacin seala algo, hace
medio fsico elementos, caractersticas y referencias
IDENTIFICAR RECONOCER marcas, subraya,
partes, caractersticas, Proceso mediante el cual se contrasta las
resalta expresiones,
personajes, Reconocimiento y caractersticas reales del objeto de
hace listas, registra
indicaciones u otros expresin. reconocimiento con las caractersticas
lo que observa, etc.
aspectos. existentes en las estructuras mentales.
Proceso mediante el cual se lleva la El estudiante
Recepcin de informacin discrimina cuando
Capacidad para informacin a las estructuras mentales.
Identificacin y Proceso mediante el cual se identifica elabora cuadros de
encontrar las
contrastacin de caractersticas de cada elemento y se doble entrada,
diferencias esenciales
DISCRIMINAR caractersticas compara con las caractersticas de otros explica diferencias,
entre dos o ms
elige algo
elementos, procesos o
Manifestacin de las Proceso mediante el cual se manifiesta las sustancial de un
fenmenos.
diferencias diferencias entre uno y otro elemento conjunto de
elementos.
Proceso mediante el cual se lleva la
Recepcin de informacin
informacin a las estructuras mentales.
Identificacin de las El estudiante
Proceso mediante el cual se identifica o compara cuando
caractersticas
Capacidad para seala referentes de cada elemento encuentra
cotejar dos o ms
individuales elementos comunes
elementos, objetos, Proceso mediante el cual se contrasta las o aspectos distintos
COMPARAR procesos o fenmenos caractersticas de dos o ms elementos entre los
con la finalidad de fenmenos que
encontrar semejanzas contrastacin de observa, hace
o diferencias. caractersticas de dos o cuadros
mas objetos de estudio comparativos,
paralelos

52
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Proceso mediante el cual se busca
Bsqueda y recepcin de
informacin en contextos o fuentes
informacin El estudiante
diversas.
selecciona cuando
Proceso mediante el cual se establecen
Determinacin de criterios separa objetos,
Capacidad que permite criterios o especificaciones que servirn de
o especificaciones caractersticas,
escoger los elementos referente para la seleccin.
cuando registra
de un todo, de acuerdo Identificacin y
SELECCIONAR Proceso mediante el cual se identifica informacin de su
con determinados contrastacin de criterios
caractersticas de elementos y se contrasta inters, cuando
criterios y con un o especificaciones con
con los criterios o especificaciones. hace elecciones,
propsito definido. prototipos
etc.
Eleccin del modelo Proceso mediante el cual se elige el
elemento.

Proceso mediante el cual se lleva la


Recepcin de informacin El estudiante
informacin a las estructuras mentales.
organiza cuando
Capacidad que permite Identificacin de los Proceso mediante el cual se ubica los
diagrama, elabora
disponer en forma elementos que se elementos y el contexto que se desea
mapas
ordenada elementos, organizar organizar
conceptuales, redes
ORGANIZAR objetos, procesos o Determinacin de criterios Proceso mediante el cual se establecen semnticas,
fenmenos, teniendo de organizacin criterios de organizacin. esquemas, cuadros
en cuenta Disposicin de los
Proceso mediante el cual se realiza la sinpticos, coloca
determinados criterios. elementos considerando
accin, o disposicin de los elementos de cada cosa en su
los criterios y orden lugar.
acuerdo con los criterios establecidos.
establecidos
Proceso mediante el cual se lleva la
Recepcin de informacin
informacin a las estructuras mentales.
Proceso mediante el cual se observa El estudiante analiza
Capacidad que permite Observacin selectiva selectivamente la informacin identificando cuando identifica los
dividir el todo en partes lo principal, secundario complementario, hechos principales de
con la finalidad de un acontecimiento
Procedimiento mediante el cual se divide la
histrico, establece
ANALIZAR. estudiar, explicar o Divisin del todo en partes informacin en partes, agrupando ideas o relaciones entre ellos,
justificar algo elementos determina sus causas
estableciendo y consecuencias y las
relaciones entre ellas. Procedimiento mediante el cual se explica o explica en funcin del
Interrelacin de las partes
justifica algo estableciendo relaciones entre las todo.
para explicar o justificar
partes o elementos del todo

53
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Proceso mediante el cual se lleva la El estudiante infiere
Recepcin de informacin
informacin a las estructuras mentales. cuando hace
Proceso mediante el cual se identifica deducciones,
Identificacin de premisas informacin que se utilizar como base otorga significado a
para la inferencia las expresiones a
Contrastacin de las Proceso mediante el cual se contrastan las partir del contexto,
Capacidad para premisas con el contexto. premisas o supuestos con el contexto determina el
obtener informacin mensaje de
INFERIR. nueva a partir de los DEDUCIR eslganes, otorga
datos explcitos o de significado a los
otras evidencias. recursos no
Proceso mediante el cual se obtienen verbales y al
Formulacin de
deducciones a partir de las premisas o comportamiento de
deducciones
supuestos. las personas,
determina causas o
posibles
consecuencias.
Recepcin de informacin Proceso mediante el cual se lleva la
Capacidad para informacin a las estructuras mentales.
cuestionar el estado de El estudiante
un fenmeno, la Formulacin de criterios Proceso mediante el cual se establecen enjuicia cuando
produccin de un criterios que permitan emitir un juicio emite una
acontecimiento, el apreciacin
pensamiento de los Contrastacin de los Proceso mediante el cual se compara los personal, hace
JUZGAR ENJUICIAR
dems, las formas de criterios con el referente criterios establecidos con el referente, con comentarios, platea
organizacin, tratando la finalidad de encontrar las virtudes y argumentos a favor
de encontrar sus deficiencias. o en contra,
virtudes y deficiencias expresa puntos de
y asumiendo una Emisin de la opinin o Proceso mediante el cual se emite y vista.
posicin al respecto.
juicio. asume una posicin

54
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Recepcin de la Proceso mediante el cual se lleva la El estudiante aplica
EMPLEAR.
informacin. informacin a las estructuras mentales. cuando emplea,
Identificacin del proceso, Proceso mediante el cual se identifica y se administra o pone
principio o concepto que comprende el proceso, principio o concepto en prctica un
Capacidad que permite se aplicar que se pretende aplicar conocimiento, un
la puesta en prctica de Secuenciacin de Proceso mediante el cual se establecen principio, una
APLICAR principios o procesos y eleccin de secuencias, un orden y estrategias para los UTILIZAR. frmula o un
conocimientos en estrategias procedimientos que realizar proceso con el fin
actividades concretas de obtener un
Proceso mediante el cual se pone en determinado efecto,
Ejecucin de los procesos un resultado o un
practica los procesos y estrategias
y estrategias. rendimiento en
establecidos
alguien o algo.
Recepcin de la Proceso mediante el cual se lleva la
informacin. informacin a las estructuras mentales. El estudiante
formula cuando
Proceso mediante el cual se identifican los
expresa mediante
Capacidad que permite Identificacin de elementos que se deben relacionar para
signos matemticos,
establecer relaciones elementos obtener resultados o generar nuevas
las relaciones entre
entre elementos para construcciones
FORMULAR PLANTEAR diferentes
presentar resultados, Interrelacin de los Proceso mediante el cual se establecen
magnitudes que
nuevas construcciones elementos relaciones entre los elementos.
permitirn obtener
o solucionar problemas Proceso mediante el cual se pone en un resultado;
Presentacin de las prctica las relaciones entre elementos cuando plantea un
interrelaciones obtenindose los resultados o la nuevas proyecto, etc.
construcciones
DIAGRAMA
Observacin del objeto o Proceso mediante el cual se observa con
R
situacin que se atencin el objeto o situacin que se
ESQUEMAT
representar representar
IZAR
El estudiante
Proceso mediante el cual se toma
Capacidad que permite Descripcin de la forma / representa cuando
conciencia de la forma y de los elementos
representar objetos situacin y ubicacin de DISEAR dibuja un objeto,
REPRESENTA que conforman el objeto o situacin que se
mediante dibujos, sus elementos acta en una obra
R representar
esquemas, diagramas, teatral, elabora un
Generacin de un orden y Proceso mediante el cual se establece un
etc plano, croquis,
secuenciacin de la orden y secuencia para realizar la GRAFICAR
plano o diagrama
representacin representacin
Representacin de la
Proceso mediante el cual se representa la
forma o situacin externa DIBUJAR
forma o situacin externa e interna
e interna

55
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Proceso mediante el cual se lleva o El estudiante
Recepcin de la
recupera la informacin de las estructuras argumenta cuando
informacin
mentales. sustenta con
Capacidad que permite Observacin selectiva de Proceso mediante el cual se identifican la fundamentos
ARGUMENTAR sustentar o sostener la informacin que informacin que se utilizarn para determinados temas
puntos de vista permitir fundamentar fundamentar los argumentos. o puntos de vista en
una exposicin,
Presentacin de los Proceso mediante el cual se presenta los
discusin, alegato,
argumentos argumentos en forma escrita u oral.
etc.
Proceso mediante el cual se recepciona
Recepcin de la
informacin sobre el qu se va a realizar y el OPERAR
informacin del qu hacer,
cmo se va a realizar. En algunos casos se El estudiante realiza
por qu hacer y cmo
requiere incorporar imgenes visuales del ELABORAR cuando lleva a cabo
hacer (imgenes )
cmo se va a realizar un procedimiento
Capacidad que permite Identificacin y secuenciacin de
Proceso mediante el cual se identifica y secuencia los para la produccin
REALIZAR ejecutar un proceso, los procedimientos que involucra
procedimientos que se pretenden realizar de un bien, un
tarea u operacin la realizacin
movimiento fsico,
Proceso mediante el cual se pone en prctica los
procedimientos de la realizacin . En una primera
un paso de una
Ejecucin de los procedimientos danza, etc.
instancia controlados por el pensamiento y en una EJECUTAR
controlados por el pensamiento
segunda instancia es la puesta en prctica de los
procedimientos de manera automtica

56
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
ANEXO 3

ASPECTOS A CONSIDERAR EN LA ELABORACIN DE ITEMS

Qu es un tem
Un tem es una pregunta, que en conjunto con otras dan forma a una prueba, pueden ser de
distintos tipos y clases de acuerdo con lo que se pretende medir.

La prueba escrita est conformada por dos tipos de tems: los objetivos y los de desarrollo.

tems objetivos tems de desarrollo

Seleccin nica Respuesta restringida


Respuesta corta Resolucin de ejercicios
Correspondencia o apareamiento Resolucin de problemas
Identificacin Resolucin de casos
Ensayo

ITEMS OBJETIVOS
Los tems objetivos son aquellos que el evaluado soluciona marcando una respuesta a
elegir entre varias opciones dadas, o bien completando una respuesta. En ambos casos
todas las respuestas aceptables han sido previstas y especificadas en una clave de
respuestas o una plantilla de correccin. El trmino objetivo se refiere al procedimiento
empleado para la asignacin de la puntuacin y no a las caractersticas de la respuesta.
Entre los tipos de tems objetivos estn: seleccin nica, respuesta corta,
correspondencia o apareamiento e identificacin.

1. Seleccin nica
Consta de un enunciado, base o pie que hace referencia a una situacin y varias opciones
de respuesta, entre las cuales solo hay una que es correcta, las dems funcionan como
distractores.

Ejemplo:

Una habilidad social del evaluador de competencias ENUNCIADO


es la comunicacin asertiva que consiste en: BASE O PIE

A. Expresar lo que piensa, cree y siente en forma positiva. OPCIONES DE RESPUESTA

B. Demostrar afecto, confianza y perseverancia al postulante. A= RESPUESTA CORECTA

C. Justificar sus errores y equivocaciones ante los dems B, C, D= DISTRACTORES

57
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
D.Analizar sus fortalezas y debilidades para relacionarse.

REGLAS GENERALES
Verificar que el tem corresponda con los propsitos de la evaluacin, la estructura
de la prueba y con las dimensiones disciplinares Todas las preguntas de una
prueba deben ser independientes entre s.
La informacin de un tem no debe servir de pauta para contestar otra, ni la
respuesta a un tem debe depender de haber encontrado primero la de otra
anterior.
Evitar los tems que pueden contestarse por sentido comn y aquellos cuya
respuesta dependa nicamente de recordar un trmino, un smbolo, un dato o la
fecha en que ocurri un evento.
Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un
lenguaje directo, sencillo y comprensible.
Los tems no deben tener juicios de valores explcitos o implcitos.

REGLAS SOBRE LOS ENUNCIADOS


Los enunciados deben ser afirmativos, en caso de ser necesaria la negacin, se
debe resaltar para llamar la atencin hacia la formulacin negativa. La doble
negacin afecta la comprensin (No es cierto que no procedan los recursos).
Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la
lectura, disminuyen el tiempo de respuesta y fatigan.
Garantizar la coherencia interna del enunciado y de este con las opciones de
respuesta.

REGLAS SOBRE LAS OPCIONES


Las opciones de respuesta deben pertenecer al mismo campo semntico.
Las opciones de un tem no deben dar indicaciones sobre la clave por ofrecer un
cierto contraste evidente de:
o longitud precisin / imprecisin
o uso comn / tcnico
o generalizacin/particularizacin
No se deben repetir expresiones en las opciones de respuesta, si stas se pueden
incluir en el enunciado del tem. Repetir la misma palabra del enunciado en
cualquiera de las opciones lleva a que sea elegida como respuesta, sin serlo
necesariamente.
Debe evitarse en las opciones las expresiones todas o ninguna de las anteriores,
en su lugar es necesario construir alternativas de respuesta plausibles para las
personas que no tengan el dominio conceptual que exige el tem.
Realizar una revisin gramatical y ortogrfica de cada uno de los tems.

PARTES DE UN TEM DE SELECCIN MLTIPLE CON NICA RESPUESTA


Las partes bsicas de un tem de seleccin mltiple son el contexto, el enunciado y las
opciones de respuesta, como se muestra en el grfico.

58
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
CONTEXTO
Es la informacin que sita conceptualmente al evaluado. Provee elementos necesarios y
suficientes para focalizar la tarea de evaluacin. En un sentido amplio, el contexto abarca
todo el saber previo del evaluado sobre el objeto de evaluacin; no obstante, en el
proceso de elaboracin de un tem, es usual que el evaluador encuentre pertinente y
necesario presentar un texto u otro tipo de informacin que contribuya a precisar las
condiciones del problema, las variables que es prudente considerar, o para ubicar en el
tiempo y en el espacio la problemtica, etc.
ENUNCIADO
Es el planteamiento, propiamente dicho, de la problemtica que se espera sea resuelta
por el evaluado. En el enunciado se hace explcita la tarea de evaluacin y, por tanto,
dirige el esfuerzo del evaluado para generar o seleccionar una respuesta, por lo cual es
fundamental que est escrito en lenguaje claro y preciso.
Tradicionalmente los enunciados de tems de seleccin mltiple se plantean en forma de
pregunta, o como una proposicin. En el primer caso, las opciones se redactan como
respuestas a la pregunta; en el segundo caso, el enunciado constituye la primera parte de
una proposicin y cada una de las opciones debe completar coherentemente el
enunciado.
La utilizacin de una u otra forma de plantear el enunciado es decisin del evaluador y
generalmente tiene que ver con la facilidad para redactar, tanto el enunciado como las
opciones.
OPCIONES DE RESPUESTA
Las opciones son posibles respuestas a la problemtica planteada en el enunciado. En el
formato de seleccin mltiple con nica respuesta, como su nombre lo indica, slo una de
estas opciones es verdaderamente pertinente y completa para solucionar el problema
tarea de evaluacin-; las dems opciones, aunque pueden ser vistas como respuestas
plausibles por los evaluados que no dominan la tarea de evaluacin, no responden en
forma completa o pertinente a la problemtica formulada.

REGLAS PARA LA ELABORACIN DE TEMS DE SELECCIN MLTIPLE CON


NICA RESPUESTA
ASPECTOS GENERALES
No es recomendable trabajar contrarreloj cuando se busca tener un instrumento de
calidad. Haga una programacin juiciosa de todas las fases del diseo del instrumento
y, particularmente, de la fase de elaboracin de tems contemplando tiempos de
revisin, ajustes y edicin.
Conforme el equipo de trabajo con base en las competencias de cada miembro y en su
saber sobre el objeto de evaluacin; el dominio en la disciplina o campo que se evaluar
debe combinarse con el conocimiento en medicin y evaluacin. En lo posible, cuente
con el apoyo de alguien con experiencia en el tema.
Planee sesiones de induccin para quienes vayan a elaborar tems y asegrese de que
comprenden el propsito del instrumento y los dems planteamientos bsicos del marco
de fundamentacin y de las especificaciones de prueba. Si se trata de personas sin
experiencia, deben ser entrenados adems en las tcnicas de elaboracin de tems.

59
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Un buen tem, por lo general, ha experimentado toda una metamorfosis desde su versin
original. Durante la fase de elaboracin de los tems, realice sesiones de socializacin o
anlisis conjunto de los tems elaborados por cada miembro del equipo, con el fin de
que cada uno tenga oportunidad de hacer aportes a la cualificacin de todos los tems
(tanto en lo que refiere a la forma como al contenido).
Evite usar eufemismos y prefiera un lenguaje directo, sin sacrificar el nivel tcnico y
acadmico del proceso. La claridad y concrecin en el lenguaje debe ser una
consideracin permanente; utilice dibujos, grficos o tablas slo si estos en realidad
aportan a la comprensin de la tarea de evaluacin; tenga en cuenta el tiempo que el
evaluado debe emplear para leer instrucciones, contextos, enunciados y opciones, y el
tiempo total del cual dispone para responder.
Asegrese de que en ninguna parte del instrumento (portada, textos, instrucciones,
tems, etc.) haya errores de ortografa, de gramtica o de puntuacin, que no se incluya
incorrectamente abreviaciones, citas, nombres, cifras, fechas, etc.

REGLAS SOBRE EL CONTENIDO DE LOS TEMS


Evite elaborar tems que confunden al evaluado. Diferentes estudios han establecido
cules son algunas de las situaciones que llevan a percibir los tems como confusos;
entre stas estn:
a) Contenido trivial
b) Presencia de informacin irrelevante
c) Presentacin ambigua de las opciones de respuesta
d) Discriminacin muy fina difcil de percibir entre las opciones de respuesta
e) Presentacin de informacin en modo distinto a como ha sido aprendida por la
poblacin evaluada, dentro de su proceso educativo.
Cada tem debe corresponder a una tarea de evaluacin definida en la estructura de
prueba.
Evite evaluar el mismo aspecto especfico con varios tems. Aproveche cada tem para
hacer cada vez ms completa la evaluacin.
Plantee una sola problemtica en cada tem.
Evite tems que incluyan posiciones ideolgicas o prejuicios; tenga en cuenta que las
proposiciones prejuiciosas pueden resultar en una ofensa para cualquiera de los
evaluados. Se excepta esta recomendacin si justamente dichas posiciones son el
objeto de evaluacin; entonces ser obligatorio incluirlas.
El vocabulario utilizado debe ser adecuado para la poblacin objetivo.
Cada tem debe ser independiente y no proveer informacin para responder a otros.
No utilice tems que aparezcan en libros, revistas u otros documentos, como base para
sus tems. Elabore tems originales.
Evite tems en los cuales se indague la opinin (parecer no argumentado) del evaluado
(a menos que el instrumento justamente pretenda servir para un sondeo de opinin).
Evite plantear tems cuya respuesta vlida se determine segn la opinin de quien la
elabora.
Balancee la complejidad de los tems para que el instrumento cubra los niveles de
habilidad de la poblacin objetivo, es decir, la prueba debe incluir tems de dificultad
alta, media y baja.

REGLAS SOBRE CONSTRUCCIN DEL ENUNCIADO

60
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Si plantea el enunciado en forma de proposicin incompleta asegrese de usar
conjugaciones verbales, gnero y nmero adecuados para las opciones de respuesta
que plantear. Si lo escribe en forma de pregunta asegrese de usar adecuadamente
signos de interrogacin y la estructura gramatical de una pregunta.
Presente en el enunciado la tarea de evaluacin.
Escriba con claridad.
Evite texto excesivo.
Redacte el enunciado en forma positiva; es decir, evite negaciones.

REGLAS SOBRE CONSTRUCCIN DE OPCIONES DE RESPUESTA


Asegure la concordancia gramatical entre la proposicin del enunciado y cada opcin.
Organice las opciones en un orden lgico (alfabtico, longitud, etc.) o numrico.
Mantenga la independencia entre las opciones. stas no deben solaparse o
intersectarse y no deben ser sinnimas.
Refirase en todas las opciones al problema planteado en el enunciado. Evite opciones
fcilmente descartables.
Elabore opciones de respuesta de longitud similar.
Evite colocar como opcin:
- Todos los anteriores
- Ninguno de los anteriores
- A y B son correctas (o cualquier combinacin de opciones)
- No s
Redacte las opciones en forma positiva, es decir, evite negaciones. Si debe colocar una
negacin, resltela (use negrilla o maysculas sostenidas).
No repita en las opciones frases contenidas en el enunciado.
Elabore tems con 4 opciones de respuesta. Elaborar opciones plausibles es
dispendioso; seguramente ganar calidad en las que redacte si no son demasiadas.
Hay referencia de distintos estudios que analizaron la cantidad de opciones tiles para
los propsitos de evaluacin12 13 ; si bien no existe consenso alrededor de un nico
nmero de opciones, se encuentra a menudo conveniente, en cuanto a facilidad de
redaccin y capacidad de discriminacin, trabajar con 4 opciones; para poblaciones de
infantes puede ser conveniente usar 3 opciones.
Evite en las opciones el uso de adverbios como: Siempre Nunca Totalmente
Absolutamente Completamente
La posicin de la opcin vlida debe balancearse entre todos los tems del instrumento.
Es recomendable que aparezca proporcionalmente en cada posicin posible.
Evite que la opcin vlida pueda ser identificada fcilmente por contraste con las dems
opciones, por alguna de las siguientes situaciones:
- tener la mayor longitud
- ser la proposicin de mayor precisin o imprecisin
- estar redactada en un tipo lenguaje diferente (tcnico o comn)
- tener el mayor nivel de generalizacin o de particularidad
- tener las mismas palabras que el enunciado
- referirse a una problemtica o tema diferente
Justifique adecuadamente cada una de las opciones para garantizar que slo hay una
vlida y que las dems son plausibles para quienes no dominan completamente la tarea
de evaluacin

61
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
PERFIL DEL ITEM

Cada tem debe analizarse particularmente a los efectos de determinar sus caractersticas
y facilitar su ubicacin en una base de datos.
Una posibilidad es realizar el siguiente cuadro (perfil del tem) adaptado del Programa
de Evaluacin de Aprendizajes de ANEP, ao 2002.

FICHA DE TEM

INSTITUCIN: COLEGIO DEL PERU

1. NORMA DE COMPETENCIA

2. ELEMENTOS DE COMPETENCIA

3. NIVEL DE
CONOCIMIENTO Reproductivo Comprensin Aplicacin

4. TIPO DE CONTENIDO Hechos y datos Conceptos y categoras

Procedimientos y reglas Principios y teoras

5. ITEM:
5.1. Enunciado del tem:

5.2. Alternativas de respuesta

a.
b.
c.
d.

5.3 Respuesta

8.4 Fundamentos de la solucin

62
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
8.5 Referencia Bibliogrfica
Ttulo
Apellidos y Nombres del
Autor
Pginas de referencia

9. RESPONSABLE DE LA ELABORACIN DEL TEM


Apellidos y Nombres

Telfono

Correo electrnico

10. COORDINADOR
ASESOR
Apellidos y Nombres

Telfono

Correo electrnico

Firma

63
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
ANEXO 4

VALIDEZ DE CONTENIDO POR JUICIO DE EXPERTOS APLICANDO LA V DE AIKEN

NOMBRE DEL EVALUADOR:

La lista de chequeo tiene el objetivo central de recoger evidencias de desempeo:


Diagnosticar el estado funcional del movimiento corporal de la persona segn protocolo
establecido y Ejecutar la intervencin fisioteraputica en la persona segn protocolo
establecido

Le pedimos su colaboracin para establecer la validez de contenido, en caso de aceptar le


sugerimos seguir las siguientes instrucciones:

1 Lea cuidadosamente la especificacin de cada una de las secciones de la lista de


chequeo.

2 A continuacin indique que tan bien considera usted que el tem o reactivo sea parte
del, indicador, del criterio de desempeo y de la unidad de competencia que se
aborda.(analice la matriz ).

3 Juzgue cada tem o reactivo de manera individual comparando el contenido del tem
con el contenido de la dimensin de estudio.

4Anote los valores correspondientes segn su evaluacin:

0 El tem no pertenece a la dimensin de estudio.

1 El tem si pertenece a la dimensin de estudio.

5 Redacte sus observaciones en relacin a la claridad en la redaccin, si es apropiado,


comprensible por todos y si ayuda a medir.

64
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
EJEMPLO: TECNLOGO MDICO TERAPIA FISICA

LISTA DE CHEQUEO DEL DESEMPEO


I. INFORMACIN GENERAL PARA EL PROCESO DE EVALUACIN

FECHA DE INSCRIPCIN DA: MES: AO:

ENTIDAD CERTIFICADORA
NOMBRES Y APELLIDOS
DE EVALUADOR (A):
LUGAR DE EVALUACIN

FECHA DE EVALUACIN

DATOS DEL EVALUADO (A)


DNI COLEGIATUR APELLIDO PATERNO APELIDO MATERNO NOMBRES
A

TIPO DE INSTRUMENTO DE LISTA DE CHEQUEO DE CDIGO DEL INSTRUMENTO DE EVALUACIN:


EVALUACIN DESEMPEO NCP-003-TME-TF

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR


CDIGO VERSIN NOMBRE

3 0 Intervenir en el estado funcional del movimiento corporal de la persona


segn norma vigente.
ELEMENTOS DE 3.1 Diagnosticar el estado funcional del movimiento corporal de la persona segn
COMPETENCIA protocolo establecido
3.2 Ejecutar la intervencin fisioteraputica en la persona segn protocolo establecido.

II. INTRODUCCIN

Este documento presenta el instrumento de evaluacin del desempeo correspondiente el elemento de


competencia 3.1. Diagnosticar el estado funcional del movimiento corporal de la persona segn
protocolo establecido. Perteneciente a la Norma de Competencia 3, que el evaluador(a) debe demostrar
para ser considerado(a) competente en la norma correspondiente.
El presente instrumento de evaluacin est diseado para evaluar la competencia profesional de las personas
que se desempean como TERAPISTA FISICO y contiene las instrucciones que debe seguir para su
aplicacin.
Posteriormente se presentan las instrucciones de calificacin del instrumento de evaluacin, as como para la
emisin del juicio de competencia.
El instrumento contiene trece (13) reactivos.
III. INSTRUCCIONES DE APLICACIN DEL INSTRUMENTO DE EVALUACIN

65
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
Usted encontrar la tabla de aplicacin o cuerpo del instrumento que contiene los reactivos a aplicar, su
numeracin o cdigo, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de observaciones
que como evaluador considere conveniente realizar.
Marque SI, cuando el candidato cumpla con el desempeo o muestre las evidencias correspondientes y NO
cuando no cumpla con los aspectos sealados.
IV. TABLA DE APLICACIN O CUERPO DEL INSTRUMENTO DE EVALUACIN

REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACI Anote slo un


ONES valor: 0,1
1. Saluda cordialmente a la persona y se presenta.
2. Pregunta a la persona el motivo de consulta.
3. Explica a la persona sobre procedimiento de evaluacin
4. Usa uniforme institucional
5. Verifica y organiza ambiente de trabajo.
6. Se lava las manos al inicio y al final de la evaluacin.
7. Aplica las normas de bioseguridad segn condicin de salud
8. Entrevista al usuario sobre aspectos relevantes de su
condicin
9. Demuestra habilidad en la aplicacin del instrumento.
10. Resuelve las contingencias durante la intervencin de
acuerdo a protocolo
11. Anota los grados obtenidos durante la evaluacin en formato
correspondiente
12. Resguarda a la persona
13. Comunica contingencia a la estancia correspondiente

V. INSTRUCCIONES PARA LA CALIFICACIN DEL INSTRUMENTO DE EVALUACIN

Todas las respuestas afirmativas indican la competencia.


VI. INSTRUCCIONES PARA LA EMISIN DEL RESULTADO

Si todos los reactivos son afirmativos el resultado es que cumple lo solicitado por la norma de competencia y
si hay algn reactivo con respuesta negativa el resultado es que No Cumple. No puede haber tem sin marcar.
VII. RESULTADO DE LA EVALUACIN

CUMPLE NO CUMPLE

VIII. RETROALIMENTACIN AL CANDIDATO IDENTIFICACIN DE ASPECTOS PARA MEJORA


(Anotar el nmero del reactivo que requiere mejorar).

N de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

.. .
FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

66
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
TABLA DE RESULTADOS OBTENIDOS
Experto 1 Total V Aiken:

Experto 2

Experto 3

Experto 4

Experto 5

Experto 6
S/ (n (c-1))
TEM

(S) Validez
sumatoria de
acuerdos
1

7
N=7

Coeficiente V de Aiken
Donde:
S: sumatoria de las respuestas o acuerdos de los expertos por cada tem
n: nmero de expertos
N: Nmero de tem
c: nmero de valores en la escala de valoracin ( 2 si se trata de acuerdo y
desacuerdo) ( 4 si se trata de escala: 0,1,2,3)

Observaciones y /o recomendaciones

Conclusiones finales

67
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
EJEMPLO: TECNLOGO MDICO DE TERAPIA FISICA

Elemento criterio conocimiento indicadores Anote slo


de un valor:
competenci 0,1,2,3
a
1. a) Los derechos y dignidad de la persona 1. Respeto por los 1.-Respeta los
Diagnosticar son respetados derechos y dignidad de la derechos y dignidad de
el estado persona con la cual la persona
funcional del interacta en el
movimiento desempeo de sus
corporal de labores. Reglamento de
la persona Ley 28456 Art. 14 c
segn (a,b)
protocolo 2.Precauciones
establecido universales y proteccin
b) La persona es informada sobre corporal. Manual de 2. Informa a la persona
procedimiento de diagnstico segn tipo Bioseguridad del MINSA sobre procedimiento de
de valoracin del estado funcional del (c) diagnstico segn tipo
3.Instrumentos de de valoracin del
movimiento corporal.
valoracin funcional del estado funcional del
movimiento corporal (d,e) movimiento corporal.
4. Suscribir los informes
c) Las medidas de Bioseguridad son de las evaluaciones y 3. Cumple las medidas
utilizadas segn norma vigente procedimientos realizados de Bioseguridad segn
en el marco de los actos norma vigente.
que su profesin lo
faculta. Reglamento de Ley
d) El estado funcional del movimiento 4.-Evala el estado
28456 Art. 12 e (f).
corporal es evaluado con instrumentos de 5. Control de signos funcional del
acuerdo a ciclo de vida vitales, inmovilizacin y movimiento corporal
traslado segn primeros con instrumentos de
auxilios. (g) acuerdo a ciclo de vida
e) Los grados funcionales de las 5. Califica los grados
disfunciones del movimiento corporal son funcionales de las
calificados segn score disfunciones del
movimiento corporal
segn score.

f) El informe del estado de la valoracin de 6. Redacta el informe


la disfuncin del movimiento corporal del estado de la
es redactado al termino de la valoracin valoracin de la
segn Reglamento de Ley 28456 Art.12
disfuncin del
e
movimiento corporal
al termino de la
valoracin.
g) Las contingencias durante la valoracin 7. Resuelve las
del estado funcional del movimiento contingencias durante
corporal son resueltas de acuerdo a la valoracin del
protocolo. estado funcional del
movimiento corporal de
acuerdo a protocolo de
primeros auxilios.

68
Documento de trabajo DEC-CONEAU Prohibida su reproduccin
69
Documento de trabajo DEC-CONEAU Prohibida su reproduccin