Está en la página 1de 68

(SÍNTESIS DEL

DOCUMENTO DE TRABAJO)

ELABORACIÓN Y VALIDACIÓN
DE INSTRUMENTOS DE
EVALUACIÓN DE
COMPETENCIAS
PROFESIONALES

2012

Segunda Edición 2010

1
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
El presente documento es la síntesis de los aspectos importantes que
comprende el documento de trabajo titulado elaboración y validación de
instrumentos de evaluación de competencias profesionales, elaborado por la
DEC-CONEAU en el 2012 con la finalidad de servir de soporte de aprendizaje a
los que se forman como evaluadores de competencias profesionales.

Por ser una parte del documento de trabajo, se aborda desde la


metodología para la elaboración de instrumentos de evaluación de
competencias profesionales que comprende los procedimientos generales para
la elaboración de la matriz de instrumentos de evaluación de competencias
profesionales, explicando sus componentes como son: los criterios de
desempeño, indicadores y reactivos de evaluación así como las evidencias
requeridas para la evaluación.

Un aspecto importante del documento es la elaboración de instrumentos


para la evaluación de competencias profesionales, se describe los requisitos,
componentes y tipos de instrumentos como son: las listas de chequeo para el
recojo de evidencias de desempeño y producto y el cuestionario para el recojo
de evidencias conocimientos

El documento finaliza abordando la validez de instrumentos de


evaluación, desde la validación externa donde se describe el procedimiento de
la validez de contenido por juicio de expertos, las evidencias basadas en el
contenido con ejemplos de procedimiento de validez según Gregory y la V de
AIKEN. Un aspecto importante que se detalla también es la confiabilidad de un
instrumento según métodos en el cálculo de la fiabilidad.

2
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
SISTEMA NACIONAL DE EVALUACIÓN, ACREDITACIÓN Y CERTIFICACIÓN DE
LA CALIDAD EDUCATIVA - S.I.N.E.A.C.E

Consejo Superior:

Peregrina Morgan Lora (IPEBA) PRESIDENTE


Jaime Zárate Aguilar (CONEAU)
Luis Humberto Ludeña Saldaña (CONEACES)
CONSEJO DE EVALUACIÓN, ACREDITACIÓN Y CERTIFICACIÓN DE LA
CALIDAD DE LA EDUCACIÓN SUPERIOR UNIVERSITARIA - C.O.N.E.A.U.

Directorio:

Jaime Zárate Aguilar


Miguel Ángel Saravia Rojas
Francisco Delgado de la Flor Badaracco
Jonathan Golergant Niego
Edwin Uribe Pomalaza
Wilson Alcántara Vidal

Dirección de Evaluación y Certificación:

Elaborado por: Revisado por: Aprobado por:


Ítala Navarro Montenegro
Ruth Seminario Rivas
Silvia Bravo Hernández
Myriam Sosa Espinoza
Valia Venegas Mejía

Lima-Perú

3
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
INTRODUCCIÓN

La Certificación profesional en el Perú es una realidad aún incipiente y débil. Tres años
de trabajo conjunto, CONEAU-Colegios Profesionales, es poco tiempo para los logros
alcanzados a la fecha. Sin embargo, ello no nos desvía del convencimiento de que hay
muchos aspectos a mejorar.

Uno de los aspectos críticos de la evaluación de competencias es el recojo de


evidencias del postulante, a través del empleo de instrumentos de evaluación con
características idóneas, válidos y confiables.

Con base en la experiencia desarrollada hasta ahora de capacitación para el


fortalecimiento de capacidades en los colegios profesionales y en una dinámica de
mejora continua, la DEC-CONEAU ha diseñado y está ejecutando el Curso de
elaboración de instrumentos para la evaluación de competencias profesionales.

El curso, aborda los aspectos conceptuales generales de la evaluación de


competencias y la elaboración de los instrumentos más utilizados para ella, enfatiza
dos aspectos esenciales. El primero es una metodología para asegurar que los
instrumentos se elaboren cubriendo todos los componentes de la norma de
competencia a través de una matriz de consistencia; y el segundo es el desarrollo de
procesos de validación externa e interna de los instrumentos elaborados.

El presente es todavía un documento de trabajo que busca orientar a los participantes


que se forman como evaluadores de competencias profesionales correspondientes al
módulo denominado instrumentos de evaluación de competencias profesionales,
esperamos mejorarlo con los aportes y críticas constructivas de sus lectores.

Un agradecimiento especial a la Profesora Ítala Navarro Montenegro por su sustantivo


aporte al presente documento.

4
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
ÍNDICE

1. CONCEPTOS CLAVES Y CONSIDERACIONES IMPORTANTES PARA LA


ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS
PROFESIONALES.

2. MARCO CONCEPTUAL DE LA EVALUACIÓN DE COMPETENCIAS PROFESIONALES


2.1 Definiciones de evaluación de competencias profesionales
2.2 Evaluación tradicional frente a evaluación de competencias

2.3.Evaluación de competencias profesionales en el Perú


2.4 Características de la evaluación de competencias
2.5 Principios básicos de la evaluación de competencias
2.6 Fases o etapas de la evaluación de competencias
2.7. Norma de competencia como estándar de evaluación de competencias profesionales

3. METODOLOGÍA PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE


COMPETENCIAS PROFESIONALES.
3.1 Procedimientos generales para elaboración de la matriz de instrumentos de evaluación de
competencias profesionales
3.2. Criterios de desempeño
3.3 indicadores de evaluación
3.4. Reactivos de evaluación
3.5 evidencias requeridas para la evaluación de competencias

4. ELABORACIÓN DE INSTRUMENTOS PARA LA EVALUACION DE COMPETENCIAS


PROFESIONALES.

4.1 Instrumentos de evaluación de competencias

4.1.1 Requisitos de los Instrumentos de evaluación


4.1.2 Componentes del instrumento de evaluación:
4.1.3 Instrumentos de evaluación para el recojo de evidencias de desempeño y producto
4.1.3.1 La Lista de Chequeo
4.1.4 instrumento de evaluación de conocimientos. Cuestionario
4.1.5 pasos para la elaboración del cuestionario.

5. VALIDEZ DE UN INSTRUMENTO.

5.1 Validación externa de instrumentos de evaluación


5.1.1 Procedimiento de la validez de contenido por juicio de expertos
5.1.2 Evidencias basadas en el contenido
5.1.3 Ejemplo de procedimiento de validez según Gregory y la V de AIKEN.

5.2 Confiabilidad
5.2.1 Confiabilidad de un instrumento
5.2.2 Enfoques y métodos en el cálculo de la fiabilidad

ANEXOS

5
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3. METODOLOGÍA PARA LA ELABORACIÓN DE INSTRUMENTOS DE
EVALUACIÓN DE COMPETENCIAS PROFESIONALES

La evaluación de competencias profesionales es un proceso importante y complejo


con varias etapas y procedimientos en cada una de ellas. Por ello es necesario
establecer una metodología pertinente que permita la congruencia y consistencia de la
evaluación a través de instrumentos válidos y confiables.

La metodología para la elaboración de instrumentos de evaluación de competencias


profesionales consiste en elaborar una matriz de consistencia y congruencia de todos
los componentes de la norma de competencia, estableciendo indicadores que
permitan elaborar los reactivos o preguntas según técnicas e instrumentos para el
recojo de las evidencias requeridas.

Una Matriz o rúbrica es una tabla de doble entrada, en la evaluación de competencias


se emplea para ordenar todos los componentes de la norma de competencia a
evaluar, con la finalidad de establecer los indicadores de evaluación según los tipos de
evidencias para que partir de estos se formulen los reactivos o preguntas que irán en
el instrumento de evaluación.

La matriz permite organizar todos los componentes de la norma a evaluar de manera


total y sistemática.

3.1 Procedimientos generales para elaboración de la matriz de


instrumentos de evaluación de competencias profesionales

Para la construcción de la matriz se recomiendan los siguientes pasos:

1) Colocar en la primera columna de la matriz la norma de competencia a evaluar


(recuerda que la norma está integrada por competencias concretas a las que
se les denomina elementos de competencia.)
2) En la segunda columna colocar en orden cada elemento de competencia de la
norma a evaluar, esto es muy importante para ubicar los criterios en el
elemento de competencia que le corresponda.
3) En la tercera columna colocar los criterios correspondientes al elemento de
competencia. Realizar igual con todos los elementos de la norma.
4) En la cuarta columna colocar el rango correspondiente al elemento de
competencia
5) En la quinta columna colocar todos los conocimientos y comprensión
esenciales del elemento de competencia
6) En la sexta columna establecer los indicadores según evidencias de
evaluación, está columna se subdivide en tres para los indicadores de
conocimiento, desempeño y producto. Cada indicador se formula analizando
cada criterio de desempeño, el rango y los conocimientos y comprensión
esenciales correspondientes al criterio analizado. Ejemplo: si en el elemento de
competencia Recoger evidencias de las competencias del postulante según
pautas establecidas por la entidad certificadora y CONEAU, de la norma:
Ejecutar la evaluación de las competencias de los postulantes, según las
normas y procedimientos establecidos por la entidad certificadora, tiene los
criterios a,b,c,d,e y en los conocimientos y comprensión esenciales el
conocimiento 1 está relacionado al criterio a) el conocimiento 2, 3, 4 y 5
también; quiere decir que ningún criterio puede quedar al margen del
conocimiento establecido en la norma por lo tanto el criterio a) tiene cinco

6
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
indicadores. Es bueno también revisar el rango que debe ser cubierto o estar
relacionado con los criterios y conocimientos. En la construcción de los
indicadores de conocimientos se debe considerar los niveles de complejidad
del pensamiento: baja, media y alta, utilizando para ello una taxonomía en
coherencia al criterio requerido en la norma y la experticia del profesional. Los
niveles de complejidad de los indicadores formulados determinaran los pesos
para colocar el puntaje de las preguntas.
Para formular los indicadores de desempeño se analiza el criterio
correspondiente y se redacta en acción de desempeño observable, ejemplo:
Orienta al postulante sobre la evaluación según evidencia a recoger y pautas
establecidas.
Los indicadores de producto se formulan analizando cada criterio, según lo
que indica el criterio, ejemplo: registro de instrumento de desempeño.

7) Establecer las técnicas y los instrumentos en la parte final de las columnas que
corresponde a los indicadores según evidencias. Ejemplo: para recoger
evidencias de conocimiento la técnica es formulación de preguntas y el
instrumente el cuestionario. Para el recojo de evidencias de desempeño la
técnica de evaluación es observación y su instrumento la lista de chequeo de
desempeño, la técnica para el recojo de evidencias de producto es la
valoración de producto y su instrumento la lista de chequeo de producto.

SECUENCIA PARA LA ELABORACIÓN DE MATRIZ DE CONSISTENCIA DE


INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES

NORMA DE COMPETENCIA Y ELEMENTOS DE


1
COMPETENCIA A EVALUAR

CRITERIOS DE DESEMPEÑO DEL ELEMENTO


2 DE COMPETENCIA

3 RANGO

CONOCIMIENTOS Y COMPRENSIÓN
4 ESENCIALES

FORMULACIÓN DE INDICADORES DE
5 EVALUACION SEGÚN EVIDENCIAS DE
DESEMPEÑO CONOCIMIENTO Y PRODUCTO

A continuación un ejemplo de matriz de elaboración de instrumentos de evaluación de


competencias profesionales:

7
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
MATRIZ DE CONSISTENCIA PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE
COMPETENCIAS PROFESIONALES
ELEMEN CRITERIOS DE RANGO CONOCIMIENTOS INDICADORES DE EVALUACIÓN SEGÙN EVIDENCIAS
NORMA DE TOS DESEMPEÑO Y COMPRENSIÓN
COMPETENCIA ESENCIALES
CONOCIMIENTO DESEMPEÑO PRODUCT
O
a) El postulante 1. Identifica las normas de competencia a evaluar, 1.Orienta al
es orientado 1. Normas de según priorización de la Entidad certificadora. postulante
sobre la competencias en 2. Identifica la comunicación asertiva como habilidad sobre la
evaluación, según que se evaluará al social del evaluador. evaluación
tipos de postulante 3. Diferencia las técnicas de evaluación de según
evidencias a priorizadas por la competencias según guía de participantes del evidencia a
recoger y pautas entidad curso de evaluadores recoger y
establecidas. certificadora. (a, b, 4. Identifica los tipos, características y condiciones de pautas
c, d) instrumentos de evaluación de competencias a establecidas
aplicar según guía de evaluación CONEAU.
2.Habilidades 5. Analiza los tipos de evidencias para la evaluación
sociales del de competencias según directrices de
1. evaluador de normalización CONEAU.
Recoger competencias (Guía 6. Analiza la actuación ética del evaluador en un
evidenci del participante del caso.
as de las Técnicas de curso de 7. Identifica los procedimientos para la aplicación de
compete evaluación: evaluadores) (a) los instrumentos de evaluación de competencias.
ncias del b) Los Observación 1. Identifica las evidencias de conocimiento de 2. Aplica Registros
postulan instrumentos de en ambiente 3.Técnicas de las normas de competencia a evaluar. instrumentos de
te según evaluación de real evaluación de 2. Describe el procedimiento del uso de de instrument
pautas conocimiento se Simulación competencias instrumentos de recojo de evidencias de conocimiento os de
estableci aplican de Valoración de según Guía de conocimiento, según técnica. según conocimien
das por acuerdo a las productos evaluación 3. Identifica evidencias de conocimiento para evidencia a to
Ejecutar la la evidencias a Formulación CONEAU ( a, b, c, la evaluación de competencias recoger y aplicados
evaluación de las entidad recoger y pautas de preguntas d) 4. Analiza la actuación ética del evaluador en pautas
competencias de certifica establecidas. casos de aplicación de instrumentos de evaluación establecidas.
los postulantes, dora y Tipos de 4.Tipos de de conocimiento.
según las normas y CONEA evidencias: evidencias para la 5. Analiza un caso de aplicación de un
procedimientos U. Conocimiento evaluación de cuestionario.
establecidos por la Desempeño competencias 6. Analiza un caso de registro de evidencias de
entidad Producto según Guía de conocimiento.

8
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
certificadora. c) Los evaluación 1. Analiza las evidencias de desempeño de las 3. Aplica Registro de
instrumentos de Tipos de CONEAU (a, b, c, normas de competencia a evaluar en un caso instrumentos instrument
evaluación de instrumentos d) 2. Relaciona el instrumento de evaluación de de desempeño o de
desempeño se : desempeño con a técnica correspondiente a la según desempeñ
aplican de Cuestionario 5.Pautas éticas de evidencia a recoger evidencia a o
acuerdo a las Lista de la evaluación de 3. Describe las características, condiciones y recoger
evidencias a chequeo competencias procedimientos del uso del instrumento de
recoger y pautas según código de evaluación de desempeño.
establecidas. ética del evaluador 4. Analiza la actuación ética del evaluador en casos
CONEAU(a, b, c, d de aplicación de instrumentos de evaluación de
y e) desempeño.
5. Analiza la aplicación de una lista de verificación de
6. Procedimientos desempeño en un caso.
para la aplicación 6. Describe el procedimiento para el registro de
de los instrumentos evidencias.
d) Los de evaluación de 1. Identifica las evidencias de producto de las 4. Aplica Registro de
instrumentos de competencias normas de competencia a evaluar. instrumentos instrument
evaluación de según Guía de 2. Relaciona el instrumento de evaluación de de producto o de
producto se evaluación de producto con la técnica correspondiente a la según producto
aplican de CONEAU (a, b, c, evidencia a recoger evidencia a
acuerdo a las d). 3. Describe las características, condiciones y recoger
evidencias a procedimientos del uso del instrumento de
recoger y pautas 7. Procedimiento evaluación de producto.
establecidas. para el registro de 4. Analiza la actuación ética del evaluador en
evidencias según casos de aplicación de instrumentos de evaluación
Guía de evaluación de producto.
CONEAU (b, c, d, 5. Describe los procedimientos para la
e). aplicación del instrumento de evaluación de
producto.
8. Pautas para la 6. Describe el procedimiento para el registro de
determinación del evidencias de producto
e) La logro de las 1. Reconoce los principios éticos en la 5. Registra el Registro de
determinación del competencias determinación del logro de las competencias y su logro de la logro de
logro de la según Guía de registro. competencia competenci
competencia es evaluación 2. Analiza los procedimientos para la en los a
registrada en los CONEAU (e). determinación del logro de las competencias. formatos
formatos 3. Describe el procedimiento para el registro del logro establecidos
establecidos de las competencias.
según pautas
establecidas.

9
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
a) Los Actores 1.Organización del 1. Reconoce la organización del expediente del 1.Revisa y Registro de
2. expedientes Involucrados expediente del evaluado para el informe final de la evaluación. organiza verificación
Comunic de los .Postulante evaluado para el 2. Analiza la ética del evaluador en relación a la expedientes y
ar a los postulantes evaluado informe final de la revisión y organización de los expedientes de los de evaluados expediente
actores evaluados son .Responsables evaluación (en postulantes evaluados. según pautas s
involucra revisados y de Guía de EC organizado
dos los organizados evaluación/ge Procedimientos s
resultado de acuerdo a stión para la
s de la pautas de la - Evaluación de
evaluació entidad Resultado de Competencias
n, según certificadora. la evaluación con fines de
normas b) La -Demostró la certificación 1. Diferencia la comunicación individual, empática, 2. Comunica
estableci comunicación Competencia profesional- asertiva, y respetuosa de los resultados de la al postulante
das de los - no demostró CONEAU) (a) evaluación. los resultados
resultados de la 2. Pautas para la 2. Analiza las formas de comunicación de los de la
la evaluación competencia comunicación de resultados en un caso. evaluación de
es realizada los resultados a manera
de manera los postulantes empática,
individual, evaluados (en asertiva,
empática, Guía de respetuosa
asertiva y evaluación siguiendo
respetuosa CONEAU)(b). pautas
con el 3. Pautas de establecidas.
postulante elaboración del
según pautas informe (en Guía
establecidas. Procedimientos
c) La redacción para la 1. Reconoce las recomendaciones para la 3.Redacta el Informe
del informe Evaluación de elaboración del informe final de resultados de la informe final a final
final a la EC Competencias evaluación. la EC con consolidad
es realizada con fines de participación o de
con la certificación del equipo resultados
participación profesional- evaluador de
del equipo CONEAU) (c, d, evaluación
evaluador. e). de
4. Pautas para la competenci
entrega del as
informe (en Guía
d) El informe de Procedimientos 1. Identifica las partes del informe final de la 4. Redacta el
la evaluación para la evaluación. informe final
de evaluación de 3. Analiza las pautas éticas del evaluador de cumpliendo

10
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
competencias competencias – competencia en la redacción del informe. recomendacio
es redactado CONEAU) (e) nes
cumpliendo 6. Pautas de establecida
las manejo de por la EC
recomendacio contingencias en
nes la evaluación y
establecidas elaboración del
por la entidad informe de la EC.
certificadora. (e)
7. Pautas de ética
e) La del evaluador de 1. Analiza las pautas para la presentación del 5. Realiza la
presentación del competencias. informe final de la evaluación de competencias en
presentación
informe se realiza (a, e, d) un caso. del informe
considerando su 8. Contingencias en 2. Identifica los principios éticos en la presentación
considerando
integridad, la elaboración del informe final de la evaluación su integridad,
seguridad y del informe seguridad y
confidencialidad según EC(f) confidencialida
de acuerdo a lo d de acuerdo
establecido por la a lo
EC. establecido
por la EC.
f) Las 1. Reconoce pautas para el manejo de contingencias 6. Maneja
contingencias en la elaboración del informe a la EC. contingencias
durante la 2. Analiza las pautas éticas del evaluador de durante la
elaboración del competencias en el manejo de contingencias en la elaboración
informe son elaboración del informe a la EC. del informe de
manejadas de acuerdo a
acuerdo a pautas pautas
establecidas por establecidas
la EC. por la EC.
TECNICAS E INSTRUMENTOS SEGÙN EVIDENCIAS
Formulación de Observación-Lista Análisis de producto-Lista de chequeo de
peguntas- de chequeo de producto
Cuestionario desempeño

11
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3.2. CRITERIOS DE DESEMPEÑO

La evaluación por competencias se basa en criterios que son juicios técnicos y éticos
que orientan el desempeño profesional.

Los criterios de desempeño son la base para poder evaluar si un profesional alcanza
el resultado esperado del desempeño establecido en el elemento de competencia,
expresan lo que se espera del desempeño y el cómo se espera que sea el resultado.

Por lo tanto los criterios describen la calidad de los resultados de los desempeños,
identifican los aspectos esenciales o críticos para el desempeño del elemento de
competencia.

Expresión

Los criterios de desempeño se deben expresar con oraciones en las que se identifique
claramente el:

 Desempeño crítico o el resultado crítico, y

 Enunciado evaluativo.

Estructura gramatical

Los criterios se redactan siguiendo la estructura OBJETO+VERBO+CONDICIÓN,


donde el desempeño o resultado esperado que se expresa con el objeto y el verbo,
debe poder evaluarse con base en lo enunciado en la condición.

EJEMPLOS DE CRITERIOS

OBJETO VERBO CONDICIÓN


Sobre qué aplicar. Acción. Cómo:
Sujeto o cosa sobre el Acción principal del Especificación/restricción.
que se aplica la acción profesional. Los referentes para evaluar la
acción fundamental
EJEMPLO:
sobre la evaluación, según
1. El postulante es orientado tipos de evidencias a recoger y
pautas establecidas.

2. Los instrumentos de se aplican de acuerdo a las evidencias a


evaluación de recoger y pautas establecidas.
conocimiento
de acuerdo a pautas de la
son revisados y entidad certificadora.
3.Los expedientes de organizados
los postulantes de manera individual,
evaluados empática, asertiva y
es realizada respetuosa con el postulante
4 .La comunicación de según pautas establecidas.
los resultados de la
evaluación

12
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3.3 INDICADORES DE EVALUACIÓN

3.3.1 Definiciones

El Diccionario de la Real Academia Española define al indicador como aquello “que


indica o sirve para indicar”, mientras que este último término es a su vez definido como
"dar a entender o significar una cosa con indicios o señales". Una definición parecida
proporciona el diccionario Larousse, que define al indicador como aquello “que indica,
que permite conocer” o “que sirve para indicar”. Por su parte, el Oxford Dictionary lo
define como “una cosa que señala algo” o “un tablero que da información sobre la
situación actual”. 1

Los indicadores son construidos desde los criterios de desempeño descritos en el


elemento de competencia de la norma a evaluar.

Son definidos como medidas objetivas de los sucesos del proceso que a su vez
permiten evaluar si se está cumpliendo o no, o en qué medida, los criterios de
evaluación que se han elaborado.

Son variables empíricas que permiten al evaluador medir el elemento de competencia


y constituyen el máximo grado de operacionalización de la competencia profesional.
Los indicadores son específicos y concretos, sirven para elaborar los reactivos del
instrumento de medición.

3.3.2 Ventajas
 Los indicadores de evaluación describen las habilidades, conocimientos, y
actitudes, destrezas que se desean evaluar. Hacen observable a los criterios del
elemento de competencia permitiendo valorar el desempeño del profesional con
objetividad al recoger las evidencias.

 Permite la elaboración de instrumentos pertinentes.


 Permiten verificar el cumplimiento de los criterios de evaluación (condiciones de
desempeño).

3.3.3 Las características que deben tener los Indicadores:


 Representan una medida cuantitativa o cualitativa.

 Deben revelar los propósitos de los criterios de evaluación elaborados.

 Deben ser comprensibles para que puedan ser interpretados por todos los
involucrados en el proceso.

 Deben ser verificables.

 Deben servir para orientar futuras decisiones para mantener o modificar


acciones.
1
Alejandro Tiana Ferrer. Indicadores de evaluación en educación.
13
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3.3.4 Estructura de un indicador

Los indicadores presentan generalmente los siguientes elementos: capacidad


específica o acción observable, contenido y condición de calidad.

Capacidad específica (acción) que, generalmente, hace alusión a una operación


mental.

Contenido hace posible el desarrollo de la capacidad específica. Responde a la


pregunta ¿qué es lo que... (la capacidad específica)? La respuesta es el contenido.

Condición en el que se evidencia el desarrollo de la capacidad en productos


tangibles.

Ejemplo:

Reconoce la organización del expediente del evaluado para el informe final de la


evaluación, según pautas establecidas.

¿Qué hace el evaluado? Capacidad específica o acción= Reconoce


¿Qué reconoce el evaluado? Contenido=La organización del expediente del evaluado
¿Cuál es la condición/producto? Condición de calidad = según pautas establecidas
para la organización de expediente del postulante a certificación

3.3.5. Recomendaciones

 Debe haber coherencia entre criterios, indicadores y las preguntas (reactivos,


ítems) que se plantean en el instrumento de evaluación. Para un indicador se
puede formular más de un reactivo o pregunta.

 Los criterios de evaluación son confundidos con los Indicadores y por lo tanto
tiene mala aplicación. Al elaborarlos se tendrá en cuenta que los criterios
representen lo sustantivo de los propósitos del elemento de competencia, y que
las medidas de los Indicadores permitan evaluar si se están cumpliendo esos
criterios de desempeño.
 Para establecer los indicadores de conocimiento es necesario considerar los
niveles de complejidad del pensamiento: bajo, medio y alto, de esa forma los
reactivos o preguntas medirán todos los niveles según taxonomía.

A continuación presentamos la complejidad de los niveles de pensamiento


expresado en capacidades y sus características.

COMPLEJIDAD DEL PENSAMIENTO


CAPACIDAD CARACTERÍSTICAS
Se observa la capacidad cuando el evaluado:

Identifica Señala algo, hace marcas, subraya, resalta expresiones,


hace listas, registra lo que observa, etc.
Relaciona Establece las conexiones lógicas, causales o
cronológicas entre hechos e ideas, buscando
coherencia o soluciones.

14
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Infiere Extrae conclusión/es (“ir más allá”) a partir de la
interpretación.
Interpreta Identifica los aspectos fundamentales y comprende
el significado.
Juzga Apoya o rechaza una inferencia, con el respaldo de
argumentos.
Sintetiza Enuncia brevemente lo esencial de un tema,
organizándolo de un modo personal.
Identifica supuestos Descubre por inferencia algo que funciona como
fundamento y cuya verdad no ha sido probada.
Clasifica Distribuye objetos o ideas en clases o conjuntos,
según un criterio de clasificación.

En los anexos encontrará un cuadro completo de los niveles de complejidad del


pensamiento expresados en capacidades, según procesos mentales. También la de L
D´Hainaut)2

Ejemplo de criterios e indicadores de norma de competencia del evaluador:

CRITERIOS INDICADORES
a) El postulante es orientado 1. Identifica las normas de competencia a evaluar, según
sobre la evaluación, según priorización de la Entidad certificadora.
tipos de evidencias a recoger 2. Identifica la comunicación asertiva como habilidad
y pautas establecidas. social del evaluador.
3. Diferencia las técnicas de evaluación de competencias
según guía de participantes del curso de evaluadores
4. Identifica los tipos, características y condiciones de
instrumentos de evaluación de competencias a aplicar
según guía de evaluación CONEAU.
5. Analiza los tipos de evidencias para la evaluación de
competencias según directrices de normalización
CONEAU.
6. Analiza la actuación ética del evaluador en un caso.

7. Identifica los procedimientos para la aplicación de los


instrumentos de evaluación de competencias.

3.4. REACTIVOS DE EVALUACIÓN

Un reactivo es una unidad de medida, con un estímulo (pregunta, actividad, etc ) y


una respuesta preestablecida, de la cual se puede inferir el desempeño del evaluado
(conocimiento, habilidad, predisposición o cualidad). Adaptado de Osterlind (1990)

“Un reactivo es la formulación de una proposición o un problema para que sea


contestado por un sujeto, con el fin de conocer el nivel de dominio de un tema o área
de conocimiento determinado”
CENEVAL-UNAM 2006

De los conceptos anteriores podemos concluir que un reactivo es una pregunta a


contestar, afirmación a valorar, problema a resolver, característica a cubrir o acción a
realizar; están siempre contenidos en un instrumento de evaluación específico; tienen
2
Ver CASAS, Luis. “Evaluación de capacidades y valores en la sociedad del conocimiento”. 2007. Editorial Norma
(fundamentos de la Taxonomía D’ HAINAUT como herramienta útil para evaluación de capacidades. Pág. 63-71)
15
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
la intención de provocar o identificar la manifestación de algún comportamiento,
respuesta o cualidad.

El reactivo debe ser cuidadosamente construido, como base para conocer el logro de
la competencia.

Criterios para construir un reactivo (Osterlind, 2003)

1.-Los indicadores deben estar claramente definidos


2.- Debe haber congruencia entre los criterios indicadores y los reactivos, ya que es la
base de la validez
3.- La unidimensionalidad o atribución a una sola habilidad.
4.- La Independencia de la respuesta de un reactivo respecto a otro.
5.- El uso correcto del lenguaje, reglas de puntuación, redacción, etc.

Tipos de reactivos:

Existen diferentes reactivos, según el tipo de evidencia a recoger. Ejemplo reactivos


cognitivos para la evaluación de los conocimientos y reactivos cualitativos para
evidencias de desempeño y producto.

3.5 EVIDENCIAS REQUERIDAS PARA LA EVALUACIÓN DE COMPETENCIAS

3.5.1 Definiciones:

“Las evidencias son pruebas claras y objetivas, elementos tangibles que permiten
demostrar que se ha logrado cubrir de manera satisfactoria un requerimiento o un
criterio específico de desempeño”.3

"Pruebas necesarias para evaluar y juzgar la competencia laboral de una persona,


definida en los criterios de desempeño y los conocimientos y compresiones esenciales
y delimitadas por el rango de aplicación" (SENA, 2005)

De las definiciones podemos concluir que las evidencias son:

Pruebas claras y manifiestas de los conocimientos, habilidades, destrezas y actitudes


que una persona posee y que determinan su competencia.

Evidencia significa demostrar o poner de manifiesto algo. Las evidencias como parte
de los componentes de la competencia, refieren de manera precisa si el evaluado es
capaz de realizar la función referida en la competencia de manera consistente.

¿Por qué son valiosas?

– Demuestran el grado de alcance de la competencia


– Documentan la experiencia del evaluado.
– Conforman el portafolio del evaluado
– Son un insumo importante en el proceso de mejora

3
Directrices para la identificación y normalización de competencias con fines de certificación
profesional. CONEAU-2da versión 2011

16
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Los tipos de evidencias son:

1. De desempeño

Son las habilidades, destrezas, conocimientos y actitudes aplicados en la


ejecución de una función.

2. De Producto

Es la demostración tangible, que resulta al ejecutar una función productiva, y su


valoración se fundamenta en las condiciones del criterio de desempeño.

3. De Conocimiento

Son los conocimientos que fundamentan la práctica; es el saber qué, por qué y
para qué. Son teorías, principios, conceptos e información relevante que una
persona aplica para lograr resultados en su desempeño laboral.

4-ELABORACIÓN DE INSTRUMENTOS PARA LA EVALUACION DE


COMPETENCIAS PROFESIONALES

4.1 Instrumentos de evaluación de competencias

El instrumento de evaluación es un documento referido a una norma de competencia


en el que se establecen los mecanismos que permiten determinar si una persona es
competente o no, con relación a una o varias funciones laborales. (CONOCER,
México)

El instrumento de evaluación es una herramienta destinada a documentar los aspectos


a verificar y sus resultados, en relación con las habilidades, destrezas y conocimientos
que poseen los trabajadores para desempeñar una función productiva, basándose en
una norma de competencia. (SENA, Colombia).

Los instrumentos de evaluación se constituyen en la base de un Sistema de


Evaluación y Certificación de Competencias, y de su planificación y organización
dependen sus resultados.

Para ello se debe aplicar técnicas y contar con instrumentos de evaluación elaborados
específicamente, que sean válidos y confiables.

Las evidencias de desempeño, son pruebas de la manera cómo el/la profesional


ejecuta los procedimientos y técnicas al realizar una función. Se evalúan
principalmente mediante la observación sistemática basada en indicadores de
desempeño que deben ser registradas rigurosamente; se puede complementar con
entrevista y videos.4

4
Adaptado de Tobón, S. Competencias, calidad y educación superior. Cooperativa Editorial, Magisterio,
Bogotá, Colombia 2006:143.
17
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Las evidencias de producto, son pruebas o productos específicos que dan cuenta de
las finalidades de la competencia evaluada (resultado inmediato) en los que hay que
considerar sus requerimientos de calidad.i5

Las evidencias de conocimiento fundamentan la práctica; es el saber qué, por qué y


para qué. Son teorías, principios, conceptos e información relevante que una persona
aplica para lograr resultados en su desempeño profesional.

Dado que es indispensable recoger de manera eficaz las evidencias se hace necesaria
la selección del instrumento en coherencia a la técnica.

Existen diversas técnicas para evaluar competencias. Las técnicas son herramientas
metodológicas que permiten obtener las evidencias requeridas por la norma de
competencia durante el proceso de evaluación de desempeño de una persona. Es
conveniente definir la técnica que permita recoger el mayor número de evidencias
requeridas en la norma con el fin de reducir costos y hacer más eficiente el proceso de
evaluación. (SENA, Colombia. 20036)

Las técnicas más usadas para recoger evidencias de desempeño son:

1. la observación directa en ambiente real de trabajo,


2. la simulación de situaciones,
3. análisis de productos, análisis de documentos, y
4. entrevistas.

1. Técnica de observación
La observación directa en ambiente real de trabajo es la técnica por excelencia
para recoger evidencias7. A través de esta técnica se obtiene información sobre el
comportamiento o la conducta espontánea del profesional. Esta técnica es
aplicable en cualquier momento de la evaluación continua, aunque su mayor
utilidad está en el recojo de datos para valorar el dominio de procedimientos y el
desarrollo de actitudes durante el trabajo diario (relación consigo mismo, con sus
compañeros de trabajo, comprobar su índice de autoestima, capacidad autocrítica,
autonomía, colaboración, respeto, etc.).8
Para facilitar la observación y reducir las omisiones, sesgos y otros aspectos
subjetivos asociados al observador es imperativo la elaboración y uso de
instrumentos: listas de chequeo.
2. Simulación de Situaciones
La simulación de situaciones (SS) es una técnica a través de la cual se generan
condiciones similares a las reales de un ambiente o escenario laboral profesional,
pero teniendo bajo control diferentes variables complejas, como riesgo,
temperatura, situaciones atípicas que afectan el resultado esperado entre otras.
Se debe usar cuando no es posible la observación directa en el ambiente real de
trabajo, por razones de costos, riesgos, seguridad del paciente y del evaluado,

5
Idem. Tobón 2006
6
Guía para seleccionar técnicas y elaborar instrumentos de evaluación de competencias laborales. SENA-
Colombia, 2003.
7
Idem. SENA, Colombia. 2003
8
Adaptado de Canales, Isaac. …180?
18
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
baja frecuencia de la actividad, procurando una representación auténtica del
desempeño a evaluar.

3. Valoración de productos
Técnica utilizada cuando son observables los productos que genera la función
productiva; el producto refleja evidencias esenciales sobre el desempeño.
Los productos pueden ser registros, formatos, reportes, planes, informes, diseño
de procesos, maquetas, , entre otros, según la profesión.
Siempre la evaluación del producto debe hacerse con el rigor establecido para así
efectivamente determinar la competencia del evaluado.

Procedimiento para seleccionar las técnicas

1. Analizar globalmente las normas que componen la profesión.


2. Analizar la norma de competencia y los elementos que la integran.
3. Estudiar los componentes normativos de cada elemento.
4. Identificar para cada evidencia requerida la(s) técnica(s) más adecuadas para
su evaluación. Precisar cuáles evidencias se pueden obtener en el ambiente
real de trabajo, el sitio en que se pueden recoger, las que deben generarse por
simulación u otras técnicas, y determine (si la norma no lo señala), las veces
que se requiere ejecutar la misma actividad para recoger las evidencias. Tener
en cuenta aspectos claves: frecuencia, riesgo, complejidad, costos materiales,
secretos de la organización.

4.1.1 Requisitos de los Instrumentos de evaluación

Validez: Un instrumento es considerado válido cuando sirve para evaluar lo que se


pretende. En otras palabras: cuando la información que permite obtener es coherente
con los criterios y evidencias de desempeño, de producto y de conocimiento
estipulados en la norma.

Confiabilidad: Un instrumento es confiable cuando al ser aplicado por distintas


personas para evaluar a un mismo postulante, se obtienen resultados semejantes en
situaciones similares. Al ser utilizado por una persona para evaluar al mismo
postulante, en diversas oportunidades, se obtienen resultados semejantes.

Representatividad: La relevancia de los distintos aspectos considerados en detrimento


de los menos significativos.

Objetividad: independencia del juicio del evaluador en el registro de la información.

¿Quiénes elaboran los instrumentos de evaluación?

a. Un equipo técnico conformado por expertos en la competencia


correspondiente.
b. Formados en la metodología de evaluación y certificación de competencias y
c. Formados en la elaboración de instrumentos de evaluación de competencias.

¿Cómo se elabora un instrumento de evaluación?

19
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Identificando en la matriz de consistencia para la elaboración de instrumentos de
evaluación, la técnica de evaluación y el tipo de instrumento según la evidencia a
recoger.

4.1.2 Componentes del instrumento de evaluación:

1. Información general para el proceso de evaluación


2. Introducción
3. Instrucciones de aplicación del instrumento.
4. Tabla de aplicación o cuerpo del instrumento.
5. Instrucciones para la calificación del instrumento.
6. Instrucciones para determinación del resultado.
7. Resultado
8. Retroalimentación al candidato.
9. Firmas correspondientes

4.1.3 Instrumentos de evaluación para el recojo de evidencias de desempeño y


producto

4.1.3.1 La Lista de Chequeo

Es un instrumento de evaluación que contiene una serie de enunciados afirmativos o


interrogativos sobre los resultados (hechos, características o secuencia de acciones,
entre otros) que debe demostrar una persona en su desempeño para ser considerada
competente. Estos resultados están previstos en la norma de competencia y mediante
la lista de chequeo se pretende constatar su presencia o ausencia.

Procedimiento de elaboración

1. Identificar los indicadores de desempeño establecidos en la matriz de


consistencia para la elaboración de instrumentos de evaluación de
competencias profesionales.
2. Según el orden secuencial de los indicadores redactar el reactivo (actividad del
desempeño).

Recomendaciones: Tener muy en cuenta lo siguiente:

1. Los reactivos deben ser ordenados en la secuencia del proceso.


2. Los reactivos deben ser claramente observables.
3. Los reactivos deben ser explícitos, con redacción directa y precisa.
4. Los reactivos deben posibilitar sólo distinciones dicotómicas (SI/NO), (correcto
/incorrecto).
5. La cantidad de reactivos es determinada por los indicadores de desempeño

Ejemplos de lista de chequeo de desempeño y producto.

20
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
LISTA DE CHEQUEO DEL DESEMPEÑO
I. INFORMACIÓN GENERAL PARA EL PROCESO DE EVALUACIÓN

FECHA DE
DÍA: MES: AÑO:
INSCRIPCIÓN
ENTIDAD
CONEAU
CERTIFICADORA
NOMBRES Y APELLIDOS
DE EVALUADOR (A):
LUGAR DE EVALUACIÓN

FECHA DE EVALUACIÓN

DATOS DEL EVALUADO (A)


DNI COLEGIATUR APELLIDO PATERNO APELIDO MATERNO NOMBRES
A

CÓDIGO DEL INSTRUMENTO DE


TIPO DE INSTRUMENTO LISTA DE CHEQUEO DE
EVALUACIÓN:
DE EVALUACIÓN DESEMPEÑO
LChD-ECP-OD-003-DEC-2012

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR


CÓDIGO VERSIÓN NOMBRE
3 1 Ejecutar la evaluación de las competencias de los postulantes, según las
normas y procedimientos establecidos por la entidad certificadora.
ELEMENTOS DE 3.1 Recoger evidencias de las competencias del postulante según pautas
COMPETENCIA establecidas por la entidad certificadora y CONEAU..
3.2 Comunicara los actores involucrados los resultados de la evaluación, según
normas establecidas.

II. INTRODUCCIÓN

Este documento presenta el instrumento de evaluación del desempeño correspondiente el elemento de


competencia 3.1. “Recoger evidencias de las competencias del postulante según pautas
establecidas por la entidad certificadora y CONEAU”. Perteneciente a la Norma de Competencia 3,
que el evaluador(a) debe demostrar para ser considerado(a) competente en la norma correspondiente.
El presente instrumento de evaluación está diseñado para evaluar la competencia profesional de las
personas que se desempeñan como EVALUADORES DE COMPETENCIAS PROFESIONALES y
contiene las instrucciones que debe seguir para su aplicación.
Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como
para la emisión del juicio de competencia.
El instrumento contiene trece (13) reactivos.

III. INSTRUCCIONES DE APLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN

Usted encontrará la tabla de aplicación o cuerpo del instrumento que contiene los reactivos a aplicar, su
numeración o código, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de
observaciones que como evaluador considere conveniente realizar.
Marque SI, cuando el candidato cumpla con el desempeño o muestre las evidencias correspondientes y
NO cuando no cumpla con los aspectos señalados.

21
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
IV. TABLA DE APLICACIÓN O CUERPO DEL INSTRUMENTO DE EVALUACIÓN

REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES


1. Se encuentra en el lugar establecido para la evaluación
a la hora indicada.
2. Utiliza vestimenta apropiada según sea el caso
(profesión y requerimientos de bioseguridad).
3. Saluda de manera cordial al postulante y entabla una
comunicación amigable.
4. Orienta al postulante sobre las normas de
comportamiento, la ejecución del desempeño y el inicio
y término de la evaluación.
5. Se ubica en un lugar que le permita recoger evidencias
y se desplaza para observar con mayor detalle el ítem
requerido en el instrumento.
6. Registra lo observado en el instrumento de evaluación
correspondiente.
7. Evita interferir en el desempeño del evaluado.
8. Evita hacer gestos, señales o sonidos que perturben al
evaluado.
9. Terminado el desempeño del postulante le invita a
esperar unos minutos para la comunicación del
resultado.
10. Revisa el instrumento aplicado y registra el resultado
antes de llamar al postulante para comunicar el
resultado.
11. Informa al evaluado el resultado de la evaluación de
manera asertiva.
12. Firma y solicita la firma del postulante en el instrumento
con el resultado de la evaluación.
13. Se despide del evaluado de forma cordial.

V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN

Todas las respuestas afirmativas indican la competencia.


VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO

Si todos los reactivos son afirmativos el resultado es que cumple lo solicitado por la norma de
competencia y si hay algún reactivo con respuesta negativa el resultado es que No Cumple. No puede
haber ítem sin marcar.
VII. RESULTADO DE LA EVALUACIÒN
CUMPLE NO CUMPLE

VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA


(Anotar el número del reactivo que requiere mejorar).

N° de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

……………………………. …………………………… ………………………………


FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

22
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
LISTA DE CHEQUEO DEL PRODUCTO

I. INFORMACIÓN GENERAL PARA EL PROCESO DE EVALUACIÓN

FECHA DE INSCRIPCIÓN DÍA: MES: AÑO: 2010

ENTIDAD CERTIFICADORA CONEAU


NOMBRES Y APELLIDOS DE
EVALUADOR (A):
LUGAR DE EVALUACIÓN

FECHA DE EVALUACIÓN

DATOS DEL EVALUADO (A)


DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES

TIPO DE INSTRUMENTO DE CÓDIGO DEL INSTRUMENTO DE EVALUACIÓN:


LISTA DE CHEQUEO DE PRODUCTO
EVALUACIÓN LChP-ECP-001 EC

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR


CÓDIGO VERSIÓN NOMBRE
3 0 Ejecutar la evaluación de las competencias de los postulantes, según las
normas y procedimientos establecidos por la entidad certificadora.
ELEMENTOS DE 3.1 Recoger evidencias de las competencias del postulante según pautas
COMPETENCIA establecidas por la entidad certificadora y CONEAU..
3.2 Comunicara los actores involucrados los resultados de la evaluación, según
normas establecidas.

II. INTRODUCCIÓN

Este documento presenta el instrumento de evaluación de los productos correspondientes del elemento de
competencia 3.1. “Aplicar instrumentos de evaluación para recopilar las evidencias de las competencias del
postulante, según las normas de competencia a evaluar y los procedimientos establecidos por la entidad
certificadora”, perteneciente a la Norma de Competencia de Ejecutar la evaluación de las competencias de los
postulantes, según las normas y procedimientos establecidos por la entidad certificadora, que una persona debe
demostrar para ser considerada competente.
El presente instrumento de evaluación de producto está diseñado para evaluar la competencia profesional de las
personas que se desempeñan como EVALUADORES DE COMPETENCIAS PROFESIONALES y contiene las
instrucciones que debe seguir para su aplicación.
Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la
emisión del resultado de la evaluación.
El instrumento contiene seis (8) reactivos.
III. INSTRUCCIONES DE APLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN

Usted encontrará la tabla de aplicación o cuerpo del instrumento que contiene los reactivos a evaluar, su
numeración o código, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de observaciones que
como evaluador considere conveniente realizar.

Marque SI, cuando el producto cumpla con el criterio o ítem (reactivo) correspondiente y NO cuando no cumpla con
los aspectos señalados.

23
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
IV. TABLA DE APLICACIÓN O CUERPO DEL INSTRUMENTO DE EVALUACIÓN

REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES

1. Cumple con las recomendaciones generales de presentación y registro de


formatos y documentos (Hacer documento de recomendaciones: legibilidad, orden,
limpieza, enmendaduras con iniciales, información completa, color del lapicero,
lápiz?…)
2. Contiene todos los datos de “Información General” del instrumento.

3. Todos los ítems de la tabla de aplicación están marcados según el contenido del
portafolio de aplicación del instrumento.
4. El resultado de la evaluación es coherente con las instrucciones del mismo para la
emisión del resultado.
5. La sumatoria de los puntajes por rubros y el puntaje total son correctos .

6. Contiene el porcentaje alcanzado.

7. El porcentaje registrado es coherente con el cálculo matemático establecido para


la equivalencia del 20% como máximo.
8. Aparecen las firmas de los evaluadores y del evaluado.

V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN


Todas las respuestas afirmativas indican la competencia.

VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO


Si todos los reactivos son afirmativos el resultado es que “cumple” lo solicitado por la norma de competencia y si hay algún
reactivo con respuesta negativa el resultado es que “No Cumple”. Marque con una “X” o un “/” en el casillero al lado derecho de
cada resultado.
VII. RESULTADO DE LA EVALUACIÓN
RESULTADO CUMPLE NO CUMPLE

VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA (Anote el número del
reactivo que debe mejorar)

N° de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

……………………………. …………………………… ………………………………


FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

24
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
4.1.4. INSTRUMENTO DE EVALUACIÓN DE CONOCIMIENTOS. CUESTIONARIO

El instrumento más utilizado para evaluar conocimientos es el cuestionario (CT)


de preguntas.

Mateo (2000:74) establece que suele entenderse por pregunta una


declaración, asunto o tema sobre el que se va a evaluar. También se denomina
ítem.

Estos pueden ser de dos tipos:

A) PRUEBAS DE DESARROLLO
Son aquellas en las que se solicita, a través de preguntas, el desarrollo por
escrito de un discurso que evidencie el desarrollo de determinadas
capacidades. Pueden ser de respuesta libre u orientada.

Éstas pueden ser cortas o restringidas, o respuesta libre frente a una


interrogante o tema específico. Generalmente se emplean cuando se desea
evaluar la capacidad de análisis y síntesis, la organización de la información, la
consistencia de los argumentos, la inferencia y el juicio crítico.

Las pruebas de desarrollo son útiles, pues fomentan la exposición ordenada y


clara, el desarrollo del razonamiento y el pensamiento crítico, así como la
discriminación de información relevante y complementaria.
Una de las mayores dificultades de este tipo de pruebas es la calificación, pues
pueden verse seriamente afectadas por la subjetividad del evaluador. Las
siguientes sugerencias podrían contrarrestar tales efectos:
 Precisar en forma clara los aspectos que se tendrán en cuenta en la
calificación y comunicarlos al evaluado antes del examen. Por ejemplo:
exposición lógica de las ideas, concisión, adecuado uso de los conectores,
entre otros.
 Explicitar claramente el tipo de respuesta (corta o de extensión libre).
 Dar pistas sobre lo que se espera que desarrolle el evaluado (que explique,
que resuma, que presente contraejemplos, etc.)
 Tener paciencia en la corrección y hacerlo respuesta por respuesta para
manejar los mismos criterios de calificación.
Este tipo de pruebas se puede utilizar para evaluar la interpretación de cuadros
estadísticos, la comprensión lectora, el juicio crítico, la producción de textos, el
manejo de información, entre otras capacidades.

B) LAS PRUEBAS OBJETIVAS


Las pruebas objetivas son el tipo de pruebas escritas formadas por una serie
de preguntas que sólo admiten una respuesta correcta y cuya calificación es
siempre uniforme y precisa para todos los evaluados.
Son las de uso más común debido a su facilidad de calificación y a la creencia
de que eliminan toda posibilidad de subjetivismo.
La clave para que las pruebas objetivas se conviertan en instrumentos eficaces
de evaluación, es la calidad con que se elaboren pues de esa forma lograrán
poner en juego un gran número de capacidades del evaluado.
25
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Características de las pruebas objetivas:
A) Objetiva La prueba conduce a mediciones independientes del evaluador.
B) Confiable Arroja resultados consistentes. La prueba tiene precisión.
C) Válida La prueba mide lo que pretende medir, es coherente a la
competencia a evaluar.
Etapas para el desarrollo de la prueba escrita
¿Qué tipo de prueba va a ser?
1.- DISEÑO
¿Cuáles son los indicadores de evaluación?(responden a los
criterios de la competencia)
¿Cuál es mi tabla de especificaciones, cómo va a estar
estructurado el instrumento?
¿Cómo se evaluará?
2.- ELABORACIÓN
Preguntas
Casos prácticos

3.- PILOTEO Sometida a revisión por expertos.


Aplicada en forma experimental.
Permite identificar y corregir dificultades y asegurase que van
resultar replicables, precisas, completas, realistas y prácticas
¿Cómo se analizará que sea objetivo, valido y confiable?
4.- VALIDACIÓN
¿Cuál será el criterio de calificación y la asignación de ésta?
5.- CALIFICACIÓN

1.- El diseño
Es la planeación del instrumento.

a. Perfil de referencia:
Es el fundamento de la prueba y objeto de medida de la prueba relacionado a la
competencia a evaluar expresado en indicadores que responden a los criterios de la
competencia.

b. Tabla de Especificaciones
Presenta la organización lógica de los componentes definidos operacionalmente
Establece el nivel y tipo cognoscitivo con que deberán ser medidos en la prueba
(descrito en los indicadores).

2.-Elaboración
Es la construcción de la prueba o cuestionario con base en el diseño y en la tabla de
especificaciones de la matriz de consistencia.
Se debe partir de los indicadores descritos en la matriz de consistencia de la norma a
evaluar.
Se parte de la evaluación de la capacidad (reconocer, describir, comparar, seleccionar,
analizar, sintetizar, evaluar, aplicar, etc) a los diferentes niveles de dominio (bajo,
medio, alto)por medio de reactivos de opción múltiple, o de puntuaciones asignadas a
tipo de respuesta en relación con los criterios. Ver anexo 2 cuadros de capacidades y
procesos cognitivos.

Desarrollo del Instrumento

26
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Debe abarcar todos los aspectos contemplados en la descripción de la norma de
competencia, el perfil de referencia y la tabla de especificaciones.
Los instrumentos de conocimientos, puede estar formado por:
 Preguntas de opción múltiple: completamiento, apareamiento, solución
 problemas, jerarquización, identificación de graficas o diagramas y cuestionario
directo.
 Preguntas abiertas
 Situaciones prácticas, etc.

3.- Piloteo
 Monitorear la confiabilidad y validez de los exámenes.
 Vigilar el nivel de dificultad y la capacidad de discriminación de los ítems.
 Generar bancos de reactivos o items suficientemente amplios.
 Realizar pilotajes de los exámenes.

4.- Validación
 Consiste en analizar la construcción de los reactivos que realmente
representen al criterio a evaluar y analizar los resultados de aplicaciones
preliminares de la prueba para confirmar estadísticamente su validez y su
confiabilidad así como establecer las condiciones definitivas para el manejo y
administración del instrumento con los usuarios.

5.-Calificación
Es el mecanismo de ponderación y valoración de los resultados obtenidos
 Utilizar un criterio de calificación y explicarlo.
 En el caso de prueba objetiva: Analizar la dificultad de reactivos, considerando
para la calificación los que se encuentren en el rango de aceptables, mejorar
los reactivos que no estén en ese rango. Analizar la discriminación de estos, en
caso de que no discriminen, revisar redacción del reactivo y los distractores
para plantearlo de manera diferente.
 Establecer con base a lo anterior los puntos de corte.
 En el caso de la evaluación del desempeño, establecer el puntaje aprobatorio.

El CONEAU considera que los reactivos en una prueba de conocimientos pueden


tener diferentes pesos de acuerdo a su nivel de complejidad, sin embargo para
demostrar la competencia debe alcanzarse el 100% de la evaluación.

TIPOS DE PRUEBAS OBJETIVAS


 DE RESPUESTA ALTERNATIVA
Este tipo de pruebas plantean una serie de proposiciones que el evaluado debe
marcar como verdaderas o falsas. Únicamente tendrá estas dos opciones para
responder, de allí su nombre de respuesta alternativa.
Podemos emplear este tipo de pruebas cuando deseemos evaluar:
- la capacidad para identificar la exactitud de hechos.
- las definiciones de los términos.
- la capacidad de distinguir los hechos de las opiniones.
- la capacidad de percatarse de las relaciones de causa y efecto.

27
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Para la elaboración de este tipo de pruebas y potenciar sus beneficios podemos seguir
las Evitar
siguientes recomendaciones:
aseveraciones muy generales.
 Evitar aseveraciones negativas
 Evitar oraciones demasiado largas y complejas.
 Evitar incluir dos ideas en una aseveración, a menos que se trate de apreciar una
relación de causa a efecto.
 Si en la aseveración se incluye una opinión, debe indicarse a quién corresponde
 Calcular que las aseveraciones ciertas y las expresiones falsas tengan más o
menos la misma longitud

Ejemplo:
En relación a los procedimientos generales para la aplicación de los instrumentos de
evaluación, según la guía de evaluación CONEAU, identifique las afirmaciones
verdaderas y las falsas y marque la respuesta correcta.

i. El equipo evaluador debe estar conformado por un mínimo de dos evaluadores. ( )


ii. Todos los instrumentos deben ser firmados por el postulante y al menos uno de los
evaluadores. ( )
iii. La firma del postulante en el instrumento de evaluación es requisito para la apelación
a que hubiere lugar. ( )
iv. Antes de comunicar los resultados intermedios y el resultado final de la evaluación, el
equipo evaluador debe realizar una verificación de todo lo actuado. ( )

a. V F F V b. V V V F c. V F V V d. V V F V

 DE CORRESPONDENCIA

Este tipo de reactivos exigen al evaluado establecer relaciones entre dos columnas
paralelas, de tal manera que cada palabra, número o símbolo de una de ellas
corresponda con una palabra, oración o frase de la otra columna.
Ejemplo: Relacione las técnicas de evaluación con sus respectivos enunciados.

A. Formulación de preguntas ( ) Técnica por excelencia para recoger evidencias.


B. Observación directa ( ) Genera condiciones similares a las normales.
C. Simulación de situaciones ( ) Usada cuando son observables los productos.
D. Valoración de productos ( ) Obtiene evidencias de los conocimientos
esenciales.

a. A B C D b. D B A C c. C A D B d. B C D A

Las siguientes orientaciones pueden ser de ayuda para el evaluador:

 Usar sólo material homogéneo (que se refieran al mismo tema) dentro de


cada columna.
 Construir las columnas con diferente número de elementos.
 Tratar de que el ejercicio sea breve (que no supere los 6 pares de relación).
 Procurar que todo el ejercicio quede contenido en una misma página.

28
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
 DE SELECCIÓN MÚLTIPLE

Es el tipo de reactivos que plantean una pregunta, un problema o una aseveración


inconclusa junto con una lista de soluciones entre las que sólo una es correcta. El
evaluado debe seleccionar la correcta subrayando, encerrando en un círculo, etc.
Generalmente son empleados cuando se pretende evaluar:
- Identificación de información (datos, hechos).
- Uso de métodos y procedimientos.
- Aplicación de hechos y principios (cuando en la prueba se le presentan
situaciones nuevas en las que puede aprovechar sus conocimientos).
- habilidad para interpretar relaciones de causa y efecto.
Ejemplo:
En la orientación al postulante un evaluador es preguntado sobre la justificación para
recoger evidencias de desempeño. La respuesta correcta a esa inquietud es:

a. La norma de competencia indica un rubro de evidencias de desempeño y por


tanto es obligatorio recogerlas.
b. Las evidencias de desempeño son las más importantes de evaluar, por tanto no
puede omitirse recogerlas.
c. La competencia se demuestra en el desempeño mismo por tanto no se puede
omitir su recojo en la evaluación.
d. Las evidencias de desempeño no son indispensables por tanto evaluará la
posibilidad de omitirla en su caso.

Este tipo de reactivos presenta ventajas y desventajas:


Ventajas Desventajas
 Amplitud de su campo de aplicación.  Se limita a los productos del
 Evitan la ambigüedad y la vaguedad aprendizaje, en desmedro del
de las respuestas. proceso.
 Pueden centrarse en puntos  No son apropiados para medir la
específicos. capacidad de organizar y presentar
 Permiten al evaluador, por medio del ideas.
análisis de las respuestas incorrectas,  Resulta difícil elaborar las
descubrir con mayor claridad las alternativas de forma que todas
deficiencias de los evaluados. parezcan posibles pero que sólo
exista una respuesta correcta.

Para elaborar pruebas o preguntas de selección múltiple debemos tomar en cuenta las
siguientes recomendaciones:

29
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
 Cuidar que el problema o aseveración que se exponga se encuentre claramente
definido e incluya sólo la información necesaria para que su lectura sea ágil.
 Expresar la aseveración en forma negativa sólo cuando sea absolutamente
necesario.
 Formular las posibles respuestas cuidando que éstas guarden congruencia
gramatical con la aseveración (si la aseveración termina en “...es la:_______" no
pueden ponerse artículos masculinos entre las respuestas).
 Cuidar que todas las respuestas sean de posible aceptación aunque una sola sea
correcta.
 Plantear la aseveración de modo que ésta no sugiera la respuesta.
 La respuesta correcta de un reactivo debe colocarse en una ubicación diferente

 DE ORDENAMIENTO

Es el tipo de reactivos que demandan al evaluado ordenar o secuenciar debidamente


los datos, hechos o partes de un proceso presentadas en sucesión desordenada.
En general, este tipo de reactivos se pueden emplear cuando se pretende evaluar:
-la capacidad de ubicar cronológicamente hechos históricos.
-la comprensión de la secuencia en determinados procesos.
-la capacidad de organizar mentalmente ciertos conocimientos.
Para elaborar pruebas con este tipo de preguntas debemos tomar en cuenta lo
siguiente:
Plantear cada hecho o etapa con claridad y precisión.

4.1.5 PASOS PARA LA ELABORACIÓN DEL CUESTIONARIO.

Una vez identificados los indicadores se hace necesaria una representación


esquemática de su distribución, con el propósito de no incurrir en errores producto
del subjetivismo o la simpatía por algunos indicadores. En tal sentido, en una tabla
de especificaciones se hace una relación de indicadores, anotando a continuación
el porcentaje que represente la importancia o jerarquía de cada uno de ellos dentro
del total de indicadores como también la cantidad de ítems por indicador. El
porcentaje de importancia relativa debe ser resultado del acuerdo entre varios
especialistas, para erradicar la influencia de opiniones y factores personales en la
decisión final.

1ero.- TABLA DE ESPECIFICACIONES DE LA PRUEBA

Tomamos como referencia para ejemplificar el elemento de competencia “Recoger


evidencias de las competencias del postulante aplicando los instrumentos de
evaluación de la entidad certificadora”

a) Determinación de los propósitos: Evaluación de competencias profesionales


para la certificación.

La prueba que se va a elaborar debe servir para evaluar indicadores de evidencia de


conocimiento según el elemento de competencia. “Recoger evidencias de las

30
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
competencias del postulante aplicando los instrumentos de evaluación de la entidad
certificadora”

b) Identificación del objeto a evaluar. Una vez establecido el propósito, se


determina el objeto a evaluar, es decir la identificación de los sujetos a quienes se les
aplicará la prueba. En este caso, los evaluadores de la entidad certificadora.

Tabla de especificación de la prueba

Cantidad
Conocimientos Número
ELEMENTO DE PESO de
y comprensión CRITERIOS Indicador de
COMPETENCIA (%) preguntas
pregunta
esenciales /

1.Normas de 1. Identifica las normas de 2.5


competencias en competencia a evaluar, 1 1
que se evaluará al según priorización de la EC.
postulante. (a, b, c, 2.5
d) 2 Identifica la comunicación
asertiva como habilidad 1 2
social del evaluador.
2.Habilidades 3. Diferencia las técnicas de
sociales del evaluación de 4
evaluador de competencias según guía
competencias (Guía 1 3
de participantes del curso
del participante del de evaluadores
curso de A) El postulante 4. Identifica los tipos
evaluadores) (a) es orientado características y 2.5
sobre la condiciones de
evaluación, instrumentos de evaluación
según tipos de 1 4
de competencias a aplicar
3.Técnicas de evidencias a según guía de evaluación
1. 1.Recoger evaluación de recoger. CONEAU.
evidencias de las competencias ( a, b, 5. Analiza los tipos de
competencias del c, d) evidencias para la 4
postulante aplicando evaluación de
los instrumentos de competencias según 1 5
evaluación de la directrices de normalización
entidad certificadora 4.Tipos,
CONEAU.
características y
6. Analiza la actuación ética
condiciones de 4 1 6
del evaluador en un caso.
instrumentos de
7. Identifica los
evaluación de 4
procedimientos para la
competencias (a, b,
aplicación de los instrumentos 1 7
c, d)
de evaluación de
competencias
1.-Identifica las evidencias de
conocimiento de las normas 2.5
5.Tipos de 1 8
de competencia a evaluar.
evidencias para la
2.Describe el procedimiento
evaluación de B) Los del uso de instrumentos de 4
competencias (a, b, instrumentos de 1 9
recojo de evidencias de
c, d) evaluación de conocimiento, según técnica.
conocimiento se 3.Identifica evidencias de
aplican de conocimiento para la 2.5
1 10
acuerdo a las evaluación de competencias
6.Pautas éticas de 4. Analiza la actuación ética
evidencias a
la evaluación de del evaluador en casos de 4
recoger
competencias (a, b, aplicación de instrumentos de 1 11
c, d y e) evaluación de conocimiento.
5. Analiza un caso de
aplicación de un cuestionario. 4 1 12

31
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
7. Procedimientos 6. Analiza un caso de registro
para la aplicación de de evidencias de conocimiento 4 1 13
los instrumentos de 1.-Analiza las evidencias de
evaluación de desempeño de las normas de 4
competencias (a, b, competencia a evaluar en un 1 14
c, d). caso.
2. Relaciona el instrumento de
evaluación de desempeño con 4
a técnica correspondiente a la 1 15
8. Procedimiento evidencia a recoger
C) Los
para el registro de 3Describe las características,
instrumentos de 4
evidencias (b, c, d, condiciones y procedimientos
evaluación de 1 16
e). del uso del instrumento de
desempeño se
evaluación de desempeño.
aplican de 4. Analiza la actuación ética
acuerdo a las del evaluador en casos de 4
evidencias a aplicación de instrumentos de 1 17
9. Pautas para la
recoger. evaluación de desempeño.
determinación del
logro de la 5. Analiza un caso de
aplicación de una lista de 4
competencia (e). 1 18
verificación de desempeño.

4
6. Describe el procedimiento
para el registro de evidencias 1 19

1.Identifica las evidencias de


producto de las normas de 2.5
1 20
competencia a evaluar.
2.Relaciona el instrumento de
evaluación de producto con la 4
técnica correspondiente a la 1 21
evidencia a recoger.
D) Los
3.Describe las características,
instrumentos de 2.5
condiciones y procedimientos
evaluación de 1 22
del uso del instrumento de
producto se
evaluación de producto.
aplican de
4.Analiza la actuación ética del
acuerdo a las 4
evaluador en casos de
evidencias a 1 23
aplicación de instrumentos de
recoger.
evaluación de producto.
5.Describe los procedimientos
para la aplicación del 4
instrumento de evaluación de 1 24
producto.
6.-.Describe el procedimiento
para el registro de evidencias 4
1 25
de producto
1.-Reconoce los principios
éticos en la determinación del 2.5
E) La
logro de las competencias y su 1 26
determinación
registro.
del logro de la
2.Analiza los procedimientos
competencia es 4
para la determinación del logro 1 27
registrada en los
de las competencias.
formatos
3. Describe el procedimiento
establecidos
para el registro del logro de las 4
1 28
competencias
100 28
TOTAL

c) Elección de la escala de medición. Se debe determinar si la escala será


decimal, vigesimal, centesimal u otra. Para el ejemplo la escala es centesimal.

32
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
d) Asignación de los puntajes de la prueba. Los puntajes de la prueba deben estar
de acuerdo con los criterios a evaluar y éstos se derivan de los elementos de la
competencia.

Para el ejemplo se ha considerado cinco criterios y el criterio C “Los instrumentos


de evaluación de desempeño se aplican de acuerdo a las evidencias a recoger” es el
que más puntaje tiene (24) y el criterio E “La determinación del logro de la competencia
es registrada en los formatos establecidos” es el que menos puntaje tiene (10,5).

e) Asignación de pesos a los reactivos o ítems. El puntaje total del criterio sirve de
parámetro para asignar pesos a los reactivos o ítems de la prueba en función de las
capacidades y conocimientos a evaluar. En el ejemplo, los reactivos de menor peso
(2,5) corresponden al criterio A “El postulante es orientado sobre la evaluación, según
tipos de evidencias a recoger” proceso básico de describir o explicar.

f) Jerarquización lógica de los ítems. Es conveniente presentar previamente los


ítems simples y los más complejos después. También conviene agrupar los ítems por
afinidad temática u otros criterios que considere el evaluador.

2do.- Elaboración de la estructura del cuestionario

La estructura de la prueba (cuestionario) se expresa mediante un cuadro de doble


entrada en el que se explicita el contenido y la capacidad a evaluar. En el ejemplo
propuesto, se trata de medir los conocimientos en función de dos variables: a)
algunas las capacidades según la taxonomía de L.D´Hainaut, y b) los
conocimientos sobre normas, técnicas, procedimientos, registro de evidencias para
el logro de las competencias profesionales.

Las capacidades que se pretenden medir deben estar identificadas en forma clara y
precisa. En este caso, se ha considerado la Taxonomía propuesta por L.D´Hainaut
(reproducción, conceptualización, aplicación, exploración, movilización y resolución de
problemas), de esta taxonomía para el ejemplo sólo se ha considerado a tres
capacidades.

33
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Tabla de estructura de la prueba

capacidad/ conocimiento Reproduc conceptu aplicación Solución de TOTAL PUNTAJE


ción alización problemas
1. Normas de competencias en 3 2 5 15.5
que se evaluará al postulante. (a,
b, c, d)
2.Habilidades sociales del 1 2 3 10.5
evaluador de competencias (Guía
del participante del curso de
evaluadores) (a)
3.Técnicas de evaluación de 1 2 1 4 14.5
competencias ( a, b, c, d)
4.Tipos, características y 1 3 4 14.5
condiciones de instrumentos de
evaluación de competencias (a,
b, c, d)
5.Tipos de evidencias para la 1 2 1 4 14.5
evaluación de competencias (a,
b, c, d)
6.Pautas éticas de la evaluación 2 2 4 16
de competencias (a, b, c, d y e)
7. Procedimientos para la 1 1 2 4 14,5
aplicación de los instrumentos de
evaluación de competencias (a,
b, c, d).
Total 8 7 7 6 28
Peso 2.5 4 4 4
Puntaje total 20 28 28 24 100
En el ejemplo propuesto se observa que se elaborará una prueba con 28 ítems o
reactivos que darán un puntaje de 100 puntos que resultan de multiplicar el total de
ítems de cada nivel de dominio por el peso asignado.

La asignación de pesos depende de la importancia que asigne el evaluador a un


determinado nivel o dominio de la capacidad del elemento de competencia a evaluar.
En el presente caso se observa que se está asignando mayor peso (4) a la
conceptualización, aplicación de la información y resolución de problemas.

Elaboración de los reactivos de la prueba

Para cada indicador se formularán varios reactivos o ítems. Si el evaluador dispone


de un banco de ítems, reactivos o preguntas, seleccionará los ítems más adecuados
para la prueba que está construyendo, teniendo en cuenta las necesidades de la
evaluación. En caso contrario, deberá elaborar los ítems previstos en la estructura
cubriendo la totalidad de conocimientos requeridos para el criterio de evaluación.

El conjunto de ítems conforman una muestra representativa del universo de


contenidos que interesa evaluar.

Por ejemplo, uno de los instrumentos que utilizaremos para medir competencias
profesionales es una prueba de conocimientos (cuestionario) donde elaboraremos
preferentemente reactivos de opción múltiple.

34
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Tabla de criterios, indicadores y reactivos del elemento de Competencia
“Recoger evidencias de las competencias del postulante aplicando los
instrumentos de evaluación de la entidad certificadora”

CRITERIO INDICADOR REACTIVO ALTERNATIVAS


A) El 1. Identifica las normas a)Las normas de competencia a a. CONEAU - SINEACE
de competencia a evaluar son priorizadas por: b. Postulante a evaluar
postulante evaluar, según c. Colegio Profesional
es priorización de la EC. d. Evaluador certificado
orientado
2. Identifica la b)Una habilidad social del a. Expresar lo que piensa, cree
sobre la habilidad social de evaluador de competencias es y siente en forma positiva.
evaluación, comunicación: la comunicación asertiva que b. Demostrar afecto, confianza
según asertividad. consiste en: y perseverancia al
postulante.
tipos de c. Justificar sus errores y
evidencias equivocaciones ante los
a recoger. demás
d. Analizar sus fortalezas y
debilidades para
relacionarse.

3. Diferencia las c) Relacione las técnicas de A. Formulación de preguntas


técnicas de evaluación con sus B. Observación directa
evaluación de respectivos enunciados. C. Simulación de situaciones
competencias según D. Valoración de productos
guía de participantes ( ) Técnica por excelencia
del curso de para recoger evidencias.
evaluadores ( ) Genera condiciones
similares a las normales
( ) Usada cuando son
observables los productos
( ) Obtiene evidencias de los
conocimientos esenciales.
a. A B C D b. D B A C c.
C A D B d. B C D A

4. Identifica los tipos d)Los tipos de instrumentos a. Cuestionarios y guías de


características y para evaluar competencias entrevistas.
condiciones de de acuerdo a la guía de b. Listas de chequeo y
instrumentos de evaluación del CONEAU son: cuestionarios.
evaluación de c. Estudio de casos y listas de
competencias a chequeo.
aplicar según guía de d. Encuestas y guías de
evaluación Coneau. entrevistas

5. Analiza los tipos de e)En la orientación al postulante a. La norma de competen-cia


evidencias para la un evaluador es preguntado indica un rubro de
evaluación de sobre la justificación para evidencias de desempe-ño y
competencias según recoger evidencias de por tanto es obliga-torio
directrices de desempeño. La respuesta recogerlas.
normalización correcta a esa inquietud es: b. Las evidencias de
CONEAU. desempeño son las más
importantes de evaluar, por
tanto no puede omitirse
recogerlas.
c. La competencia se
demuestra en el desempeño
mismo por tanto no se puede
omitir su recojo en la
evaluación.
d. Las evidencias de desem-
peño no son indispensables
por tanto evaluará la posibi-
lidad de omitirla en su caso.

35
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
6. Analiza la actuación f) Falta elaborar i. El equipo evaluador debe
ética del evaluador estar conformado por un
en un caso. mínimo de dos evaluadores.
( )
7. Identifica los g)En relación a los ii. II.-Todos los instrumen- tos
procedimientos procedimientos generales deben ser firmados por el
para la aplicación para la aplicación de los postulante y al menos uno
de los instrumentos de evaluación, de los evaluadores. ( )
instrumentos de según la guía de evaluación iii. III-La firma del postulante en
evaluación de CONEAU, identifique las el instrumento de evaluación
competencias. afirmaciones verdaderas y las es requisito para la
falsas y marque la respuesta apelación a que hubiere
correcta. lugar. ( )
iv. IV.Antes de comunicar los
resultados interme-dios y el
resultado final de la
evaluación, el equipo
evaluador debe realizar una
verificación de todo lo
actuado. ( )

a. VFFV b. VVVF c.
VFVV d. VVFV

36
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
EJEMPLO DE CUESTIONARIO

I. INFORMACIÓN GENERAL PARA EL PROCESO DE EVALUACIÓN

FECHA DE INSCRIPCIÓN DÍA: MES: AÑO: 2010

ENTIDAD CERTIFICADORA CONEAU

NOMBRES Y APELLIDOS DE
EVALUADOR (A):

LUGAR DE EVALUACIÓN

FECHA DE EVALUACIÓN

DATOS DEL EVALUADO (A)

DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES

CÓDIGO DEL INSTRUMENTO DE EVALUACIÓN:


TIPO DE INSTRUMENTO DE
CUESTIONARIO
EVALUACIÓN
C-ECP-001 EC

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR

CÓDIGO VERSIÓN NOMBRE

ELEMENTOS DE
COMPETENCIA

II. INTRODUCCIÓN

Este documento presenta el instrumento de evaluación de los productos correspondientes del elemento de
competencia 3.1……………, perteneciente a la Norma de Competencia de……………………….. , que una persona
debe demostrar para ser considerada competente.

El presente instrumento de evaluación está diseñado para evaluar la competencia profesional de las personas que
se desempeñan como ……………………………y contiene las instrucciones que debe seguir para su aplicación.

Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la
emisión del resultado de la evaluación.

El instrumento contiene …… reactivos.

III. INSTRUCCIONES DE APLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN


37
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Usted encontrará la tabla de ……..

IV. TABLA DE APLICACIÓN O CUERPO DEL INSTRUMENTO DE EVALUACIÓN

1 En la evaluación del dolor abdominal uno de los siguientes aspectos es menos relevante:

a) Tiempo de inicio
b) Ubicación y características
c) Tiempo de duración
d) Mejora con analgésico
2.

3.

ETC.

V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN

Todas las …..

VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO

Si todos los reactivos…..

VII. RESULTADO DE LA EVALUACIÒN

CUMPLE NO CUMPLE

VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA

(Anotar el número del reactivo que requiere mejorar).

N° de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

……………………………. …………………………… ………………………………

FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

HOJA DE RESPUESTAS
38
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
FECHA DE MES:
DÍA: 30 AÑO:
INSCRIPCIÓN MAYO

ENTIDAD
COLEGIO …
CERTIFICADORA

NOMBRES Y APELLIDOS
XXXXXX
DE EVALUADOR (A):

LUGAR DE EVALUACIÓN EMERGENCIA

FECHA DE EVALUACIÓN DD—MM—AA

DATOS DEL EVALUADO (A)

DNI COLEGIATURA APELLIDO PATERNO APELIDO NOMBRES


MATERNO

CÓDIGO DEL INSTRUMENTO DE


TIPO DE INSTRUMENTO DE EVALUACIÓN:
CUESTIONARIO
EVALUACIÓN

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR

CÓDIGO VERSIÓN NOMBRE

ELEMENTOS DE
COMPETENCIA

RESPUESTAS

A B C D A B C D A B C D

1 X 11 X 21

2 X 12 X 22

3 X 13 X 23

39
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
4 X 14 X 24

5 X 15 X 25

6 X 16 X 26

7 X 17 X 27

8 X 18 28

9 X 19 28

10 D C B A 20 30

5. VALIDEZ DE UN INSTRUMENTO

40
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Algunos autores definen:

 La validez de un instrumento de medición es el grado en que el instrumento


mide realmente lo que el investigador pretende medir. (Hernández Sampieri)
 Grado en que un instrumento realmente mide lo que el investigador
pretende. (Thorndike)

Ambas definiciones coinciden que el requisito de un instrumento para lograr la


confiabilidad es la validez. Pero lo recíproco no es cierto, puesto que un instrumento
puede ser confiable sin ser válido.

La validación de un instrumento sirve para controlar variables confusas, sesgos,


generar mejores procesos e interpretar de mejor modo los procedimientos
realizados.

Para determinar la validez de un instrumento es necesario el análisis psicométrico


que exige respuesta a las siguientes preguntas:

¿Hasta qué punto son consistentes las puntuaciones? Responder esta interrogante
implica informar sobre la confiabilidad del instrumento.

¿Qué es lo que mide la prueba? Responder esta interrogante implica informar sobre
la validez del instrumento.

En tal sentido, para determinar la eficacia del instrumento de medición se debe


precisar su validez y confiabilidad.

Eficacia del instrumento de medición

La eficacia del instrumento de recolección de datos está referida a su validez y


confiabilidad.

Validez de Contenido (validez externa)

A través de la validez de contenido se trata de determinar hasta dónde los ítems de


una prueba son representativos de los indicadores del criterio a evaluar de las
competencias profesionales que se desea medir, establece la relación del instrumento
con los criterios de los elementos de la competencia que pretende medir. Da garantías
de que se ha operacionalizado claramente desde la competencia, unidad de
competencia, elementos de la competencia, criterios, indicadores y reactivos. El
instrumento (prueba) a través de los ítems debe contener los conocimientos
claramente definidos.

Si no se cuenta con la seguridad de que los reactivos representan a los contenidos de


los criterios de la competencia en evaluación se debe proceder a la consulta de
expertos quienes evalúan la representatividad de los indicadores relevantes de los
criterios de los elementos de la competencia.

41
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
La validez de contenido establece la relación del instrumento con los criterios de los
elementos de la competencia que pretende medir. Siendo indispensable elaborar la
tabla de especificaciones, elaborar la prueba que se ajusta a la tabla de
especificaciones y determinar si los ítems de una prueba son representativos de los
indicadores del criterio a evaluar. ( capacidad del instrumento).

Validez de criterio (Validez externa)

Nos permite expresar el grado de eficacia con el que se puede predecir o pronosticar
un criterio a partir de las puntuaciones del instrumento.

 Validez Concurrente: Si el criterio se fija en el presente, cuando los


resultados del instrumento se correlacionan con el criterio en el mismo
momento. Por ejemplo una encuesta para detectar preferencias del
electorado antes de las elecciones se correlaciona con los resultados
finales de la elección.
 Validez Predictiva: Si el criterio se fija en el futuro. Ejemplo una prueba
de admisión para ser evaluador, se puede comparar sus resultados
con su rendimiento futuro (criterio: promedios finales). Es decir la
validez predictiva se juzga por la calidad del rendimiento obtenido por
el participante en un tiempo posterior al que fue aplicado el
instrumento.
Si las dos medidas se dan en el mismo momento se habla de validez concurrente,
pero si la segunda medida se hace en un futuro y la primera se hace con la intención
de estimar la segunda se habla de validez predictiva.

Validez de constructo (Validez interna)

Se define como el grado en que una prueba mide la construcción teórica elaborada
respecto a los conocimientos o conducta que se mide.

Los procedimientos estadísticos apuntan a establecer de manera probabilística


grupos de ítems que deberán ser definidos como dimensiones. Estas dimensiones
son conceptualizadas de manera consensuada para otorgarle el carácter de útiles y
científicamente válidos, por cuanto no existe una prueba patrón.

Si los dominios han sido construidos de manera teórica, la estadística corrobora la


idoneidad de estas agrupaciones y nos daremos respuestas a estas interrogantes:

 ¿El concepto teórico está reflejado realmente en el instrumento?

 ¿Qué significan las puntuaciones del instrumento?

 ¿El instrumento mide el constructo y sus dimensiones?¿Por qué sí? ¿Por qué
no?

 ¿Cómo opera el instrumento? (Hernández-Sampieri, 2010)

5.1 VALIDACIÓN EXTERNA DE INSTRUMENTOS DE EVALUACIÓN

5.1.1 Procedimiento de la validez de contenido por juicio de expertos

42
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Evalúa la capacidad del instrumento para recoger lo que se desea medir:

Se presentan tres momentos:

1.- Cuando no sabemos las respuestas que nos van a dar las unidades de estudio hay
una aproximación a la población y las interrogantes deben ser abiertas y con ellas se
procederá a construir una lista de ítems.

2.-Juicio de expertos cuando el conocimiento disponible es insuficiente para que el


evaluador pueda construir un instrumento de manera autónoma.

3.-La revisión del conocimiento disponible cuando existe la teoría suficiente para
poder construir un instrumento.

Esta validez se refiere a si el cuestionario elaborado, y por tanto si los ítems elegidos,
son evidencias de lo que se pretende medir.

5.1.2 Evidencias basadas en el contenido

Aglutina dos tipos de estudio suplementarios. Unos encaminados a evaluar las


relaciones entre el constructo y el contenido del test, y otros dirigidos a valorar los
factores contextuales internos y externos que puedan añadir varianza no deseada
(Elosua, 2003)

El objetivo de este tipo de estudios es obtener evidencias para determinar si los ítems
del instrumento representan adecuadamente el constructo que se pretende medir. No
olvidemos que los ítems son el estímulo necesario para obtener las muestras de
conducta indicadoras del constructo. Este tipo de estudio examina si los ítems pueden
hacer bien su papel (GONZALES, 2006: 16)

Para ello hay cuatro estrategias: La fundamentación en una teoría, la consulta a


expertos, el análisis de errores y la supervisión de los resultados totales. (ANASTASI Y
URBINA, 1998), las dos primeras son las más reconocidas y recurrentes.

En el primer caso, la fundamentación teórica, la evidencia basada en el contenido la


realiza el mismo investigador apoyándose en la teoría y los supuestos que guían la
selección de los ítems (BRIONES, 2001); en este sentido, el dominio de contenido de
un variable, normalmente, es definido o establecido por la literatura (teorías y
antecedentes) (HERNANDEZ,2006: 279)

La forma en que esta estrategia se opera presenta ciertas ambigüedades e


imprecisiones: Algunos autores hacen referencia al análisis racional de los contenidos
posibles (MUÑIZ, 2003), Otros a la operacionalización de las variables (CASTAÑEDA,
DE LA TORRE, MORAN Y LARA) y otros la articulan a una estrategia global que
integra: Fundamentación teórica, consulta a expertos y análisis estadístico.
(HERNANDEZ, 2006: 279).

La estrategia de consulta a expertos, consiste en preguntar a uno o varios expertos si


los reactivos evalúan lo que uno quiere que evalúe (SALKIND, 1999) esta estrategia
es planteada como complementaria o simultánea de la fundamentación teórica por
algunos autores(BRIONES, 2001; HERNADEZ,2006; MUÑIZ, 2003), mientras que
otros plantean su uso en caso de que el constructo o variable de estudio sea definida
de manera aproximada o imprecisa, esto es, sin una buena fundamentación teórica.
(GREGORY, 2001)
43
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Relevancia entendida como relación de la variable, y los ítems, con la teoría utilizada
(PARDO, 2006)

La consulta a expertos se utiliza básicamente para establecer si los ítems del


instrumento representan adecuadamente el constructo que se pretende medir.

3.1.3. Veamos un ejemplo: Procedimiento según GREGORY, 2001

El siguiente cuestionario tiene el objetivo central “Recoger evidencias de las


competencias del postulante aplicando los instrumentos de evaluación de la entidad
certificadora”

Le pedimos su colaboración para establecer la validez de contenido, en caso de aceptar


le sugerimos seguir las siguientes instrucciones:

1° Lea cuidadosamente la especificación de cada una de las secciones de esta tabla


de especificaciones, ya que cada una representa, diferentes dimensiones de estudio:
Elemento de competencia, criterio de desempeño, indicador y conocimientos.

2° A continuación indique que tan bien considera usted que el ítem o reactivo sea
parte del, indicador, del criterio de desempeño y de la unidad de competencia que se
aborda a continuación:

3° Juzgue cada ítem o reactivo de manera individual comparando el contenido del ítem
con el contenido de la dimensión de estudio. (Analice la tabla de especificaciones de la
prueba con la tabla de criterios, indicadores y reactivos)

Tabla de especificaciones de la prueba de conocimientos

Cantidad Número
ELEMENTO DE PESO
Conocimiento CRITERIOS Indicador de de
COMPETENCIA (%)
preguntas pregunta
1. 1.Recoger 1.Normas de A) El postulante 1. Identifica las normas de 2.5
evidencias de las competencias en es orientado competencia a evaluar, 1 1
competencias del que se evaluará al sobre la según priorización de la EC.
postulante aplicando postulante. (a, b, c, evaluación, 2.5
2. Identifica la habilidad social
los instrumentos de d) según tipos de
de comunicación: 1 2
evaluación de la evidencias a
asertividad.
entidad certificadora 2.Habilidades recoger.
sociales del 3. Diferencia las técnicas de 4
evaluador de evaluación de
competencias (Guía competencias según guía 1 3
del participante del de participantes del curso
curso de de evaluadores
evaluadores) (a) 4. Identifica los tipos 2.5
características y
3.Técnicas de condiciones de
evaluación de instrumentos de evaluación 1 4
competencias ( a, b, de competencias a aplicar
c, d) según guía de evaluación
CONEAU.
5. Analiza los tipos de 4 1 5
4.Tipos,
evidencias para la
características y
evaluación de
condiciones de
competencias según

44
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
directrices de normalización
CONEAU.
6. Analiza la actuación ética 4
1 6
del evaluador en un caso.
7. Identifica los procedimien- 4
tos para la aplicación de los
1 7
instrumentos de evaluación
de competencias
1. Identifica las evidencias de 2.5
conocimiento de las normas 1 8
de competencia a evaluar.
2. Describe el procedimiento 4
del uso de instrumentos de
recojo de evidencias de 1 9
conocimiento, según
técnica.
B) Los
3. Identifica evidencias de 2.5
instrumentos de
conocimiento para la
evaluación de 1 10
evaluación de
conocimiento se
competencias
aplican de
4. Analiza la actuación ética 4
acuerdo a las
del evaluador en casos de
evidencias a
aplicación de instrumentos 1 11
recoger
de evaluación de
conocimiento.
5.Analiza un caso de 4
instrumentos de aplicación de un 1 12
evaluación de cuestionario.
competencias (a, b, 6. Analiza un caso de registro 4
c, d) de evidencias de 1 13
conocimiento
5.Tipos de 1.-Analiza las evidencias de 4
evidencias para la desempeño de las normas de
1 14
evaluación de competencia a evaluar en un
competencias (a, b, caso.
c, d) 2. Relaciona el instrumento de 4
evaluación de desempeño con
C) Los 1 15
6.Pautas éticas de a técnica correspondiente a la
instrumentos de
la evaluación de evidencia a recoger
evaluación de
competencias (a, b, 3Describe las características, 4
desempeño se
c, d y e) condiciones y procedimientos
aplican de 1 16
del uso del instrumento de
acuerdo a las
7. Procedimientos evaluación de desempeño.
evidencias a
para la aplicación de 4. Analiza la actuación ética 4
recoger.
los instrumentos de del evaluador en casos de
1 17
evaluación de aplicación de instrumentos de
competencias (a, b, evaluación de desempeño.
c, d). 5. Analiza un caso de 4
8. Procedimiento aplicación de una lista de 1 18
para el registro de verificación de desempeño.
evidencias (b, c, d,
6. Describe el procedimiento 4
1 19
para el registro de evidencias
e).
1.Identifica las evidencias de 2.5
1 20
producto de las normas de
D) Los competencia a evaluar.
instrumentos de 2.Relaciona el instrumento de 4
evaluación de evaluación de producto con la 1 21
producto se técnica correspondiente a la
aplican de evidencia a recoger
acuerdo a las 3. Describe las características, 2.5
evidencias a condiciones y procedimientos 1 22
recoger. del uso del instrumento de
evaluación de producto.
4. Analiza la actuación ética 4 1 23
del evaluador en casos de
aplicación de instrumentos de
evaluación de producto.

45
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
5. Describe los procedimientos 4
para la aplicación del 1 24
instrumento de evaluación de
producto.
6.-.Describe el procedimiento 4
1 25
para el registro de evidencias
de producto
1.-Reconoce los principios 2.5
E) La éticos en la determinación del 1 26
determinación logro de las competencias y su
del logro de la registro.
competencia es 2.Analiza los procedimientos 4
1 27
registrada en los para la determinación del logro
formatos de las competencias.
establecidos 3. Describe el procedimiento 4
1 28
para el registro del logro de las
competencias
TOTAL 100 28

46
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
TABLA DE CRITERIOS, INDICADORES Y REACTIVOS

CRITERIO INDICADOR REACTIVO escala


1. Identifica las normas de 1.-Las normas de competencia a evaluar son
El competencia a evaluar, priorizadas por:
0
postulante según priorización de la a. CONEAU - SINEACE
EC. b .Postulante a evaluar 1
es 2. Identifica la habilidad social c. Colegio Profesional
de comunicación: d. Evaluador certificado 2
orientado asertividad.
3
sobre la 3. Diferencia las técnicas de 2.-Una habilidad social del evaluador de
evaluación, evaluación de competencias es la comunicación asertiva que 0
competencias según guía consiste en:
según de participantes del curso 1
tipos de de evaluadores
4. Identifica los tipos
a. Expresar lo que piensa, cree y siente
en forma positiva.
2
evidencias características y b. Demostrar afecto, confianza y 3
condiciones de perseverancia al postulante.
a recoger. instrumentos de evaluación c. Justificar sus errores y equivocaciones
de competencias a aplicar ante los demás
según guía de evaluación d. Analizar sus fortalezas y debilidades para
Coneau. relacionarse.
5. Analiza los tipos de
evidencias para la 3. Relacione las técnicas de evaluación con
evaluación de sus respectivos enunciados.
competencias según 0
directrices de
normalización CONEAU.
a. Formulación de preguntas
b. Observación directa
1
6. Analiza la actuación ética c. Simulación de situaciones 2
del evaluador en un caso. d. Valoración de productos
7. Identifica los ( ) Técnica por excelencia para recoger 3
procedimientos para la evidencias.
aplicación de los ( ) Genera condiciones similares a las
instrumentos de normales
evaluación de ( ) Usada cuando son observables los
competencias. productos
( ) Obtiene evidencias de los
conocimientos esenciales

4.-Los tipos de instrumentos para evaluar


competencias de acuerdo a la guía de
0
evaluación del CONEAU son: 1
2
a. Cuestionarios y guías de entrevistas.
b. Listas de chequeo y cuestionarios. 3
c. Estudio de casos y listas de chequeo.
d. Encuestas y guías de entrevistas

5.-En la orientación al postulante un evaluador


es preguntado sobre la justificación para
recoger evidencias de desempeño. La 0
respuesta correcta a esa inquietud es: 1
a. La norma de competencia indica un rubro
2
de evidencias de desempeño y por tanto 3
es obligatorio recogerlas.
b. Las evidencias de desempeño son las
más importantes de evaluar, por tanto no
puede omitirse recogerlas.
c. La competencia se demuestra en el
desempeño mismo por tanto no se puede
omitir su recojo en la evaluación.
d. Las evidencias de desempeño no son
indispensables por tanto evaluará la
posibilidad de omitirla en su caso.

6.-Falta elaborar 0
1
2
7.-En relación a los procedimientos generales 3
para la aplicación de los instrumentos de
evaluación, según la guía de evaluación
CONEAU, identifique las afirmaciones 0
verdaderas y las falsas y marque la respuesta
correcta. 1
I.-El equipo evaluador debe estar conformado
por un mínimo de dos evaluadores. ( )
2
II.-Todos los instrumentos deben ser firmados 3
por el postulante y al menos uno de los

47
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
evaluadores. ( )
III-La firma del postulante en el instrumento de
evaluación es requisito para la apelación a
que hubiere lugar. ( )
IV.Antes de comunicar los resultados
intermedios y el resultado final de la
evaluación, el equipo evaluador debe realizar
una verificación de todo lo actuado. ( )

4°Para evaluar utilice la siguiente escala.


0 El ítem no pertenece a la dimensión de estudio
1 El ítem probablemente no pertenece a la dimensión de estudio
2 El ítem probablemente si pertenece a la dimensión de estudio
3El ítem si pertenece a la dimensión de estudio.

5° Anota su consideración en la columna de la escala de la tabla de criterios,


indicadores y reactivos.

6° Completa la tabla resumen

Tabla de resumen criterio A

Total (S)
Experto Experto Experto Experto Experto Experto sumatoria de media
Ítem ESCALA
1 2 3 4 5 6 acuerdos T/6
1 0 2 3 1 2 3 11 1,8 débil
validez
2 3 3 1 2 2 3 14 2.3 validez
aceptable
3
4
5
6
7
total

7° Procedemos a observar la media de cada ítem, y en caso de ser menor 1,5 el


ítem se elimina.

Con los ítems restantes se obtiene una media general de cada criterio que lo
compone y el resultado se interpreta con la siguiente escala:

Intervalos Escalas
1,6 a 2 Débil validez
2,1 a 2,5 Validez aceptable
2,6 en adelante Validez fuerte

8° Se consolidan los resultados de validez de contenido en una tabla de validez y


se

48
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Tabla de validez de contenido de ítems

ITEM Media Escalas


1
2
3
4
5
6
7

Los instrumentos de evaluación deben ser válidos y confiables: Son válidos cuando el
instrumento se refiere realmente a la variable que pretende medir. Son confiables en
la medida que la aplicación repetida del instrumento al mismo sujeto, bajo situaciones
similares, produce iguales resultados (HERNÁNDEZ, 1997).

También para comprobar la validez de contenido a través del juicio de expertos.


Sobre la respuesta de los expertos se aplica el coeficiente “V” de Aiken.9
9.-Procedimiento para obtener el coeficiente “v” de Aiken para evaluar la validez de
contenido a través del juicio de expertos. Se obtiene la validez del contenido de
cada ítem a través del coeficiente “V” de Aiken, para lo cual se usa la siguiente
fórmula: V = S/ (n(c-1))

Donde:

S: sumatoria de las respuestas o acuerdos de los expertos por cada ítem


n: número de expertos
N: Número de ítem
c: número de valores en la escala de valoración ( 2 si se trata de acuerdo y
desacuerdo) ( 4 si se trata de escala: 0,1,2,3)
Tabla de resumen criterio A

Ítem Experto Experto Experto Experto Experto Experto Total (S) V ESCALA
1 2 3 4 5 6
sumatoria de Aiken:
acuerdos s/ (n (c-1))
1 0 2 3 1 2 3 11 11/6(3) = 0,6 débil validez
2 3 3 1 2 2 3 14 14/6(3) = 0.77 débil validez
aprox 0,8
3 3 3 3 3 3 3 18 18/6(3) = 1 validez fuerte
4 3 2 3 3 3 3 17 17/6(3)= 0,94 validez fuerte
5 3 3 1 2 2 3 14 0,8 Validez débil
6 3 3 1 3 3 3 16 0,88 validez
aceptable
7 3 3 3 3 3 3 18 1 validez fuerte
N=7 Validez
5,99/ 7 = 0,85 aceptable

9
Adaptado de Separata: Programa de maestría en educación. PAME- Callao .(2009)
49
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Para que el ítem sea aceptado o válido debe alcanzar un coeficiente “V” igual
o superior a 0.81.

Cuando alcanza un valor menor debería analizarse su redacción, las


recomendaciones y observaciones de los jueces y tener en cuenta: que la idea
principal del ítem debe estar en el enunciado, evitar los conocimientos
excesivamente triviales o excesivamente rebuscados, evitar cuestiones sobre
opiniones, no encadenar unos ítems con otros, minimizar el tiempo de lectura, evitar
el uso de negaciones.

A continuación veremos la validez interna expresada en las puntuaciones de una


prueba. Las puntuaciones son válidas en la medida en que sirven a los fines para los
cuales se elaboraron y dependerá del cuidado con el que hemos llevado a cabo cada
proceso desde la elaboración del instrumento hasta su aplicación.

BIBLIOGRAFÍA

ABAD, Francisco; GARRIDO, Jesús, otros (2006)”Introducción a la psicometría: Teoría Clásica


de los Test y Teoría de la Respuesta al Ítem”. Universidad autónoma de Madrid.

BARRAZA, Arturo (2007) “ La consulta a expertos como estrategia para la recolección de


evidencias de validez basadas en el contenido”. Universidad Pedagógica de Durango. INED.

CENTRO PARA EL DESARROLLO DEL POTENCIAL COGNITIVO. “La Modificalidad


Cognitiva Estructural y el Programa de Enriquecimiento Instrumental, PEI-Nivel I, Módulo 1,
Lima 2005.

DAMIAN, Luis. (2007). “Evaluación de capacidades y valores en la sociedad del conocimiento”.


Edit. Norma
ESQUIVEL, José y VENEGAS, Valia. (2008).”Instrumentos de medición”.Gutemberg.
GARCÍA Fraile, TOBON Sergio (coords.) 2008 Gestión del currículo por competencias. F.M.
servicios gráficos S.A. Lima Perú
HERNANDEZ, Roberto y otros ”Metodología de la investigación”(1999).McGRAW-HILL.

HUAMÁN BERRÍOS Julio Enrique. Evaluación por competencias

MARTINIANO ROMÁN PÉREZ, “Sociedad del conocimiento y la refundación de la escuela


desde el aula, Ediciones Libro Amigo, Imprenta Sánchez, SRL, 2004.

MEJIA, Elías. (2005). “Técnicas e instrumentos de investigación” .UNMSM.

MORALES, Pedro. ( 2007) “ La fiabilidad de los test y escalas”. Universidad Pontificia Comillas,
Madrid.

MORALES, Pedro. ( 2011) “ Guía para construir cuestionarios y escalas de actitudes ”.


Universidad Rafael Landivar, Madrid.

ASAMBLEA NACIONAL DE RECTORES 2008 Evaluación de los aprendizajes

SALINAS Dino. 2002. ¡Mañana examen! La evaluación entre la teoría y la realidad. Barcelona
GRAO.

SOSA ESPINOZA, Myriam Janett. Evaluación del aprendizaje. 2009 ICE. USMP. Lima, Perú.
Evaluación de competencias en la educación universitaria. 2011 UCA. UNALM.
50
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
VELA DAMONTE, Jorge. Guía Metodológica de Programación Curricular Modular para la
Educación Superior Tecnológica

Revista del Instituto de Investigación de la Facultad de Ciencias Contables. Vol. 17, N.°
34│Julio - Diciembre 2010│UNMSM│Lima, Perú

ANEXOS

ANEXO1. Taxonomía de L D´Hainaut)10

CAPACIDADES CARACTERÍSTICAS
reproducción memoria, discriminación y generalización
conceptualización define, describe, define características,
caracteriza una situación

aplicación El evaluado utiliza la información asimilada a


una situación diferente, realiza operaciones,
aplica estrategias, utiliza instrumentos, expresa
mediciones, transforma, relaciona, grafica)
exploración investigar, indagar, experimentar, simular,
proyectar, planificar

movilización Convergente crear, inventar, diseñar, elaborar,


integra resultados.

solución de problemas Criticar, sustentar, determinar, categorizar,


resolver

10
Ver CASAS, Luis. “Evaluación de capacidades y valores en la sociedad del conocimiento”. 2007.
Editorial Norma (fundamentos de la Taxonomía D’ HAINAUT como herramienta útil para evaluación de
capacidades. Pág. 63-71)
51
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
ANEXO 2 CUADRO DE CAPACIDADES Y PROCESOS COGNITIVOS

CAPACID.ESPEC.
PROCESOS COGNITIVOS
CAPACIDAD Q´ TIENEN
DEFINICIÓN FORMA DE EVIDENCIA
ESPECÍFICA PROCESOS COGNITIVOS / PROCESOS
CARACTERÍSTICA DEL PROCESO SIMILARES
MOTORES
Capacidad para ubicar Proceso mediante el cual se lleva la
Recepción de información.
en el tiempo, en el información a las estructuras mentales. El estudiante
espacio o en algún Proceso mediante el cual se encuentra identifica cuando
Caracterización
medio físico características y referencias señala algo, hace
IDENTIFICAR elementos, partes, RECONOCER marcas, subraya,
Proceso mediante el cual se contrasta las
características, resalta expresiones,
Reconocimiento y características reales del objeto de
personajes, hace listas, registra
expresión. reconocimiento con las características
indicaciones u otros lo que observa, etc.
existentes en las estructuras mentales.
aspectos.
Proceso mediante el cual se lleva la El estudiante
Recepción de información
información a las estructuras mentales. discrimina cuando
Capacidad para
Identificación y Proceso mediante el cual se identifica elabora cuadros de
encontrar las
contrastación de características de cada elemento y se doble entrada,
diferencias esenciales
DISCRIMINAR características compara con las características de otros   explica diferencias,
entre dos o más
elige algo
elementos, procesos o
Manifestación de las Proceso mediante el cual se manifiesta las sustancial de un
fenómenos.
diferencias diferencias entre uno y otro elemento conjunto de
elementos.
Proceso mediante el cual se lleva la
Recepción de información
información a las estructuras mentales.
Identificación de las El estudiante
Proceso mediante el cual se identifica o compara cuando
características
Capacidad para señala referentes de cada elemento encuentra
cotejar dos o más
individuales elementos comunes
elementos, objetos, Proceso mediante el cual se contrasta las o aspectos distintos
COMPARAR procesos o fenómenos características de dos o más elementos   entre los
con la finalidad de fenómenos que
encontrar semejanzas contrastación de observa, hace
o diferencias. características de dos o cuadros
mas objetos de estudio comparativos,
paralelos

52
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Proceso mediante el cual se busca
Búsqueda y recepción de
información en contextos o fuentes
información El estudiante
diversas.
Proceso mediante el cual se establecen selecciona cuando
Determinación de criterios separa objetos,
Capacidad que permite criterios o especificaciones que servirán de
o especificaciones características,
escoger los elementos referente para la selección.
cuando registra
SELECCIONA de un todo, de acuerdo Identificación y
Proceso mediante el cual se identifica   información de su
R con determinados contrastación de criterios
características de elementos y se contrasta interés, cuando
criterios y con un o especificaciones con
con los criterios o especificaciones. hace elecciones,
propósito definido. prototipos
etc.
Elección del modelo Proceso mediante el cual se elige el
elemento.

Proceso mediante el cual se lleva la


Recepción de información El estudiante
información a las estructuras mentales.
organiza cuando
Capacidad que permite Identificación de los Proceso mediante el cual se ubica los
diagrama, elabora
disponer en forma elementos que se elementos y el contexto que se desea
mapas
ordenada elementos, organizará organizar
conceptuales, redes
ORGANIZAR objetos, procesos o Determinación de criterios Proceso mediante el cual se establecen  
semánticas,
fenómenos, teniendo de organización criterios de organización. esquemas, cuadros
en cuenta Disposición de los
Proceso mediante el cual se realiza la sinópticos, coloca
determinados criterios. elementos considerando
acción, o disposición de los elementos de cada cosa en su
los criterios y orden lugar.
acuerdo con los criterios establecidos.
establecidos
Proceso mediante el cual se lleva la
Recepción de información
información a las estructuras mentales.
Proceso mediante el cual se observa El estudiante analiza
Capacidad que permite Observación selectiva selectivamente la información identificando cuando identifica los
dividir el todo en partes lo principal, secundario complementario, hechos principales de
con la finalidad de un acontecimiento
Procedimiento mediante el cual se divide la
histórico, establece
ANALIZAR. estudiar, explicar o División del todo en partes información en partes, agrupando ideas o relaciones entre ellos,
justificar algo elementos determina sus causas
estableciendo y consecuencias y las
relaciones entre ellas. Procedimiento mediante el cual se explica o explica en función del
Interrelación de las partes
justifica algo estableciendo relaciones entre las todo.
para explicar o justificar
partes o elementos del todo
 

53
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Proceso mediante el cual se lleva la El estudiante infiere
Recepción de información
información a las estructuras mentales. cuando hace
Proceso mediante el cual se identifica deducciones,
Identificación de premisas información que se utilizará como base otorga significado a
para la inferencia las expresiones a
Contrastación de las Proceso mediante el cual se contrastan las partir del contexto,
Capacidad para premisas con el contexto. premisas o supuestos con el contexto determina el
obtener información mensaje de
INFERIR. nueva a partir de los DEDUCIR eslóganes, otorga
datos explícitos o de significado a los
otras evidencias. recursos no
Proceso mediante el cual se obtienen verbales y al
Formulación de
deducciones a partir de las premisas o comportamiento de
deducciones
supuestos. las personas,
determina causas o
posibles
consecuencias.
Recepción de información Proceso mediante el cual se lleva la
Capacidad para información a las estructuras mentales.
cuestionar el estado de El estudiante
un fenómeno, la Formulación de criterios Proceso mediante el cual se establecen enjuicia cuando
producción de un criterios que permitan emitir un juicio emite una
acontecimiento, el apreciación
pensamiento de los Contrastación de los Proceso mediante el cual se compara los personal, hace
JUZGAR ENJUICIAR
demás, las formas de criterios con el referente criterios establecidos con el referente, con comentarios, platea
organización, tratando la finalidad de encontrar las virtudes y argumentos a favor
de encontrar sus deficiencias. o en contra,
virtudes y deficiencias expresa puntos de
y asumiendo una Emisión de la opinión o Proceso mediante el cual se emite y vista.
posición al respecto. juicio. asume una posición

APLICAR Recepción de la Proceso mediante el cual se lleva la El estudiante aplica


EMPLEAR.
información. información a las estructuras mentales. cuando emplea,
Capacidad que permite
Identificación del proceso, Proceso mediante el cual se identifica y se administra o pone
la puesta en práctica de
principio o concepto que comprende el proceso, principio o concepto   en práctica un
principios o
se aplicará que se pretende aplicar conocimiento, un
conocimientos en
Secuenciación de Proceso mediante el cual se establecen principio, una
actividades concretas
procesos y elección de secuencias, un orden y estrategias para los UTILIZAR. fórmula o un
estrategias procedimientos que realizará proceso con el fin de

54
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Proceso mediante el cual se pone en
Ejecución de los procesos
practica los procesos y estrategias  
y estrategias. obtener un
establecidos
determinado efecto,
un resultado o un
Recepción de la Proceso mediante el cual se lleva la
El estudiante
información. información a las estructuras mentales.
formula cuando
Proceso mediante el cual se identifican los
expresa mediante
Capacidad que permite Identificación de elementos que se deben relacionar para
signos matemáticos,
establecer relaciones elementos obtener resultados o generar nuevas
las relaciones entre
entre elementos para construcciones
FORMULAR PLANTEAR diferentes
presentar resultados, Interrelación de los Proceso mediante el cual se establecen
magnitudes que
nuevas construcciones elementos relaciones entre los elementos.
permitirán obtener
o solucionar problemas Proceso mediante el cual se pone en un resultado;
Presentación de las práctica las relaciones entre elementos cuando plantea un
interrelaciones obteniéndose los resultados o la nuevas proyecto, etc.
construcciones
DIAGRAMA
Observación del objeto o Proceso mediante el cual se observa con
R
situación que se atención el objeto o situación que se
ESQUEMAT
representará representará
IZAR
El estudiante
Proceso mediante el cual se toma
Capacidad que permite Descripción de la forma / representa cuando
conciencia de la forma y de los elementos
representar objetos situación y ubicación de DISEÑAR dibuja un objeto,
REPRESENTA que conforman el objeto o situación que se
mediante dibujos, sus elementos actúa en una obra
R representará
esquemas, diagramas, teatral, elabora un
Generación de un orden y Proceso mediante el cual se establece un
etc plano, croquis, plano
secuenciación de la orden y secuencia para realizar la GRAFICAR
o diagrama
representación representación
Representación de la
Proceso mediante el cual se representa la
forma o situación externa DIBUJAR
forma o situación externa e interna
e interna
Proceso mediante el cual se lleva o El estudiante
Recepción de la
recupera la información de las estructuras argumenta cuando
información
mentales. sustenta con
Capacidad que permite Observación selectiva de Proceso mediante el cual se identifican la fundamentos
ARGUMENTAR sustentar o sostener la información que información que se utilizarán para   determinados temas
puntos de vista permitirá fundamentar fundamentar los argumentos. o puntos de vista en
una exposición,
Presentación de los Proceso mediante el cual se presenta los
discusión, alegato,
argumentos argumentos en forma escrita u oral.
etc.

55
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Proceso mediante el cual se recepciona
Recepción de la
información sobre el qué se va a realizar y el OPERAR
información del qué hacer,
cómo se va a realizar. En algunos casos se El estudiante realiza
por qué hacer y cómo
requiere incorporar imágenes visuales del ELABORAR cuando lleva a cabo
hacer (imágenes )
cómo se va a realizar un procedimiento
Capacidad que permite Identificación y secuenciación de
Proceso mediante el cual se identifica y secuencia los para la producción
REALIZAR ejecutar un proceso, los procedimientos que involucra  
procedimientos que se pretenden realizar de un bien, un
tarea u operación la realización
movimiento físico,
Proceso mediante el cual se pone en práctica los
procedimientos de la realización . En una primera
un paso de una
Ejecución de los procedimientos danza, etc.
instancia controlados por el pensamiento y en una EJECUTAR
controlados por el pensamiento
segunda instancia es la puesta en práctica de los
procedimientos de manera automática

56
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
ANEXO 3

ASPECTOS A CONSIDERAR EN LA ELABORACIÓN DE ITEMS

¿Qué es un ítem
Un ítem es una pregunta, que en conjunto con otras dan forma a una prueba, pueden ser de
distintos tipos y clases de acuerdo con lo que se pretende medir.

La prueba escrita está conformada por dos tipos de ítems: los objetivos y los de desarrollo.

Ítems objetivos Ítems de desarrollo

Selección única • Respuesta restringida


• Respuesta corta • Resolución de ejercicios
• Correspondencia o apareamiento • Resolución de problemas
• Identificación
• Resolución de casos
• Ensayo

ITEMS OBJETIVOS
Los ítems objetivos son aquellos que el evaluado soluciona marcando una respuesta a
elegir entre varias opciones dadas, o bien completando una respuesta. En ambos casos
todas las respuestas aceptables han sido previstas y especificadas en una clave de
respuestas o una plantilla de corrección. El término objetivo se refiere al procedimiento
empleado para la asignación de la puntuación y no a las características de la respuesta.
Entre los tipos de ítems objetivos están: selección única, respuesta corta,
correspondencia o apareamiento e identificación.

1. Selección única
Consta de un enunciado, base o pie que hace referencia a una situación y varias opciones
de respuesta, entre las cuales solo hay una que es correcta, las demás funcionan como
distractores.

Ejemplo:

Una habilidad social del evaluador de competencias ENUNCIADO


es la comunicación asertiva que consiste en: BASE O PIE

A. Expresar lo que piensa, cree y siente en forma positiva. OPCIONES DE RESPUESTA

B. Demostrar afecto, confianza y perseverancia al postulante. A= RESPUESTA CORECTA

C. Justificar sus errores y equivocaciones ante los demás B, C, D= DISTRACTORES

57
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
D.Analizar sus fortalezas y debilidades para relacionarse.

REGLAS GENERALES
 Verificar que el ítem corresponda con los propósitos de la evaluación, la estructura
de la prueba y con las dimensiones disciplinares Todas las preguntas de una
prueba deben ser independientes entre sí.
 La información de un ítem no debe servir de pauta para contestar otra, ni la
respuesta a un ítem debe depender de haber encontrado primero la de otra
anterior.
 Evitar los ítems que pueden contestarse por sentido común y aquellos cuya
respuesta dependa únicamente de recordar un término, un símbolo, un dato o la
fecha en que ocurrió un evento.
 Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un
lenguaje directo, sencillo y comprensible.
 Los ítems no deben tener juicios de valores explícitos o implícitos.

REGLAS SOBRE LOS ENUNCIADOS


 Los enunciados deben ser afirmativos, en caso de ser necesaria la negación, se
debe resaltar para llamar la atención hacia la formulación negativa. La doble
negación afecta la comprensión (“No es cierto que no procedan los recursos”).
 Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la
lectura, disminuyen el tiempo de respuesta y fatigan.
 Garantizar la coherencia interna del enunciado y de este con las opciones de
respuesta.

REGLAS SOBRE LAS OPCIONES


 Las opciones de respuesta deben pertenecer al mismo campo semántico.
 Las opciones de un ítem no deben dar indicaciones sobre la clave por ofrecer un
cierto contraste evidente de:
o longitud precisión / imprecisión
o uso común / técnico
o generalización/particularización
 No se deben repetir expresiones en las opciones de respuesta, si éstas se pueden
incluir en el enunciado del ítem. Repetir la misma palabra del enunciado en
cualquiera de las opciones lleva a que sea elegida como respuesta, sin serlo
necesariamente.
 Debe evitarse en las opciones las expresiones “todas o ninguna de las anteriores”,
en su lugar es necesario construir alternativas de respuesta plausibles para las
personas que no tengan el dominio conceptual que exige el ítem.
 Realizar una revisión gramatical y ortográfica de cada uno de los Ítems.

PARTES DE UN ÍTEM DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA


Las partes básicas de un ítem de selección múltiple son el contexto, el enunciado y las
opciones de respuesta, como se muestra en el gráfico.

58
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
• CONTEXTO
Es la información que sitúa conceptualmente al evaluado. Provee elementos necesarios y
suficientes para focalizar la tarea de evaluación. En un sentido amplio, el contexto abarca
todo el saber previo del evaluado sobre el objeto de evaluación; no obstante, en el
proceso de elaboración de un ítem, es usual que el evaluador encuentre pertinente y
necesario presentar un texto u otro tipo de información que contribuya a precisar las
condiciones del problema, las variables que es prudente considerar, o para ubicar en el
tiempo y en el espacio la problemática, etc.
• ENUNCIADO
Es el planteamiento, propiamente dicho, de la problemática que se espera sea resuelta
por el evaluado. En el enunciado se hace explícita la tarea de evaluación y, por tanto,
dirige el esfuerzo del evaluado para generar o seleccionar una respuesta, por lo cual es
fundamental que esté escrito en lenguaje claro y preciso.
Tradicionalmente los enunciados de ítems de selección múltiple se plantean en forma de
pregunta, o como una proposición. En el primer caso, las opciones se redactan como
respuestas a la pregunta; en el segundo caso, el enunciado constituye la primera parte de
una proposición y cada una de las opciones debe completar coherentemente el
enunciado.
La utilización de una u otra forma de plantear el enunciado es decisión del evaluador y
generalmente tiene que ver con la facilidad para redactar, tanto el enunciado como las
opciones.
• OPCIONES DE RESPUESTA
Las opciones son posibles respuestas a la problemática planteada en el enunciado. En el
formato de selección múltiple con única respuesta, como su nombre lo indica, sólo una de
estas opciones es verdaderamente pertinente y completa para solucionar el problema –
tarea de evaluación-; las demás opciones, aunque pueden ser vistas como respuestas
plausibles por los evaluados que no dominan la tarea de evaluación, no responden en
forma completa o pertinente a la problemática formulada.

REGLAS PARA LA ELABORACIÓN DE ÍTEMS DE SELECCIÓN MÚLTIPLE CON


ÚNICA RESPUESTA
ASPECTOS GENERALES
• No es recomendable trabajar contrarreloj cuando se busca tener un instrumento de
calidad. Haga una programación juiciosa de todas las fases del diseño del instrumento
y, particularmente, de la fase de elaboración de ítems contemplando tiempos de
revisión, ajustes y edición.
• Conforme el equipo de trabajo con base en las competencias de cada miembro y en su
saber sobre el objeto de evaluación; el dominio en la disciplina o campo que se evaluará
debe combinarse con el conocimiento en medición y evaluación. En lo posible, cuente
con el apoyo de alguien con experiencia en el tema.
• Planee sesiones de inducción para quienes vayan a elaborar ítems y asegúrese de que
comprenden el propósito del instrumento y los demás planteamientos básicos del marco
de fundamentación y de las especificaciones de prueba. Si se trata de personas sin
experiencia, deben ser entrenados además en las técnicas de elaboración de ítems.

59
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
• Un buen ítem, por lo general, ha experimentado toda una metamorfosis desde su versión
original. Durante la fase de elaboración de los ítems, realice sesiones de socialización o
análisis conjunto de los ítems elaborados por cada miembro del equipo, con el fin de
que cada uno tenga oportunidad de hacer aportes a la cualificación de todos los ítems
(tanto en lo que refiere a la forma como al contenido).
• Evite usar eufemismos y prefiera un lenguaje directo, sin sacrificar el nivel técnico y
académico del proceso. La claridad y concreción en el lenguaje debe ser una
consideración permanente; utilice dibujos, gráficos o tablas sólo si estos en realidad
aportan a la comprensión de la tarea de evaluación; tenga en cuenta el tiempo que el
evaluado debe emplear para leer instrucciones, contextos, enunciados y opciones, y el
tiempo total del cual dispone para responder.
• Asegúrese de que en ninguna parte del instrumento (portada, textos, instrucciones,
ítems, etc.) haya errores de ortografía, de gramática o de puntuación, que no se incluya
incorrectamente abreviaciones, citas, nombres, cifras, fechas, etc.

REGLAS SOBRE EL CONTENIDO DE LOS ÍTEMS


• Evite elaborar ítems que confunden al evaluado. Diferentes estudios han establecido
cuáles son algunas de las situaciones que llevan a percibir los ítems como confusos;
entre éstas están:
a) Contenido trivial
b) Presencia de información irrelevante
c) Presentación ambigua de las opciones de respuesta
d) Discriminación muy fina –difícil de percibir entre las opciones de respuesta
e) Presentación de información en modo distinto a como ha sido aprendida por la
población evaluada, dentro de su proceso educativo.
• Cada ítem debe corresponder a una tarea de evaluación definida en la estructura de
prueba.
• Evite evaluar el mismo aspecto específico con varios ítems. Aproveche cada ítem para
hacer cada vez más completa la evaluación.
• Plantee una sola problemática en cada ítem.
• Evite ítems que incluyan posiciones ideológicas o prejuicios; tenga en cuenta que las
proposiciones prejuiciosas pueden resultar en una ofensa para cualquiera de los
evaluados. Se exceptúa esta recomendación si justamente dichas posiciones son el
objeto de evaluación; entonces será obligatorio incluirlas.
• El vocabulario utilizado debe ser adecuado para la población objetivo.
• Cada ítem debe ser independiente y no proveer información para responder a otros.
• No utilice ítems que aparezcan en libros, revistas u otros documentos, como base para
sus ítems. Elabore ítems originales.
• Evite ítems en los cuales se indague la opinión (parecer no argumentado) del evaluado
(a menos que el instrumento justamente pretenda servir para un sondeo de opinión).
• Evite plantear ítems cuya respuesta válida se determine según la opinión de quien la
elabora.
• Balancee la complejidad de los ítems para que el instrumento cubra los niveles de
habilidad de la población objetivo, es decir, la prueba debe incluir ítems de dificultad
alta, media y baja.

REGLAS SOBRE CONSTRUCCIÓN DEL ENUNCIADO

60
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
• Si plantea el enunciado en forma de proposición incompleta asegúrese de usar
conjugaciones verbales, género y número adecuados para las opciones de respuesta
que planteará. Si lo escribe en forma de pregunta asegúrese de usar adecuadamente
signos de interrogación y la estructura gramatical de una pregunta.
• Presente en el enunciado la tarea de evaluación.
• Escriba con claridad.
• Evite texto excesivo.
• Redacte el enunciado en forma positiva; es decir, evite negaciones.

REGLAS SOBRE CONSTRUCCIÓN DE OPCIONES DE RESPUESTA


• Asegure la concordancia gramatical entre la proposición del enunciado y cada opción.
• Organice las opciones en un orden lógico (alfabético, longitud, etc.) o numérico.
• Mantenga la independencia entre las opciones. Éstas no deben solaparse o
intersectarse y no deben ser sinónimas.
• Refiérase en todas las opciones al problema planteado en el enunciado. Evite opciones
fácilmente descartables.
• Elabore opciones de respuesta de longitud similar.
• Evite colocar como opción:
- Todos los anteriores
- Ninguno de los anteriores
- A y B son correctas (o cualquier combinación de opciones)
- No sé
• Redacte las opciones en forma positiva, es decir, evite negaciones. Si debe colocar una
negación, resáltela (use negrilla o mayúsculas sostenidas).
• No repita en las opciones frases contenidas en el enunciado.
• Elabore ítems con 4 opciones de respuesta. Elaborar opciones plausibles es
dispendioso; seguramente ganará calidad en las que redacte si no son demasiadas.
Hay referencia de distintos estudios que analizaron la cantidad de opciones útiles para
los propósitos de evaluación12 13 ; si bien no existe consenso alrededor de un único
número de opciones, se encuentra a menudo conveniente, en cuanto a facilidad de
redacción y capacidad de discriminación, trabajar con 4 opciones; para poblaciones de
infantes puede ser conveniente usar 3 opciones.
• Evite en las opciones el uso de adverbios como: “Siempre” “Nunca” “Totalmente”
“Absolutamente” “Completamente”
• La posición de la opción válida debe balancearse entre todos los ítems del instrumento.
Es recomendable que aparezca proporcionalmente en cada posición posible.
• Evite que la opción válida pueda ser identificada fácilmente por contraste con las demás
opciones, por alguna de las siguientes situaciones:
- tener la mayor longitud
- ser la proposición de mayor precisión o imprecisión
- estar redactada en un tipo lenguaje diferente (técnico o común)
- tener el mayor nivel de generalización o de particularidad
- tener las mismas palabras que el enunciado
- referirse a una problemática o tema diferente
• Justifique adecuadamente cada una de las opciones para garantizar que sólo hay una
válida y que las demás son plausibles para quienes no dominan completamente la tarea
de evaluación

61
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
PERFIL DEL ITEM

Cada ítem debe analizarse particularmente a los efectos de determinar sus características
y facilitar su ubicación en una base de datos.
Una posibilidad es realizar el siguiente cuadro (perfil del ítem) adaptado del Programa
de Evaluación de Aprendizajes de ANEP, año 2002.

FICHA DE ÍTEM

INSTITUCIÓN: COLEGIO …………… DEL PERU

1. NORMA DE COMPETENCIA

2. ELEMENTOS DE COMPETENCIA

3. NIVEL DE
CONOCIMIENTO Reproductivo Comprensión Aplicación

4. TIPO DE CONTENIDO  Hechos y datos Conceptos y categorías

 
Procedimientos y reglas   Principios y teorías  

5. ITEM:
5.1. Enunciado del ítem:

5.2. Alternativas de respuesta

a.
b.
c.
d.

5.3 Respuesta

8.4 Fundamentos de la solución

8.5 Referencia Bibliográfica

62
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
 Título
Apellidos y Nombres del
Autor
Páginas de referencia

9. RESPONSABLE DE LA ELABORACIÓN DEL ÍTEM


Apellidos y Nombres
 Teléfono  
Correo electrónico

10. COORDINADOR –
ASESOR
Apellidos y Nombres
 Teléfono
Correo electrónico

63
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
i
Firma

ANEXO 4

VALIDEZ DE CONTENIDO POR JUICIO DE EXPERTOS APLICANDO LA V DE AIKEN

NOMBRE DEL EVALUADOR:……………………………………………………………

La lista de chequeo tiene el objetivo central de recoger evidencias de desempeño: “Diagnosticar el


estado funcional del movimiento corporal de la persona según protocolo establecido” y “Ejecutar la
intervención fisioterapéutica en la persona según protocolo establecido”

Le pedimos su colaboración para establecer la validez de contenido, en caso de aceptar le


sugerimos seguir las siguientes instrucciones:

1° Lea cuidadosamente la especificación de cada una de las secciones de la lista de chequeo.

2° A continuación indique que tan bien considera usted que el ítem o reactivo sea parte del,
indicador, del criterio de desempeño y de la unidad de competencia que se aborda.(analice la
matriz ).

3° Juzgue cada ítem o reactivo de manera individual comparando el contenido del ítem con el
contenido de la dimensión de estudio.

4°Anote los valores correspondientes según su evaluación:

0 El ítem no pertenece a la dimensión de estudio.

1 El ítem si pertenece a la dimensión de estudio.

5° Redacte sus observaciones en relación a la claridad en la redacción, si es apropiado,


comprensible por todos y si ayuda a medir.
EJEMPLO: TECNÓLOGO MÉDICO TERAPIA FISICA

LISTA DE CHEQUEO DEL DESEMPEÑO


I. INFORMACIÓN GENERAL PARA EL PROCESO DE EVALUACIÓN

AÑO:
FECHA DE INSCRIPCIÓN DÍA: MES:

ENTIDAD CERTIFICADORA
NOMBRES Y APELLIDOS DE
EVALUADOR (A):
LUGAR DE EVALUACIÓN

FECHA DE EVALUACIÓN

DATOS DEL EVALUADO (A)


DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES

TIPO DE INSTRUMENTO DE LISTA DE CHEQUEO DE


CÓDIGO DEL INSTRUMENTO DE EVALUACIÓN:
EVALUACIÓN DESEMPEÑO
NCP-003-TME-TF

DATOS DE LA NORMA DE COMPETENCIA A EVALUAR

CÓDIGO VERSIÓN NOMBRE

3 0 Intervenir en el estado funcional del movimiento corporal de la persona según


norma vigente.
ELEMENTOS DE 3.1 Diagnosticar el estado funcional del movimiento corporal de la persona según
COMPETENCIA protocolo establecido
3.2 Ejecutar la intervención fisioterapéutica en la persona según protocolo establecido.

II. INTRODUCCIÓN

Este documento presenta el instrumento de evaluación del desempeño correspondiente el elemento de competencia
3.1. “Diagnosticar el estado funcional del movimiento corporal de la persona según protocolo establecido”.
Perteneciente a la Norma de Competencia 3, que el evaluador(a) debe demostrar para ser considerado(a) competente
en la norma correspondiente.
El presente instrumento de evaluación está diseñado para evaluar la competencia profesional de las personas que se
desempeñan como TERAPISTA FISICO y contiene las instrucciones que debe seguir para su aplicación.
Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la emisión
del juicio de competencia.
El instrumento contiene trece (13) reactivos.
III. INSTRUCCIONES DE APLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN
Usted encontrará la tabla de aplicación o cuerpo del instrumento que contiene los reactivos a aplicar, su numeración o
código, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de observaciones que como evaluador
considere conveniente realizar.
Marque SI, cuando el candidato cumpla con el desempeño o muestre las evidencias correspondientes y NO cuando no
cumpla con los aspectos señalados.
IV. TABLA DE APLICACIÓN O CUERPO DEL INSTRUMENTO DE EVALUACIÓN

REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIO Anote sólo un


NES valor: 0,1
1. Saluda cordialmente a la persona y se presenta.
2. Pregunta a la persona el motivo de consulta.
3. Explica a la persona sobre procedimiento de evaluación
4. Usa uniforme institucional
5. Verifica y organiza ambiente de trabajo.
6. Se lava las manos al inicio y al final de la evaluación.
7. Aplica las normas de bioseguridad según condición de salud
8. Entrevista al usuario sobre aspectos relevantes de su
condición
9. Demuestra habilidad en la aplicación del instrumento.
10. Resuelve las contingencias durante la intervención de
acuerdo a protocolo
11. Anota los grados obtenidos durante la evaluación en formato
correspondiente
12. Resguarda a la persona
13. Comunica contingencia a la estancia correspondiente

V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN

Todas las respuestas afirmativas indican la competencia.


VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO

Si todos los reactivos son afirmativos el resultado es que cumple lo solicitado por la norma de competencia y si hay
algún reactivo con respuesta negativa el resultado es que No Cumple. No puede haber ítem sin marcar.
VII. RESULTADO DE LA EVALUACIÒN

CUMPLE NO CUMPLE

VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA


(Anotar el número del reactivo que requiere mejorar).
N° de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )

IX. FIRMAS CORRESPONDIENTES

……………………………..…………… ………………………………………….
FIRMA DEL EVALUADOR FIRMA DEL EVALUADO

TABLA DE RESULTADOS OBTENIDOS


Total “V” Aiken: Validez
Experto 1

Experto 2

Experto 3

Experto 4

Experto 5

Experto 6
ÍTEM

(S) S/ (n (c-1))

sumatoria de
1

2
Coeficiente “V” de Aiken
Donde:
S: sumatoria de las respuestas o acuerdos de los expertos por cada ítem
n: número de expertos
N: Número de ítem
c: número de valores en la escala de valoración ( 2 si se trata de acuerdo y desacuerdo) ( 4 si
se trata de escala: 0,1,2,3)

Observaciones y /o recomendaciones

………………………………………………………………………………………………

Conclusiones finales

………………………………………………………………………………………………

EJEMPLO: TECNÓLOGO MÉDICO DE TERAPIA FISICA

Elemento criterio conocimiento indicadores Anote


de sólo un
competen valor:
cia 0,1,2,3
1. a) Los derechos y dignidad de la 1. Respeto por los 1.-Respeta los
Diagnostic persona son respetados derechos y dignidad de derechos y dignidad
ar el la persona con la cual de la persona
estado interactúa en el
funcional desempeño de sus
del labores. Reglamento de
movimiento Ley 28456 Art. 14 –c
corporal de (a,b)
la persona 2.Precauciones
según universales y protección
protocolo corporal. Manual de
establecido Bioseguridad del
b) La persona es informada sobre MINSA (c) 2. Informa a la
procedimiento de diagnóstico según 3.Instrumentos de persona sobre
tipo de valoración del estado valoración funcional del procedimiento de
movimiento corporal diagnóstico según
funcional del movimiento corporal.
(d,e) tipo de valoración
4. Suscribir los del estado funcional
informes de las del movimiento
evaluaciones y corporal.
procedimientos
c) Las medidas de Bioseguridad son realizados en el marco 3. Cumple las
utilizadas según norma vigente de los actos que su medidas de
profesión lo faculta. Bioseguridad según
Reglamento de Ley norma vigente.
28456 Art. 12 – e (f).
d) El estado funcional del movimiento 5. Control de signos 4.-Evalúa el estado
corporal es evaluado con vitales, inmovilización y funcional del

También podría gustarte