¿Cómo se califican las pruebas de saberes?

Harvey Sánchez
Director ejecutivo
 ¿Todos los ítems son iguales?

En Ineval, todos los instrumentos de evaluación cuentan con un marco de referencia. En el caso de las
pruebas para evaluar los Saberes disciplinares de Ser maestro, el marco se sintetiza en las cédulas de
referencia de cada una de las especialidades.

Las estructuras de contenido de todas las pruebas han sido diseñadas por equipos de expertos
provenientes de diferentes instituciones y universidades nacionales e internacionales, basándose en los
perfiles profesionales establecidos por el Ministerio de Educación.

Asimismo, la estimación de la dificultad de todos los ítems de una prueba se realiza mediante un modelo
matemático basado en la Teoría de Respuesta al Ítem (IRT, por sus siglas en inglés).

No todos los ítems son iguales. Independientemente del contenido de cada ítem, hay planteamientos más
difíciles que otros, lo que se estima a través del modelo IRT.

Los ítems más difíciles son aquellos que demandan más habilidad del sustentante para responderlos
correctamente y presentan menor frecuencia de aciertos que los más fáciles. Durante el análisis de
calibración de los ítems, se puede determinar la dificultad de cada una de las evaluaciones para elegir los
puntos de corte definitivos.
 Relación con el número de respuestas correctas

Los instrumentos de Ineval se califican en función de las respuestas correctas que obtiene el sustentante
y no existe penalización alguna por ítems no contestados o con respuesta incorrecta.

Los sustentantes de una prueba responden correctamente a los ítems de acuerdo con su nivel de
conocimientos y habilidades en cierta especialidad. Entre más habilidad tiene un sustentante, es más
probable que responda correctamente a un ítem. Es muy poco probable que alguien con baja habilidad
responda correctamente a varios ítems difíciles.

De este modo, un sustentante hábil responderá correctamente la mayoría de los ítems fáciles y también
algún número de ítems difíciles, según su nivel de habilidad y conocimientos más específicos. Cada ítem
respondido correctamente siempre aporta al puntaje final, el cual tiene una correspondencia con un nivel
de desempeño.

A partir de las respuestas correctas a un determinado número de ítems, se estima la habilidad de los
sustentantes en una determinada prueba y se describen los aciertos mínimos para alcanzar cierto puntaje
relacionado con un nivel de desempeño.
 ¿Qué es el Índice Ineval?

El procedimiento descrito permite comparar distintos resultados en diferentes instrumentos de evaluación

con distinta dificultad, bajo una misma escala común. Esta escala es el Índice Ineval, una métrica que va
de los 0 a los 1.000 puntos, lo que equivale a los casos extremos de no haber obtenido ningún acierto o
haber respondido correctamente a todos los ítems.
El Índice Ineval tiene una correspondencia única con el número de aciertos en cada instrumento, de
acuerdo con los puntos de corte establecidos para cada especialidad. Estos puntos se basan en juicios
de expertos acerca del número de aciertos que se deben obtener para alcanzar determinado puntaje,
considerando la dificultad específica de cada evaluación.
El propósito central es identificar el nivel que han alcanzado los sustentantes evaluados y facilitar la
interpretación de lo que han demostrado saber hacer.
El índice, basado en el número de aciertos, es un refinamiento de la escala de porcentajes, que ayuda a
obtener puntajes más precisos basados en la habilidad del sustentante, considerando la dificultad de las
pruebas.
En general, un sustentante obtiene un mayor puntaje por este método de calificación que si se considerara
solo el porcentaje simple de ítems correctos.
 ¿Cómo se establecen los puntos de corte?

Para establecer los puntos de corte se ha utilizado el método Bookmark, sin duda el más usado para
estos fines a escala internacional. La ejecución se realizó a partir de los resultados de calibración de las
pruebas y los ítems empleados durante 2014 y 2015 en los instrumentos de los procesos Ser maestro
recategorización y Quiero ser maestro.

En la elaboración de los ítems participaron más de 400 docentes con alto nivel de desempeño previo. El
método consiste en seguir tres grandes pasos:

Paso 1
Los expertos analizan cada ítem
ordenado de menor a mayor dificultad
y ubican, para cada corte, el ítem que
corresponde al siguiente nivel de
desempeño.
Paso 2
Los expertos discuten en grupos los
Paso 3
puntos de corte asignados en el Paso 1. Se presentan los datos de resultados
Los expertos vuelven a establecer los con las decisiones sobre los puntos
puntos de corte por grupo hasta que de corte en el Paso 2.
exista acuerdo. Los expertos discuten nuevamente,
verifican cada punto y emiten el
dictamen final.
 ¿En qué consiste la metodología?

Algunas especialidades pueden requerir una mayor cantidad de aciertos que otras para alcanzar cierto
nivel de desempeño. Para realizar la comparación entre instrumentos diferentes, es necesario fijar los
puntos de corte con base en una misma pregunta:

Cuando se contesta correctamente un ítem

¿a qué nivel de desempeño corresponde?

Esta pregunta se hace para cada evaluación con todos sus ítems, ordenados de menor a mayor nivel de
dificultad. De esta manera, se encuentra el ítem que pertenece al siguiente nivel de desempeño. A este
ítem se le conoce como marcador.

Después de este procedimiento, se cuenta el número de ítems más fáciles que se han acumulado antes
del ítem marcador y a esta serie se le relaciona con el punto de corte correspondiente. Existen dos puntos
importantes para establecer este procedimiento:

1. Describir lo que es capaz de hacer alguien que ha alcanzado cierto nivel de desempeño.

2. Definir el nombre de una etiqueta que sintetice el nivel de desempeño.

 ¿Cuál es la finalidad de esta metodología?

La Teoría de Respuesta al Ítem o Teoría del Rasgo Latente, es un desarrollo reciente de la psicometría,
basado en un modelo matemático para medir el funcionamiento de algunas operaciones cognitivas. Con
su utilización se desea obtener tres cosas fundamentales para la evaluación:

•Objetividad. Se logra cuando se dispone de un instrumento de evaluación imparcialmente aplicado y

calificado.

•Validez. Entendida como el juicio, basado en evidencia, sobre qué tan confiables son las inferencias
realizadas o acciones implementadas a partir de los puntajes de una prueba en un determinado contexto
(Salvia & Ysseldyke, 2004; Cohen y Swerdlik, 2009).

•Confiabilidad. La consistencia con que el instrumento mide o el grado de error presente en la medida
(Cohen y Swerdlik, 2009). Este concepto, de naturaleza estadística, es indispensable para conocer la
precisión con la que se mide. Mientras menos error tenga más confiable es.
 ¿Cómo se aplica la metodología?

Nivel 1
Menos de 600

1 2 3 4 5 66 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1.000

950

Índice Ineval
¿A qué nivel de desempeño
corresponde cada ítem? Marcador 1
800
700
Ítem 7

ítem 6 600
Nivel 1 Ítem 5
Ítem 4
Ítem 3
Ítem 2
Ítem 1

Ítems más Ítems más

Ítems ordenados del más fácil al más difícil difíciles
fáciles
 ¿Cómo se aplica la metodología?

Nivel 1 Nivel 2
Menos de 600 600-699

1 2 3 4 5 66 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1.000

Marcador 2
950

Índice Ineval
800
Ítem 14

700
11 12 13
Nivel 2 Ítem 7 8 9 10

ítem 6 600
Nivel 1 Ítem 5
Ítem 4
Ítem 3
Ítem 2
Ítem 1

Ítems más Ítems más

Ítems ordenados del más fácil al más difícil difíciles
fáciles
 ¿Cómo se aplica la metodología?

Nivel 1 Nivel 2 Nivel 3

Menos de 600 600-699 700-799

1 2 3 4 5 66 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1.000
Marcador 3

950

Índice Ineval
Ítem 18

800
Nivel 3 Ítem 14 15 16 17

700
11 12 13
Nivel 2 Ítem 7 8 9 10

ítem 6 600
Nivel 1 Ítem 5
Ítem 4
Ítem 3
Ítem 2
Ítem 1

Ítems más Ítems más

Ítems ordenados del más fácil al más difícil difíciles
fáciles
 ¿Cómo se aplica la metodología?

Nivel 1 Nivel 2 Nivel 3 Nivel 4

Menos de 600 600-699 700-799 800-949
Marcador 4
1 2 3 4 5 66 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1.000
Ítem 21
950

Índice Ineval
Nivel 4 20
Ítem 18 19

800
Nivel 3 Ítem 14 15 16 17

700
11 12 13
Nivel 2 Ítem 7 8 9 10

ítem 6 600
Nivel 1 Ítem 5
Ítem 4
Ítem 3
Ítem 2
Ítem 1

Ítems más Ítems más

Ítems ordenados del más fácil al más difícil difíciles
fáciles
 ¿Cómo se aplica la metodología?

Nivel 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5

Menos de 600 600-699 700-799 800-949 950-1.000

1 2 3 4 5 66 7 8 9 10 11 12 13 14 15 16 17 18 19 20
ítem 22 1.000
Nivel 5
Ítem 21
950

Índice Ineval
Nivel 4 20
Ítem 18 19

800
Nivel 3 Ítem 14 15 16 17

700
11 12 13
Nivel 2 Ítem 7 8 9 10

ítem 6 600
Nivel 1 Ítem 5
Ítem 4 Número mínimo de
Ítem 3
aciertos para aprobar
Ítem 2
Ítem 1

Ítems más Ítems más

Ítems ordenados del más fácil al más difícil difíciles
fáciles
 ¿Por qué esta calificación es mejor?

Algunas versiones de prueba pueden ser más difíciles que otras, debido a que tienen una colección
diferente de ítems que varían en su dificultad.

Para que distintas pruebas puedan ser comparadas entre ellas con precisión, es necesario que se tome
en cuenta su dificultad.

El índice Ineval equipara el número de aciertos en pruebas basadas en ítems con diferente dificultad que
demandan diferentes puntos de corte.

No hay ningún sentido en comparar número de aciertos entre pruebas con diferente grado de dificultad sin
equiparar.
 ¿Por qué esta calificación es mejor?

Ejemplo: Suponga que se desea comparar dos pruebas,

A y B, con 20 ítems cada una y dos niveles de
desempeño: básico y avanzado. La prueba A posee 10
ítems fáciles y 10 difíciles. La B tiene 8 fáciles y 12 20
difíciles. Avanzado 1000
Prueba A
En ambos casos, responder solamente todos los ítems Básico 10
fáciles debería corresponder al mismo nivel de 0
desempeño y coincidir con el mismo puntaje en una
escala común. 800
20
Esto se logra llevando el número de aciertos en cada Avanzado
prueba al nivel de desempeño que le define e igualarlo Prueba B 8
al puntaje correspondiente. Básico
0
En el caso del ejemplo, la Prueba A demanda 10 ítems 0
correctos y la B solo 8 (recuerde que tiene más ítems
difíciles) para situarse en el mismo puntaje de 800.
 ¿Por qué esta calificación es mejor?

Comparación de puntajes
Es fácil verificar que el puntaje dado por el Índice
índice Ineval % Aciertos Ineval es siempre mayor al porcentaje de
respuestas correctas.
1000 100%
900 90% Para confirmarlo, basta elegir cualquier número
800 80% de aciertos posibles de los 120 ítems sobre la
recta horizontal y revisar tres sencillos pasos:
Índice Ineval

700 70%

Porcentaje de aciertos
600 60%
1. Revisar qué calificación le correspondería en la
500 50% línea roja (Porcentaje de aciertos).
400 40%
300 30% 2. Revisar qué calificación le correspondería en la
línea azul (Índice Ineval).
200 20%
100 10% 3. Comparar ambos puntajes.
0 0%
0 20 40 60 80 100 120 El Índice Ineval aumenta la precisión de la
calificación y casi siempre mejora la nota final.
Número de aciertos
 Relación entre puntaje y niveles de desempeño

Su desempeño es superior a lo esperado, cumple con todos los estándares y sus

cualidades se observan en el dominio del saber que promueve, los conocimientos
1.000
Excelente pedagógicos que emplea y el nivel de liderazgo y confianza al promover una
participación ciudadana que trasciende al ámbito escolar.
950
Su nivel de dominio disciplinar es adecuado, su desarrollo como docente y sus
fundamentos pedagógicos le permiten planificar, ejecutar evaluar el proceso de
Puntaje

aprendizaje en un contexto específico y, al mismo tiempo, afrontar situaciones adversas,

800 Favorable resolver conflictos y fomentar la participación ciudadana. Su nivel de liderazgo le ayuda a
tomar decisiones a través de esquemas colaborativos que fomenten la cultura de paz y
la participación ciudadana más allá del aula.

700
Posee conocimientos fundamentales y la noción de las habilidades pedagógicas con las
Fundamental que gestiona el aprendizaje mientras actúa como agente principal en el proceso
educativo. Su nivel de liderazgo se ejerce en el aula con énfasis en el cumplimiento del
currículo y la promoción de valores ciudadanos dentro del aula.
600
Los conocimientos sobre su campo deben ampliarse y hacerse más profundos, a través
del desarrollo de nuevas habilidades pedagógicas que le ayuden a planificar y ejecutar
el proceso de aprendizaje y diseñar evaluaciones para un contexto escolar específico.
En formación El fortalecimiento del liderazgo le ayudará a tomar decisiones, a través de esquemas
colaborativos que le permitan afrontar situaciones adversas, fomentar la cultura de paz
y la participación ciudadana más allá del aula.
0