Está en la página 1de 9

DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES

PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
En esta sesión revisaremos las etapas que
comprende el proceso de construcción de
un instrumento de medición.
Luego haremos una revisión específica
sobre la importancia de las tablas de
especificaciones, que, como veremos,
son el primer paso, y quizá el paso más
importante, del proceso de construcción
de un instrumento de medición.
Así, los objetivos de esta sesión son:
Conocer las distintas fases de la construcción de un instrumento de
medición.
Comprender cómo se relacionan estas fases entre ellas.
Comprender en qué consiste una tabla de especificaciones.
Construir una tabla de especificaciones.
CURSO V:
DISEÑO Y CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN
Docente: Andrea Abarzúa.
Sesión 1. Lectura Nº 1.
Etapas en la construcción de instrumentos
Curso V: DISEÑO Y CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
2
Etapas en la construcción de un instrumento de medición
La construcción de un instrumento es un proceso que comprende diferentes etapas, cada
una de las cuales aborda distintos aspectos o facetas del instrumento y permiten asegurar su
calidad. En la medida que cada una de estas etapas se aborde comprensiva y exhaustivamente,
será posible obtener un mejor instrumento de medición como resultado final.
Tal como se abordó en el curso anterior, antes de construir un instrumento es importante
definir con claridad cuáles son los propósitos y destinatarios. Así, en una primera etapa
debemos tener claridad de los aprendizajes a evaluar, que son el referente principal del
instrumento de evaluación. Estos aprendizajes se encuentran basados en un marco conceptual
que orienta la definición de criterios e indicadores de que el aprendizaje se encuentra logrado
o por lograr. En ocasiones, se encuentran definidos los mapas de progreso que permiten
identificar con mayor claridad aún qué es lo que se espera lograr en cada etapa del proceso de
aprendizaje.
Una vez que esto se ha determinado con claridad, es necesario definir el método mediante el
cual se recolectará evidencia, o dicho de otra manera, qué instrumentos o procedimientos de
evaluación permitirán obtener de manera fidedigna una valoración del nivel de aprendizaje
de los estudiantes en un dominio específico del conocimiento, o el desarrollo de la habilidad
o competencia cuyo logro se quiere conocer.
La aplicación de estos instrumentos nos lleva a poder emitir un juicio, o una valoración, de
cuál es el nivel de logro en cada aprendizaje evaluado. Este juicio es el que posteriormente nos
permite reflexionar, con una base empírica, acerca del cumplimiento de nuestras expectativas en
torno al proceso de enseñanza y, a la vez, retroalimentar la práctica mediante
un análisis y reflexión acerca de la calidad de las estrategias pedagógicas, así
como de su correspondencia con la situación de evaluación aplicada. En
este sentido, el juicio es el que da paso a la reflexión (acerca de la
pertinencia de lo esperado y acerca de la pertinencia
de las estrategias para lograr lo esperado)
y es esa reflexión la que permite
realizar acciones que mejoren
las prácticas pedagógicas
y evaluativas.
Acciones
pedagógicas
iniciales.
Determinación
de aprendizajes a
evaluar:
- Basados en un
marco conceptual.
- Defnen criterios
para evaluar.
-Pueden basarse en
mapas de progreso.
Búsqueda y
recolección de
información:
- Decisión del tpo
de instrumento
o dispositvo que
permitrá recabar
información.
Análisis de
resultados
obtenidos:
- Realización de un
juicio de valor de
logro alcanzado por
los estudiantes.
-Análisis de las
expectatvas
iniciales.
Análisis y
refexión crítca
(y autocrítca)
sobre las
acciones
pedagógicas
iniciales.
Sesión 1: Etapas en la construcción de instrumentos
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
3
El paso a paso del proceso de construcción de un instrumento
El siguiente esquema grafica sintéticamente las etapas que comprende el proceso de
construcción de un instrumento de evaluación. Luego se describe cada una de estas etapas.
1. Defnición de propósitos y destinatarios de la evaluación
¿Para qué evaluar? ¿A quienes evaluar?
2. Defnición de especifcaciones de la evaluación
¿Contenidos? ¿Habilidades? ¿Competencias?
3. Decisión de tipo de instrumento a aplicar
¿Formato? ¿Longitud? ¿Tipo de ítems?
4. Construcción de ítems
Revisión de contenido
5. Aplicación
Experimental
Establecimiento de estándares
de aprobación
Estudios posteriores de
validez
1. Defnición de propósitos y destinatarios de la evaluación
¿Para qué evaluar? ¿A quienes evaluar?
La determinación de los propósitos y destinatarios de una evaluación es el primer paso
que define quienes serán los portadores de información en un determinado proceso, y cuál
es el uso que se le dará a la información proveniente de una evaluación. Este propósito
resulta central en relación a la validez de una evaluación, ya que ésta corresponde a un
juicio integrado referido esencialmente a la pertinencia de las conclusiones que se obtienen
a partir de los resultados obtenidos en una evaluación.
Curso V: DISEÑO Y CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
4
2. Defnición de especifcaciones de la evaluación
¿Contenidos? ¿Habilidades? ¿Competencias?
Una vez que se ha definido el “para qué” y el “a quién” se pretende evaluar mediante
un instrumento de medición, se inicia el proceso de construcción de éste determinando
exactamente qué se desea medir, sus alcances, limitaciones y también el nivel de exigencia
con que se espera llevar a cabo esta medición. Este proceso de definición acerca del “qué”
se medirá se considera finalizado con la elaboración de una tabla de especificaciones.
3. Decisión de tipo de instrumento a aplicar
¿Formato? ¿Longitud? ¿Tipo de ítems?
Una vez que se ha definido en detalle en qué consiste aquello que se desea medir, debe
decidirse el formato de evaluación que es más apropiado entre los posibles de aplicar
(por ejemplo, si se quiere medir la calidad de la expresión escrita es más apropiado hacer
un instrumento que solicite la producción de un texto de ciertas características específicas
que una prueba de alternativas). Otro aspecto relevante es el tiempo disponible para la
aplicación del instrumento, por ejemplo, si se quiere medir el grado de dominio de una
gran cantidad de contenidos o competencias, debe procurarse que exista tiempo suficiente
para abordar adecuadamente todos esos contenidos en el tiempo disponible, y esto se
relaciona con la selección del tipo de ítems que se desea aplicar, siendo distinta la cantidad
de tiempo que demandan aquellos que exigen la resolución de problemas o producción de
respuestas que aquellos que consisten en la selección de una respuesta entre una serie de
alternativas. Por último, se debe tener claridad de la cantidad de recursos disponibles para
la aplicación del instrumento de medición que se construirá, puesto que siempre resulta
más económico en términos del tiempo y recursos humanos a invertir cuando se diseña
un instrumento de medición que sólo requiere digitación de las respuestas seleccionadas
por los examinados (típicamente una prueba compuesta por preguntas de alternativas) que
uno en que las respuestas deben ser analizadas posteriormente para obtener los puntajes
que indiquen el nivel de logro de los examinados (típicamente las pruebas de desarrollo o
trabajos de investigación).
4. Construcción de ítems
Revisión de contenido
Cuando se han definido todos estos aspectos y limitaciones, es posible ir al siguiente paso,
que es la construcción de ítems, preguntas o instrucciones. Las acciones a desarrollar en
esta etapa varían considerablemente dependiendo del tipo de ítem que se desea construir.
Sesión 1: Etapas en la construcción de instrumentos
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
5
El proceso de construcción de un instrumento no finaliza con construcción de los ítems
que lo componen. Técnicamente, lo recomendable es siempre someter estos ítems a un
proceso de revisión de contenido, tarea que consiste en mostrar cada uno de los ítems
a personas que, no habiendo participado del proceso de construcción, sean capaces de
pronunciarse sobre la capacidad de estos ítems para dar cuenta de los aprendizajes que
se espera medir. Esta revisión es lo que habitualmente se conoce como evaluación de la
validez de contenido de los ítems.
Lo central en este paso es someter a un juicio crítico externo los ítems, de manera tal
que sea posible asegurar que se ha conseguido contar con un conjunto de preguntas o
instrucciones que efectivamente dan cuenta de aquello que en la tabla de especificaciones
se definió como relevante y necesario de evaluar.
5. Aplicación
Experimental
Establecimiento de estándares de
aprobación
Estudios posteriores de
validez
Una vez que los ítems han pasado por un proceso de revisión de contenido, se recomienda
hacer una aplicación de carácter experimental, que permita observar cómo se comportan
las respuestas de estos ítems. Cuando esto no es posible, se recomienda de todas formas
analizar el comportamiento de los ítems en una aplicación real, que puede permitir mejoras
en aplicaciones posteriores y también comprender mejor las causas de los resultados
observados.
Cuando se trata de construcción de instrumentos de aplicación masiva, hay dos pasos
posteriores a la aplicación experimental que conviene tener presentes: establecimiento de
estándares y estudios de validez.
El establecimiento de estándares obedece a la necesidad de establecer límites (puntaje de
corte) que fijen el valor mínimo en el examen requerido para obtener la calificación de
“apto” o “aprobado”. Típicamente se piensa que con un 60% de logro se tiene suficiente
puntaje para la aprobación, pero esto no necesariamente se encuentra fundamentado. Un
buen punto de corte es aquel que determina el puntaje mínimo que necesita obtener un
examinado para demostrar que ha logrado los conocimientos y habilidades que se requieren
para afirmar que sabe todo lo necesario. Para determinar este punto de corte se pueden
seguir distintos métodos, que típicamente recurren a la aplicación en pruebas piloto y el
análisis experto. Para conocer en mayor profundidad sobre los métodos de establecimiento
de puntos de corte (standard setting) se sugiere revisar Cisek & Bunch (2007).
Por otro lado, los estudios de validez son aquellos estudios que permiten reunir evidencia
a favor de la pertinencia de las conclusiones que se extraen a partir de la aplicación de un
instrumento.
Usualmente estos estudios se orientan a determinar si los resultados de un instrumento
coinciden con los resultados de una medición relacionada (validez concurrente), si se
diferencian de mediciones no relacionadas (validez discriminante), u otras.
Curso V: DISEÑO Y CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
6
La tabla de especificaciones
¿Qué es exactamente una tabla de especificaciones?
La tabla de especificaciones es, en esencia, una delimitación de aquello que pretendemos
evaluar; es un documento que define con precisión en qué consiste lo que se desea
medir (qué dimensiones y subdimensiones lo componen, qué habilidades y contenidos
lo representan). Cuando podemos distinguir con exactitud las partes constituyentes
de nuestro objeto de evaluación podemos derivar conclusiones válidas acerca de los
resultados que entrega el instrumento, puesto que éste nos informará sobre todos los
elementos que desde un comienzo nos parecieron relevantes y necesarios de evaluar.
La tabla de especificaciones constituye una auténtica “carta de navegación” que orienta
el proceso de construcción del instrumento. Más concretamente, su objetivo es
establecer y a la vez organizar sinópticamente las relaciones entre la finalidad, propósito
y objetivo de una evaluación, los contenidos y habilidades o competencias que dan
cuenta del aprendizaje que se desea medir y los indicadores de evaluación, que son las
manifestaciones observables o medibles de que ese aprendizaje se ha logrado.
¿Qué la distingue de un temario?
Una distinción importante en relación a las tablas de especificaciones es que, aún
cuando cumplen una función similar a la de un temario, son mucho más detalladas en
términos de la información que proveen. Un temario es un listado que enuncia temas,
conceptos y contenidos pero no muestra qué es lo que se espera que el alumno haga
para demostrar que ha aprendido.
Cuando una tabla de especificaciones es detallada y correctamente formulada, se enfoca
en objetivos de evaluación más que en temas, por tanto, nos plantea cuestionamientos
acerca de los objetivos de aprendizaje que nos hemos propuesto y nos obliga a enfocarnos
en el proceso de enseñanza.
Una tabla de especificaciones adecuada nos permite elaborar una prueba con validez de
constructo (que mide aquello que se espera que los alumnos dominen) y a la vez con
validez desde un punto de vista instruccional (que mide aquello que efectivamente se
ha enseñado y trabajado clase a clase).
¿Cómo se ve una tabla de especificaciones?
En términos prácticos y concretos la tabla de especificaciones es un documento,
dispuesto en formato de tabla, en el que a partir del objetivo de medición se plantean
los indicadores de evaluación y los tipos, cantidades y pesos de preguntas.
Una forma de diagramar una tabla de especificaciones es la siguiente:
Sesión 1: Etapas en la construcción de instrumentos
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
7
Otra manera de organizar una tabla de especificaciones podría ser la siguiente:
En definitiva, una tabla de especificaciones puede adoptar distintos formatos, lo central
es que su diagramación permita comprender las conexiones que existen entre los
indicadores de logro y aquello que se desea evaluar.
Un ejemplo sencillo y universal…
Supongamos que nuestro objetivo de evaluación es que un niño sea capaz de andar en
bicicleta solo. Primero debemos establecer en qué ámbitos el niño puede demostrar que
es capaz de hacer esto, por ejemplo:
Debe demostrar equilibro o estabilidad en la marcha •
Debe mantener una velocidad apropiada •
Debe ser capaz de maniobrar o controlar en todo momento la bicicleta •
En relación al primer ámbito, un indicador de logro en relación al equilibro y estabilidad
en la marcha es ser capaz de mantener la dirección de la bicicleta sin salirse de una pista
demarcada. En el segundo ámbito, podría pensarse que un indicador de logro es ser
capaz de recorrer esa misma pista en un máximo de tiempo razonable (dependiendo de
la longitud de la pista, pensemos unos 10 minutos). En relación al tercer ámbito, un
indicador de logro en relación al control de la bicicleta es sortear conos dispuestos en
Dimensión A
Constructo a evaluar
Dimensión A Dimensión B Dimensión C
Indicador
A.1
Indicador
A.2
Indicador
B.1
Indicador
B.2
Indicador
C.1
Indicador
C.2
Curso V: DISEÑO Y CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
8
esta misma pista, sin toparlos. Con todas estas consideraciones, la tarea más apropiada
para medir esta habilidad es dar la instrucción al aprendiz de que recorra una pista
delimitada, lo más rápido posible, sorteando los obstáculos dispuestos en ella.
Entonces, ¿Cómo se construye una tabla de especificaciones?
Para construir una tabla de especificaciones típicamente es necesario dar los siguientes
pasos:
Paso 1: Determinación de Contenidos y Habilidades a medir, así como los Ejes y Subejes
temáticos en los cuales se desagregan estos contenidos. Preguntas que guían este
paso son:
¿Cuáles son los contenidos o conceptos que los estudiantes deberían •
conocer?
¿Qué habilidades deben ser capaces de poner en práctica los estudiantes •
en relación a cada uno de esos contenidos?
¿Hay contenidos cuyo conocimiento se juega en cierto tipo de habilidad •
pero no en otra?
¿Hay conocimientos que corresponden a un nivel de conocimiento de •
tipo basal, y otros que dan cuenta de niveles más elevados de dominio?
Si es así, ¿queremos representarlos todos o sólo aquellos que dan cuenta
de un mayor nivel?
OBJETIVO DE
EVALUACIÓN
CRITERIOS O
ÁMBITOS
INDICADORES DE
LOGRO
TAREA CON LA QUE
SE MIDE
Equilibrio (estabilidad
en la marcha).
Mantiene la dirección
de la bicicleta sin
salirse de la pista
marcada.
Que el niño sea capaz
de andar en bicicleta
solo.
Velocidad. Es capaz de recorrer la
pista en un máximo
de 10 minutos.
Andar en bicicleta en
una pista delimitada,
en la que hay
obstáculos.
Control de la bicicleta
(capacidad de
maniobra).
Sortea los conos sin
toparlos.
Sesión 1: Etapas en la construcción de instrumentos
DIPLOMADO EN MEDICIÓN Y EVALUACIÓN DE APRENDIZAJES
PONTIFICIA UNIVERSIDAD CATÓLICA DE CHILE | CENTRO DE MEDICIÓN MIDE UC | UCvirtual
9
Paso 2: Elaboración de indicadores de evaluación. Tengamos presente que los indicadores
de evaluación son una conducta observable o demostración de conocimiento que
se compone necesariamente de un contenido y una habilidad. Preguntas que guían
este paso son:
¿En qué conductas o acciones se demuestran típicamente estos •
conocimientos?
Al observar esta tarea, ¿debemos hacer inferencias? ¿de qué tipo? •
¿Hay otras conductas o tareas que pueden representar mejor estos •
conocimientos y habilidades?
NOTA
Cuando se miden conductas, se evalúan acciones o se
juzga el desempeño en determinada tarea, siempre existe
un cierto nivel de inferencia de parte del evaluador (¡no
podemos leer la mente de los evaluados!). El secreto
de un buen instrumento de medición es entregar
información de calidad para hacer buenas inferencias.
Paso 3: Determinación de la ponderación de los Ejes y Subejes en el resultado final del
evaluado. Las preguntas que guían este paso son:
¿Todo pesa lo mismo en términos de importancia? •
¿Hay elementos que son más relevantes que otros y que, por esta razón, deban •
ser más gravitantes en el resultado final?
¿Hay literatura al respecto? ¿Hay acuerdo entre los docentes con que usted ha •
conversado sobre estos pesos?
Paso 4: Revisión (idealmente por un externo). La revisión debe ser guiada también por
preguntas:
¿Todos los contenidos son igualmente centrales desde el punto de vista de los •
aprendizajes que se espera lograr?
¿Todas las habilidades son factibles de alcanzar considerando el tiempo destinado •
a su instrucción y los recursos de aprendizaje disponibles?
¿Existe algún grado de superposición entre contenidos y habilidades? Las •
distinciones que se han hecho en la tabla, ¿son razonables conceptualmente?
Los indicadores de evaluación, ¿son efectivamente observables? •