Para comprender las evaluaciones educativas Fichas didacticas

Ficha 14
cmo analizar un reporte de evaluacin?

Pedro Ravela

ficha n 14

cmo analizar un reporte de evaluacin?

las preguntas que el lector debe hacerse ante un informe de resultados

La

ficha N 14 intenta ser un resumen de cierre del conjunto del trabajo que sirva de gua al lector acerca de lo que contienen o deberan incluir los reportes de las evaluaciones -marcos conceptuales, datos, definiciones, ejemplos de temes, etc.--, relacionndolo con los temas analizados a lo largo de las fichas.

3. Cul fue el universo estudiado? 4. Cul fue evaluacin? el enfoque de la

5. Qu tipo de datos se proporciona y qu significan esos nmeros? 6. Qu grado de precisin tiene la informacin? 7. En qu grado y de qu modo se contextualiza la presentacin de los resultados? 8. Quines son los destinatarios de la informacin? 9. Qu consecuencias e implicancias tienen los resultados?

Para ello, esta ficha propone al lector un conjunto de nueve preguntas fundamentales que debe formularse ante todo reporte de resultados de una evaluacin: 1. Cul fue el propsito o finalidad de la evaluacin? 2. Qu fue evaluado?

para comprender las evaluaciones educativas

ficha n 14

2
cmo analizar un reporte de evaluacin?

GUIA PARA LA LECTURA DE REPORTES DE EVALUACIONES ESTANDARIZADAS

1. Cul fue el propsito o finalidad de la evaluacin?

Todo

reporte de evaluacin debera incluir una explicitacin de para qu se realiza la evaluacin, qu tipo de consecuencias tendrn sus resultados, cmo van a ser utilizados los mismos y por quines. 2. Qu fue evaluado?

Los

reportes de evaluacin deberan explicar claramente cmo fue definido el dominio evaluado. Esto implica explicar en forma comprensible cul es la concepcin de la disciplina o rea evaluada desde la cual se concibi la prueba y cules fueron los contenidos y competencias que se seleccion como fundamentales, as como la justificacin de dicha seleccin. Dicha justificacin puede estar apoyada directamente en el currculo vigente o hacer referencia a algn otro tipo de proceso de discusin y consultas con especialistas, docentes y otros actores involucrados. La justificacin debera incluir la referencia a por qu es relevante evaluar lo que fue evaluado. Parte importante de la exposicin acerca de qu fue evaluado es la ilustracin con ejemplos del tipo de tareas que los alumnos deban resolver en la prueba, de modo que el lector pueda formarse una imagen concreta de lo que fue evaluado, ms all de las definiciones conceptuales. Debera incluirse adems, al menos como anexo, alguna informacin sobre los procedimientos de validacin seguidos para asegurar la consistencia entre las actividades de la prueba y las definiciones conceptuales de las que se parti. 3. Cul fue el universo estudiado?

Los

reportes de evaluacin normalmente incluyen una descripcin de la poblacin que fue evaluada. Ello incluye informacin sobre los grados y disciplinas evaluadas, as como sobre los niveles en que la informacin podr ser desagregada (nacional, regional, provincial, municipal, etc.). Debera ofrecerse, adems, una justificacin de estas decisiones, en trminos de los propsitos y la estrategia general de la evaluacin. Cuando se trabaja con muestras debera incluirse, al menos en anexos, informacin relativa a cmo fueron seleccionadas las mismas y a los mrgenes de error muestral. 4. Cul fue el enfoque de la evaluacin?

El

enfoque implica, en primer trmino, explicitar si la evaluacin fue concebida con un carcter normativo o criterial (vase la ficha 3). Esto en parte podr verse en la definicin de propsitos as como en la definicin de qu fue evaluado.
para comprender las evaluaciones educativas ficha n 14

3
cmo analizar un reporte de evaluacin?

Los reportes deberan explicar al lector si la evaluacin pretende establecer comparaciones con evaluaciones anteriores o futuras, en cuyo caso debera incluir una explicacin de los recaudos tcnicos tomados para hacer posibles dichas comparaciones. En cualquier caso, los reportes deberan explicar cul es el plan general de evaluaciones para el conjunto del sistema y para los aos que siguen (qu grados se evaluarn, cada cuntos aos, en qu reas o disciplinas, etc.), as como la racionalidad de dicho plan. En el caso de las evaluaciones de carcter criterial que incluya una definicin de niveles de desempeo, debera explicarse de qu modo fueron construidos los mismos y cul es el significado de cada uno de ellos. Si la prueba incluye un estndar o expectativa respecto al nivel o puntaje que se espera todos los alumnos estn en condiciones de lograr, debera explicarse cmo se lleg a establecerlo y qu implica en trminos de los que los alumnos deben conocer y ser capaces de hacer. 5. Qu tipo de datos se proporciona y qu significan esos nmeros?

El

lector debera encontrar en los reportes informacin que le permita saber qu tipo de datos numricos encontrar, incluyendo si se trata de puntajes de la TCT o de la TRI (vase la ficha 8). Debe distinguir cuando se le entregan promedios de cundo se le entregan distribuciones de frecuencias de los alumnos en categoras definidas. 6. Qu grado de precisin tiene la informacin?

El

lector debe poder encontrar informacin respecto al grado de precisin -o el error estimado-- de los datos. Debe observar, adems, si la informacin relativa a los mrgenes de error e intervalos de confianza es tenida en cuenta a la hora de establecer conclusiones o juicios de valor. 7. En qu grado y de qu modo se contextualiza la presentacin de los resultados?

Los reportes de evaluacin no deberan limitarse a entregar los resultados de las pruebas sino
relacionarlos de algn modo con otros factores relevantes que ayudan a comprender y explicar esos resultados. De primera importancia es que se incluya informacin relativa a los contextos sociales en que los resultados se producen. Ninguna comparacin de resultados entre escuelas, provincias, pases, etc., debera realizarse sin ofrecer alguna informacin sobre las caractersticas socioculturales de los estudiantes de dichas entidades. En segundo trmino, el lector debe buscar si los reportes incluyen informacin sobre aspectos internos al sistema educativo que inciden sobre los resultados de los alumnos o que contribuyen a atenuar las inequidades generadas desde el entorno social.

para comprender las evaluaciones educativas

ficha n 14

4
cmo analizar un reporte de evaluacin?

8. Quines son los destinatarios de la informacin?

Los reportes deberan explicitar cules son los principales destinatarios o audiencias que se
espera utilicen los resultados y de qu modo se espera que la informacin pueda serles til. Esto puede exigir distintos tipos de reportes, adaptados a audiencias distintas y a usos diferentes. 9. Qu consecuencias e implicancias tienen los resultados?

Los reportes de evaluacin deberan incluir algn tipo de avance hacia las consecuencias y
el uso de resultados. Esto incluye aspectos tales como una reflexin sobre los desafos que los resultados muestran para la poltica educativa y para los educadores, alguna indicacin o recomendacin del tipo de acciones que deberan tomarse, propuestas de perfeccionamiento de los enfoques y prcticas de enseanza, etc. Lo importante es que la evaluacin no termine en la presentacin de unos datos, sino que d los primeros pasos hacia la generacin de cambios. Obviamente no corresponder a los evaluadores avanzar en la generacin de dichos cambios, pero tampoco deberan dar por sentado que los mismos se producirn automticamente. Es responsabilidad del evaluador propiciar la reflexin de otros actores y la generacin de acciones a partir de los resultados de su trabajo.

para comprender las evaluaciones educativas

ficha n 14