TCNICAS CRITERIALES O PRUEBAS EN BASE A CRITERIOS.

Alfredo Guzmn Rosales

Existe un problema comn en la medicin que tiene que ver con las diferencias entre la medicin basada en normas y basadas en criterios.

DIFERENCIA ENTRE CRITERIO Y NORMA.

Criterio: Significa que un criterio nos permite referirnos a una accin o comportamiento, comparativamente en relacin a otro, que enuncia las reglas del primero y autoriza su evaluacin. En forma recproca evaluar equivale a determinar criterios con el objetivo de discriminar la informacin. Por ello los criterios nos permitirn la obtencin de informacin (ndices), dirigidas hacia aquello que queremos evaluar. Los ndices son la materializacin y objetivacin explcita de los criterios.

Segn J.M. De Ketele, existen 4 momentos en los referente a la accin coherente entre la recoleccin de informacin y los criterios enunciados.

Establecer claramente el objetivo de la evaluacin. Determinar el criterio o los criterios relacionados al objetivo. Confrontar los criterios seleccionados previamente con las informaciones recogidas en la evaluacin. Formular conclusiones para la toma de decisiones.

NORMA.
Evaluar en referencia a una norma, significa comparar el resultado del individuo con los resultados de una poblacin o grupo a los que pertenece.

Esto exige el establecimiento de una norma o escala de referencia, confeccionada despus de estudios estadsticos de rendimiento, con el objetivo de obtener una calificacin. En este mbito normativo, el criterio es externo, en la medida que se utiliza una escala que es mas o menos "ajena" al sujeto evaluado, sin tener en cuenta las condiciones de trabajo, nivel inicial, aprendizaje, etc. (B. Maccario) Por esta razn este tipo de evaluacin se utiliza para ubicar a los alumnos en escalas de rendimiento y puntaje, atribuir un lugar dentro de los grupos, certificar los niveles en funcin de la norma o el grupo y predecir futuros resultados.

MEDICIN BASADA EN NORMAS.

Cuando se utilizan tcnicas normativas, lo que interesa conocer son las diferencias individuales que hay entre los sujetos en la caracterstica evaluada, y los distintos grados en que cada uno la tiene desarrollada.

Es la forma con que tradicionalmente se han hecho los diagnsticos de los alumnos sobre su capacidad intelectual, rasgos de personalidad, motivacin, intereses profesionales, etc., y de aqu han derivado la mayora de las tcnicas psicodiagnsticas existentes, es decir, los test basados en normas.

Estas tcnicas sirven tambin para realizar clasificaciones de sujetos en determinadas categoras; por ejemplo, para agrupar a los alumnos en distintos grupos segn sus competencias intelectuales y poder adaptar mejor as los procedimientos didcticos a cada tipo de alumnado.

Tambin se emplean para llevar a cabo procesos de seleccin de personas que respondan a diversos criterios segn unas puntuaciones mnimas que es preciso alcanzar; por ejemplo, para aprobar una oposicin o para trabajar en un determinado puesto dentro de una institucin.

Estas pruebas ayudan a llevar a cabo estas funciones porque tienen como finalidad identificar la capacidad mxima del sujeto en un mbito concreto razonamiento, clculo, fluidez verbal, etc.), lo que permite seleccionar, con un pequeo margen de error, personas para desempear actividades especficas.

MEDICIN BASADA EN CRITERIOS.

Las tcnicas criteriales, por su parte, no se basan en las puntuaciones estadsticas de un grupo normativo, sino en un criterio numrico preestablecido de antemano por el docente o por el investigador, que se espera que alcancen los sujetos para considerar que logran un objetivo propuesto.

Estas tcnicas permiten hacer diagnsticos personalizados sobre los sujetos y disear, en base a ellos, programas de intervencin que ayuden a las personas a mejorar en la adquisicin de habilidades que les permitan aproximarse a la consecucin del criterio establecido.

Por tanto, se puede valorar la calidad y eficacia del programa desarrollado para conseguir el cambio, lo que permite hablar de evaluacin de programas y de investigacin evaluativa. En el mbito educativo se estimula cada vez ms la realizacin de este tipo de diagnsticos individuales empleando estas tcnicas, que se conocen tambin como test orientados a la consecucin de metas de aprendizaje o pruebas de dominio.

Los test criteriales permiten valorar el grado en que una persona llega a alcanzar con la ayuda del docente o educador determinadas metas de aprendizaje y competencias intelectuales, emocionales y conductuales que hasta entonces por s sola no poda alcanzar.

Dada esta finalidad de las tcnicas criteriales, se resalta la importancia del docente o del educador como mediador que facilita al estudiante desarrollar su potencial de aprendizaje y adquirir progresivamente un mayor grado de autonoma en la consecucin de objetivos de aprendizaje.

Una vez apoyado el desarrollo de estas competencias de aprendizaje mientras se desarrolla un programa de enseanza, las tcnicas criteriales permiten posteriormente valorar el grado en que la persona es capaz de resolver adecuada y autnomamente un nmero determinado de tareas de cierta dificultad que cumplan con el criterio numrico establecido para decidir que se han alcanzado las metas de aprendizaje.

EJEMPLOS DE PRUEBAS EN BASE A CRITERIOS.

Este tipo de pruebas, tanto internacionales como nacionales, se han venido aplicando en Mxico en las ltimas dcadas y an se sabe poco de ellas inclusive dentro del mbito educativo. Entre las pruebas criteriales ms representativas que se aplican en nuestro pas, estn los Exmenes Generales para el Egreso de Licenciatura (EGEL) del Centro Nacional para la Evaluacin de la Educacin Superior (CENEVAL); los exmenes de la Calidad y el Logro Educativos (EXCALE) del Instituto Nacional para la Evaluacin de la Educacin (INEE); y la prueba para la Evaluacin Nacional de Logro Acadmico en Centros Escolares (ENLACE) que aplica la Secretara de Educacin Pblica. Entre las internacionales est el Programa para la evaluacin internacional de alumnos (Programme for International Student Assessment, PISA por sus siglas en ingls).

ENLACE.
Informacin Comparativa por nivel de logro
PERMITE OBSERVAR EL P UNTAJE PROMEDIO OBTE NIDO, POR LOS ALUMNOS DE M I GRUPO CON REFERENCIA AL PUNTAJE PROMEDIO OBTENIDO POR LOS DEMS ALUMNOS DE LA ESCUELA , ENTIDAD Y PAS , EN LOS MISMOS GRADOS , ASIGNATURA Y TIPO DE ESCUELA. PORCENTAJE DE ESTUDIANTES POR NIVELDE LOGRO

ESPAOL
INSUFICIE ELEMEN NTE TAL BUE NO EXCELE NTE

MATEMTICAS
INSUFICIE ELEMEN NTE TAL BUE NO EXCELE NTE

HISTORIA *
INSUFICIE ELEMEN NTE TAL BUE NO EXCELE NTE

GRUPO ESCUE LA ENTIDA D NACIO NAL

20.0

70.0

10.0

0.0

25.0

60.0

5.0

10.0

5.0

55.0

35.0

5.0

29.3

53.4

17.2

0.0

29.3

48.3

15.5

6.9

3.4

55.2

29.3

12.1

38.7

47.1

13.9

0.3

44.4

42.2

11.4

2.1

10.9

66.0

17.5

5.6

45.1

44.0

10.7

0.3

54.1

36.5

7.8

1.6

16.4

65.1

14.7

3.8

INSUFICIENTE Necesita adquirir los conocimientos y desarrollar las habilidades de la asignatura evaluada. ELEMENTAL BUENO EXCELENTE

Requiere fortalecer la mayora de los conocimientos y desarrollar las habilidades de la asignatura evaluada. Muestra un nivel de dominio adecuado de los conocimientos y posee las habilidades de la asignatura evaluada. Posee un alto nivel de dominio de los conocimientos y las habilidades de la asignatura evaluada.

ANTECEDENTES

ETAPA GLASER (AOS 60)

No ser hasta los aos sesenta con la obra de Glaser "Instructional Technology and the Measurements of Learning Outcomes" cuando de hecho se establezcan claramente las diferencias entre las expresiones "evaluacin basada en normas" y "evaluacin basada en criterios conocida como; preocupacin por los objetivos.

ETAPA POPHAM (AOS 70)

Primera sistematizacin formal de la metodologa de la evaluacin referida a criterio (ERC), realizada por Millman en un captulo del libro "Evaluacin en Educacin", editado por Popham en 1974.

Publicacin de una monografa sobre la tecnologa de la ERC. Publicacin en 1976 de una revisin completa del tema de la determinacin de estndares.

Publicacin de textos que integran los dos enfoques de la construccin de pruebas.

Publicacin del primer texto especfico (Popham, 1978, edicin espaola de 1983) y de numerosos trabajos en torno al tema de los estndares y puntos de corte.

ETAPA BERK (AOS OCHENTA)

La publicacin por Hambleton (1980) de una monografa

sobre toda la problemtica tcnico-metodolgica.

Sistematizacin de las tcnicas de formulacin de tems, realizada por Roid y Haladyna en 1982. Publicacin de manuales para la determinacin estndares de ejecucin en pruebas educativas. de

Publicacin por Berk en 1984 de una revisin de su libro de 1980, actualizando el tratamiento de los temas ms relevantes: formulacin y anlisis de items, determinacin de estndares, fiabilidad, validez, anlisis de sesgos, entre otros.

TIPOS DE INSTRUMENTOS REFERIDOS A UN CRITERIO.

TIPOS Pruebas objetivas (reactivos de verdaderofalso, de opcin mltiple) Diagrama de anlisis de tareas. UTILIZACIN Se utilizan al inicio y al final, para medir el aprendizaje cognoscitivo. Se utilizan para establecer las conductas que se han de moldear. Se utilizan en la autoevaluacin.

Listas de comprobacin para la auto estimacin. Inventarios diagnsticos.

Se utiliza para la planeacin del programa y las alternativas de remedio. Se utilizan para identificar los problemas reales o potenciales, para lograr los objetivos del curso.

Listas de comprobacin para la identificacin de problemas.

VALIDEZ DE LAS PRUEBAS CRITERIALES

Segn Popham (1978):

a)

Validez

descriptiva;

establece

un

esquema

descriptivo

(especificaciones de las pruebas, objetivos, tems, etc.) se verifica si el esquema cumple con la funcin de comunicar eficazmente, es decir que los tems sean congruentes con el esquema descriptivo.

b) Validez funcional; mide la exactitud con que la prueba satisface al objetivo u objetivos.

c) Validez de seleccin del dominio; describe las caractersticas de las personas que se seleccionaron, procedimientos, y guas que se dieron, para medir el grado de dominio de los aprendizajes.

Segn Hambleton (1980):

a) Validez de contenido; Primeramente se determina el dominio de conocimientos que se pretende medir, en segundo consideracin de tres caractersticas; validez, calidad tcnica y representatividad.

b) Validez del constructo (conceptual); se refiere a la utilidad que se le da a los puntajes del rendimiento del estudiante, para la toma de decisiones.

CONFIABILIDAD DE LAS PRUEBAS.

Segn: Hambleton (1978), Brennan (1980), Shaefer (1983), la confiabilidad de estas pruebas pueden analizarse en tres definiciones:

a) Confiabilidad de las estimaciones de los puntajes de dominio: consistencia del puntaje de un estudiante si se repite la aplicacin de una misma prueba, sin hacer un puntaje de corte de la prueba.

b) Confiabilidad de las decisiones del dominio: consistencia en la clasificacin de los estudiantes como masters.

c) Confiabilidad de los puntajes de pruebas con respecto al puntaje de corte: estabilidad de las desviaciones estndar.

LONGI

DD

Se entiende como el nmero de tems que miden cada objetivo o especificacin del test. Las pruebas muy cortas producen estimaciones de puntajes de dominio muy imprecisos y por lo tanto ara las decisiones de maestra o dominio sern inconsistentes.

erk (1979), cuatro son los factores esenciales para 1. Importancia y tipo de decisiones que se harn con los resultados . 2. Importancia y nfasis asignado a los objetivos. 3. Nmero de objetivos. 4. Limitaciones practicas.

determinar cuantos tems deben construirse para una prueba:

 CONTENIDOS Tema 1 Tema 2 Total preguntas OBJETIVOS 25% 75% por objetivo Conocimientos de memoria 2.0 4.0 6 20% Comprensin de conceptos 3.0 6.0 9 30% Aplicacin 50% 4.0 11.0 15 TOTAL = 30 pregun.

PUNTAJES DE CORTE.

Hambleton (1978), Lo define como un punto de escala de puntajes de una prueba que se utiliza para clasificar a los individuos entre dos categoras que reflejan diferentes niveles de habilidad con respecto a un objetivo en particular.

El mismo autor establece una catalogacin de los diferentes mtodos para puntajes de corte: a)Contenido de los tems. b) Puntajes al azar y muestreo de tems. c)Datos empricos de masters o no masters. d)Procedimientos tericos.

Cabe sealar que todos los mtodos involucran un juicio y no son en base a caprichos.

BIBLIOGRAFA.

Martnez Gonzlez R. La investigacin en la practica educativa: Gua metodolgica de investigacin para el diagnostico y evaluacin de centros docentes. CIDE. Madrid. 2007. Mehrens, W.A, Medicin basada en normas y en criterios, en medicin y evaluacin en la educacin y en la psicologa . CECSA. Mxico. 1982. Leyva Barajas Y. Una resea sobre la validez de constructo de pruebas referidas a criterio. Revista perfiles educativos. II SUE UNAM. Vol. XXXIII, nm. 131. 2011. Salvador Prez I. El diagnostico de los aprendizajes bsicos y sus diferencias. Un modelo criterial. Revista tendencias pedaggicas. No. 12. 2007.

Por su atencin muchas gracias.