Proyecto de Mejoramiento de la Evaluacin en las Academias

ADUNI CESAR VALLEJO

TALLER DE CAPACITACION
Set - Oct Nov

MODULO V

Tema

: Estadstica aplicada al uso de Pruebas Evaluacin Criterial y Normativa Responsable: Vilma I. Gamboa Medina Lic. en Investigacin Operativa

EVALUACION CRITERIAL Y NORMATIVA

Obtenemos informacin objetiva

Cuando Evaluamos Lo interpretamos

La interpretacin es ms compleja depende del grado de significado de la unidad de medicin, se usa para formular juicios de valor que a su vez se utilizarn para la toma decisiones.

Evaluacin Criterial
Qu es la Evaluacin Criterial?
En la evaluacin por criterios, los resultados de la medicin se comparan con un criterio absoluto, constituido por lo que debe saber hacer el estudiante. Al este saber hacer se le conoce como dominio, que implica tanto la clase de tarea que ha de ejecutarse, como el contenido implicado en la ejecucin.

Al realizar la evaluacin?
Los resultados se comparan con:

El Dominio correspondiente

Esto a fin de determinar que es lo que puede hacer el estudiante y si su ejecucin es superior o inferior al dominio independientemente si es superior o no a la de los dems estudiantes. En la evaluacin por Criterios, la fuente del significado es el dominio: mientras mejor se conozca el dominio y mas precisamente se defina mayor significado tendr la evaluacin.

La Evaluacin Criterial se centra en el propio alumno y determina qu es capaz de hacer en cada momento y necesita partir de unos criterios fijados con antelacin.

Qu se necesita para realizar una Evaluacin por Criterios?

Un Profesor
Que tenga clara la meta a conseguir

Este debe hacer una minuciosa descripcin del dominio que el objetivo representa, pero debe procurarse realizar objetivos generalizados que impliquen otras conductas.

Influencia de la Evaluacin por Criterios en la Elaboracin de las Pruebas Se evala el avance del alumno hacia el objetivo propuesto y la distancia que los separa de l. Esta distancia constituye las bases de la informacin a partir del cual se ha de tomar una decisin. Una prueba que hace referencia a un criterio es la que se emplea para averiguar la situacin de un individuo con respecto a un campo de conducta bien definido. Se basa en: 1) La delimitacin de un campo de conductas bien explicitado. 2) La determinacin de la actuacin del individuo en relacin con ese campo Es conveniente representarlo en un esquema de conductas y contenidos implicados en el mismo dominio, de forma tal que se pueda elaborar una sola pregunta para cada punto clave del dominio, logrando con esto que la prueba sea representativa y con muy pocos reactivos.

Para desarrollar una Estructura correcta y Valorar de este modo:

1 Hay que distinguir bien los objetivos de los Criterios de Evaluacin.

2 Transformar secuencialmente el objetivo en compor-

tamientos observables y valorables.

Vnculo de la Evaluacin por Criterios y la orientacin de la Educacin De acuerdo con este concepto, la educacin que se imparte dentro de la escuela tiene una funcin formativa. La obligacin del educador consiste en hacer que los alumnos logren los objetivos y los dominios que stos implican. Todos los alumnos pueden aprenderlo todo; solo es cuestin de que se les proporcionen las experiencias y el tiempo necesarios. Como ubicar al Alumno Respecto al Curso
ESTABLECER LA PUNTUACIN MNIMA ACEPTABLE

OBTENER LA PUNTUACIN DE CADA PRUEBA

NO

LA PUNTUACIN DENTRO DEL LIMITE ACEPTABLE?

QUEDA

SI

NO ACREDITACIN

ACREDITACIN

Se debe comparar a cada alumno con un dominio determinado, por lo tanto se debe comenzar por representar el dominio para determinar cuales puntos ameritan la elaboracin de un reactivo.

Calificacin para la Evaluacin por Criterios

La evaluacin por criterios requiere de una interpretacin de naturaleza absoluta, de todo o nada: el alumno posee o no los objetivos; posee o no los requisitos. Este tipo de interpretacin conduce a una decisin binaria, que en el caso de la evaluacin diagnstica debera implicar el ingreso o no ingreso al curso, acreditado/no, acreditado, promovido/no promovido. Para aplicar el sistema binario de calificacin se debe establecer previamente la mnima calificacin aceptable (usualmente un 80% o 90% de la calificacin mxima). Luego se califican las pruebas comparando la puntuacin total con la puntuacin mnima aceptable. Si la puntuacin del alumno esta dentro del lmite establecido, se promociona al siguiente curso; en caso contrario no promociona.

Limitaciones del Sistema

Una de las limitaciones del sistema es que la organizacin no faculta al profesor a rechazar a un alumno que oficialmente ha sido admitido; sin embargo, es muy conveniente examinar el problema del diagnstico con esta concepcin, aunque solo sea para informar al estudiante sobre los resultados, esperando que sea el mismo quien tome la decisin pertinente.

Evaluacin Normativa
Esta evaluacin se basa en el uso de tcnicas estadsticas. Sita al alumno dentro del grupo. Evala en referencia a una distribucin normal y compara el resultado del individuo con los resultados de la poblacin o grupo a los que pertenece el evaluado. Esto exige el establecimiento de una norma de referencia confeccionada despus de estudios estadsticos de rendimiento, con el objetivo de obtener una calificacin.

Cundo se usa este tipo de evaluacin?

Este tipo de evaluacin se utiliza para ubicar a los alumnos en escalas de rendimiento y puntaje, atribuir un lugar dentro de los grupos. El modelo normal se usa en aquellos casos en que las calificaciones deben responder a la necesidad de ordenar a un determinado grupo de individuos de mejor a peor, para elegir de entre ellos a los mejores, sin que en esta eleccin exista referencia alguna a determinados objetivos de aprendizaje previamente sealados como metas que deberan estar cumplidas.

Curva Normal

f ( x) =

1 e 2

( x )2 2 2

U
U

U+

-3

-2

U+

U+

99.7%
La curva representa una distribucin de probabilidades, este modelo permite explicar el comportamiento de numerosas variables aleatorias. Este modelo tiene dos parmetros que determinan completamente al modelo:

Uno de Posicin:
Marca el lugar central de la curva Y corresponde al valor esperado

La Dispersin:
Determina tanto el ancho y alto de la Curva y corresponde a la Varianza esperada

Influencia de la Evaluacin por Normas en la Tcnica de Elaboracin de Pruebas Juicio evaluativo de un Estudiante X:
Mala Buena

Alumno x

Alumno x
Mala Regular Buena

Alumno x
Muy Mala Mala Regular Buena Muy Buena

La ejecucin del grupo se representa en tres modalidades distintas, en la ltima situacin adquiere mas significado el juicio, el rango de ejecucin del grupo se ampli, el significado de la medicin se precisa. Al ser ms amplia la variacin de la ejecucin de un grupo los resultados Obtenidos son mas significativos. A esta variacin se le llama dispersin.
HISTOGRAMA
F R E C U E N C I A

Formas de distribucin La forma que presenta el histograma y el polgono de frecuencias correspondiente nos puede indicar de manera prctica si las calificaciones se distribuyen normalmente o aproximadamente, o si son sesgadas.

5 4 3 2 1

30

34

39

44

49

54

59

64

69

74

79

84

89 94

PUNTUACIONES DEL TEST

Atendiendo a su Forma

FORMA SIMETRICA O DE CAMPANA Las observaciones equidistan del Mximo central, tienen la misma frecuencia. Ejem. Rendimiento Acadmico

TIPO DE SESGO POSITIVO O NEGATIVO Esta forma se presenta cuando el centro de gravedad flucta de un lado a otro. Generalmente se presenta cuando el lmite Inferior superior se controla tericamente por un valor de especificacin.

Sesgada a la Derecha (Sesgo +)

Sesgada a la Izquierda (Sesgo -)

AL COMPARAR VARIAS DISTRIBUCIONES

Variabilidad
B

Asimetria
A

Curtosis

Presentacin ordenada de Datos

Un instrumento es la Distribucin de Frecuencias, que debe ofrecer la informacin Necesaria para hacer las representaciones grficas y facilitar los clculos del cual se obtendrn los Estadsticos Muestrales

Notas de clase de un examen de Algebra

2,3,4,1,2,3,3,4,5,7,5,5,6,4,5,5,6,9,8,7
Nota (xi) 9 8 7 6 5 4 3 2 1
Total
6

Frecuncia (fi)

Mutuamente excluyentes

1 1 2 2 5 3 3 2 1 20

FRECU CIA EN

0 1 2 3 4 5 6 7 8 9

NOT AS

Exhaustivas

Una distribucin de frecuencias es una representacin de la relacin entre un conjunto de medidas o clases mutuamente Excluyentes y Exhaustivas y la Frecuencia de cada una de ella.

Tabla de Frecuencias

Es un instrumento que ofrece la informacin necesaria para hacer las representaciones grficas y facilitar los clculos del cual se obtendrn los estadsticos muestrales Nota (xi) 9 8 7 6 5 4 Cuntos Alumnos del Aula 3 Obtuvieron menos de Nota 3? 2 =Frec.alumnos obtuvieron 1 1 + frec.alumnos obtuvieron 2 TOT AL = 1 + 2 = 3 Alumnos
Frecuenci a

fi
1 1 2 2 5 3 3 2 1 20

Porce n % 5 5 10 10 25 15 15 10 05 100

Porcen Acumul 5 10 20 30 55 70 85 95 100

Qu porcentaje de alumnos Tiene de Nota 6 o ms? = 30 %

50%

Qu Nota obtuvieron al menos el 50 % de los alumnos con nota inferior o igual ? =5

Frecuencia absoluta

Qu % de alumnos tiene de nota entre 4 y 6? = 15%+25%+10%=50%

Frecuencia Relativa Frecuencia Acumulada

Qu % de alumnos tiene de nota ms de 5? = 30%

Distribucin de Frecuencias con datos Acumulados

Test de los Hbitos de estudio de 30 alumnos

37,72,71,65,54,78,85,42,49,63,61,32,51,33,77, 93,85,83,63,55,58,46,57,73,73,68,73,91,75,77

Inter de clase (xi) 90-94 85-89 80-84 75-79 70-74 65-69 60-64 55-59 50-54 45-49 40-44 35-39 30-34 Total

Frec. (fi) 2 2 1 4 5 2 3 3 2 2 1 1 2 30

Frec. Acum . 30 28 26 25 21 16 14 11 8 6 4 3 2

% de Frec. Acum 100.00 93.33 86.67 83.33 70.00 53.33 46.67 36.67 26.67 20.00 13.33 10.00 6.67

1Rango de la amplitud: 93-32+1 = 62 2Dividimos 62/10 y 62/20 nos da 6,2 y 3,1 El intervalo de clase debe tener 5 de amplitud 3Para el 1er. Intervalo debe contener el valor mnimo Luego 1er Interv. 30-34 4Debemos recordar que los intervalos son cerrados por la izqu. y abiertos por la derecha.

INTERVALO DE CLASE

Reglas para agrupar las puntuaciones de las variables: 1 Aconsejable que los interv. de clase contengan 1,2,3,5,10 20 unidades de la escala 2 El Nro. de intervalos debe variar entre 10 y 20

Grfico de una distribucin de Frecuencias

HISTOGRAMA

Inter de clase (xi) 90-94 85-89 80-84 75-79 70-74 65-69 60-64 55-59 50-54 45-49 40-44 35-39 30-34

Lmites

exactos
89.5-94.5 84.5-89.5 79.5-84.5 74.5-79.5 69.5-74.5 64.5-69.5 59.5-64.5 54.5-59.5 49.5-54.5 44.5-49.5 39.5-44.5 34.5-39.5 29.5-34.5

Punto Medio 92 87 82 77 72 67 62 57 52 47 42 37 32

Frec. fi 2 2 1 4 5 2 3 3 2 2 1 1 2

F R E C U E N C I A

5 4 3 2 1

30

34

39

44

49

54

59

64

69

74

79

84

89 94

PUNTUACIONES DEL TEST

Las tablas de frecuencias y las representaciones grficas son dos maneras equivalentes de presentar la informacin. Las dos exponen ordenadamente la informacin recogida en una muestra.

F R E C U E N C I A

POLIGONO DE FRECUENCIA
5 4 3 2 1

30

34

39

44

49

54

59

64

69

74

79

84

89 94

PUNTUACIONES DEL TEST

Medida de Tendencia Central

MEDIA Es el Centro o expectativa de los datos

1 n = xi n i =1

Ejemplo: En el Examen de Algebra las notas obtenidas son: Calculemos la Media:

2,3,4,1,2,3,3,4,5,7,5,5,6,4,5,5,6,9,8,7

1 n X = xi n i=1
Nota (xi)
9 8 7 6 5 4 3 2 1 Total

_ x = (2+3+4+1+2+3+3+4+5+7+5+5+6+4+5+5+6+9+8+7) = 94 = 4.7 20 20 Si tenemos la tabla de frecuencias lo podemos calcular usando:

K
6

fi
1 1 2 2 5 3 3 2 1 20

Xi. fi
9 8 14 12 25 12 9 4 1 94

x fi
X =
i =1 K i

fi
i =1

_ x = 94 = 4.7 20

Podemos decir que: 4.7 es el promedio del rendimiento de 20 alumnos en el examen de Historia. La Media es un INDICADOR, que permite ver si los alumnos han logrado los objetivos operacionales.

F E U N IA RC E C

0 1 2 3 4 5 6 7 8 9

NOT AS NOTAS

Medidas de Variabilidad
S= 1 n ( xi x ) 2 n 1 i =1

VARIANZA Grado de concentracin de los datos alrededor del Centro Ejemplo: En el Examen de Algebra Calculemos la Varianza (S):

S=
Xi2*fi
81 64 98 72 125 48 27 8 1 524

n 1

xi2 fi n

Nota (xi) 9 8 7 6 5 4 3 2 1 Total

fi
1 1 2 2 5 3 3 2 1 20

Xi. fi
9 8 14 12 25 12 9 4 1 94

Xi2
81 64 49 36 25 16 9 4 1

De la tabla tenemos: X = Remplazando:

94 20

= 4.7

xi2fi = 524
= 2.07

S=

524 - 20 (4.7) 2 19

Podemos decir que: 2.07 es el grado de dispersin de los datos respecto de la media.
6 5

F E UNI R C E CA

0 1 2 3

NOT A S NOTAS

Distribucin Normal
Se utiliza en el tratamiento de Informacin de la Evaluacin Las caractersticas de los educandos se distribuyen en forma normal, es decir los 2/3 de la poblacin se agrupan entre una a ambos lados de la media. La frecuencia es mayor al centro y disminuye gradualmente a los costados. U -2 U -3 Para calcular una probabilidad en una D.Normal estandarizamos y luego usamos la tabla de la Distribucin. Estandarizar es transformar una variable X a:

f (x) =

1 e 2

( x )2 2 2

U+

U+ 2

U+ 3

99.7%

Puntuacin Tpica O estndar

_
Zi

= Xi X
Sx

Tenemos entonces una Distribucin Normal N(0,1)

Aplicaciones de la Evaluacin Normativa

99.7%

Uva vez verificada la forma de la distribucin, el dominio de la densidad normal se divide en 4, 5, k partes. El nmero de partes va a depender de la poltica educativa adoptada por la institucin. Por ejemplo: U -3 Si se establece que el nmero de desaprobados no debe superar el 25% de los examinados, entonces el dominio de la densidad normal se debe particionar en 4 partes. El establecimiento de la norma es factible y lcito si asumimos que todas las variables que intervienen Grupo en la accin educativa confluyen e interacten D correctamente. Grupo Esta evaluacin ubica a los alumnos en E escalas de rendimiento y puntaje, atribuyendo un lugar dentro del grupo. - 1.5
U U

95.4%
68.3%

U+ U+

U+

-2

Grupo B Grupo C
-0.5 +0.5 +1.5

Grupo A

Ejemplos: La Puntuacin Z es una forma especial de la D. Normal y nos es indispensable para comparacin de grupos que han sido evaluados con diferentes criterios y escalas. La puntuacin Z nos indica tambin que porcentaje de estudiantes punta por encima y por debajo de la media. Las Puntuacin obtenidas de cualquier test pueden convertir en Puntuacin Z

_
Zi

= Xi X
Sx
U

= 16 =2

Si la puntuacin directa obtenida por un alumno es 18 en una Distribucin cuya u = 16 y =2 el valor de la puntuacin Z ser:

Puntuacin.Z =

18 16 =1 2

Qu esfuerzo intelectual hizo el alumno Luis Castillo con respecto al grupo, al obtener los siguientes Calificativos?
TRIGONOMETRIA 14 ALGEBRA 14 _ Si x = 13 _ Si x = 11.9 = 1.9 = 1.9

Trigonometra

Algebra

Puntuacin.Z =

14 13 = 0.53 1.9

Puntuacin.Z =

14 11.9 = 1.58 1. 9

El alumno Castillo con los puntajes obtenidos se ha ubicado en el nivel de rendimiento Normal o Grupo C con respecto al resto del grupo en el curso de Trigonometra. Sin embargo en el curso de Algebra con el puntaje de 14 se ubica en el nivel Superior

El alumno Isaac obtiene las siguientes calificaciones en tres asignaturas diferentes En qu curso obtuvo mejor calificacin?
ALUMNO Xi ALGEBRA 16 GEOMETRIA 13 HISTORIA 15

Aparentemente podra ser la mejor calificacin la de Algebra y la ms baja la de Geometra. Sin embargo esta conclusin no es del todo cierta. Vemoslo en relacin a la Media y a la Desviacin estndar en cada conjunto de notas: ALGEBRA
ALUMNO Xi ALGEBRA 16 17 GEOMETRIA 13 11 1 2 HISTORIA 15 12 3
9 10 11 12 13

13

15

17

19

21

X -

GEOMETRIA

2 -0.5

Xi -X

HISTORIA Analizando los dos ltimos estadgrafos vemos que: La nota ms baja en comparacin con el grupo es Algebra Z = - 0.5 El calificativo de Geometra est ubicado dos veces por encima de la media pues Z=2 Podemos decir entonces que la mejor calificacin de Isaac lo ha obtenido en Geometra.
6 9 12 15 18

Vnculo de la Evaluacin Normativa y la orientacin de la Educacin

Los educadores, buscando en forma sencilla de aplicar la normal ha evaluado acadmicamente Hace aos y encontraron que planteando 4 preguntas con la siguiente graduacin:

1 PREGUNTA FACIL

2 PREGUNTAS NORMALES

1 PREGUNTA DIFICL

Cada una con 5 puntos, estaban situados frente aun tipo de evaluacin aplicando la normal en escala vigesimal. Si el nmero de desaprobados no debe superar el quinto inferior
1 PREGUNTA FACIL 1 PREGUNTA FACIL CON ALGN GRADO DE DIFICULTAD 1 PREGUNTA NORMAL 1 PREGUNTA NORMAL CON ALGUN GRADO DE DIFICULTAD

El dominio de la densidad normal se divide en 5 partes

Cada una con 4 puntos

1 PREGUNTA DIFICIL

Limitaciones del Sistema

Los tipos de tests que se construyen tienden a medir capacidades generales, como puede ser la inteligencia ms que el conocimiento o habilidades especficas de una materia. Los tests tienen un defecto en cuanto a la relevancia de las cuestiones que plantean. Estn construidos para que los resultados presenten una distribucin normal, por lo que tratan de discriminar entre alumnos. Un item que es contestado por todos los alumno se desecha. La evaluacin por normas no nos dice lo que el estudiante puede o no puede hacer, sino si puede hacer ms o menos que los dems. La Evaluacin por Normas, consiste en elaborar una prueba con un nmero tan grande de reactivos de la materia, que por azar muchos de ellos se encuentren dentro del dominio.

DIFERENCIAS ENTRE LA EVALUACION REFERIDA A NORMA Y LA REFERIDA A CRITERIO

Vilma Isabel Gamboa Medina

E-Mail: vilma_gamboa83@hotmail.com