Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Evaluación Adaptativa Inglés 2014 - Resumen Ejecutivo
Evaluación Adaptativa Inglés 2014 - Resumen Ejecutivo
uruguayo, 2014.
Resumen Ejecutivo
Departamento de Segundas Lenguas y Lenguas Extranjeras del CEIP
Programa Ceibal en Ingles Plan Ceibal
Divisin de Investigacin, Evaluacin y Estadstica de ANEP
Departamento de Monitoreo y Evaluacin- Plan Ceibal
Consultor: Mario Luzardo
Introduccin
Del 17 de noviembre al 6 de diciembre de 2014 se realiz la primera evaluacin adaptativa en
el sistema educativo uruguayo. Estudiantes de ingls de 4to, 5to y 6to ao de escuelas pblicas
de Uruguay que estudian ingls en el Programa del Departamento de Segundas Lenguas y
Lenguas Extranjeras del CEIP y en el Programa Ceibal en Ingls por videoconferencia, realizaron
una evaluacin adaptativa de actividades sobre vocabulario, gramtica y lectura en ingls, y
una evaluacin de escritura en ingls
La evaluacin constituy un esfuerzo conjunto del Departamento de Segundas Lenguas y
Lenguas Extranjeras del CEIP (DSLyLE), el Programa Ceibal en Ingles de Plan Ceibal (CI), la
Divisin de Investigacin, Evaluacin y Estadstica de CODICEN, el Departamento de Monitoreo
y Evaluacin de Plan Ceibal, el British Council y el especialista en psicometra Mario Luzardo.
Este tipo de evaluaciones utilizan las actividades de un banco de temes calibrados para
estimar el nivel de desempeo del alumno. Las actividades que responde cada nio se gradan
en funcin de sus respuestas; de este modo, cada nio recorre un conjunto de actividades en
funcin del desempeo que va demostrando. El desarrollo de la prueba adaptativa se realiz
en la plataforma SEA1, las pruebas se aplicaron en computadora y el maestro obtuvo los
resultados en forma inmediata.
Objetivos de la evaluacin
La evaluacin tuvo tres objetivos especficos:
Evaluar los conocimientos de ingls de los nios de 4to, 5to y 6to en las dos
modalidades de enseanza de ingls que actualmente tiene Primaria.
Generar un plan de evaluacin permanente que permita ver el progreso interanual en
los conocimientos de ingls en los ltimos aos de escolaridad
Generar informacin para la continuidad de las polticas lingsticas entre Primaria y
Media (en Educacin Media el ingls constituye una asignatura obligatoria, por lo que
resulta de gran inters para el sistema educativo conocer el nivel de ingls con el que
los alumnos egresan de Primaria).
Programa
Ceibal Ingls
Seg. Lenguas
Total
Cobertura de los
programas
Escuelas
Grupos
383
2.128
269
1.181
652
3.309
Participantes de la
evaluacin
Grupos
Alumnos
1.502
30.196
932
18.497
2.434
48.693
Tasa de
respuesta
Grupos
71%
79%
74%
De los 3.309 grupos que constituan el universo potencial total, participaron 2.434, lo que
constituye una tasa de respuesta a nivel de grupos del 74%, balanceada entre todos los
contextos socioculturales y grados escolares. Fueron evaluados 48.693 estudiantes, 62% de
ellos pertencean a Ceibal en Ingls y 38% al programa de Segundas Lenguas. Hay que
recordar que el programa de Ingles del Departamento de Segundas Lenguas se concentra en
las escuelas de Tiempo Completo o Tiempo Extendido, mientras que Ingls Ceibal se despliega
en todas las escuelas que aceptan el programa y no tienen extensin de tiempo pedaggico.
Diseo de la evaluacin
Para el desarrollo de la evaluacin se cont con un banco de 195 temes que fueron calibrados
mediante TRI2 con el modelo logstico de dos parmetros. La medicin del conocimiento de
ingls se realiz a travs de la evaluacin de las macro habilidades comprensin y produccin
escrita. La comprensin escrita fue evaluada a travs de tres dimensiones: gramtica,
vocabulario y lectura. Cada alumno responda entre 25 y 30 preguntas de mltiple opcin y
una pregunta abierta para evaluar produccin escrita. Por ltimo, se relev si el alumno
estudiaba ingls fuera del mbito escolar. Esta pregunta fue contestada por 35.452 alumnos
(73%), y respondieron afirmativamente 8.443 (24%).
Los alumnos podan obtener en la prueba adaptativa un puntaje de entre 0 y 1500 puntos. Esta
escala de puntaje fue clasificada en 5 categoras asociadas a los estndares de desempeo del
Marco de Referencia Europeo de Enseanza y Aprendizaje de Lenguas. La correspondencia
establecida fue la siguiente: de 0 a 288 puntos corresponda a un nivel A0, de 289 a 456 puntos
al nivel A1- y as hasta alcanzar el mximo nivel (A2+) correspondiente a un puntaje de entre
924 y 1500 puntos.
Puntaje
Categora
A0
0-288
IN PROGRESS
A1-
289-456
BEGINNER LOW
A1+
457-536
BEGINNER HIGH
A2-
537-923
ELEMENTARY LOW
A2+
924-1500
ELEMENTARY HIGH
Resultados
Resultados globales
A continuacin se presentan los resultados obtenidos por todos los alumnos evaluados.
Como se expresa en el grfico 1, el 57% de los alumnos que tomaron la prueba alcanz un nivel
A1, mientras que el 42% obtuvo un nivel A2.
30
3
A0
A1-
A1+
A2-
A2+
En el caso de la pregunta de produccin escrita, se realiz una rbrica de correccin por los
desarrolladores de la prueba, con un puntaje que variaba entre 0 y 5 puntos. Para la correccin
de dicha produccin se tom una muestra aleatoria de 2.419 respuestas.
Los resultados de esta muestra se presentan en el grfico 2.
0 ptos
1 pto
2 ptos
3 ptos
4 ptos
5 ptos
En produccin escrita, el 39% de los alumnos que contestaron la pregunta abierta obtuvo un
puntaje de 3 o ms puntos, lo que implica que el alumno logra escribir oraciones en ingls sin
recurrir al espaol, aunque puede haber errores de ortografa, sintaxis o vocabulario3.
Resultados segn estudios de ingls fuera de la escuela, grado escolar, sexo y contexto
sociocultural
A continuacin se analizan los resultados segn si el alumno declar que estudia ingls fuera
de la escuela, segn grado escolar, gnero y contexto sociocultural de la escuela.
Los alumnos que estudian ingls fuera de la escuela obtuvieron mejores resultados que los
que solo estn expuestos a los programas de enseanza de ingls de Primaria, lo cual refleja
entre otros aspectos la consistencia del diseo de la prueba. El 57% de los alumnos que
estudian afuera alcanz un nivel A2, en comparacin con el 40% de los que estudian solo en la
escuela.
3
Rbrica utilizada para la correccin de la respuesta escrita. 0 puntos: Escribe palabras sueltas en ingls
con errores de ortografa, pero las mismas no estn relacionadas con la tarea propuesta. 1 punto:
Intenta comunicarse, pero bsicamente escribe palabas sueltas en ingls, que pueden tener errores de
ortografa. El alumno intenta armar oraciones en interlengua que suelen ser incompletas. Los errores
interfieren en la comunicacin. 2 puntos: Escribe oraciones con errores de sintaxis, vocabulario u
ortografa al intentar dar detalles. El alumno puede recurrir al uso de espaol para terminar de formular
oraciones o completar ideas. 3 puntos: Logra escribir oraciones. Describe con detalles bsicos pero hay
errores de ortografa, sintaxis o uso de vocabulario, que pueden interferir en la comprensin del texto.
El alumno no recurre al espaol para comunicarse. 4 puntos: Escribe oraciones en ingls sin recurrir al
espaol y describe con detalles, con un uso adecuado de sintaxis y vocabulario relevantes a la
propuesta. Si hay errores de ortografa o sintaxis, estos no interfieren en la comprensin del texto.
Aparecen conjunciones entre adjetivos o verbos. 5 puntos: Escribe varias oraciones en ingls y describe
con variados detalles, haciendo un uso correcto de sintaxis y vocabulario, variado y relevante. Hay varios
elementos de cohesin.
0,3%
22%
0,3%
27%
A0
30%
A1-
20%
33%
A1+
49%
37%
39%
A2A2+
3%
8%
3%
No
Si
Total
Al analizar los resultados por grado escolar se observa que mejora el desempeo a medida
que aumenta el grado aunque los grados escolares no siempre se asocian a mayor tiempo de
exposicin a los programas de enseanza de ingls (un grupo de 6to puede estar participando
por primer ao en cualquiera de los programas al igual que un alumno de 4). Por lo tanto, se
podra decir que esto responde a la madurez del nio, la exposicin a mayor cantidad de
pruebas, entre otras cosas.
%
26%
%
17%
A0
27%
A1-
32%
32%
A1+
50%
28%
39%
2%
3%
5%
A2A2+
En cuanto al desempeo por gnero, los resultados muestran que las nias tuvieron un
mejor desempeo que los nios.
0%
30%
A0
31%
A1-
30%
A1+
41%
37%
4%
3%
Nias
Nios
A2A2+
Si bien los resultados por contexto sociocultural de la escuela resultan consistentes con lo que
ocurre en otras asignaturas, donde los alumnos de contextos ms favorables obtienen
mejores resultados que los nios de contextos ms crticos, aunque los resultados obtenidos
en materia de aprendizaje de ingls son menos pronunciados a los observados en las
evaluaciones de aprendizaje en Lectura o Matemtica. Este dato podra sugerir una menor
determinacin del contexto sociocultural en los desempeos de los alumnos que es un
objetivo muy importante para lograr la justicia social.
37%
33%
30%
25%
17%
28%
30%
32%
29%
32%
29%
33%
37%
39%
2%
Nivel 1 ms
crtico
2%
Nivel 2
3%
Nivel 3
3%
Nivel 4
A0
A1-
49%
6%
Nivel 5
menos
crtico
A1+
A2A2+
30%30%
3% 5%
% %
A0
A1-
A1+
Ceibal en Ingls
A2-
A2+
Segundas Lenguas
Si se analizan los resultados por tiempo de exposicin al ingls, se observa nuevamente que los
niveles alcanzados en ambos programas son relativamente similares. Para poder realizar este
anlisis es necesario restringir los aos de enseanza de ingls de 1 a 2 aos, ya que mientras
que en el DSLyLE los alumnos pueden tener hasta 7 aos de exposicin, en Ceibal en Ingls el
tiempo mximo a 2014 era de 2 aos.
37%
29%
29%
31%
30%
22%
19%
35%
30%
28%
28%
26%
A148%
30%
38%
36%
47%
4%
3%
5%
3%
5%
3%
Segundas
Lenguas
Ceibal en
Ingls
Segundas
Lenguas
Ceibal en
Ingls
Segundas
Lenguas
Ceibal en
Ingls
1,5
A0
34%
A1+
A2A2+
Las leves diferencias encontradas en los niveles alcanzados se pueden deber a que se est
comparando la totalidad de los alumnos de Ceibal en Ingls con solo un 40% de los alumnos
del DSLyLE (aproximadamente el 60% tiene ms de 2 aos de exposicin), adems de que se
trata de poblaciones diferentes entre s.
Principales conclusiones
La evaluacin adaptativa realizada a fines de 2014 da cuenta de la experiencia de aprendizaje
de la enseanza de ingls en Primaria. De este proceso se evidencian tres grandes logros que
se resumen a continuacin4.
El primer logro refiere a la importancia de contar con una evaluacin nica y sistmica que no
evala el contenido curricular de los programas si no que se basa en el marco de referencia
europeo.
El segundo ha sido la realizacin por primera vez en Uruguay de una evaluacin adaptativa. La
misma permiti evaluar a una cantidad muy importante de nios con niveles de apropiacin
de conocimientos muy dispares debido a historias educativas muy diferentes. A diferencia de
las pruebas tradicionales, las pruebas adaptativas permiten aplicar un formato de evaluacin a
poblaciones heterogneas. La realizacin y administracin de una prueba adaptativa a gran
escala constituy un avance tcnico importante en el sistema de evaluacin educativo
uruguayo que pretende tener continuidad y dar cuenta de los avances interanuales de los
aprendizajes alcanzados. De esta forma, se pretende generar a fin de cada ao lectivo
informacin relevante para todos los actores involucrados. Asimismo, es indispensable a
efectos de pensar la continuidad de los aprendizajes de ingls en Enseanza Media.
El tercer logro refiere a los buenos resultados obtenidos en materia de aprendizajes de ingls
de los nios de ambos programas. Los nios uruguayos estn saliendo de la escuela primaria
con un nivel de ingls apreciable, lo que debe ser reconocido por los niveles universales de
enseanza de ingls en educacin media. Subsiste igual una gran heterogeneidad de
desempeos al culminar la educacin primaria a la cual se agrega el hecho de que no toda la
poblacin que egresa ha participado de la enseanza de ingls.
Los resultados de la prueba son consistentes en varios sentidos, lo cual constituye en s mismo una
indicacin de la calidad de la prueba y el proceso de evaluacin:, a mayor tiempo de exposicin se
evidencia una mejora en el desempeo de los alumnos; al igual que ocurre en otras reas del
conocimiento, las nias logran mejores resultados que los nios; por ltimo, si bien los programas
alcanzan buenos resultados en todos los contextos socioculturales, los contextos menos crticos
alcanzan relativamente mejores resultados.