Comprendio de Los Manuales Del Serce

COMPENDIO
DE LOS MANUALES DEL SERCE
Esta es una publicacin de la Oficina Regional de Educacin para Amrica Latina y el Caribe (OREALC/UNESCO Santiago) y del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE). Jorge Sequeira Director OREALC/UNESCO Santiago Stefanie Block Editora de publicaciones / Informacin pblica Seccin de Gestin del Conocimiento OREALC/UNESCO Santiago Ana Atorresi (Cap. V) Carlos Pardo (Cap. VII y VIII) David Glejberman (Cap. I) Giuliana Espinosa (Cap. II, III, IV y VI) Lilia Toranzos (Cap. II, III, IV y VI) Martha Rocha (Cap. VII y VIII) Mauricio Castro (Cap. I) Autores INTERSON S.A. Edicin, Diseo y Diagramacin Los autores son responsables por la seleccin y la presentacin de los hechos contenidos en esta publicacin, as como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no comprometen a la Organizacin. Las denominaciones empleadas y la presentacin de los datos no implican, de parte de la UNESCO, ninguna toma de posicin respecto al estatuto jurdico de los pases, las ciudades, los territorios, las zonas y sus autoridades ni respecto al trazado de sus fronteras o lmites. El uso de un lenguaje que no discrimine ni reproduzca esquemas discriminatorios entre hombres y mujeres es una de las preocupaciones de la UNESCO. Sin embargo, no hay acuerdo entre los lingistas acerca de cmo expresar en castellano la igualdad de gneros sin evitar la sobrecarga que supone utilizar o/a, los/las y otras formas sensibles al gnero para marcar la presencia de ambos sexos. Por esta razn, hemos optado por usar la forma masculina en su tradicional acepcin, que hace referencia tanto a hombres como a mujeres. Permitida la reproduccin total o parcial de esta publicacin, as como su traduccin a cualquier otro idioma, siempre que se cite la fuente y que no se utilice con fines lucrativos. UNESCO 2010 ISBN: 978-92-3-304186-8 INTERSON S.A. Santiago, Chile; diciembre, 2010.
COMPENDIO
DE LOS MANUALES DEL SERCE
Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin
Presentacin
no de los propsitos ms importantes del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE), de la Oficina Regional de Educacin para Amrica Latina y el Caribe (OREALC/UNESCO Santiago), es el de dejar capacidades instaladas en los equipos tcnicos de los pases sobre los procedimientos y prcticas utilizadas para evaluar la calidad de la educacin. Para esta tarea, es necesario no solo entregar los productos finales, sino que tambin las pautas de cmo se normaron los procesos que llevaron a la realizacin de dichos productos. El fin es que no seamos solo usuarios de herramientas, sino usuarios conscientes, capaces de reproducir, adaptar y mejorar lo aprendido en su aplicacin. Es por las razones esbozadas anteriormente que el LLECE, a travs de este Compendio, quiere poner a disposicin de toda la comunidad de la Regin Latinoamericana tanto de los pases miembros del LLECE como de cualquier otro interesado en esta temtica, la coleccin de manuales desarrollados a lo largo del Segundo Estudio Regional Comparativo y Explicativo (SERCE), los cuales dan detalles desde el diseo muestral y la elaboracin de los instrumentos, tales como las pruebas y los cuestionarios, hasta la aplicacin de los mismos, tanto en su versin piloto como definitiva. Esperamos que este Compendio de Manuales permita conocer ms cercanamente el trabajo tcnico que se llev a cabo en el SERCE, y pueda contribuir a elevar an ms las capacidades de los equipos tcnicos de evaluacin de los pases de la regin, as como tambin orientarnos sobre las normas a seguir en pro de la mejora de la calidad educativa de los nios y nias de Amtrica Latina y el Caribe.
Jorge Sequeira Director OREALC/UNESCO Santiago
ndice
Captulo I: Manual de Muestreo ................................................................................. 13
2. Universos que sern objeto de estudio ......................................................................... 13 3. Subuniversos de estudio ................................................................................................ 14 4. Unidades de muestreo y marco muestral ..................................................................... 15 5. Exclusiones vlidas ....................................................................................................... 15 6. Mtodo de muestreo ...................................................................................................... 17 7. Criterios de estratificacin para la optimizacin del muestreo ................................... 18 8. Cantidad mnima de escuelas por estrato explcito y por pas ......................................................................................... 20 9. Ajustes en el tamao de la muestra .............................................................................. 21 10. Procedimientos para la seleccin de escuelas y alumnos Sistema de reemplazos ....................................................................................................... 22 11. Estratos adicionales optativos para cada pas Tratamiento de los mismos. Tratamiento de las muestras para entidades subnacionales (Nuevo Len y Goias) ........23 12. Requerimientos e instrucciones para la elaboracin del marco muestral en cada pas. Estructura de las bases de datos ................................ 23 13. Criterios y procedimientos para el control de los marcos muestrales por parte de la Coordinacin Tcnica .............................................................................. 24 14. Requisitos mnimos de cobertura que deben ser alcanzados por cada pas para que los datos sean considerados confables ....................................... 25 15. Criterios y procedimientos para el control de las muestras realmente obtenidas, una vez culminada la aplicacin .................................................... 26 16. Mrgenes de error estimados para el diseo muestral, a nivel internacional, nacional y de estrato ..................................................................... 26 17. Sistema de ponderaciones para la estimacin de resultados a nivel nacional y de subuniversos .................................................................................... 27 18. Advertencia .................................................................................................................. 27 ANEXO 1 .......................................................................................................................... 28
ANEXO 2 .......................................................................................................................... 29 ANEXO 3 .......................................................................................................................... 30 Escuelas y directores ......................................................................................................... 31 Estimadores alternativos (de expansin simple) ............................................................. 33 Alumnos ............................................................................................................................ 33
Captulo II:
Manual del Coordinador Nacional para la Aplicacin Definitiva ............... 35
2. Papel del Coordinador Nacional .......................................................................................... 35

3. Lista de instrumentos ....................................................................................................... 36 4. Actividades previas a la aplicacin .................................................................................... 37 4.1 Conformar el marco muestral y definir fechas de aplicacin ............................................... 37 4.2 Recibir y estudiar la documentacin del proyecto ........................................................... 38 4.3 Establecer contacto con los centros educativos .............................................................. 39 4.4 Convocar, seleccionar y capacitar a los aplicadores ......................................................... 40 4.5 Imprimir cuadernillos y cuestionarios ............................................................................. 41 4.6 Organizar la revisin y entrega de los materiales a los aplicadores ..................................... 41 Actividades durante la aplicacin .......................................................................................... 44 5.1 Implementar un sistema interno (nacional) de apoyo a la aplicacin ................................ 44 5.2 Colaborar con el sistema de control de calidad del estudio .............................................. 44 6. Actividades despus de la aplicacin ................................................................................ 45 6.1 Organizar la verificacin y recepcin de los materiales de la aplicacin ........................... 45 6.2 Organizar la captura de las respuestas a los instrumentos ............................................... 45 6.3 Consolidar y remitir la documentacin ........................................................................... 46 6.4 Mantener bajo resguardo los instrumentos ..................................................................... 47 ANEXO 1 ........................................................................................................................... 48 ANEXO 2 ........................................................................................................................... 49 Fase II: Actividades presenciales ............................................................................................ 50 1. Prueba de carcter formativo (30 minutos) ............................................................................ 50 2. Anlisis grupal de las partes fundamentales del Manual de Aplicacin (120 minutos) ................ 50 3. Representaciones de las aplicaciones de las pruebas ................................................................ 51 4. Representaciones de las aplicaciones de los cuestionarios de factores asociados ........................ 52 4.1 Presentacin introductoria a cuestionarios (15 minutos) ....................................................... 53 4.2 Cuestionarios del docente (incluye los cuestionarios sobre enseanza), el director y ficha de empadronamiento del centro educativo (45 minutos por instrumento) ............ 53 4.3. Cuestionario de la familia .................................................................................................. 53 5. Despedida del centro educativo, devolucin de materiales y elaboracin del reporte (60 minutos) .......................................................................................................................... 53
Captulo III: Manual del Aplicador para la Aplicacin Definitiva ................................. 54

2. Lista de instrumentos ....................................................................................................... 54 3. Actividades del Aplicador .................................................................................................. 55 3.1 Establecer contacto con la escuela ....................................................................................... 55 3.2 Recibir el material de la evaluacin y verificar que est completo ............................................ 56 3.3 Completar el Formulario de Asistencia de Estudiantes (F2) ................................................... 57 3.4 Completar las cartulas de los instrumentos ......................................................................... 58 3.5 Aplicar los instrumentos a los estudiantes ............................................................................ 60 3.5.1 Conducir la aplicacin de acuerdo con la gua .................................................................... 61 3.5.2 Supervisar la sesin ......................................................................................................... 61 3.5.3 Finalizar la sesin ............................................................................................................ 62 3.6 Administrar los cuestionarios de familia (QF) ....................................................................... 62 3.7 Administrar los cuestionarios del director y de los docentes ................................................... 63 3.8 Completar el formulario de registro de incidentes (F3) .......................................................... 63 3.9 Agradecer y despedirse de la escuela .................................................................................... 64 3.10 Consolidar todo el material y devolverlo ............................................................................. 64 4. Situaciones problemticas: preguntas y respuestas ................................................................... 65 ANEXO 1 .............................................................................................................................. 66 ANEXO 2 ............................................................................................................................. 67 ANEXO 2B ........................................................................................................................... 68 ANEXO 3 .............................................................................................................................. 69 ANEXO 4 .............................................................................................................................. 70 ANEXO 5 .............................................................................................................................. 71 ANEXO 6 .............................................................................................................................. 73
Captulo IV: Manual para la Codificacin de los tems

de respuesta abierta de matemtica .......................................................................................... 96 2. Las pruebas de Matemtica SERCE ...................................................................................... 97 3. Estructura de los tems de respuesta abierta ........................................................................... 98 4. Estructura de las consignas de codificacin ............................................................................ 98 5. Cdigos de dos dgitos ......................................................................................................... 98 6. Cuestiones generales de la codificacin .................................................................................. 98 7. Gua general de codificacin de los tems de respuesta abierta de tercero ................................. 100 8. Gua general de codificacin de los tems de respuesta abierta de sexto ................................... 109
Captulo V: Manual para la evaluacin de las pruebas de Escritura .................................... 124

Primera Parte ..................................................................................................................... 125 1. La Escritura ..................................................................................................................... 125 1.1 La planificacin de la Escritura ........................................................................................ 125 1.2 La puesta en texto .......................................................................................................... 126 1.3 La revisin y el ajuste ...................................................................................................... 127 1.4 Particularidades de la Escritura en las pruebas del SERCE .................................................. 128 2. Aspectos para evaluar: producto y proceso .......................................................................... 128 2.1 Evaluacin del proceso .................................................................................................... 129 2.1.1 Evaluacin del proceso de Escritura en el SERCE ........................................................... 130 2.2 Evaluacin del producto .................................................................................................. 131 2.2.1 Los objetivos ............................................................................................................... 131 2.2.2 Las instrucciones ......................................................................................................... 132 2.2.3 Los criterios de xito y las escalas de calificacin ............................................................. 134 Segunda parte ...................................................................................................................... 137 1. Glosario de conceptos involucrados en la evaluacin ........................................................... 137 1.1 Coherencia .................................................................................................................... 138 1.2 Estructura textual descriptiva .......................................................................................... 139 1.3 Estructura textual narrativa ............................................................................................. 140 1.4 Estructura textual instructiva ........................................................................................... 144 1.5 Gneros discursivos ........................................................................................................ 145 1.6 Legibilidad ..................................................................................................................... 146 1.7 Lxico ........................................................................................................................... 146 1.8 Ortografa ..................................................................................................................... 147 1.9 Registro ........................................................................................................................ 147 1.10 Texto .......................................................................................................................... 148 1.11 Ttulo .......................................................................................................................... 149 Tercera parte ....................................................................................................................... 150 1. Instructivo para la evaluacin de las pruebas de tercer grado ................................................ 150 Cuarta parte ........................................................................................................................ 179 1. Instructivo para la evaluacin de las pruebas de sexto grado ................................................. 179 Quinta parte ........................................................................................................................ 205 1. Recomendaciones para evitar sesgos y errores al evaluar ....................................................... 205 Referencias .......................................................................................................................... 206 8
Captulo VI: Manual para la Codificacin de los tems de Ciencias Naturales ..................... 208
A.Cdigo: C.b1.it15. tem 15 del Cuadernillo 1. tem 30 del Cuadernillo 6 ................................. 208 B.Cdigo: C.b2.it15. tem 30 del Cuadernillo 1. tem 15 del Cuadernillo 4.................................. 211 C.Cdigo: C.b3.it10. tem 10 del Cuadernillo 2. tem 25 del Cuadernillo 4.................................. 214 D. Cdigo: C.b3.it15. tem 15 del Cuadernillo 2. tem 30 del Cuadernillo 4................................. 216 E.Cdigo: C.b4.it15. tem 30 del Cuadernillo 2. tem 15 del Cuadernillo 5.................................. 219 F. Cdigo: C.b5.it15. tem 15 del Cuadernillo 3. tem 30 del Cuadernillo 5.................................. 222
Captulo VII: Manual para el Procesamiento y Anlisis de Datos Aplicacin Piloto ............ 225
1. Fundamentacin terica del Modelo de Anlisis ................................................................... 225 1.1 Las teoras de medicin .................................................................................................... 225 1.2 La Teora de Respuesta al Item (TRI)................................................................................. 226 1.2.1 Supuestos de la TRI ...................................................................................................... 226 1.2.2 Modelos en la TRI ........................................................................................................ 227 2. Indicadores estadsticos para anlisis de tems ...................................................................... 229 2.1 Dificultad ....................................................................................................................... 229 2.2 Discriminacin ............................................................................................................... 230 2.3 Correlacin Producto Momento Punto Medida .................................................................. 230 2.4 .Funcionamiento Diferencial de tems (DIF) ...................................................................... 231 2.5 Curva Caracterstica del tem (ICC) ................................................................................... 231 2.6 Ajuste prximo y lejano (infit y outfit)................................................................................ 232 2.7 Promedio de habilidad por opcin .................................................................................... 232 2.8 Mapa de distribucin de habilidades y dificultades .............................................................. 233 2.9 Correlaciones inter-tem ................................................................................................... 233 2.10 Error estndar de medicin ............................................................................................ 233 9
3. Indicadores estadsticos para el anlisis de grupos de tems ................................................... 234 3.1 Promedio ....................................................................................................................... 234 3.2 Desviacin estndar ......................................................................................................... 234 3.3 Puntuacin mxima y mnima ........................................................................................... 235 3.4 Confiabilidad ................................................................................................................... 235 4. Software para procesamiento .............................................................................................. 235
5. Base de datos .................................................................................................................... 236 5.1 Base de datos de entrada ................................................................................................... 236
5.2 Archivos de comandos ................................................................................................... 239 5.3 Base de datos de salida ................................................................................................... 239 6. Reportes ......................................................................................................................... 240 6.1 Reportes en tablas para el informe internacional ............................................................... 240 6.2 Reportes grficos para el informe internacional ................................................................. 245 6.3 Reportes en tablas por pas ............................................................................................. 250 6.4 Reportes grficos por pas................................................................................................ 252 7. Fases del procesamiento..................................................................................................... 253
Captulo VIII: Manual para el Procesamiento y Anlisis de Datos Aplicacin Definitiva ... 254
1. Fundamentacin terica del modelo de anlisis ................................................................... 255 1.1 Las teoras de medicin ................................................................................................... 255 1.2 La teora de respuesta al tem (TRI) .................................................................................. 256 1.2.1 Supuestos de la TRI ..................................................................................................... 256 1.2.2 Parmetros y modelos de la TRI .................................................................................... 257 1.3 Modelo utilizado para el procesamiento del estudio principal .............................................. 260 2. Fases generales del procesamiento de datos......................................................................... 261 2.1 Fase uno: procesamiento para anlisis de tems y de pruebas ............................................... 261 2.2 Fase dos: produccin de resultados .................................................................................. 261 3. Conformacin de la base de datos para anlisis de tems ...................................................... 262 3.1 Depuracin inicial ......................................................................................................... 262 3.2 Estructura de las bases de datos ....................................................................................... 262 3.3 Archivos de comandos ................................................................................................... 263 4. Depuracin de bases de datos para anlisis de tems ............................................................ 263 5. Verificacin de supuestos del modelo.................................................................................. 264 6. Indicadores estadsticos para anlisis de tems ..................................................................... 264 6.1 Indicadores de categora uno............................................................................................ 265 6.1.1 Ajuste prximo y lejano (Infit y Outfit) .......................................................................... 265 6.1.2 Funcionamiento Diferencial de Items - DIF ................................................................... 265 6.2 Indicadores de categora dos ........................................................................................... 266 6.2.1 Dificultad .................................................................................................................. 266 6.2.2 Discriminacin ........................................................................................................... 266 6.2.3. Correlacin Producto Momento Punto Medida ............................................................. 267 6.2.4 Curva Caracterstica del Item - CCI ............................................................................... 267 10
7. Indicadores estadsticos para anlisis de grupos de tems ....................................................... 269 7.1 Promedio ....................................................................................................................... 269 7.2 Desviacin estndar ......................................................................................................... 270 7.3 Puntuacin mxima y mnima ........................................................................................... 270 7.4 Funcin de informacin ................................................................................................... 270 8. Depuracin de bases de datos para generacin de escalas de calificacin ................................. 271 8.1Depuracin previa al procesamiento para anlisis de tems .................................................... 271 8.2 Depuracin posterior al procesamiento para anlisis de tems ............................................... 271 8.3 Estructura de la base de datos para produccin de resultados ............................................... 271 9. Escalas de calificacin......................................................................................................... 272 9.1 Puntuacin total en la prueba ............................................................................................ 272 9.2 Nivel de desempeo ........................................................................................................ 272 9.3 Desempeo relativo por categoras de la estructura de prueba ............................................. 273 10. Bases de resultados........................................................................................................... 273 11. Software para procesamiento............................................................................................. 274 12. Reportes.......................................................................................................................... 275 12.1 Reportes en tablas por prueba ......................................................................................... 275 12.2 Reportes grficos por prueba........................................................................................... 278 12.3 Reportes en tablas con informacin por pas..................................................................... 282 12.4 Reportes grficos por pas ............................................................................................... 284 Bibliografa............................................................................................................................ 286
11
Introduccin
l Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE), como red de apoyo a los pases de la regin, tiene como propsito diagnosticar y mejorar la calidad de la educacin, pero tambin promover el desarrollo de capital humano que nos haga cada da mejores en la compleja tarea de la evaluacin, por lo que se hace necesario dejar estampada y difundida la experiencia acumulada en este camino. A travs de este Compendio, La Oficina Regional de Educacin para Amrica Latina y el Caribe (OREALC/ UNESCO Santiago) busca contribuir al fortalecimiento de las capacidades tcnicas de los pases, dejando memoria de la experiencia acumulada en los distintos procesos que llevaron a la realizacin exitosa del Segundo Estudio Regional Comparativo y Explicativo (SERCE). Para ello, el LLECE divulga este Compendio de Manuales desarrollados para la aplicacin de las distintas tareas del estudio SERCE. A travs de estos manuales, se recogieron las pautas a seguir para una ejecucin controlada de las distintas etapas por la que transit la evaluacin de los aprendizajes en cada pas participante en el SERCE y en toda la regin. Esta experiencia permitir orientar y mejorar tanto nuevas iniciativas regionales de evaluacin como esfuerzos de evaluaciones locales. Esperamos que este compendio ayude a los equipos tcnicos de los pases a fortalecer sus capacidades y a propiciar evaluaciones con calidad para todos en Amrica Latina y el Caribe.
12
CAPTULO I: MANUAL DE MUESTREO
l propsito de este documento es explicitar las caractersticas del diseo muestral del SERCE y los procedimientos que seguir la Coordinacin Tcnica del LLECE para la seleccin de las muestras nacionales de los pases participantes del Segundo Estudio. El documento se propone, adems, explicitar los requisitos que debern satisfacer dichas muestras para que los datos de un pas se consideren confiables para su inclusin en los reportes regionales1 . Asimismo, el documento realiza una primera aproximacin a los niveles de precisin que tendrn los resultados por pas y por estrato, as como a los procedimientos a seguir para la estimacin de mrgenes de error de dichos resultados. Muchas de las decisiones sobre cmo realizar el muestreo se derivan de decisiones relativas a los propsitos del SERCE, adoptadas por los Coordinadores Nacionales del LLECE. Esto ser indicado en notas al pie de pgina. El presente manual fue elaborado por David Glejberman, con la colaboracin de Mauricio Castro, y fue revisado por la Coordinacin Tcnica del LLECE y sometido a la revisin de los equipos nacionales de los pases participantes, muchos de los cuales enviaron observaciones y recomendaciones que ayudaron a mejorarlo. En el proceso previo a la elaboracin de este manual, se recibieron orientaciones y recomendaciones de Richard Wolfe y Marc Joncas, integrantes del Comit Tcnico Consultivo del SERCE. 2. Universos que sern objeto de Estudio.
a) El SERCE se propone, en primer trmino, estudiar los logros educativos en Lenguaje y Matemtica de los alumnos matriculados en tercero o sexto grados del nivel primario al final del ao lectivo 2005-2006 (escuelas con calendario norte) o ao lectivo 2006 (escuelas con calendario sur), en instituciones educativas oficialmente reconocidas que otorgan una certificacin que habilita al estudiante a acceder al grado o nivel educativo siguiente. No se consiera parte del universo a los alumnos matriculados en instituciones de educacin para adultos, en instituciones de educacin especial o en programas de educacin alternativa no formal o no presencial. En el caso de 3 no se incluir a las escuelas dirigidas a nios cuya lengua materna es indgena, dado que se considera que an no tienen suficiente dominio del lenguaje como para realizar una prueba escrita. En cambio, se considera que al final de la educacin primaria (6), todos los nios deberan haber alcanzado un nivel de dominio del lenguaje estndar que les permita realizar las pruebas. Tampoco forman parte del universo de estudio los alumnos con necesidades educativas especiales que estn integrados en escuelas comunes. b) En segundo trmino, el SERCE se propone estudiar los factores que tienen influencia y/o explican los logros educativos de los alumnos. Con este propsito son tambin universos objeto de estudio los siguientes: b.1. Los hogares de los alumnos de 3 y 6 grados; b.2. Los padres o tutores de los alumnos de 3 y 6 grados; b.3. Las secciones o aulas a las que pertenecen los alumnos de 3 y 6 grados; b.4. Los maestros que ensean Lenguaje y Matemtica a los alumnos de 3 y 6 grados; b.5. Las escuelas a las que asisten los alumnos de 3 y 6 grados; b.6. Los directores de las escuelas a las que asisten los alumnos de 3 y 6 grados.
13
Los universos indicados en el apartado a) se estudiarn a travs de la aplicacin de pruebas estandarizadas de

1 En otros documentos se explicitan otros requisitos que deben satisfacer la implementacin del estudio en los pases no relacionados con la muestra y su implementacin.
Lenguaje y Matemtica, as como de Cuestionarios autoadministrados. Los universos indicados en el apartado b) se estudiarn a travs de la aplicacin de cuestionarios autoadministrados.2
3. Subuniversos del Estudio.

A nivel regional, se pretende obtener informacin de cada pas, con desagregaciones al nivel de los siguientes subuniversos: Urbano Pblico y Rural. En relacin a las escuelas rurales, dado que alrededor de la mitad de los pases carecen de informacin suficiente, para aplicar la definicin estndar que se intent utilizar en el Piloto (escuelas ubicadas en localidades con hasta 2500 habitantes), se decidi emplear la definicin de escuela rural vigente en cada pas. Obviamente, esto conlleva problemas de comparabilidad, que sern resueltos posteriormente, a partir del anlisis de las caractersticas de las escuelas que fueron definidas como rurales (en trminos de cantidad de alumnos, grados que incluye, carcter uni, bi o multidocente, etc.).3 Esto significa que en los informes regionales se caracterizar a las escuelas rurales de cada pas y, eventualmente, se efectuarn comparaciones entre subconjuntos de escuelas rurales con caractersticas similares. En relacin a las escuelas privadas, dado que, primero, tanto el Primer Estudio del LLECE como otros estudios internacionales (p.ej. PISA) muestran que no existen diferencias relevantes entre escuelas estatales y privadas, cuando se controla la composicin sociocultural del alumnado; y dado que, segundo, existen restricciones presupuestales, en relacin al tamao de muestra que pueden implementar los pases; se opt por no forzar una muestra representativa de este subuniverso4, de manera que las escuelas privadas participarn en la muestra en funcin de su participacin en el universo. Esto implica que en pases en que las escuelas privadas correspondan a una proporcin reducida de la matrcula, no ser posible realizar inferencias de ellas, con suficiente precisin. Los pases que deseen datos representativos y precisos a nivel de escuelas privadas u otros subuniversos o estratos, debern solicitarlo expresamente en el Formulario de la Aplicacin Definitiva SERCE 2006. A los efectos del SERCE, se define como escuela privada a aquella cuya conduccin no est en manos del personal dependiente del Estado nacional. Los pases que lo deseen pueden distinguir entre escuelas de gestin privada y financiamiento estatal y escuelas de gestin privada y financiamiento privado. El estrato Urbano Pblico ser en todos los pases lo suficientemente grande como para permitir una estratificacin sociocultural a posteriori, a partir de los datos recogidos en los cuestionarios de factores asociados. La estratificacin sociocultural no se puede contemplar en el diseo muestral, por falta de informacin sobre este aspecto. Sin embargo, en trminos del anlisis, se considera que es particularmente relevante distinguir entre distintos tipos de escuelas pblicas urbanas, principalmente en trminos de la composicin social de su alumnado.5
14
2 Dado que las escuelas sern seleccionadas por muestreo probabilstico, los alumnos, maestros, padres y hogares de 3 y 6 automticamente estn siendo seleccionandos por el mismo procedimiento, por lo tanto, las inferencias sern vlidas para los diversos universos, aunque las estimaciones de error debern realizarse especficamente para cada universo. 3 4 5 Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunin de Brasilia, en junio de 2005. Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunin de Brasilia, en junio de 2005. Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunin de Brasilia, en junio de 2005.
4. Unidades de muestreo y marco muestral.

Dado el tamao del universo de alumnos de 3 y 6 en la regin, alrededor de 20 millones de estudiantes, la recoleccin de datos se realizar a travs de muestras nacionales. Para garantizar precisin y confiabilidad, el muestreo tendr carcter probabilstico, a partir de marcos muestrales constituidos por las escuelas de cada pas que forman parte del universo definido. La unidad de muestreo ser la escuela, es decir, un establecimiento escolar6 que tiene un responsable, su director, y que puede funcionar en un nico turno, en dos turnos o en jornada completa. El marco muestral de cada pas estar constituido por el listado de la totalidad de las escuelas que forman parte del universo definido. En el marco muestral, para cada escuela se incluir la informacin relativa a las variables especificadas en el punto 12 de este documento.
5. Exclusiones vlidas.
De acuerdo a la definicin dada de universo, no forman parte del mismo las escuelas Especiales (dirigidas exclusivamente a alumnos con necesidades especiales), de educacin de adultos y de educacin alternativa no formal o no presencial. Se excluyen del universo: - Las escuelas con menos de 6 alumnos matriculados en 3 y menos de 6 alumnos matriculados en 6 (debido a la relacin costo/beneficio en la aplicacin). - Las secciones con menos de 6 alumnos matriculados en el grado (relacin costo/beneficio). - Los alumnos de 3 en escuelas bilinges con lengua indgena (se entiende que no estarn en condiciones de responder una prueba escrita en castellano o portugus). Se excluyen de la muestra: - Las secciones con 6 o ms alumnos matriculados y menos de 4 alumnos esperados en la fecha de las pruebas (relacin costo/beneficio). - Los alumnos cuya lengua materna no es el castellano o portugus y que no han recibido al menos dos aos de enseanza en el lenguaje de la prueba (se entiende que no estarn en condiciones de responder una prueba escrita). - Los alumnos con necesidades especiales, cuya situacin les impide desempearse en una prueba escrita (por ejemplo, un nio ciego). Al respecto, vase el Captulo III Manual del Aplicador para la Aplicacin Definitiva, Anexo III. Sern excluidas del anlisis: - Las secciones en las que participan de las pruebas menos del 75% de los alumnos que asisten efectivamente a clases (riesgo de seleccin intencional por parte del centro educativo). En estos casos, no se considerar a la seccin en los anlisis que se realicen por seccin o escuela, pero s se incluir a los alumnos en las estimaciones nacionales y por estrato.
15
6 La expresin establecimiento escolar denota un local fsico donde se desarrollan actividades de enseanza primaria a cargo de un responsable que es el director del establecimiento. En un mismo local fsico puede funcionar ms de un establecimiento escolar.
- En los casos de escuelas en que menos del 50% de los alumnos de 3 y 6, alumnos que asisten efectivamente a clases, realicen la prueba, tanto la escuela como los alumnos sern excluidos de todos los anlisis y estimaciones relativas a 3 y 6, incluso las nacionales (riesgo de seleccin intencional).
Observaciones
a) Slo se excluyen del universo las escuelas pequeas, en trminos del nmero de alumnos de 3 y de 6. No se excluyen del universo las escuelas que tienen al menos 6 alumnos en 3 al menos 6 alumnos en 6. b) Seleccionada una escuela en la muestra, se procede a solicitar informacin a la Coordinacin Nacional del pas sobre el nmero efectivo de alumnos que concurre a clases. Si este nmero es inferior a 4 en 3 y en 6, entonces se procede a sustituir esta escuela de la muestra por su reemplazo y se sortea un nuevo reemplazo. c) En la etapa del anlisis, las exclusiones implican una reduccin del tamao efectivo de la muestra, lo que se debe tomar en cuenta al ponderar o expandir los resultados.
Tabla 1
Proporcin de alumnos que quedan fuera del universo investigado, por la condicin: matrcula de 3 menor que 6 y matrcula de 6 menor que 6. ALUMNOS En 3 0,6% 2,8% 1,8% 5,4% 3,0% 5,6% 4,2% 0,5% 2,0% 1,3% 1,3% 2,7% 2,9% 1,2% 2,9% 2,9% EXCLUIDOS En 6 0,5% 0,0% 1,6% 0,1% 2,9% 3,4% 3,9% 0,3% 1,9% 1,2% 1,2% 1,1% 3,1% 0,7% 2,2% 3,0% 16
PAS O REGIN Argentina Brasil Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Mxico - Nuevo Len Nicaragua Panam Paraguay Per Uruguay
Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicacin Piloto, SERCE 2005.
Tabla 2
Proporcin de alumnos del sector rural que quedan fuera del universo investigado, por la condicin: matrcula de 3 menor que 6 y matrcula de 6 menor que 6. ALUMNOS En 3 1,05% 10,85% 12,46% 15,86% 6,09% 22,33% 9,62% 0,70% 2,62% 1,47% 2,52% 4,56% 7,22% 2,03% 6,67% 56,74% EXCLUIDOS En 6 0,95% 0,18% 11,07% 0,12% 6,16% 13,73% 9,83% 0,51% 2,92% 1,50% 2,85% 2,40% 7,65% 1,40% 6,04% 54,42% 17
PAS O REGIN Argentina Brasil Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Mxico - Nuevo Len Nicaragua Panam Paraguay Per Uruguay
6. Mtodo de muestreo.
El mtodo de muestreo propuesto tiene las siguientes caractersticas: - Aleatorio - Estratificado - De conglomerados - En una sola etapa de seleccin En cada pas, la muestra se selecciona mediante muestreo aleatorio (probabilstico) estratificado de conglomerados. Los criterios para la estratificacin a priori se comentan en la seccin siguiente. Los conglomerados son las escuelas del universo. En cada estrato se selecciona una muestra de escuelas, en una sola etapa de seleccin con probabilidades iguales para todas las escuelas del estrato. La muestra de alumnos, en cada estrato, se conforma con todos los alumnos (salvo por las exclusiones vlidas) de las escuelas seleccionadas en cada estrato. Este procedimiento garantiza probabilidades iguales de seleccin para todos los alumnos de un estrato. Sin embargo, las probabilidades de seleccin de escuelas y alumnos no son iguales si las escuelas (o los alumnos) pertenecen a estratos diferentes, lo que conduce a muestras no autoponderadas de alumnos.
Observaciones
La probabilidad de un alumno de pertenecer a la muestra es igual a la probabilidad de que su escuela sea seleccionada, porque todos los alumnos de su grado pertenecen a la muestra (excepto por las exclusiones vlidas de la seccin 6). La probabilidad de que una escuela pertenezca a la muestra es igual al cociente nh / Nh , donde nh es el tamao de la muestra de escuelas en el estrato h y Nh es el tamao del universo de escuelas en el mismo estrato. Por ejemplo, si en un estrato (ver seccin 8) hay 150 escuelas y el tamao de muestra en dicho estrato es 12, entonces la probabilidad de seleccin de escuelas y alumnos en dicho estrato es 0,08 (12 / 150). Si en otro estrato para el mismo pas hay 6 escuelas y el tamao de la muestra es 3, entonces la probabilidad de seleccin de escuelas y alumnos en dicho estrato es 0,50.
7. Criterios de estratificacin7 para la optimizacin del muestreo.

Se utilizan tres criterios para la estratificacin a priori de las escuelas (esta estratificacin se emplea para optimizar el muestreo, pero no es la que se utilizar para el reporte de resultados): - Tipo de gestin y rea geogrfica - Tamao - Relacin entre la matrcula de 6 y la matrcula de 3 El tipo de gestin, como variable de estratificacin, permite proporcionar informacin desagregada por subuniversos de estudio: las escuelas de gestin pblica y las de gestin privada. Se conoce que el tamao de la escuela incide en los logros acadmicos de los alumnos, y la relacin matrcula de 6 / matrcula de 3 permite discriminar las escuelas con diferentes tasas de retencin, lo que tambin puede estar asociado al rendimiento escolar. Se reconoce que esta posible asociacin puede verse distorsionada por aquellas escuelas nuevas (que pueden tener una escasa o nula matrcula de 6) y tambin por los casos de pases donde el 3 y el 6 grados se dictan en diferentes escuelas. El criterio tipo de gestin y rea geogrfica determina tres categoras de escuelas, coincidentes con los subuniversos de estudio: URBANO PBLICO, URBANO PRIVADO y RURAL8 . El criterio tamao de la escuela determina tres categoras de escuelas, para lo cual se recomienda utilizar las mismas definiciones para todos los pases: - PEQUEA: escuela con una sola seccin en el grado9 - MEDIANA: escuela con dos o tres secciones en el grado - GRANDE: escuela con cuatro o ms secciones en el grado 18
7 En este documento, el trmino estrato se emplea a los efectos del muestreo. No se trata de estratos para el reporte de resultados. Para la denominacin de los subconjuntos de escuelas sobre los cuales se espera reportar resultados, se emplea el trmino subuniverso. 8 Se considera que la escuela es rural, segn la definicin propia de cada pas. 9 Si la escuela tiene alumnos de 3 y 6, el tamao estar dado por la cantidad de secciones en 3. Si la escuela slo tiene alumnos de 6, entonces el tamao estar dado por la cantidad de secciones de este grado.
La relacin entre la matrcula de 6 y la de 3 (R6/3) determina tres categoras de escuelas, con resultados bastante diferentes por pases. Las tres categoras son: - R6/3 0,8 - 0 < R6/3 < 0,8 - Matrcula de 3 = 0 El valor 0,8 es paramtrico. De hecho, se han realizado pruebas con el valor 0,75 (ver ANEXO 2) y se encontr que, en la mayora de los pases, este valor de la variable determina tamaos desiguales para los estratos. Dicha desigualdad se reduce, en parte, aumentando el lmite de 0,75 a 0,8. En el caso de las escuelas ubicadas en zonas rurales, el escaso nmero de escuelas grandes justifica que se colapsen los tamaos GRANDE y MEDIANA en una sola categora. Con las definiciones precedentes, las escuelas del universo en cada pas se clasifican en 24 estratos, como mximo. Es posible que en algunos pases esta desagregacin origine estratos sin escuelas o con un nmero muy reducido de escuelas, lo que hara recomendable colapsar estos casos en un nmero ms reducido de estratos finales. Por ejemplo, en aquellos pases donde las escuelas con matrcula nula en 3 representan menos del 5% de las escuelas, a los efectos de la seleccin de la muestra, todas las escuelas urbanas pblicas con matrcula nula en 3 podran conformar un nico estrato a priori, y lo mismo podra hacerse con las urbanas privadas y las rurales con matrcula nula en 3. A los efectos de obtener estimaciones desagregadas de los subuniversos de estudio que determinan el tipo de gestin y el rea geogrfica, no estar permitido colapsar estratos a priori que pertenezcan a diferentes subuniversos de estudio.
Tabla 3
Estratos a priori para la seleccin de la muestra. RELACIN M6 / M3
R 0,8 0 < R < 0,8
TIPO DE GESTIN, REA GEOGRFICA Y TAMAO
19
URBANO PBLICO
PEQ. MED. GRA.
URBANO PRIVADO
PEQ. MED. GRA.
RURAL
PEQ. M/G
R=0
M3 = 0
1 9 17 25
2 10 18
3 11 19
4 12 20
5 13 21
6 14 22
7 15 23
8 16 24
26
27
28
29
30
31
32
La muestra de 3 se selecciona en los estratos 1 a 16 y la muestra de 6, en los estratos 1 al 24. La muestra de 6 en los estratos 1 a 24 es consecuencia de la seleccin de escuelas para el tercer grado, excepto por aquellos casos ya mencionados en las exclusiones vlidas. Si en un pas la cantidad de escuelas en el marco sin informacin de matrcula resulta significativa, entonces se agregar a los anteriores un estrato con dichas escuelas (por lo que a lo sumo tendramos hasta 33 estratos al agregar 9 para escuelas sin informacin de matrcula, es decir, 3 por cada dominio) y la muestra en este estrato ser proporcional a su importancia en el total de escuelas en el pas.
8. Cantidad mnima de escuelas por estrato explcito y por pas.

Se recomienda que el nmero de escuelas por pas sea al menos 150, con un mnimo de 3 por estrato, a priori. De esta manera, y con los ajustes que se proponen en la seccin siguiente, se espera obtener en cada pas una muestra real no inferior a 4.000 alumnos en 3 y 3.500 en 6. Para la determinacin del tamao de la muestra por estrato, en primer lugar, se calcula el porcentaje de escuelas con matrcula nula en 3 y se reserva un tamao proporcional para estos estratos. Por ejemplo, si dicho porcentaje es el 5% y la muestra total es de 160 escuelas, entonces se reservan 8 escuelas para los estratos con M3=0. El tamao de la muestra en los estratos 1 a 24 es proporcional al nmero de escuelas en el universo, corrigiendo los tamaos obtenidos, de manera de conseguir un mnimo de 3 escuelas por estrato. A continuacin se presenta un ejemplo de aplicacin.
Tabla 4
Nmero de escuelas en el universo en el pas A. RELACIN M6 / M3
R 0,8 0 < R < 0,8 R=0 M3 = 0 TOTAL
URBANO PBLICO
PEQ. MED. GRA.
URBANO PRIVADO
PEQ. MED. GRA.
RURAL
PEQ. M/G
500 300 0 100 900
400 200 0 50 650
100 50 0 0 150
250 200 50 30 480
150 140 40 10 300
100 60 10 10 170
400 250 100 0 650
100 100 50 0 200
20
El total de escuelas es 3.500 y las que tienen matrcula nula en 3 son el 5,7% del total. La muestra en los estratos 17 a 24 ser de 9 escuelas, y las restantes 141 se han de distribuir en forma proporcional entre los primeros 16 estratos.
Tabla 5
Distribucin proporcional de la muestra en los estratos 1 a 24. RELACIN M6 / M3
R 0,8 0 R < 0,8 R=0
URBANO PBLICO
PEQ. MED. GRA.
URBANO PRIVADO
PEQ. MED. GRA.
RURAL
PEQ. M/G
21 13
17 9
4 2
11 7 2
7 4 2
4 2 0
17 6 4
4 2 2
Tabla 6
Distribucin de la muestra en todos los estratos y corregida para que el mnimo por estrato sea de 3 escuelas. RELACIN M6 / M3
R 0,8 0 < R < 0,8
URBANO PBLICO
PEQ. MED. GRA.
URBANO PRIVADO
PEQ. MED. GRA.
RURAL
PEQ. M/G
21 13 6
17 9
4 3 3
R=0
M3 = 0
11 7 3
7 4 3 3
4 3
17 6 4 0
4 3 3 0
La muestra final resulta de 152 escuelas en este ejemplo. Cuntos alumnos entrarn en la muestra? El nmero de alumnos en la muestra es aleatorio, pues depende de la matrcula de 3 y 6 en cada escuela de la muestra. Si en promedio las escuelas tienen 40 alumnos en 3 y 35 alumnos en 6, entonces el nmero esperado de alumnos en 3, en este ejemplo, ser de 5680 (40 por 142 escuelas) y en 6, alrededor de 5320 (35 por 152 escuelas). El nmero de escuelas en el subuniverso URBANO PBLICO es de 73 escuelas, 42 en URBANO PRIVADO y 36 en RURAL, lo que garantiza un nmero suficiente de alumnos para obtener estimaciones confiables en estos dominios de estudio. Slo el 13% de las escuelas de la muestra son GRANDES10 (a tener en cuenta a la hora de presupuestar el personal de campo necesario para aplicar las pruebas y cuestionarios). Aunque los estratos finales por pas pueden ser diferentes, la forma de colapsar estratos pequeos debe permitir, mediante agregacin, conformar los subuniversos de escuelas urbanas pblicas, urbanas privadas y rurales.
9. Ajustes en el tamao de la muestra.

La evaluacin se realiza casi al finalizar los cursos, por lo que cabe esperar que una parte de la matrcula inicial no estar presente al realizar las pruebas por dos motivos: uno, porque algunos alumnos habrn abandonado el curso, y otro, porque habitualmente falta a clase un cierto porcentaje de alumnos (entre el 5% y el 10%) por diversos motivos tales como enfermedad, problemas familiares, lluvia, etc. En consecuencia, para garantizar el nmero requerido de alumnos en la muestra, se hace necesario ajustar el nmero de escuelas tomando en cuenta la retencin y las ausencias. A esos efectos, y como primera aproximacin, se supone que la merma por estos dos motivos, respecto de la matrcula inicial, ser del orden del 25%. Por otra parte, el tamao de la muestra, en trminos del nmero de alumnos, depende tambin del nmero de alumnos promedio por escuela en 3 y 6. En el ejemplo precedente, si en lugar de 35 alumnos por escuela en 6, el promedio es 30, entonces en el pas A el nmero esperado de alumnos de 6 en la muestra ser 152 x 30 x 0,75 = 3.420 alumnos. Para alcanzar a 3.500 ser necesario incrementar el tamao de la muestra de escuelas. A partir de los datos disponibles en los marcos muestrales de los pases y suponiendo que en las muestras se tendrn promedios de alumnos por grado similares a los del universo, se han calculado los tamaos de muestra de escuelas por pas y regin para alcanzar, en la muestra inicial, por lo menos 4.000 alumnos en 3 y 3.500 en 6. Los resultados obtenidos se presentan a continuacin.
21
10 Obsrvese que si la seleccin de las escuelas se realizara con probabilidades proporcionales al tamao de las escuelas, entonces el peso de las escuelas grandes en la muestra sera significativamente mayor.
Tabla 7
Tamaos estimados de las muestras.
TAMAO ESPERADO DE LA MUESTRA
PAS O REGIN Argentina Brasil Brasil - Goias Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Mxico - Nuevo Len Nicaragua Panam Paraguay Per Uruguay
ESCUELAS
ALUMNOS DE 3
ALUMNOS DE 6
150 160 150 150 190 160 200 190 170 230 160 160 200 180 210 160 150
5456 5058 4911 4911 4633 4043 4187 4208 5010 5412 4118 3927 5211 4068 4535 4121 4168
5182 3820 5402 5402 3698 4161 4080 3530 3648 3457 4034 3720 3468 3882 3600 3626 3929
22
Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicacin Piloto, SERCE 2005. Dado que estos datos estn basados en la matrcula inicial incluida en los marcos muestrales y que se espera una merma del orden del 25%, debido a sobreestimacin de la matrcula inicial, abandonos durante el ao y ausencias el da de la prueba, para cada pas se sortearn muestras que satisfagan simultneamente las siguientes tres condiciones: Un mnimo de 150 escuelas; Un mnimo de 5300 alumnos de 3; Un mnimo de 4700 alumnos de 6.
10. Procedimientos para la seleccin de escuelas y alumnos. Sistema de reemplazos.

Para la seleccin de las escuelas, en cada pas, se procede de la siguiente manera: En primer lugar, las escuelas se clasifican por estrato a priori. Se analiza la conveniencia de colapsar algunos de los estratos. Se determina el tamao de la muestra en cada estrato.
Se seleccionan las escuelas de cada estrato mediante muestreo aleatorio simple sin reposicin (probabilidades de seleccin iguales para todas las escuelas de un mismo estrato). Se seleccionan suplentes respectivas para cada unidad de la muestra, tambin por muestreo aleatorio simple sin reposicin. Cada escuela titular de la muestra tendr una escuela suplente. La escuela suplente se elige en el mismo estrato de la titular y, en caso de disponerse de la informacin en el marco, en la misma jurisdiccin de la titular.
Seleccionada una escuela en la muestra en los estratos 1 a 24, entonces todos los alumnos de 3 y de 6 pertenecen a la muestra de alumnos, salvo por lo mencionado en las exclusiones vlidas. Seleccionada una escuela en la muestra en los estratos 25 a 32, entonces todos los alumnos de 6 pertenecen a la muestra de alumnos, salvo por lo mencionado en las exclusiones vlidas. El proceso de seleccin de escuelas ser realizado por la CT-LLECE. Cada pas recibir el listado de escuelas titulares con sus respectivas suplentes y con su cdigo LLECE asignado. Los reemplazos de escuelas se realizan mediante el sistema de suplentes respectivas y, en todos los casos, debern ser autorizados por el Coordinador Nacional. ste deber elaborar un informe de los reemplazos autorizados, con la causal que los motiv y con las acciones que realiz para evitar el reemplazo (se proporcionar un formulario especfico para este fin).
11. Estratos adicionales optativos para cada pas. Tratamiento de los mismos. Tratamiento de las muestras para entidades subnacionales (Nuevo Len y Goias).
El diseo muestral que se ha propuesto tiene, como una de sus caractersticas, la flexibilidad. Ello implica que se pueden definir criterios adicionales de estratificacin, se pueden variar los tamaos de muestra por estrato (a condicin de respetar los mnimos establecidos para el operativo nacional) y que la informacin que se recoja a nivel de las entidades subnacionales puede agregarse junto con la informacin del nivel nacional, adecuadamente ponderada. Se proporcionar a los pases un formulario para indicar sus opciones nacionales adicionales en materia de muestra. Para la muestra de Nuevo Len se seguirn los mismos criterios que para la determinacin de las muestras de los pases (estratificacin a priori, muestreo en conglomerados en una sola etapa de seleccin, probabilidades iguales para todas las escuelas de un mismo estrato, mediante muestreo aleatorio simple sin reposicin) de manera de garantizar precisin y confiabilidad de los resultados a nivel regional. 23
12. Requerimientos e instrucciones para la elaboracin del marco muestral en cada pas. Estructura de las bases de datos.
El marco muestral es una matriz que en cada fila presenta una escuela y sus datos, y en cada columna una variable asociada a cada escuela. Las variables asociadas son: a. b. c. d. e. f. Nombre de la escuela Cdigo de identificacin nacional de la escuela (si existe) Mes de inicio de los cursos en la escuela Mes de finalizacin de los cursos en la escuela Ubicacin 1 - Direccin Ubicacin 2 - Localidad
g. h. i. j. k. l. m. n. o. p. q. r. s. t. u. v. w. x. y.
Cdigo de Ubicacin 2 Ubicacin 3 - Departamento, provincia o estado Cdigo de Ubicacin 3 Cantidad de alumnos en 1 en la escuela Cantidad de alumnos en 2 en la escuela Cantidad de alumnos en 3 en la escuela Cantidad de alumnos en 4 en la escuela Cantidad de alumnos en 5 en la escuela Cantidad de alumnos en 6 en la escuela Cantidad de alumnos en 7 en la escuela Cantidad de alumnos en 8 en la escuela Cantidad de alumnos en 9 en la escuela Cantidad de secciones de 3 (el dato ms actualizado) Cantidad de secciones de 6 (el dato ms actualizado) Turnos en que funciona la escuela (matutino tarde doble turno - jornada completa) rea (urbana o rural, empleando la definicin de ruralidad propia del pas) Gestin (pblica o privada. Las escuelas de gestin privada que reciben subvencin estatal deben ser consideradas privadas, excepto que el pas desee establecer un subuniverso explcito que permita diferenciar ambos tipos de escuelas) Lengua en que se ensea en 3 Ao al que corresponden los datos de la base
Cada pas deber incluir variables adicionales que permitan identificar a las escuelas pertenecientes a los subuniversos que desee sobre-muestrear como opcin nacional.
13. Criterios y procedimientos para el control de los marcos muestrales por parte de la Coordinacin Tcnica.
Las propiedades deseables de los marcos muestrales aplicables a este caso son: Cobertura: todas las escuelas del universo investigado se encuentran en el marco (completitud) y cada unidad del universo a investigar figura una sola vez en el marco11. La identificacin y la ubicacin que figuran en el marco son suficientes para direccionar al personal de campo, en caso que la escuela sea sorteada en la muestra. Actualizacin: las variables de estratificacin en el marco corresponden al dato ms actual posible. Calidad: las variables del marco no contienen errores (de importancia).
24
A los efectos de lograr estimaciones precisas, confiables y no sesgadas de .los parmetros a investigar, la Coordinacin Tcnica debe controlar que los marcos muestrales cumplan satisfactoriamente con las propiedades deseables arriba enumeradas. En particular, para controlar la completitud se utilizar la variable Cantidad de alumnos en la escuela, porque la suma de dicha variable, a travs de todas las escuelas del marco, debe coincidir razonablemente con la matrcula de la educacin primaria del pas.
11 Se recomienda tener un cuidado especial con los locales que albergan dos escuelas, una en el turno de la maana y otra en el turno vespertino.
Para controlar la calidad y actualizacin del marco, una vez seleccionada la muestra, se solicitar a la Coordinacin Nacional que contacte a las escuelas y actualice la informacin sobre cantidades de secciones y alumnos de 3 y 6. Esta informacin actualizada permitir ajustar la asignacin de cuadernillos a los alumnos y ser empleada a posteriori por la Coordinacin Tcnica para realizar un anlisis de la calidad de la informacin empleada para sortear la muestra.
14. Requisitos mnimos de cobertura que deben ser alcanzados por cada pas para que los datos sean considerados confiables.
Dado que slo se admitir una escuela suplente por cada escuela titular, es posible que el tamao de muestra efectivamente alcanzado en el operativo resulte algo inferior al tamao originalmente planeado. Se considerar que la muestra de un pas es suficiente para realizar estimaciones confiables si se cumplen a la vez las tres condiciones siguientes: El tamao de muestra efectivo de escuelas es por lo menos el 80% del tamao planeado. El tamao de muestra efectivo incluye al menos el 70% de escuelas titulares.
Tabla 8
Tasa de respuesta (en %) en la muestra de escuelas. DESPUS DE LOS REEMPLAZOS 100 90 80 70 60 50 40 30 20 10 10 20 30 40 50 60 70 ACEPTABLE 25
80
90
100
ANTES DE LOS REEMPLAZOS
El tamao de muestra efectivo alcanza por lo menos al 80% de los alumnos que asisten efectivamente a clases.
15. Criterios y procedimientos para el control de las muestras realmente obtenidas, una vez culminada la aplicacin.
Una vez culminado el operativo ser necesario verificar: que el tamao de la muestra en cada estrato es de al menos dos escuelas; que se dispone del nmero de alumnos que asisten regularmente a clase por seccin de la muestra para comparar con el nmero de alumnos que hicieron las pruebas (criterio de exclusin para el anlisis); cul fue la proporcin de alumnos participantes en cada escuela y seccin; que el tamao de la muestra efectiva de escuelas es al menos el 80% de la muestra planeada; que el tamao de la muestra efectiva de escuelas titulares es al menos el 70% de la muestra planeada; que las escuelas de la muestra son efectivamente las sorteadas como titulares o, en su defecto, las su plentes respectivas; que todas las secciones de la escuela en 3 y en 6 fueron incluidas en el operativo o, en su defecto, que las secciones omitidas fueron excluidas correctamente, en virtud de su tamao; que se ha logrado la participacin en las pruebas del 80% de los alumnos de cada grado que concurren efectivamente a clases; que todas las pruebas y cuestionarios contienen la identificacin precisa del alumno, la seccin, la escuela y del estrato al que pertenece la escuela.
16. Mrgenes de error estimados para el diseo muestral, a nivel internacional, nacional y de estrato.
La simulacin realizada con los datos de dos pases del Primer Estudio Regional Comparativo y Explicativo (PERCE), con los tamaos de muestra propuestos, permite afirmar que para un nivel de confianza del 95%, el error de muestreo en las pruebas de Lengua y Matemtica ser: Inferior al 1%, para el conjunto de todos los pases; Alrededor del 4,5%, a nivel nacional; Alrededor del 10%, para los dominios de estudio con una participacin del 40% o ms en la muestra total.
26
Los niveles de error se pueden reducir, pero ello requiere incrementar la cantidad de escuelas en la muestra. A los efectos de que los Coordinadores Nacionales tengan una idea aproximada, se estim para un pas (Argentina), a partir de los datos del Primer Estudio (Matemtica), los tamaos de muestra necesarios para lograr diferentes niveles de error a nivel nacional (ver Tabla 9). Esta informacin se proporciona ante la eventualidad de que alguno o todos los pases consideren necesario alcanzar menores niveles de error, para que se puedan estimar los costos involucrados.
Tabla 9
Tamaos muestrales para distintos niveles de error.
Cantidad de Escuelas 118 160 230 358 633
Error a nivel nacional 5% 4% 3,5 % 3% 2%
Error en el estrato urbano pblico 7% 6% 5% 4% 3%
Error en el estrato rural 7% 6% 5% 4% 3%
17. Sistema de ponderaciones para la estimacin de resultados a nivel nacional y de subuniversos.

Como la muestra no es auto ponderada, los resultados debern desagregarse a nivel de los estratos a priori, y ponderarse con el peso que cada estrato tiene en trminos del nmero de alumnos, en el caso de los universos de alumnos, hogares, padres o tutores, secciones y maestros; y ponderarse con el peso que cada estrato tiene en trminos del nmero de escuelas, en el caso de los universos de escuelas y directores. En el Anexo 3 se plantea, de manera provisoria, una propuesta para la aplicacin de ponderaciones y para las estimaciones de error. Esta propuesta deber revisarse a partir de los aportes de los especialistas de los pases participantes y de la calidad de los datos que se obtengan a partir de la aplicacin definitiva, con los cuales se podrn ensayar diversas alternativas de clculo.
18. Advertencia.
En la determinacin del tamao de la muestra se ha trabajado con el mnimo necesario para obtener cierta precisin y seguridad. Si no se pone especial cuidado en el sistema de archivo de pruebas y cuestionarios, an cuando la muestra se hubiera realizado en el 100% en el campo, una parte de ella podra perderse en el procesamiento posterior. Aunque la parte perdida sea pequea, no se debe esperar que la prdida se distribuya proporcionalmente a lo largo de la muestra. Antes bien, es probable que la informacin perdida se concentre en alguno de los estratos y que ello impida obtener inferencia vlida a ese nivel. Una disminucin en el tamao de la muestra en un estrato puede ocasionar una prdida importante de precisin. Tngase presente que, para todos los estratos, es imprescindible que nh2, pues, de lo contrario, no ser posible aplicar las frmulas que se presentan en el Anexo 3 para estimar su variabilidad. Por tanto, es necesario que los pases sigan estrictamente las normas de control de instrumentos y de captura de datos incluidas en el Manual del Coordinador Nacional y en el Manual de Sistematizacin y Captura de Datos.
27
ANEXO 1
Cantidad mxima de alumnos por escuela en 3, segn pas o regin. PAS O REGIN Argentina Brasil Brasil- Goias Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Mxico - Nuevo Len Nicaragua Panam Paraguay Per Uruguay Tamao mximo 354 629 320 593 452 314 294 318 384 289 504 170 417 272 232 473 174 28
ANEXO 2
Distribucin porcentual del marco de escuelas por la relacin de matrcula de 6 a la matrcula de 3, segn pas o regin. Relacin de matrcula de 6 a la matrcula de 3 PAS O REGIN
Argentina Brasil Brasil - Goias Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Mxico - Nuevo Len Nicaragua Panam Paraguay Per Uruguay
R 0,75 68 19 28 76 10 58 59 53 43 28 65 65 27 51 51 48 60
0 < R < 0,75 29 68 8 21 81 38 36 45 55 69 30 31 72 42 48 50 35
R=0 5 64 47 5 79 5 25 8 14 10 3 4 38 8 13 11 8
Mat. 3 = 0 3 13 17 3 9 4 5 2 2 3 5 4 1 7 1 2 5
TOTAL 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100
29
Notas:
1. 2. El estrato con matrcula de 3 = 0 incluye tambin las escuelas sin informacin de matrcula. Para este procesamiento no se excluyeron las escuelas con matrcula menor que 6 en cada grado.
ANEXO 3
Pautas preliminares para la aplicacin de ponderaciones y para las estimaciones de error en el procesamiento de los resultados definitivos A continuacin, se plantea una propuesta preliminar de frmulas para la estimacin de la variabilidad de los parmetros promedio o proporcin (ejemplos: promedio de los resultados de las pruebas o proporcin de alumnos que repite el curso). Para realizar estimaciones sobre la poblacin de alumnos, se opta aqu por los estimadores de razn12 .
Nota: X representa alguna variable cuyo promedio se quiere estimar para toda la poblacin de alumnos. Si la
variable X slo toma los valores cero y uno, entonces el promedio en la poblacin es tambin la proporcin de alumnos con cierto atributo. Genricamente, se designa a los estratos a priori con h, mientras que con j se hace referencia a cada escuela (conglomerado) de la muestra en el estrato. = Nmero de escuelas en el marco muestral = Nmero de escuelas en el estrato h = Nmero de escuelas en la muestra del estrato h = Nmero de alumnos en el grado (3 6) a nivel nacional nh Nmero de alumnos en el grado (3 6) del estrato h = nh M hj X hj = Nmero de alumnos en el grado de la escuela j en el estrato h j nhM hj X hj del promedio en la poblacin a nivel nacional = Estimador j =h Estimador del promedio en la poblacin del estrato h n M hj =j Promedio de los alumnos en el grado de la escuela j en el estrato h M hj
j
N Nh nh M Mh Mhj Xh = Xh = nh M hj X hj
j nh j hj
30
MALUMNOS M
j nh j nh
hj
X hj
hj
Estimador del promedio en el estrato h: X h =
M
Estimador del promedio a nivel nacional: X =
h
Mh .X h M
Error cuadrtico medio del estimador del promedio en el estrato h:

1 N N nh ~ EC M ( X h ) = 2 h h M h nh nh 1
12
2 2 M hj (X hj X h ) j nh
Por ser los que presentan menor error de muestreo.
Error cuadrtico medio del estimador del promedio a nivel nacional:
~ ~ M EC M ( X ) = h . EC M ( X h ) h M
En los casos precedentes, la variabilidad se estima mediante el Error Cuadrtico Medio del estimador en virtud de que los estimadores de razn no son insesgados, como se conoce.
ESCUELAS Y DIRECTORES
En el caso de escuelas y directores, el diseo muestral es el aleatorio estratificado de escuelas, lo que simplifica enormemente los clculos de los estimadores y la estimacin de su variabilidad. Los promedios en cada estrato se calculan como promedio simple de los resultados para cada escuela de la muestra en el estrato. Estimador del promedio de escuelas o directores en el estrato h: Xh = 1 nh . X hj nh j
Estimador del promedio de escuelas o directores a nivel nacional: X =

h
Mh .X h M
31
Los estimadores precedentes son insesgados, por lo tanto, su variabilidad se estima mediante la estimacin de la varianza. Varianza del estimador del promedio en el estrato h:
1 N h nh ~ V (Xh) = nh 1 nh 1
(X
j
nh
hj
Xh)
2
Varianza del estimador del promedio a nivel nacional:

~ M ~ V (X ) = h . V (Xh ) h M
2
Tabla 10
Ejemplo de aplicacin de estimadores de razn y de expansin simple PUNTAJE PROMEDIO EN LENGUA 3 Y SU VARIABILIDAD EN EL ESTRATO 8 DE LA MUESTRA DE ESCUELAS N-sub8 = 100 escuelas n-sub8 = 4 escuelas M-sub8 = 2.000 alumnos
Resultados de la muestra
ALUMNOS EN 3
ALUMNO 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
ESCUELA 1 15 21 17 22 18 15 20 19 18 18 17 21 22 24 20 18
ESCUELA 2 20 22 20 19 17 23 24 25 23 22 19 18 22 19 17 23 24 25 20 22 23
ESCUELA 3 25 23 24 25 23 22 19 27 23 28 21 20 19 18 23 25 26 22 23 28 21 20 19 26 23 20 22,72
ESCUELA 4 20 22 19 18 22 19 17 23 24 25 22 19 18 22 19 17 23 24 25 21 23
32
PUNTAJES DE LOS ALUMNOS EN LENGUA
PROMEDIO ESCUELA
19,33
21,35
21,10
ESTIMADOR POR EXPANSIN SIMPLE PROMEDIO EN EL ESTRATO 8 VARIANZA DEL ESTIMADOR ESTIMADOR DE RAZN PROMEDIO EN EL ESTRATO 8 ECM DEL ESTIMADOR 21,3375 0,02160988 21,1258333 0,46442733
El ejemplo muestra, como poda esperarse, una menor variabilidad en el caso del estimador de razn.
Estimadores alternativos (de expansin simple)

Para el caso de los alumnos, estos estimadores promedian primero los resultados a nivel de cada escuela (conglomerado) del estrato, y luego estiman el promedio en el estrato como promedio simple de los promedios de cada escuela de la muestra. En el ejemplo de la Tabla 11, los promedios por escuela en la prueba de lengua fueron: 19,33; 21,35; 22,72; 21,10. Para obtener el promedio del estrato, utilizando el estimador alternativo, se calcula el promedio simple de estos promedios: 1 .(19,33 + 21,35 + 22,72 + 21,10) = 21,1258333 4
PROMEDIO DEL ESTRATO (EXP. SIMPLE) =
33
Por qu, en el caso del ejemplo, el estimador alternativo presenta una estimacin menor que el estimador de razn? Porque el primero asigna el mismo peso a los promedios de todas las escuelas del estrato, mientras que el segundo les asigna un peso proporcional al tamao de la escuela, y como el promedio ms alto corresponde a la escuela de mayor tamao, y el promedio ms bajo, a la escuela de menor tamao, entonces el estimador de razn presenta un promedio ms alto. A continuacin, se exponen los estimadores alternativos a los que se presentaron en la seccin 20, primero para los alumnos y luego para los directores y escuelas.
ALUMNOS
Estimador del promedio en el estrato h: X h = 1 nh
X
1
nh
hj
Estimador del promedio a nivel nacional: X =

h
Mh .X h M
Varianza del estimador del promedio en el estrato h:
n 1 ~ ~ 2 V ( X h ) = 1 h x n (n 1) ( hj h ) Nh h h j
Varianza del estimador del promedio a nivel nacional:
~ M ~ V (X ) = h . V (Xh ) h M
Propuesta para el clculo de la precisin a posteriori

A los efectos de estimar los errores de muestreo, se recomienda realizar el clculo de la precisin (absoluta), y verificar, para el caso particular de las pruebas, si los tamaos de muestra resultaron suficientes para lograr la precisin deseada con un 95% de seguridad. Cualquiera sea la P ( | X - X ) = 0.95 si m = E (X) es el variable | < considerada, parmetro que se quiere estimar, para una seguridad del 95%, la precisin es tal que: P ( | X - | < ) = 0.95 Si el tamao de la muestra es grande, aplicando los teoremas de convergencia se tiene que:
~ = 1.96
~
~ E C M (X )
o bien
~ ~ = 1 .96 V ( X )
34
donde E C M ( X ) o bien V ( X ) se calculan mediante las frmulas de la seccin 20. Obsrvese que es la semiamplitud de un intervalo de confianza para m , con lo que, al calcular , tambin se podrn construir dichos intervalos. Finalmente, la precisin relativa se estima mediante el cociente / . Cabe agregar que el pesado se debe ajustar en base a la muestra observada, dado que no todos los alumnos esperados pueden estar presentes en la prueba. El detalle de este procedimiento se describe en el reporte tcnico de este estudio que se encuentra en el sitio Web de la OREALC/UNESCO Santiago. Ahora bien, debido a que resulta poco eficiente, computacionalmente, la estimacin de la varianza de los estimadores directamente de las formulas anteriores, se puede decidir ocupar para este fin los mtodos de linearizacin por series de Taylor, los cuales son muy difundidos desde mediados de los setenta, ya que se pueden aplicar a travs de varios paquetes computacionales, como por ejemplo STATA, SPSS, etc. Otra alternativa pueden ser los mtodos de remuestreo como el bootstrap o el jackknife, aunque su procesamiento puede resultar ms lento, por lo que requieren de un sistema de hardware de gran capacidad y rapidez.
CAPTULO II: MANUAL DEL COORDINADOR NACIONAL PARA LA APLICACIN DEFINITIVA
l proyecto aplica pruebas de Lectura, Escritura, Matemtica y, opcionalmente, de Ciencias Naturales, a estudiantes de tercero y sexto grados de educacin bsica, e identifica los factores asociados al aprendizaje, mediante cuestionarios dirigidos a dichos estudiantes, sus docentes, sus directivos y sus padres de familia o tutores. La aplicacin definitiva se llevar a cabo durante el primer semestre del ao en curso en los pases con calendario norte y durante el segundo semestre, en los pases con calendario sur. La aplicacin definitiva tendr lugar durante el primer semestre de 2006 en los pases con calendario norte y durante el segundo semestre en los pases con calendario sur. Concluido el anlisis de los resultados, el Estudio debe proporcionar explicaciones de los hallazgos encontrados y sugerir acciones conducentes a mejorar la calidad de la educacin ofrecida en cada pas de la regin. Se trata de descubrir en la escuela los motores que tienen los mayores efectos sobre los resultados, no slo entendidos en trminos de altos promedios de puntajes, sino, sobre todo, en menores valores para la varianza: distancias ms pequeas entre quienes logran ms y quienes logran menos, abordando el tema de la equidad y promoviendo estados de desarrollo cada vez ms avanzados para quienes se encuentran en las situaciones ms difciles. Para llevar a cabo el proyecto, cada pas ha designado un coordinador nacional, encargado de organizar y garantizar el cabal cumplimiento de las actividades que se describen en el presente Manual.
2. PAPEL DEL COORDINADOR NACIONAL

El coordinador nacional es el interlocutor oficial del LLECE y el responsable de organizar, ejecutar y supervisar el desarrollo de todas las actividades relacionadas con la aplicacin definitiva del SERCE en su pas, en estricto cumplimiento de los criterios y procedimientos establecidos en el conjunto de los manuales proporcionados por la Coordinacin Tcnica del LLECE. El LLECE espera que el coordinador nacional realice cuidadosamente los procedimientos descritos en este manual, con el fin de garantizar que los instrumentos sean administrados en la misma forma y bajo las mismas condiciones en todos los pases participantes, para lograr resultados que permitan hacer anlisis slidos y formular hiptesis robustas acerca de cmo alcanzar niveles ms altos en las competencias desarrolladas por los estudiantes. Si se omite o se cambia algn procedimiento sin autorizacin de la Coordinacin Tcnica del LLECE, podran alcanzarse resultados inconsistentes y, por lo tanto, la participacin del pas en el SERCE podra resultar invalidada. En los pases que se requiera, el coordinador nacional podr apoyar su labor en coordinadores de sede, respondiendo as a posibles demandas de descentralizacin del proceso de aplicacin. 35
3. LISTA DE INSTRUMENTOS
La Tabla 1 muestra una lista de los instrumentos que sern administrados durante la aplicacin definitiva en cada centro educativo seleccionado en la muestra. Ms adelante, se detallarn los procedimientos para su aplicacin.
Tabla 1. Lista de Instrumentos

Forma de Administracin Quin lo responde? Estudiantes de tercero y sexto grado Estudiantes de tercero y sexto grado
Tipo
Nombre Lectura
Cuadernillo Del 1 al 6
Cdigo C1 a C6
Escritura
1y2
C1 y C2
Pruebas de Logro
Matemtica Ciencias13 naturales Del estudiante de tercero Del estudiante de sexto Del docente Del 1 al 6 C1 a C6
Sesin colectiva
Estudiantes de tercero y sexto grado Estudiantes de tercero y sexto grado Estudiantes de tercer grado Estudiantes de sexto grado
Del 1 al 6
C1 a C6
nico nico
QA3 QA6 Autoadministrada
nico
QP
Docentes de lenguaje y matemtica del aula evaluada Docente del rea respectiva del aula evaluada Padres o tutores de los estudiantes evaluados Director o miembro del equipo directivo Aplicador con el apoyo del director
36
Cuestionarios de Factores Asociados
De enseanza
Cinco
QL3,QL6, QM3,QM6 QC6
Autoadministrada
De la familia
nico
QF
Autoadministrada/ Entrevista
Del directivo
nico
QD
Autoadministrada
Ficha de empadronamiento
nico
FE
Entrevista
13
En adelante, cuando aparezca el rea de ciencias naturales, se entender con carcter opcional.
4. ACTIVIDADES PREVIAS A LA APLICACIN

4.1 Conformar el marco muestral y definir fechas de aplicacin De acuerdo con las indicaciones de la Coordinacin Tcnica del LLECE, el coordinador nacional debe obtener toda la informacin correspondiente a los centros educativos de su pas; en especial, el nombre, la localizacin (rural o urbana), el sector (pblico o privado) y el nmero de aulas y de estudiantes en tercero y sexto grados. El marco muestral, la matrcula del pas en cada grado y las fechas de iniciacin y terminacin del ao escolar deben consignarse en las tablas y formatos correspondientes y remitirse al LLECE. Por otra parte, el coordinador nacional debe establecer las fechas de la aplicacin definitiva, dentro del perodo de las ocho semanas anteriores a la terminacin del ao escolar. Si el pas cuenta con dos calendarios, deber programar dos aplicaciones en dos fechas distintas para administrar las pruebas en los centros educativos que resulten de uno u otro calendario. Las fechas de la aplicacin definitiva atienden a las circunstancias y posibilidades reales de cada pas, tanto desde el punto de vista administrativo y presupuestal como desde la perspectiva operativa, y deben informarse al LLECE.
Tabla 2.
Distribucin del tiempo para la aplicacin de los instrumentos a estudiantes de tercer grado
PRIMER DA Prueba de Lectura Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin de material Pausa (20 minutos) Prueba de Escritura Instrucciones Desarrollo (45 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Entrega de cuestionarios de familia SEGUNDO DA Prueba de Matemtica Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin de material Pausa (20 minutos) Cuestionario del Estudiante Instrucciones Desarrollo (aproximadamente 20 minutos) Recoleccin del material Recepcin de cuestionarios de familia
37
Para programar la aplicacin definitiva, la Coordinacin Tcnica del LLECE sortear la muestra, de acuerdo con las indicaciones del Manual de Muestreo, y la remitir a los coordinadores nacionales. Es importante tener en cuenta en la programacin que la aplicacin definitiva en cada aula requiere dos das, debido a la extensin de los cuadernillos y los cuestionarios previstos. La aplicacin debe llevarse a cabo en la misma forma y en el mismo orden secuencial en todas las aulas de la muestra, en arreglo al diseo que aparece en las tablas 2 y 3, para cada uno de los dos grados considerados.
Tabla 3.
Distribucin del tiempo para la aplicacin de los instrumentos a estudiantes de sexto grado
PRIMER DA Prueba de Lectura Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Pausa (15 minutos) Prueba de Escritura Instrucciones Desarrollo (45 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Pausa: (15 minutos) Cuestionario del Estudiante Instrucciones Desarrollo (aproximadamente 45 minutos) Recoleccin del material Entrega de cuestionarios de familia SEGUNDO DA Prueba de Matemtica Instrucciones Desarrollo (70 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Pausa (20 minutos) Prueba de Ciencias Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material 38 Recepcin de cuestionarios de familia
4.2 Recibir y estudiar la documentacin del proyecto

Como coordinador nacional, usted ha recibido un identificador de usuario y una contrasea para acceder al sitio web donde encontrar toda la documentacin requerida para atender la aplicacin definitiva: Criterios y procedimientos para el aseguramiento de la calidad. Manual de muestreo. Manual del aplicador. Informes regional y nacional de anlisis de tems. Versin definitiva estndar de cuadernillos de pruebas (Lectura, Escritura, Matemtica y Ciencias Naturales). Versin definitiva estndar de cuestionarios de factores asociados (estudiante, docente, de enseanza, director, familia y ficha de empadronamiento del centro educativo). Pautas para la aplicacin de los cuestionarios.
Manual de evaluacin de la escritura. Manual de codificacin de las preguntas de respuesta abierta de matemtica. Manual de codificacin de las preguntas de respuesta abierta de ciencias. Instructivo de captura de datos. Interfase para la captura de datos. Manual de procesamiento de datos.
Seguir rigurosamente los protocolos establecidos en los diferentes documentos es un compromiso ineludible de los pases participantes. Si se presentan circunstancias especiales que requieran una variacin en algn procedimiento, el pas interesado podr plantearlas a la Coordinacin Tcnica del LLECE, que extender o no la correspondiente autorizacin por escrito para efectuar el cambio solicitado. Con los indicadores presentados en los informes regional y nacional de anlisis de tems, al coordinador nacional le corresponde organizar la revisin de las versiones definitivas estndar de cuadernillos de pruebas, para efectos de solicitar a la Coordinacin Tcnica del LLECE las adaptaciones lingsticas que consideren necesarias en los tems. Luego del estudio y autorizacin correspondientes por parte del LLECE, el coordinador nacional recibir la versin definitiva de los cuadernillos de pruebas adaptadas al pas. En relacin con los cuestionarios de factores asociados, el coordinador nacional debe organizar la revisin de las versiones definitivas estndar y solicitar las adaptaciones que considere pertinentes, que debern ser aprobadas por la Coordinacin Tcnica del LLECE. Luego, debe remitirle una copia de la versin definitiva adaptada al pas.
4.3 Establecer contacto con los centros educativos

Recibida la muestra, es deseable entrar en contacto con los centros educativos para efectos de: verificar la informacin sobre aulas y matrcula, garantizar el correcto envo del material; informar sobre la naturaleza y los alcances del proyecto; pedir la cooperacin de los directivos en la disposicin de los recursos requeridos; y responder a sus inquietudes y lograr su compromiso para alcanzar una aplicacin definitiva satisfactoria14. Es conveniente designar en la coordinacin nacional una o ms personas responsables de la interlocucin directa con los centros educativos. El director del centro educativo o la persona que este designe recibir con antelacin un documento informativo en el que se detallarn aspectos importantes del proyecto y las condiciones necesarias para realizar una adecuada aplicacin de los instrumentos. Con la informacin verificada y consolidada sobre aulas y matrcula de los centros educativos de la muestra, el coordinador nacional procede a determinar en forma precisa el nmero de estudiantes de la muestra. Los nombres de los estudiantes de las aulas de tercero y de sexto de cada centro educativo se consignarn en el Formulario 2 (F2), lista de asistencia de estudiantes. Por cada aula que participar en la aplicacin definitiva, se generar un Formulario 2 (F2) que facilitar la tarea de registro de asistencia a las sesiones de evaluacin y sobre todo asegurar la adecuada distribucin de los cuadernillos de las pruebas. 39
14 Si el coordinador nacional lo estima conveniente y las condiciones son propicias, el aplicador, debidamente capacitado, puede realizar una visita previa al centro educativo en la que obtenga o confirme la informacin antes referida y adelante la aplicacin de la ficha de empadronamiento. Cada pas definir si este proceso se adecua a sus necesidades y posibilidades.
4.4 Convocar, seleccionar y capacitar a los aplicadores

La aplicacin definitiva supone formar a las personas que realizarn el trabajo de campo (aplicadores), con base en una misma metodologa, con el fin de garantizar las mismas condiciones de evaluacin para todos los estudiantes que respondern los instrumentos. Es necesario asegurar que los aplicadores posean el siguiente perfil: Ser profesional con experiencia docente en educacin bsica o estudiante de educacin prximo a egresar, con experiencia de prcticas profesionales en aula. Tambin pueden admitirse estudiantes de los ltimos dos aos de psicologa o profesionales con experiencia en reas afines a evaluacin de gru pos o enseanza. Tener habilidades desarrolladas para el manejo de grupos de nios. Tener un manejo fluido de la lengua espaola. Tener un buen nivel de diccin, para la lectura apropiada de instrucciones. Tener un buen nivel de comprensin lectora, para el seguimiento de instrucciones y pautas dadas en los manuales. Ser una persona de confianza, a quien se le pueda entregar la responsabilidad la evaluacin y los instrumentos. No poseer ningn vnculo laboral con los centros educativos que forman parte de la muestra. Ser asertivo, seguro de s mismo y flexible, para adaptarse rpidamente y dar respuesta eficiente a situaciones imprevistas. Tener manejo de la lengua materna del lugar en el que se encuentra ubicado el centro educativo.
Tras la convocatoria y seleccin del grupo de aplicadores, se debe organizar una capacitacin. En el Anexo 2, se propone una pauta de capacitacin para su adaptacin. Es recomendable capacitar por lo menos a un 10% ms de los candidatos a aplicadores del total requerido para el trabajo. Es necesario asegurar que todos los aplicadores reciban el Manual del Aplicador, al menos con una semana de anticipacin a la capacitacin y que conozcan y dominen la ejecucin de las actividades previstas en dicho Manual, paso a paso, y que realmente mantengan todo el material bajo resguardo, con estrictas medidas de confidencialidad. Igualmente, debe garantizarse que los aplicadores conozcan el contenido de los cuestionarios. La capacitacin a aplicadores debe tener una duracin mnima de seis horas cronolgicas. Esto sin contar el tiempo destinado a asuntos administrativos como asignacin de centros educativos, entrega de materiales, explicacin de rutas de acceso a los centros, entre otros. Una vez concluida la capacitacin de aplicadores, el coordinador nacional les expedir un certificado que los acredita como tales y que, adems, los identifica para establecer contacto con los centros educativos, antes de la fecha de la aplicacin definitiva, con el propsito de confirmar los planes de la aplicacin y la presencia de los estudiantes que presentarn la prueba. El coordinador nacional podr ratificar o no a los aplicadores que ya recibieron capacitacin, de acuerdo con la evaluacin de su desempeo en la aplicacin piloto.
40
4.5.
Imprimir cuadernillos y cuestionarios
Determinada la muestra de centros educativos y el nmero preciso de estudiantes y de docentes incluidos en la aplicacin definitiva, debe procederse a la impresin de los cuadernillos y los cuestionarios. Esto se realiza teniendo en cuenta el listado de instrumentos presentado en la tabla 115 . Se advierte que no puede alterarse el recuadro que contiene cdigos y datos requeridos por el LLECE y que se contar con un espacio para colocar un cdigo nacional. Es indispensable imprimir solamente la cantidad de cuadernillos y de cuestionarios que se requieren para efectos de la aplicacin. En el proceso de impresin, es recomendable incluir una numeracin correlativa en cada ejemplar de cada instrumento, como medida de control adicional. Tambin es necesario poner atencin a las indicaciones que la Coordinacin Tcnica del LLECE seale en referencia al tipo y tamao de papel, tinta, color y dems especificaciones, as como verificar el ensamble o encuadernacin de las pginas de los cuadernillos, de acuerdo con el original enviado en formato PDF por la Coordinacin Tcnica del LLECE, para que todos los estudiantes de todos los pases participantes rindan la prueba en las mismas condiciones. Los cuestionarios se dispondrn en un formato en el que pueda intervenirse, para poder introducir las adecuaciones nacionales aprobadas y, a partir de ello, obtener la diagramacin final.
4.6.
Organizar la revisin y entrega de los materiales a los aplicadores
La organizacin del material depende de la forma en que se haya previsto la aplicacin definitiva. Lo importante es que en un centro educativo en el que se evale ms de un aula (seccin) del mismo grado en el mismo turno, el proceso se d de manera simultanea, es decir, si, por ejemplo, existen tres secciones de tercero en el turno de la maana en un mismo centro educativo, las sesiones de evaluacin deben darse de manera simultnea por lo que se requiere, por lo menos, tres aplicadores para ese centro educativo. Para la organizacin de los cuadernillos, se ordenarn todas las aulas de cada grado de todos los centros educativos y, luego, se definir el nmero del cuadernillo por el que se comienza la agrupacin, como se indica en la tabla 4, con las pruebas de Lectura y Matemtica o Ciencias Naturales, para garantizar que sea similar el nmero de respuestas a cada uno de los tems. En el caso de la prueba de Escritura, se utilizarn dos tipos de cuadernillo en cada grado.
41
15 uada.
Recuerde que, en el caso del cuestionario para el docente (QP), debe estimarse hasta dos por cada aula programada para ser eval-
Tabla 4.
Ejemplo de organizacin de los cuadernillos de Lectura, Matemtica y Ciencias Naturales, por aula para cada grado
Nmero de aula 01 02 03 04 05 06 . . Nmero de estudiantes 11 10 15 13 21 16 . . Orden de los cuadernillos* 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5 6, 1, 2, 3, 4, 5, 6, 1, 2, 3 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4 5, 6, 1, 2, 3, 4, 5, 6, 1, 2, 3, 4, 5, 6, 1, 2 . .
* El criterio consiste en construir una sola serie de conjuntos de seis cuadernillos, al considerar la sucesin de todas las aulas de un pas. La primera aula comienza con el cuadernillo 1 y las dems, con el cuadernillo siguiente al ltimo del aula inmediatamente anterior.
Para facilitar el trabajo de los aplicadores, la Coordinacin Tcnica del LLECE ha diseado un mecanismo por el cual, siguiendo la lgica mostrada en la tabla precedente, se genera el Formulario 2 (F2), lista de asistencia de estudiantes, en el que quedar indicado el tipo de cuadernillo que corresponde a cada estudiante en cada una de las pruebas. Este Formulario 2 contiene: Los datos de la escuela y del aula (seccin). Estos datos son llenados previamente por la Coordinacin Nacional y, en aquellos casos necesarios, por el aplicador; El nombre completo de cada estudiante que se va a evaluar en el aula asignada (seccin); en caso de ser necesario, el aplicador debe completar esta informacin; Una columna para consignar si el estudiante tiene alguna necesidad educativa especial (NEE) (especifi cadas en el Captulo III, anexo 3). En este caso el aplicador coloca los siguientes cdigos: o 1, si no existe discapacidad o limitacin para responder la prueba. o 2, para Discapacidad funcional o 3, para Discapacidad intelectual o 4, para Limitacin en el dominio del idioma o 5, para Otro tipo de problema Una columna por prueba (Lectura, Escritura, Matemtica y Ciencias Naturales, para el caso sexto), donde aparece el nmero de cuadernillo que le corresponde a cada estudiante; Una columna por cuestionario (estudiante y familia); En cada columna de prueba o del cuestionario del estudiante (QA), existe un recuadro en blanco don de se consigna la asistencia de cada estudiante. Se asigna: o 0, para Inasistencia o 1, para Asistencia 42
(Si algn estudiante se retira durante la evaluacin, se lo considera asistente a la misma y se consigna el hecho en el Formulario 3, Registro de incidentes, que se explicar ms adelante). En la columna del cuestionario de la familia (QF), un recuadro en blanco donde se consigna la devolu cin del instrumento respondido. Se asigna: o 0, para No aplicado / No devuelto o 1, para Respondido.
El Formulario 2 constituye una de las herramientas centrales del proceso de aplicacin y ofrece un resumen ordenado de las tasas de respuesta a los instrumentos y de asistencia a las sesiones de evaluacin. Concluida la aplicacin definitiva, el coordinador nacional deber enviar a la Coordinacin Tcnica del LLECE una copia de todos los Formularios 2 (F2) debidamente llenados. Ya organizado el material, en una fecha prxima a la de la aplicacin definitiva16 , el coordinador nacional, o la persona designada para el efecto, debe entregar a cada aplicador los siguientes documentos: Manual del Aplicador17 . Pautas para la aplicacin de los cuestionarios. Formulario 2 (F2), con el registro de los estudiantes del aula que se le haya asignado. Cuadernillos de las pruebas de los estudiantes. Cuestionarios de los estudiantes, sus docentes (incluye cuestionarios sobre enseanza) y sus familias. Cuestionario para el director y la ficha de empadronamiento del centro educativo18 . Formulario 3 (F3), para llenar con los incidentes que se presenten durante la aplicacin definitiva.
Al recibir el material, el aplicador debe firmar el Formulario 1 (F1), de recepcin y devolucin de materiales. Este formulario tiene carcter de compromiso de confidencialidad bajo declaracin jurada, y se termina de llenar cuando el aplicador devuelve el material. En el anexo 1, se presenta un modelo de carta acuerdo de confidencialidad, en el caso de que el coordinador nacional desee usarla de manera complementaria al Formulario 1 (F1). Es deseable que todo aquel que vaya a tener contacto con los instrumentos firme el acuerdo de confidencialidad (por ejemplo, los responsables de la impresin y embalaje). En todo momento, debe recordrsele al aplicador la importancia y significado del principio de confidencialidad. l debe estar consciente de que romper este principio pone en riesgo el proyecto, y el esfuerzo realizado sera en vano. Debe remarcrsele que en todo momento debe mantener actitud vigilante y resguardar el material, en especial los cuadernillos de las pruebas, para evitar que algn tem se filtre. De igual modo, el aplicador debe estar consciente de la importancia del principio de estandarizacin; en todo momento debe recordrsele que modificar las condiciones de evaluacin establecidas en los manuales puede invalidar los resultados. Si un motivo de fuerza mayor impidiera a algn aplicador realizar su trabajo, el coordinador nacional debe contar con algn mecanismo de reemplazo de la persona faltante. Por esta razn, entre otras, es que se sugiere que se capacite un porcentaje adicional de personas al nmero requerido.
16 Donde sea posible, se sugiere que los materiales para la evaluacin se entreguen el da anterior a la evaluacin o el mismo da, a primera hora. 17 Aunque el aplicador ya conoci este Manual durante la capacitacin, se sugiere que se entregue nuevamente, como parte de toda la documentacin. 18 Si la aplicacin definitiva prev ms de un aplicador en un mismo centro educativo, el cuestionario del director y la ficha de empadronamiento del centro educativo se asignarn slo a uno de ellos.
43
5.
ACTIVIDADES DURANTE LA APLICACIN
Durante los das previstos para la aplicacin definitiva, el coordinador nacional debe atender personalmente, o a travs de un equipo de personas designadas especialmente para este efecto, todas las consultas que los aplicadores y los directivos de centros educativos formulen, y resolver los inconvenientes que se presenten. Esta labor busca garantizar que en todas las aulas programadas se efecte la aplicacin con arreglo a lo establecido en el Manual del Aplicador y que slo se presenten a la prueba los estudiantes sealados en el Formulario 2 (F2). Igualmente, durante los das previstos para realizar el trabajo de campo, el coordinador nacional debe intentar entrar en comunicacin con los directores de los centros educativos elegidos, con el fin de informarse acerca del desarrollo de la aplicacin definitiva.
5.1. Implementar un sistema interno (nacional) de apoyo a la aplicacin

Se sugiere que la coordinacin nacional organice un sistema de apoyo al proceso de aplicacin. Para ello, es recomendable contar con un nmero suficiente de personas, debidamente capacitadas, que puedan atender consultas de grupos aplicadores y resolver incidentes que pudieran impedir el normal desarrollo de la evaluacin en grupos los de centros educativos. Estas personas deben estar en capacidad y condiciones de sustituir a algn aplicador, en caso emergencia.
5.2. Colaborar con el sistema de control de calidad del estudio

Como parte del control de calidad del estudio, se implementar un sistema de supervisin y observacin externa de la aplicacin definitiva en cada uno de los pases participantes. Este dispositivo de supervisin de la aplicacin definitiva basa su desarrollo en dos perfiles y funciones principales: los Observadores Internacionales y los Monitores Externos. La tarea del Observador Internacional consistir en trasladarse al pas donde se realizar la aplicacin, por un plazo de una semana aproximadamente. En los das previos al inicio de la aplicacin, deber entrenar a un grupo de Monitores Externos, previamente seleccionados por la Coordinacin Tcnica del LLECE, realizar una visita al Centro Nacional para verificar in situ los procedimientos de trabajo y visitar centros educativos durante los dos primeros das de la aplicacin. Posteriormente, deber elaborar y remitir a la Coordinacin Tcnica del LLECE un reporte de lo observado. Est previsto que los propios Coordinadores Nacionales sean quienes se desempeen como Observadores Internacionales, para ello, en el momento oportuno, se les brindar orientacin ms detallada acerca de cmo llevar adelante estas actividades. Los Monitores Externos son especialistas del propio pas, seleccionados por la Coordinacin Tcnica en base a la propuesta que realiza cada uno de los Coordinadores Nacionales. Se requiere que los candidatos tengan experiencia en educacin y conocimiento del sistema educativo (educacin bsica), de preferencia con experiencia previa en operativos nacionales de evaluacin y a la vez que no tenga relacin funcional con la entidad responsable de la Coordinacin Nacional (condicin excluyente). 44
La tarea de los Monitores Externos consistir en: observar sesiones de entrenamiento de aplicadores; realizar visitas de media jornada a centros educativos durante la aplicacin, para observar el cumplimiento de los procedimientos estipulados; elaborar un informe de observacin por cada centro educativo visitado, de acuerdo a un formato que se le entregar. Estos Monitores Externos NO asumirn funciones dentro de la aplicacin nacional como, por ejemplo, reemplazar aplicadores o apoyar en tareas logsticas. Los coordinadores nacionales deben informar a toda la Red de Evaluacin de la existencia de este sistema de control de calidad del estudio.
6.6.1.
ACTIVIDADES DESPUS DE LA APLICACIN Organizar la verificacin y recepcin de los materiales de la aplicacin
Una vez concluida la aplicacin definitiva, cada aplicador consolidar y organizar todo el material utilizado y lo entregar personalmente al coordinador nacional o a la persona designada para esta labor, quien debe asegurarse de recibir los siguientes documentos: Formulario 2 (F2) con la lista de asistencia de los estudiantes que respondieron las pruebas y los cuestionarios, debidamente llenado. Este formulario debe tener la firma y sello de la autoridad del centro educativo, para hacer constar su participacin en la evaluacin. Formulario 3 (F3) con el registro de los incidentes presentados, debidamente llenado. Cuadernillos y cuestionarios respondidos y no respondidos por los estudiantes, los cuestionarios respondidos por los docentes y el director del centro educativo y los cuestionarios de padres de familia o tutores que sea posible recoger. Informe del Aplicador, debidamente llenado. Formulario 1 (F1) de recepcin y devolucin de materiales, debidamente llenado19.
45
Adicionalmente, los directores de los centros educativos remitirn al coordinador nacional los cuestionarios para los padres de familia o tutores, debidamente respondidos, que no hayan podido entregarse al aplicador durante la aplicacin. Despus de recibir los materiales provenientes de todos los aplicadores y los directores de centros educativos, es necesario organizar por separado los cuadernillos y cuestionarios, para proceder a leer y corregir las producciones escritas, a codificar las respuestas a las preguntas abiertas y a capturar todas las respuestas. Adicionalmente, para consolidar un Informe Nacional de Aplicacin Definitiva, a partir de los formularios y los informes de los aplicadores. Estos informes son fundamentales para documentar el proyecto.
6.2.
Organizar la captura de las respuestas a los instrumentos
Una vez organizados los cuadernillos y los cuestionarios, es necesario conformar un archivo con las respuestas consignadas en ellos. Para tal fin, cada pas recibir una interfase personalizada en formato ACCESS y un Instructivo de Captura20 que permitir llenar las siguientes tablas:
19 Al recibir el material completo, el coordinador nacional firmar el Formulario 1 (F1), dando su conformidad. 20 La Coordinacin Tcnica del LLECE organizar un taller de entrenamiento para el uso de la interfase ACCESS, dirigido a los responsables de la captura de datos de cada pas.
Respuestas de Lectura para tercer grado Respuestas de Matemtica para tercer grado Respuestas de Lectura para sexto grado Respuestas de Matemtica para sexto grado Respuestas de Ciencias Naturales para sexto grado Respuestas a los cuestionarios para los estudiantes de tercero Respuestas a los cuestionarios para los estudiantes de sexto grado Respuestas a los cuestionarios para los docentes Respuestas al cuestionario sobre enseanza de Matemtica para tercer grado Respuestas al cuestionario sobre enseanza de Matemtica para sexto grado Respuestas al cuestionario sobre enseanza de Lenguaje para tercer grado Respuestas al cuestionario sobre enseanza de Lenguaje para sexto grado Respuestas al cuestionario sobre enseanza de Ciencias Naturales para sexto grado Respuestas a los cuestionarios para los padres de familia o tutores Respuestas a los cuestionarios para el director Respuestas a la ficha de empadronamiento Respuestas de escritura para tercer grado Respuestas de escritura para sexto grado
Una vez concluida la captura de las respuestas, se requiere depurar las tablas y verificar que los registros presentes en cada una de ellas correspondan uno a uno con los cuadernillos aplicados en cada una de las reas, antes de su envo. Las interfases requerirn el doble cdigo asignado a las preguntas abiertas de las reas de Matemtica y Ciencias Naturales. Asimismo, la evaluacin de Escritura requerir que el proceso de correccin se realice antes de que los datos se ingresen en la interfase correspondiente. Los procedimientos para llevar a cabo la codificacin de las preguntas abiertas de matemtica y ciencias se detallarn en los manuales de codificacin respectivos, los cuales se remitirn a los pases. Asimismo, se remitirn los instructivos que detallen los procedimientos de correccin mltiple y supervisin de la codificacin que los pases debern implementar. De forma similar, se proceder con el caso de la evaluacin de la escritura21 .
46
6.3
Consolidar y remitir la documentacin
Una vez consolidados los diferentes documentos del proyecto y elaborado el correspondiente informe, el coordinador nacional debe remitir al LLECE, debidamente organizados y relacionados, los siguientes documentos y materiales: Informe Nacional de Aplicacin Definitiva, elaborado a partir de los Informes de los Aplicadores y de acuerdo con una pauta enviada por el LLECE. Tablas depuradas y verificadas con las respuestas dadas a la totalidad de los instrumentos.
21 Los talleres de capacitacin para la codificacin de las preguntas abiertas y de la escritura se realizarn entre la segunda quincena de mayo y la primera semana de junio. A estos talleres asistirn los representantes de los pases responsables de conducir estos procesos y de capacitar a los correctores a nivel nacional.
Fotocopia (buena calidad) de una muestra de las producciones escritas, elegida de manera aleatoria por la Coordinacin Tcnica del LLECE (el porcentaje est por definirse y fluctuar entre 5 y 10%) Fotocopia (buena calidad) de una muestra de las respuestas a las preguntas abiertas de Matemtica y Ciencias Naturales, elegida de manera aleatoria por la Coordinacin Tcnica del LLECE (el porcentaje est por definirse y fluctuar entre 5 y 10%).
La remisin debe efectuarse, a ms tardar, ocho semanas despus de realizada la aplicacin definitiva.
6.4
Mantener bajo resguardo los instrumentos
Una vez concluida la aplicacin definitiva, por razones de confidencialidad del material, es indispensable mantener bajo resguardo seguro todos los cuadernillos y cuestionarios impresos y utilizados, durante un tiempo de seis meses. Transcurrido este tiempo, el coordinador nacional debe proceder a destruir tanto los cuadernillos como los cuestionarios, bien sea mediante incineracin o picado en tiras de menos de 1 milmetro de ancho, dejando constancia, mediante un acta, del material que se destruye y remitiendo copia al LLECE. Si la impresin de este material se contrata con alguna empresa especializada, en el contrato respectivo debe aparecer la clusula de confidencialidad correspondiente. Igualmente, es necesario mantener bajo consulta restringida al coordinador nacional, todos los archivos electrnicos generados durante la aplicacin definitiva. Al mismo tiempo, el coordinador nacional debe conservar todos los Formularios F1, F2 y F3, para efectos de documentar el proyecto y poder atender alguna solicitud de confirmacin de datos que el LLECE pueda requerir.
47
ANEXO 1 ACUERDO DE CONFIDENCIALIDAD MATERIALES DEL SEGUNDO ESTUDIO REGIONAL COMPARATIVO Y EXPLICATIVO (SERCE)
Yo _______________________________________________________ En mi carcter de APLICADOR de la prueba definitiva del SERCE en <Pas> asumo formalmente el compromiso de: Guardar la confidencialidad de todos los materiales relacionados con esta evaluacin. No conservar ni dejar en los centros educativos ningn ejemplar o copia de de ninguna prueba o tems de pruebas o borradores de dichos materiales ni permitir copia de los mismos. No divulgar el contenido de los materiales antes mencionados a personas no autorizadas, a travs ningn medio.
FIRMA:______________________ DOCUMENTO DE IDENTIDAD:________________________
48
FECHA:_____________________
ANEXO 2 MODELO DE PAUTA PARA CAPACITACIN DE APLICADORES22 FASE I: ACTIVIDADES A DISTANCIA 1. Lectura de documentos informativos
Objetivos Poner a disposicin del Aplicador informacin suficiente para atender consultas generales de los centros educativos, durante los das de la aplicacin definitiva. Familiarizar al Aplicador con los procedimientos y actividades de la aplicacin definitiva, antes de iniciar su capacitacin.
1.1.

Informacin general sobre el SERCE

Documento preparado por el coordinador nacional donde el aspirante tenga un enfoque global sobre el estudio: Las instituciones organizadoras y los pases participantes Objetivos Fases Principales caractersticas Pgina web LLECE para orientar a quien desee profundizar en el tema. Documento de habilidades para la vida (Lenguaje, Matemtica y Ciencias Naturales).
49
1.2.
Manual del Aplicador
22 La presente pauta de capacitacin va acompaada de un archivo de presentaciones en PowerPoint que complementa los materiales requeridos para cada actividad propuesta.
FASE II: ACTIVIDADES PRESENCIALES

1. Prueba de carcter formativo (30 minutos)
Objetivo: Autoevaluacin de los participantes y devolucin de informacin por el capacitador, a partir de la correccin en grupos. Actividad: Se entregar una prueba a cada participante que podr ser resuelta usando el manual del aplicador en. Aproximadamente, 20 minutos. Los 10 minutos finales servirn para socializar las respuestas. Materiales: 1 prueba por participante 1 manual del aplicador por participante (en adelante, requerido para toda la capacitacin) 1 documento solucionario para el capacitador
2.
Anlisis grupal de las partes fundamentales del Manual de Aplicacin (120 minutos)
Objetivo: Resaltar aspectos centrales contemplados en el manual de aplicacin e instruir sobre el correcto uso de los principales formularios que el aplicador ha de completar, antes de la aplicacin. Actividad: A travs de una presentacin (con soporte visual mediante el uso de diapositivas o transparencias) el capacitador ir detallando los siguientes puntos nodales contemplados en el manual. Papel del aplicador Lista de control de actividades Lista de instrumentos Cronograma de aplicacin Actividades previas a la aplicacin: o Recibir el material y llenar el formulario correspondiente (F1) o Confirmar planes de aplicacin o Verificar la asistencia de estudiantes del aula asignada (requiere el Formulario F2, lista de asistencia de estudiantes) o Presentarse en el centro educativo y verificar el material antes de su aplicacin (requiere el adecuado llenado de las cartulas, previamente)
50
Actividad opcional 1: Entrenamiento en el llenado de cartulas, usando el Formulario F2. (30 minutos adicionales). Si se considera que por falta de experiencia los aplicadores pueden cometer errores al momento de llenar las cartulas de los cuadernillos, se sugiere incluir, en este momento, uno o dos ejercicios de llenado de cartula. La resolucin del ejercicio puede ser parte de la presentacin en diapositivas. Actividad opcional 2: Presentacin en el centro educativo. (45 minutos adicionales). Esta actividad es particularmente importante para aquellos pases en los que no sea posible tomar contacto previo con los centros educativos. Se sugiere, mediante una dinmica de juego de roles, plantear algunas situaciones problemticas como:
o o o
Que el director o los docentes rechacen la evaluacin Formular algunos medios de disuasin o negociacin Que el director o los docentes exijan ver las pruebas de logro
Materiales: 3. Presentacin. Parte 1 Para opcional 1: Cartulas vacas (1 2 por participante) Representaciones de las aplicaciones de las pruebas
Tiempo aproximado: 15 minutos para la presentacin general 45 minutos por prueba (15 de trabajo en grupos, 20 para una o dos representaciones y 10 para plenaria) Objetivo: Entrenar a los participantes para la aplicacin apropiada de las pruebas de logro a los estudiantes. Actividades: Este trabajo se iniciar haciendo una breve presentacin (con soporte visual mediante el uso de diapositivas o transparencias) sobre las caractersticas esenciales de la aplicacin de pruebas: Caractersticas de las pruebas Aspectos a verificar antes de la aplicacin de las pruebas Aspectos generales para la aplicacin de las pruebas
51
A continuacin se proceder a representar las aplicaciones de cada una de las pruebas. Previamente, el capacitador agrupar en equipos de 4 5 personas a los participantes. Ellos tendrn que revisar las indicaciones para la aplicacin de una prueba dada (por ejemplo, la de lectura de tercer grado) y ensayarlas en sus equipos. Luego, se elegir un participante de todo el grupo para que represente las indicaciones; los dems participantes observarn y harn los comentarios respectivos en un plenario, despus de la representacin. Se proponen algunas situaciones para ser representadas: ROL PLAYING 1.- Primer da de aplicacin. Aplicacin de Prueba de Lectura. Roles: aplicador, director cordial y firme, docente del grupo intenta copiar un cuadernillo de prueba, un alumno que tiene un mal comportamiento, un alumno busca el apoyo del docente para resolver. ROL PLAYING 2.- Primer da de aplicacin. Aplicacin Prueba de Escritura. Roles: aplicador, director cordial y firme, docente del grupo trata de ayudar a los alumnos en la realizacin de la prueba, un alumno se retira antes de finalizar, porque su padre lo exige. ROL PLAYING 3.- Segundo da de aplicacin. Inicio de la Actividad. Roles: aplicador, docente ansioso que da pautas, adems de las del aplicador, un alumno llama constantemente la atencin del aplicador.
ROL PLAYING 4.- Segundo da de aplicacin. Aplicacin Prueba de Matemtica. ROL PLAYING 5.- Segundo da de aplicacin. Aplicacin Prueba de Ciencias. Tener en cuenta lo siguiente: En todos los casos, se sugiere que se represente como mnimo la parte de aplicacin dedicada a la lectura de las instrucciones que el aplicador debe hacer con los estudiantes. En todo momento, es preciso observar que las instrucciones sean dadas al pie de la letra, tal como consta en el manual. El capacitador debe elegir a diferentes participantes cada vez; es importante que todos, o la mayora, tengan la oportunidad de representar al menos una lectura de instrucciones de pruebas, ya que este elemento, por un lado, es motivador de aprendizajes ms slidos y por otro, permite al capacitador evaluar el desempeo de los candidatos a examinadores. Dado que las instrucciones para tercero y sexto grados son las mismas y slo varan por rea, se sugiere asumir alternativamente que a veces el grupo es de tercero y a veces de sexto. Materiales: Presentacin. Parte 2 Instructivos de las pruebas de cada rea (al menos un juego de ejemplares por equipo)
4.
Representaciones de las aplicaciones de los cuestionarios de factores asociados23
[Slo si el Aplicador es el responsable de la administracin de los cuestionarios (aspecto por definir)]. Objetivo: Entrenar a los participantes para la apropiada aplicacin de los cuestionarios de factores asociados a los diferentes actores del proceso educativo. Presentacin introductoria a cuestionarios (15 minutos): Este trabajo se iniciar haciendo una breve presentacin (con soporte visual mediante el uso de diapositivas o transparencias) sobre las caractersticas esenciales de la aplicacin de cuestionarios: Caractersticas de los cuestionarios Tipos de cuestionarios y aplicaciones posibles A continuacin se trabajar cada cuestionario. Materiales: Presentacin. Parte 3 Pauta para la aplicacin de los cuestionarios Set completo de cuestionarios 52
23
Sujeto a la definicin final del conjunto de estos instrumentos.
4. 1 Cuestionario del estudiante (60 minutos)

Actividad: Se seguir una dinmica similar a la empleada para la representacin de la aplicacin de las pruebas de logro. En primer lugar, se har una lectura individual, o en parejas, del contenido del cuestionario del alumno y se estudiarn las indicaciones o instrucciones para su aplicacin (material pendiente). Finalmente, el capacitador elegir a uno o dos participantes para que representen frente a todo el grupo la administracin del cuestionario. Tras dicha representacin, los participantes harn sus comentarios, en plenaria.
4.2 Cuestionarios del docente (incluye los cuestionarios sobre enseanza), el director y ficha de empadronamiento del centro educativo (45 minutos por instrumento).
Actividad: Para cada uno de estos instrumentos se sugiere dar 30 minutos para la revisin del cuestionario y 15 minutos de plenaria para resolver dudas puntuales.
4.3. Cuestionario de la familia

Se sugiere una actividad similar a la anterior. Adicionalmente, si el cuestionario admitir formas alternativas de aplicacin (por ejemplo: autoaplicada para zonas urbanas, aplicada mediante entrevista pensando en padres de familia con analfabetismo-, etctera) se recomienda capacitar en los diferentes procedimientos que han de ser considerados, para asegurar una alta tasa de respuesta.
5. Despedida del centro educativo, devolucin de materiales y elaboracin del reporte (60 minutos)
53 Objetivo: Ofrecer a los participantes indicaciones para asegurar una adecuada despedida del centro educativo, as como la devolucin ordenada de los materiales a la sede principal y la elaboracin del reporte final de aplicacin. Actividad: Se realizar una presentacin (con soporte visual mediante el uso de diapositivas o transparencias) en el que se precisen los aspectos relativos al objetivo. Si se considera conveniente, se puede reforzar la actividad realizando una representacin de la despedida del centro educativo. Finalmente, se revisar el Formulario 1 (F1), en la parte de devolucin de materiales, y el Formulario 3 (F3), Informe del Aplicador. Es importante aclarar que, si bien los tiempos pueden ajustarse de acuerdo con la situacin particular de cada pas, el tiempo mnimo previsto para la capacitacin de los aplicadores debe ser de seis horas, excluyendo el tiempo que demande la organizacin y distribucin de materiales y asignacin de centros educativos.
CAPTULO III: MANUAL DEL APLICADOR PARA LA APLICACIN DEFINITIVA

Para asegurar que los resultados obtenidos en todos los pases y escuelas que participan sean comparables y vlidos, es preciso que todos los nios que participan en el estudio se evalen bajo las mismas condiciones. Para ello, el rol de aplicador de los instrumentos es esencial. Es imprescindible que Usted siga todas las indicaciones que se presentan en este manual y que ante cualquier duda consulte con su supervisor.
2. LISTA DE INSTRUMENTOS
Hay dos tipos de instrumentos: Las pruebas de logro, que sern respondidas por los estudiantes de tercero y sexto grado. Los cuestionarios de factores asociados, que sern respondidos por los mismos estudiantes que rinden las pruebas, sus familias, sus profesores y sus directores. Estos cuestionarios buscan obtener informacin sobre las condiciones escolares y familiares que pueden ayudar a explicar los resultados de las pruebas. 54
En la Tabla 1 se muestra la lista de instrumentos que se administrarn en este estudio. En apartados posteriores, se explicar cmo se debe aplicar cada uno de ellos.
Tabla 1. Lista de Instrumentos

Tipo Nombre Cuadernillos Cdigo Forma de Administracin Quin lo responde?
Estudiantes de tercero y sexto grado Estudiantes de tercero y sexto grado
Lectura Pruebas de Logro Escritura Matemtica Ciencias Del estudiante de 3 Del estudiante de 6 Cuestionarios de Factores Asociados Del docente De enseanza De la familia Del directivo
Ficha de empadronamiento
Del 1 al 6 Del 1 al 2 Del 1 al 6 Del 1 al 6 nico nico nico Cinco nico nico nico
DL3 DL6 DE3 DE6 DM3 DM6 DC6 QA3 QA6 QP

QL3, QL6, QM3,QM6, QC6
Sesin colectiva
Estudiantes de tercero y sexto grado Estudiantes de sexto grado Estudiantes de tercer grado Estudiantes de sexto grado
Autoadministrada Autoadministrada
Autoadministrada/ Entrevista
Docentes de lenguaje y matemtica del aula evaluada
Docente del rea respectiva del aula evaluada
QF
Padres o tutores de los estudiantes de tercero y sexto grado evaluados Director o miembro del equipo directivo Aplicador con el apoyo del director
QD FE
Autoadministrada
Entrevista
55
3. ACTIVIDADES DEL APLICADOR

En esta seccin presentaremos en 10 subttulos las principales actividades que usted, como aplicador, deber realizar. Es imprescindible que siga estrictamente los procedimientos establecidos en este apartado pues ello es un requisito para que todos los estudiantes que participan en el estudio sean evaluados bajo las mismas condiciones.
3.1 Establecer contacto con la escuela

Cada una de las escuelas participantes en el estudio ha designado un interlocutor24 , quien est a cargo de informar a los docentes, a las familias y a los estudiantes acerca de la evaluacin. El aplicador debe presentarse ante la direccin de la escuela y solicitar hablar con dicho interlocutor o bien, si es que nadie ha sido designado an para tal efecto, pedir al director que designe a una persona con la que puedan coordinar todos los aspectos relativos a la evaluacin.
24 Cuando el director lo considere pertinente, l mismo podr asumir esta responsabilidad.
En lo posible, el aplicador realizar el primer contacto con antelacin a la fecha prevista para la evaluacin. Este contacto se establece en forma personal o por va telefnica o electrnica, cuando las circunstancias as lo requieran. El objetivo es el siguiente: Ubicar o confirmar la direccin de la escuela y la forma de acceso a la misma; Confirmar la fecha, la hora y el lugar de la aplicacin (por ejemplo: asegurar ambientes apropiados para dar las pruebas); Solicitar que en la escuela est(n) presente(s) el o los docentes del aula durante los das de la aplicacin para que responda(n) a los cuestionarios que le correspondan; Acordar la manera de manejar eventuales imprevistos o situaciones problemticas; Acordar los procedimientos a seguir al concluir cada sesin; Llenar la ficha de empadronamiento del centro educativo25 ; Verificar la cantidad de estudiantes que hay en el grado y en cada seccin a ser evaluada.
El primer da de aplicacin, el aplicador debe explicar al director o al interlocutor, dentro de la escuela, que existe un sistema de supervisin de la calidad de la evaluacin y que es posible, por lo tanto, que otra persona de la red de la evaluacin se acerque o visite a la escuela para monitorear el proceso. Si un motivo de fuerza mayor impidiera al aplicador realizar su trabajo, esto debe comunicarse al supervisor con la mayor antelacin posible, de modo que puedan tomarse las medidas necesarias para resolver la situacin.
56
3.2 Recibir el material de la evaluacin y verificar que est completo.

El aplicador recibir el material de evaluacin detallado en Formulario 1 (F1), de recepcin y devolucin de materiales. Debe verificar si ha recibido todos los documentos sealados en dicho formulario y, en el caso de que faltara alguno debe informar al supervisor. Es necesario tener presente que el material de evaluacin del SER CE podr utilizarse en el futuro, a efectos de realizar otros estudios, y que, por tanto, es indispensable mantener su confidencialidad y garantizar que no se divulge ni se dae. Esto significa que las pruebas no se pueden copiar bajo ninguna forma y que el aplicador es responsable de que todos los cuadernillos y cuestionarios que recibi retornen en perfecto estado. La firma del aplicador en el Formulario 1 constituye el compromiso de confidencialidad que lo obliga a mantener bajo resguardo y proteccin todos los documentos que recibe.
25
En el caso de no ser posible completar esta ficha en este contacto, se la llenar durante los das de la aplicacin.
3.3 Completar el Formulario de Asistencia de Estudiantes (F2)

El Formulario de Asistencia de Estudiantes (F2) tiene dos objetivos principales: Asegurar que cada estudiante de la muestra reciba el instrumento que le corresponde en cada sesin de evaluacin. Esto se debe a que las pruebas de logro tienen formas o cuadernillos distintos (por ejemplo, existen 6 cuadernillos distintos de la prueba de lectura) y es importante que estos se repartan de acuerdo al orden establecido en este formulario. Llevar el registro de asistencia a las sesiones de evaluacin.
Este formulario contiene: Los datos de la escuela y la seccin. La Coordinacin Nacional llena estos datos, previamente, y en aquellos casos que sea necesario, lo har el aplicador; El nombre completo de cada estudiante que se va a evaluar en la seccin o aula asignada; en caso de ser necesario, el aplicador debe completar esta informacin; Una columna para consignar si el estudiante tiene alguna necesidad educativa especial (NEE, especifi cadas en el anexo 3). En este caso, el aplicador coloca los siguientes cdigos: o 1, si no hay discapacidad o limitacin para responder la prueba o 2, para Discapacidad funcional o 3, para Discapacidad intelectual o 4, para Limitacin en el dominio del idioma o 5, para Otro tipo de problema Una columna por prueba (Lectura, Escritura, Matemtica y Ciencias en el caso de sexto), donde aparece el nmero de cuadernillo que le corresponde a cada estudiante; Una columna por cuestionario (estudiante y familia); En cada columna de prueba o del cuestionario del estudiante (QA), existe un recuadro en blanco don de se consigna la asistencia de cada estudiante. Se asigna: o 0, para Inasistencia o 1, para Asistencia 57
(Si algn estudiante se retira durante la evaluacin, se considera asistente a la misma y se consigna el hecho en el Formulario 3: Registro de incidentes que se explicar ms adelante). En la columna del cuestionario de la familia (QF), existe un recuadro en blanco donde se consigna la devolucin del instrumento respondido. Se asigna: o 0, para No aplicado/No devuelto o 1, para Respondido.
EJEMPLO FORMULARIO 2 . Lista de Asistencia de Estudiantes (TERCERO)

Pas: 01 Escuela: 075 Seccin: 02 Escuela: Libertador San Martn Direccin: Las Flores N 33 - Calafate - Provincia de Santa Cruz
Cd 01 02 03 04 05 06 07
Apellido Paterno Almeida Castro Prez Ramrez Ramrez Zapata Ziga
Apellido Materno Rengifo Elizondo Maldonado Valdez Bogoya Carbajo Cariola
Nombre Ivn Mauricio Laura Cecilia Daniel Pablo Mara
NEE 1 1 1 1 1 4 1
Lectura C2 C3 C4 C5 C6 C1 C2 7 21/07 1 1 1 1 1 1 1
Escritura C2 C1 C2 C1 C2 C1 C2 6 21/07 1 1 1 1 1 1 1
Matemtica C2 C3 C4 C5 C6 C1 C2 6 22/07 1 1 1 1 1 1 1
Cuestionario Estudiante QA3 QA3 QA3 QA3 QA3 QA3 QA3 7 22/07 1 1 1 1 1 1 1
Cuestionario Familia QF3 QF3 QF3 QF3 QF3 QF3 QF3 5 1 1 1 1 1 1 1
TOTAL PERSONAS QUE RESPONDIERON FECHA DE APLICACIN (DD/MM)
En el ejemplo anterior, si tomamos el caso de la nia Laura Prez Maldonado, encontramos que esta nia tiene asignado el cdigo de estudiante 03. De acuerdo al F2, esta estudiante debe recibir el cuadernillo 4 en la sesin de Lectura, el cuadernillo 2 en la sesin de Escritura y el cuadernillo 4 en la sesin de Matemtica. De acuerdo a lo consignado por el aplicador, esta nia estuvo presente en las sesiones de Lectura y Escritura y ausente en la sesin de Matemtica. Por otro lado, Laura contest el cuestionario de estudiante, pero no fue devuelto o aplicado el cuestionario de su familia. Como se observa, el aplicador consigna en el F2 el dato de la cantidad total de estudiantes y padres de familia que responden a cada instrumento, asimismo registra la fecha en que cada sesin de evaluacin con estudiantes se realiz. El Formulario 2 debe ser sellado y firmado por el director o autoridad del centro educativo, una vez que el registro de asistencia a todas las sesiones se haya concluido.
58
3.4 Completar las cartulas de los instrumentos

Completar las cartulas de los instrumentos Antes de iniciar la aplicacin de los instrumentos, el aplicador debe asegurarse de haber completado sus cartulas de acuerdo con el F2: Lista de Asistencia de Estudiantes. En cada instrumento, el aplicador debe llenar los siguientes cdigos y datos: Cdigos: pas, escuela, seccin y estudiante asignados por el LLECE. Datos: nombre de la escuela, direccin de la escuela y nombre completo del estudiante.
Siguiendo el ejemplo anterior, la cartula correspondiente a la estudiante Laura Prez Maldonado se muestra en el cuadro a continuacin.
EJEMPLO DE CARTULA LLENADA POR EL APLICADOR
59
Debe asegurarse que el nmero de cuadernillo entregado al estudiante se corresponda con el que se asign a ese estudiante en el Formulario 2. Adems, debe asegurarse que los cdigos de Escuela, Seccin y Estudiante correspondan al estudiante segn dicho formulario.
3.5. Aplicar los instrumentos a los estudiantes

Aplicar los instrumentos a los estudiantes A la hora fijada, el aplicador hace ingresar a los estudiantes al aula dispuesta para la aplicacin de instrumentos. Una vez que los estudiantes estn sentados y debidamente organizados, el aplicador les pide que sobre su pupitre slo dejen su lpiz, una goma de borrar y un sacapuntas (el uso de diccionario y calculadora NO est permitido en ningn caso). Luego, pasa lista a los estudiantes, de acuerdo con el orden en que aparecen en el F2, y le entrega a cada uno de ellos el cuadernillo correspondiente. En ningn caso puede entregar las pruebas a un estudiante que no aparece en el F2 en reemplazo de otro que s aparece. El orden de aplicacin de los instrumentos y los tiempos establecidos para cada sesin de evaluacin se muestran en las tablas 2 y 3.
Tabla 2. Distribucin del tiempo para la aplicacin de los instrumentos a estudiantes TERCERO PRIMER DA Prueba de Lectura Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin de material Pausa (20 minutos) Prueba de Escritura Instrucciones Desarrollo (45 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Entrega de cuestionarios de familia SEGUNDO DA Prueba de Matemtica Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin de material Pausa (20 minutos) Cuestionario del Estudiante Instrucciones Desarrollo (aproximadamente 20 minutos) Recoleccin del material Recepcin de cuestionarios de familia
60
Tabla 3. Distribucin del tiempo para la aplicacin de los instrumentos a estudiantes SEXTO PRIMER DA Prueba de Lectura Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Pausa (15 minutos) Prueba de Escritura Instrucciones Desarrollo (45 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Pausa: (15 minutos) Cuestionario del Estudiante Instrucciones Desarrollo (aproximadamente 45 minutos) Recoleccin del material Entrega de cuestionarios de familia SEGUNDO DA Prueba de Matemtica Instrucciones Desarrollo (70 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material Pausa (20 minutos) Prueba de Ciencias Instrucciones Desarrollo (60 minutos) Tiempo adicional (hasta 10 minutos) Recoleccin del material
Recepcin de cuestionarios de familia
3.5.1 Conducir la aplicacin de acuerdo con la Gua

Para garantizar que todas las sesiones de evaluacin desarrolladas en todos los pases que participan en el SERCE brinden las mismas condiciones de oportunidad, tiempo e informacin, y que todos los estudiantes reciban las mismas instrucciones, es necesario que el aplicador utilice paso a paso la Gua que se incluye en el Anexo 5. Se debe proceder de acuerdo con la Gua de Aplicacin, leyendo los textos que en ella aparecen de forma clara, pausada y suficientemente audible. Si los estudiantes plantean dudas y formulan preguntas, podr releerse el texto mencionado. El aplicador debe evitar agregar ejemplos o explicaciones no contempladas en los textos de la gua, sin embargo, puede adaptar el lenguaje para que los nios comprendan bien cmo deben colocar sus respuestas. 61
3.5.2 Supervisar la sesin
En especial, se debe tener en cuenta: Si los estudiantes comprenden bien cmo deben anotar sus respuestas; Que no se debe ayudar a los estudiantes acerca de qu significa un enunciado o palabra ni qu opcin de respuesta deben elegir; Que no est permitido que los estudiantes salgan del aula, salvo en caso de extrema necesidad. Si algn estudiante debe retirarse antes de terminar la prueba, por razones de enfermedad o fuerza mayor, debe recogerse el cuadernillo;
Si algn estudiante que se haya retirado del aula antes de terminar la prueba, regresa y todava dentro del tiempo previsto para la sesin, debe retornrsele el cuadernillo o cuestionario para que contine respondindolo (este hecho debe quedar consignado en el Formulario 3: Registro de incidentes); Que los estudiantes que terminen antes del tiempo previsto su trabajo deben revisarlo y permanecer en el aula hasta que termine la prueba; Que cumplido el tiempo establecido, debern recogerse todos los cuadernillos; Que la presencia del docente en el aula, durante las sesiones de evaluacin a estudiantes, NO est permitida.
3.5.3 Finalizar la sesin

Al concluir el tiempo previsto para toda la sesin, el aplicador recoger todos los cuadernillos y los cuestionarios de estudiantes; los organizar de acuerdo con la numeracin que aparece en el F2 y los contar para confirmar que posee de nuevo todo el material. Confirmar, adems, que no falte ninguna parte de los materiales. Slo despus de las confirmaciones mencionadas, permitir la salida de los estudiantes, agradecindoles su participacin. Recuerde que durante la aplicacin de las pruebas de logro a los estudiantes NO puede ayudarlos con el contenido de la prueba, NI SIQUIERA explicarle el significado de una palabra que no entienden.
3.6 Administrar los cuestionarios de familia (QF)

Para la aplicacin de los cuestionarios de familia (QF), se debe decidir el mejor mecanismo de administracin del instrumento, con el propsito de garantizar la mayor cantidad de respuestas y el adecuado entendimiento de las preguntas. Existen las siguientes alternativas de administracin: Autoadministrada: El primer da de aplicacin se enva el cuestionario a la familia a travs del estudiante o se lo entrega personalmente y se acuerda su devolucin al da siguiente. El instrumento ir y volver en sobre cerrado, porque esto garantiza la confidencialidad de la informacin para tranquilidad de la familia. Este mecanismo es propicio para aquellas zonas o centros educativos en los que las familias estn alfabetizadas. Entrevista: En el caso que se considere que la autoadministracin del instrumento plantea dificultades se puede optar por convocar al centro educativo a uno de los padres o responsables de cada estudiante evaluado para aplicar el cuestionario mediante entrevista individual o colectiva (leyendo al grupo las preguntas). Si las entrevistas son individuales, el aplicador debe tomar las previsiones necesarias en trminos de tiempo. La decisin sobre los mecanismos de administracin del instrumento recaer en el Supervisor, que evaluar cada caso. Idealmente, si existe un contacto previo con la escuela y se presume que los padres de familia pueden tener dificultades con la autoadministracin del cuestionario se debe coordinar su convocatoria. 62
3.7 Administrar los cuestionarios del director y de los docentes (QD, FE, QP, QL3, QL6, QM3, QM6 y QC6) El aplicador entrega un cuestionario general al o los docentes responsables de ensear matemtica y/o lenguaje a la seccin evaluada (QP) y los Cuestionarios sobre enseanza, al o los docentes de la seccin evaluada, segn el rea que le ensean (Por ejemplo el QM3 se debe entregar al docente que ensea matemtica al grupo de tercero que est siendo evaluado). En ese momento, muestra las indicaciones y le dice al docente que, cuando devuelva el cuestionario respondido, tendr espacio para aclarar cualquier duda que le haya surgido durante su llenado. Idealmente, el aplicador puede aprovechar las sesiones de evaluacin con los estudiantes para entregar al docente el respectivo cuestionario para que, de manera simultnea, lo conteste26 . En cuanto al cuestionario del director (QD), debe ser entregado en la entrevista que tiene lugar al inicio del primer da de aplicacin. Procediendo como con el cuestionario docente, el aplicador indicar al director que debe responder siguiendo las instrucciones del instrumento y que si surge alguna duda, esta podr ser aclarada en el momento de devolverlo. El aplicador debe acordar una hora de devolucin del cuestionario respondido dentro de los dos das de evaluacin en la escuela. Respecto a la ficha de empadronamiento del centro educativo (FE), como se dijo, es posible que esta haya sido llenada en la visita previa que se hace al mismo. De lo contrario, el aplicador la debe completar con el apoyo del director o de alguna autoridad del centro educativo durante los das de la aplicacin. Si en el centro educativo hubiera ms de un aplicador trabajando, el supervisor designar a uno de ellos para administrar el cuestionario del director (QD) y la ficha de empadronamiento del centro educativo (FE). 3.8 Completar el Formulario de Registro de Incidentes (F3) Cualquier anomala en la aplicacin de algn instrumento debe ser registrada en el F3. Si bien el aplicador debe tomar todas las precauciones necesarias para cumplir con las condiciones de aplicacin establecidas en el presente manual. Cualquier situacin imprevista que pueda afectar la aplicacin de los instrumentos o el desempeo de los estudiantes en la prueba debe ser consignada en este reporte. Por ejemplo, problemas relacionados a las condiciones ambientales (exceso de ruido externo, interrupciones constantes de terceros), a la conducta del grupo que se est evaluando, a las condiciones del material de evaluacin (por ejemplo, si se detectan instrumentos con problemas de impresin o si los cuadernillos no coinciden con los del formulario 2), entre otros. En este registro NO deben incluirse las dudas habituales que pueden plantear los estudiantes mientras son evaluados, por ejemplo, si no entienden una pregunta o si piden ayuda en la prueba, tampoco intentos fallidos de copiarse entre compaeros de aula o casos aislados de comportamiento inadecuado que no haya afectado al grupo. Si hay rechazo enftico a responder algn instrumento por parte del docente, director, estudiante o padre de familia, deber ser consignado el hecho en el F3. Tambin se consigna aqu si algn estudiante durante alguna sesin de evaluacin se retir del aula, ya sea parte del tiempo de evaluacin o toda la sesin. El F3 se presenta en el Anexo 4. Al completarlo debe ser lo ms claro, conciso y breve posible.
26 Los procedimientos para la distribucin de estos cuestionarios, as como la correcta identificacin de los docentes que responden en cada caso, se detallan en el documento Pautas para la aplicacin de los cuestionarios.
63
3.9 Agradecer y despedirse de la escuela Una vez concluidos todos los procesos de aplicacin, usted debe agradecer a cada participante y dirigirse a la direccin de la escuela para agradecer por las facilidades prestadas, despedirse y solicitar que le sellen y firmen el Formulario 2, Lista de asistencia de estudiantes, en cada pgina del mismo. Adems, usted llevar consigo el documento Evaluacin del proceso de aplicacin, que se muestra en el Anexo 5, y un sobre vaco, en el que el director o autoridad que responde la evaluacin se la entregar una vez completada. Finalmente, recordar a las autoridades educativas que el objetivo principal de esta evaluacin es obtener informacin del rendimiento de los estudiantes a nivel de sistemas educativos nacionales y en la Regin Latinoamericana. No obstante, ello ofrecer a la escuela un breve informe de carcter pedaggico con recomendaciones a partir de los resultados obtenidos por los grupos de estudiantes evaluados (no se identificarn rendimientos individuales). Dicho informe ser remitido por la Coordinacin Nacional en <fecha>
3.10 Consolidar todo el material y devolverlo

El material de evaluacin debe ser devuelto a la <Sede> , debidamente organizado y en perfecto estado, el mismo da en que fue aplicado. Si esto no fuera posible para aquellos casos en los que la distancia de la escuela obliga al aplicador a viajar fuera de la ciudad en la que se ubica la sede, el supervisor establecer una fecha mxima de retorno del material de acuerdo a cada caso. Las pruebas no pueden quedar, bajo ningn trmino, en los centros educativos. En cambio, en casos autorizados por el Coordinador Nacional, los cuestionarios de director, docente y familia pueden quedar en el centro educativo para ser recogidos con posterioridad por el aplicador. El aplicador debe asegurarse de que entrega el siguiente material a <Sede>: El F1. Recepcin y Devolucin de Materiales, debidamente llenado; El F2. Lista de Asistencia de Estudiantes, debidamente llenado con el registro de los datos y asistencia de los estudiantes que respondieron las pruebas y los cuestionarios. Recuerde que este formulario se debe presentar con la firma y sello de la autoridad del centro educativo, con el propsito de hacer constar su participacin en la evaluacin; El F3. Registro de Incidentes, debidamente llenado; 64
Todos los cuadernillos y cuestionarios respondidos y no respondidos por los estudiantes, los cuestionarios respondidos por los docentes y el director de centro educativo y todos los cuestionarios de padres de familia o tutores que sea posible recoger. Recuerde que las pruebas de logro son totalmente confidenciales y usted es el responsable de su resguardo. No debe dejarlas en la escuela ni en ningn lugar en el que corran el riesgo de ser extradas, copiadas o daadas.
4. SITUACIONES PROBLEMTICAS: PREGUNTAS Y RESPUESTAS

A continuacin, algunas soluciones a problemas frecuentes que se han detectado en experiencias anteriores. Qu hacer si todo el grupo de estudiantes termina la prueba antes del tiempo estipulado? Se ha establecido que es deseable que el grupo permanezca dentro del aula durante el tiempo de evaluacin establecido para una prueba. Esto para evitar que algunos estudiantes dejen el cuadernillo sin concluir por salir del aula junto con los compaeros que terminaron primero. Sin embargo, si se observa que todos los estudiantes del grupo han concluido la prueba, es decir, han respondido a toda ella, se puede dar por concluida la sesin. Qu hacer si algn(os) estudiantes no han concluido la prueba una vez que el tiempo estipulado ha acabado? Tal como aparece en el cronograma de aplicacin, en este caso se puede dar un mximo de 10 minutos adicionales de evaluacin. El resto de estudiantes puede permanecer en el aula leyendo un libro o revista, o bien, salir. Evite, en lo posible, autorizar la salida de estudiantes del aula sin coordinarlo previamente con algn docente o autoridad del centro educativo. Qu hacer si una emergencia lo obliga a salir del aula mientras est aplicando una prueba? Debe evitar salir del aula mientras aplica una prueba. Sin embargo, si una emergencia lo obliga a hacerlo, retire todos los cuadernillos de prueba y llvelos consigo. Anote el hecho en el Registro de Incidentes. Bajo ningn trmino deje los cuadernillos a solas con el director, con el docente o con los estudiantes. En caso de sismo o emergencia que ponga en riesgo la integridad de los estudiantes evacue al grupo siguiendo las indicaciones de seguridad acordadas con el centro educativo. Identifique anticipadamente las zonas de seguridad y las rutas de evacuacin para poder afrontar este tipo de situaciones. Pasada la emergencia, anote el hecho en el Registro de Incidentes. Qu hacer si el docente desea ingresar a la sesin de evaluacin de sus estudiantes? Explique que no es posible hacerlo, debido a que la UNESCO as lo ha establecido como un requisito para asegurar igualdad de condiciones en la evaluacin de todos los estudiantes de todos los pases y que usted no est autorizado a modificar esta norma. Trate con cortesa al docente en todo momento, pero no le permita ingresar al aula bajo ningn concepto, si lo considera necesario pida ayuda a las autoridades del centro educativo. 65
ANEXO 1.
FORMULARIO 1. RECEPCIN Y DEVOLUCIN DE MATERIALES SERCE
Cdigos LLECE: Pas: Escuela:
Datos de la Escuela: Nombre :__________________________________________________________ Direccin: _________________________________________________________ Datos del Aplicador: Nombre:_________________________________________ Cdigo: Aplicador: _________________ Cdigo Aplicador Fecha de recepcin: _____________ Telfono _____________ Fecha de devolucin: _____________
MATERIALES
Grado Tipo de Cuadernillo o Cuestionario Lectura Escritura Matemtica Cuestionario Estudiante 3 Lectura Escritura Matemtica Ciencias Cuestionario Estudiante 6 Docente De enseanza Director Familia Ficha de empadronamiento Cantidad Recibidos Devueltos
Respondidos
En blanco
Tercero
66
Sexto
Centro Educativo
____________________________ Firma del Aplicador (al recibir el material del Coordinador)
_____________________________ Firma del Coordinador Nacional (al recibir devuelto el material del Aplicador)
El Aplicador se compromete a mantener absoluta confidencialidad de todo el material recibido. - ESTE DOCUMENTO TIENE CARCTER DE DECLARACIN JURADA -
ANEXO 2.A
FORMULARIO 2. Lista de Asistencia de Estudiantes (TERCERO) Pas: Escuela: Seccin Nombre Escuela _____________________ Direccin: ______________________________________
Cdigo 01 02 03 04 05 06 07 08 . N
Apellido Paterno
Apellido Materno
Nombre
NEE
Lectura C4 C5 C6 C1 C2 C3 C4 C5 . .
Escritura C2 C1 C2 C1 C2 C1 C2 C1 . .
Matemtica C4 C5 C6 C1 C2 C3 C4 C5 . .
Cuestionario Estudiante QA3 QA3 QA3 QA3 QA3 QA3 QA3 QA3 . .
Cuestionario Familia QF3 QF3 QF3 QF3 QF3 QF3 QF3 QF3 . .
TOTAL DE PERSONAS QUE RESPONDIERON AL INSTRUMENTO
FECHA DE APLICACIN (DD/MM)
67
ANEXO 2. B
FORMULARIO 2. Lista de Asistencia de Estudiantes (SEXTO) Pas: Escuela: Seccin Nombre Escuela _____________________ Direccin: _____________________________________
Cdigo 01 02 03 04 05 06 07 08 09 . N
Apellido Paterno
Apellido Materno
Nombre
NEE
Lectura C5 C6 C1 C2 C3 C4 C5 C6 C1 . .
Escritura C1 C2 C1 C2 C1 C2 C1 C2 C1 . .
Matemtica C5 C6 C1 C2 C3 C4 C5 C6 C1 . .
Cuestionario Estudiante QA6 QA6 QA6 QA6 QA6 QA6 QA6 QA6 QA6 . .
Ciencias C5 C6 C1 C2 C3 C4 C5 C6 C1 . .
Cuestionario Familia QF6 QF6 QF6 QF6 QF6 QF6 QF6 QF6 QF6 . .
TOTAL DE PERSONAS QUE RESPONDIERON AL INSTRUMENTO
FECHA DE APLICACIN (DD/MM)
68
ANEXO 3.
ESTUDIANTES CON NECESIDADES EDUCATIVAS ESPECIALES (NEE) Con el propsito de seguir los mismos criterios en todos los pases participantes en el SERCE, en relacin con discapacidades o limitaciones que impiden presentar la evaluacin, es muy importante tener en cuenta que slo se permite la exclusin de estudiantes con alguna de las siguientes caractersticas: Discapacidad funcional (cdigo NEE 2): se trata de discapacidad fsica permanente, de moderada a severa, que puede tener algn estudiante y que le impide presentar las pruebas; por ejemplo, la ceguera. Cuando la discapacidad funcional no impide realizar la evaluacin por ejemplo, en el caso de un sordo que lleva ms de dos aos estudiando espaol, es necesario aplicar las pruebas al estudiante. Discapacidad intelectual (cdigo NEE 3): se refiere a la discapacidad emocional o intelectual que puede tener algn estudiante con un diagnstico de retardo cognitivo, efectuado y certificado por un profesional debidamente registrado, salvo en aquellos casos donde sea materialmente imposible obtener dicho certificado. Esta definicin incluye a aquellos estudiantes que son emocional o intelectualmente incapaces de seguir instrucciones simples, como los que presentan un cuadro moderado de autismo. Los estudiantes NO deben ser excluidos simplemente por tener un desempeo acadmico deficiente, dificultades de aprendizaje o problemas de conducta. Limitacin en el dominio del idioma (cdigo NEE 4): se reconoce cuando la lengua materna del estudiante es diferente del espaol o del portugus, segn sea caso, y lleva menos de dos aos de escolaridad estudiando con esta lengua, lo cual constituye una barrera y una limitacin para leer y comprender las pruebas en condiciones aceptables. 69
ANEXO 4.
FORMULARIO 3. REGISTRO DE INCIDENTES
Cdigos LLECE: Datos de la Escuela: Nombre :__________________________________________________________ Direccin: _________________________________________________________ Datos del Aplicador: Nombre:_________________________________________ Cdigo: Por favor responda la siguiente pregunta marcando con una X sobre la opcin que corresponda: El proceso de evaluacin se realiz bajo los parmetros establecidos en el manual del aplicador?. (1) S, todos los procesos se realizaron de acuerdo al manual. (2) No. Hubo incidentes o anomalas que reportar. Instrucciones 1. Si su respuesta fue (1), por favor firme el presente formulario y entrguelo al supervisor. 2. Si su respuesta fue (2), por favor llene el siguiente cuadro, antes de entregar el formulario al supervisor. 3. En el cuadro, use una fila por cada tipo de incidente. Agregue las que hagan falta para registrar lo sucedido. 4. En el cuadro: En la primera columna, identifique el cdigo del instrumento en cuya aplicacin se present la dificultad o anomala. En la segunda columna, describa el tipo de problema (Sea breve y preciso). En la tercera columna, describa la solucin que dio al problema Si no fue posible dar solucin escriba No Pas: Escuela: Seccin
70
Instrumento
Incidente
Solucin
Observaciones Generales: ________________________________________________________________________ ________________________________________________________________________ ________________________________________________________________________ Firma del aplicador _________________ - ESTE DOCUMENTO TIENE CARCTER DE DECLARACIN JURADA -
ANEXO 5. Evaluacin del proceso de aplicacin

Estimado Director/a En nombre de la oficina regional de la UNESCO y del <Entidad Nacional> deseamos agradecerle por todas las facilidades prestadas para que este estudio se desarrolle apropiadamente. Quisiramos pedirle su opinin respecto al proceso de evaluacin realizado en este centro educativo. Esta informacin ser muy til para valorar la calidad del proceso y mejorar nuestra actuacin en futuros estudios. Mucho agradeceremos responda las preguntas a continuacin, firme el documento y se lo devuelva al propio aplicador en el sobre qu el mismo le ha entregado cerrado y si es posible sellado tambin. 1. a. b. c. d. 2. a. b. c. d. e. Cuntos aplicadores visitaron este centro educativo? Uno Dos Tres o ms No lo s. Cuntos das dur la aplicacin en su centro educativo? Un da Dos das Tres das Cuatro das o ms No lo s
71
3. El primer da de aplicacin, el (los) aplicador(es) se acercaron a la direccin a saludar y coordinar las acciones para el trabajo? a. b. S No
Por favor indique su opinin sobre el desempeo del aplicador o aplicadores: 4. a. b. c. 5. a. b. c. 6. Los aplicadores fueron amables y respetuosos. S No No lo s Los aplicadores fueron puntuales. S No No lo s Los aplicadores mostraron un apropiado manejo de los procesos de evaluacin.
a. b. c. 7. a. b.
S No No lo s Recibi quejas de algn miembro de la comunidad educativa como consecuencia de la presente evaluacin. S No
Si recibi quejas por favor indique quin las hizo (marque todas las que correspondan): a. b. c. d. e. 8. a. b. c. 9. Algn(os) docente(s) a cargo del(os) grupo(s) evaluado(s). Otros docentes o la asociacin sindical. Estudiantes evaluados. Padres de familia o asociacin de padres de familia. Otros Lleg a su centro educativo algn supervisor para monitorear el desarrollo de la aplicacin. S No No lo s Por favor, si tiene algn comentario (observacin, queja o sugerencia) escrbalo en las siguientes lneas.
72
_____________________________________________________________________________________ _____________________________________________________________________________________ _____________________________________________________________________________________ _____________________________________________________________________________________ _____________________________________________________________________________________ _______________________________________________________________________________ Datos Generales: Nombre de la escuela: ___________________________________________ Telfono / Direccin:____________________________________________ Datos del encuestado: Nombre completo: _______________________________________________ Cargo: _________________________________________________________ Firma: _____________________________
ANEXO 6.
4. GUA DE APLICACIN DE INSTRUMENTOS A ESTUDIANTES 4.1 PROTOCOLO DE PRESENTACIN GENERAL (PRIMER DA) 1. Al comenzar la sesin presntese a s mismo ante los estudiantes y lea a continuacin el texto 1.
Texto 1. Ustedes han sido elegidos para participar en un importante estudio internacional sobre educacin. Este estudio sirve para conocer cunto aprenden los estudiantes en la escuela y para mejorar la educacin en nuestro pas. Por eso es importante que se esfuercen y demuestren todo lo que saben.
4.2 SESIN LECTURA: TERCERO (PRIMER DA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lpiz, goma de borrar y sacapuntas (recuerde que el uso de diccionario no es permitido). 2. Distribuya las pruebas y pdales que no las abran an. Cada estudiante debe recibir el cuadernillo que le corresponde segn el Formulario 2. Lista de Asistencia de Estudiantes. Enseguida, lea el texto 2. 73
Texto 2.
Ahora todos van a resolver una prueba de lectura de textos. Cada uno tendr una prueba diferente. Encontrarn algunas preguntas fciles y otras ms difciles. Intenten responderlas todas. Recuerden esto: lo ms importante es que se esfuercen y demuestren todo lo que saben. Voy a leer en voz alta la cartula y las instrucciones generales mientras ustedes las leen en silencio junto conmigo.
3. Lea en voz alta y lentamente la cartula, desde el ttulo del instrumento.
74
4. Lea a continuacin las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y mire si han comprendido cmo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.
75
5. Tras leer las instrucciones de la evaluacin de lectura y asegurarse de que los estudiantes han comprendido cmo marcar sus respuestas, lea el texto 3.
Texto 3.
Tienen 60 minutos para responder a la prueba. Recuerden seguir las instrucciones y trabajen en silencio. Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio. Ahora pueden comenzar.
6. Anote en la pizarra la hora de inicio y trmino. Utilice un cronmetro o un reloj para medir el tiempo de prueba. Supervise la sesin, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algn estudiante est resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras. A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar. Cuando considere que un estudiante ha respondido el cuadernillo, podr retirrselo y decirle que puede leer un libro o una revista. No permita que ningn estudiante o grupo salga del saln antes de que el tiempo de prueba haya acabado (los estudiantes saldrn solo cuando el tiempo de sesin se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo). 7. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permtales salir del aula. A los que no han concluido dgales que permanezcan en el aula y concdales 10 minutos adicionales. Un vez transcurridos retire tambin sus cuadernillos. 8. Haga la pausa de 20 minutos y convquelos para la siguiente sesin.
76
4.3 SESIN ESCRITURA: TERCERO (PRIMER DA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lpiz, goma de borrar y sacapuntas. 2. Distribuya las pruebas y pdales que no las abran an. Cada estudiante debe recibir el cuadernillo que le corresponde segn el Formulario 2. Lista de Asistencia de Estudiantes. Enseguida, lea el texto 4.
Texto 4. Ahora van a tener 45 minutos para responder a una evaluacin de escritura. Cada uno tendr una prueba diferente. Voy a leer en voz alta las instrucciones generales mientras ustedes las leen en silencio junto conmigo.
3. Lea en voz alta y lentamente la cartula, desde el ttulo del instrumento. Insista, releyendo, en que la prueba se resuelve siguiendo tres pasos, uno despus del otro y en cules son esos pasos. Bajo ningn concepto aclare a los estudiantes las consignas que siguen al cartelito ESPERA, ubicadas dentro de la prueba.
77
4. Tras leer la cartula de la evaluacin de escritura, lea el texto 5.
Texto 5. Sigan las instrucciones y trabajen en silencio. Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio.
5. Anote en la pizarra la hora de inicio y trmino. Utilice un cronmetro o un reloj para medir el tiempo de prueba. Supervise la sesin, sin distraer a los estudiantes. Si algn nio solicita su ayuda para la lectura de las instrucciones en las pginas interiores, que corresponden a cada uno de los pasos en particular, dgale que lea con atencin esas instrucciones, ubicndose a su lado para no distraer al resto del grupo. NO lea en voz alta ni agregue explicaciones adicionales. A los 30 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar. Cuando considere que un estudiante ha respondido el cuadernillo, podr retirrselo y decirle que puede leer un libro o una revista. No permita que ningn estudiante o grupo salga del saln antes de que el tiempo de prueba haya acabado (los estudiantes saldrn slo cuando el tiempo de sesin se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo). 6. A los 45 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permtales salir del aula. A los que no han concluido dgales que permanezcan en el aula y concdales 10 minutos adicionales. Un vez transcurridos retire tambin sus cuadernillos. 7. Concluido el tiempo, si procede, entregue los cuestionarios a las familias. Luego, despdase de los estudiantes y anncieles que el da de maana seguirn trabajando juntos. 4.4 SESIN MATEMTICA: TERCERO (SEGUNDO DA) 1. Salude a los estudiantes, si lo considera necesario repita la informacin del protocolo de presentacin (texto 1). Anuncie que el da de hoy comenzarn con una evaluacin de matemtica. 2. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lpiz, goma de borrar y sacapuntas (recuerde que el uso de calculadora no est permitido). 3. Distribuya las pruebas y pdales que no las abran an. Cada estudiante debe recibir el cuadernillo que le corresponde segn el Formulario 2. Lista de Asistencia de Estudiantes. Enseguida, lea el texto 6. 78
Texto 6. Ahora todos van a resolver una prueba de matemtica . Cada uno tendr una prueba diferente. Encontrarn algunas preguntas fciles y otras ms difciles. Intenten responderlas todas. Recuerden esto: lo ms importante es que se esfuercen y demuestren todo lo que saben. Voy a leer en voz alta la cartula y las instrucciones generales mientras ustedes las leen en silencio junto conmigo.
79
5. Lea a continuacin las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y verifique si han comprendido cmo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.
80
6. Tras leer la cartula y las instrucciones, lea el texto 7.
Texto 7.
Tienen 60 minutos para responder la prueba. Recuerden seguir las instrucciones y trabajar en silencio. Pueden emplear los espacios en blanco de la prueba para hacer sus clculos. Si alguien tiene una duda, levante la mano y espere a que me acerque a su sitio. Ahora pueden comenzar.
7. Anote en la pizarra la hora de inicio y trmino. Utilice un cronmetro o un reloj para medir el tiempo de prueba. Supervise la sesin, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algn estudiante est resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras. A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar. Cuando considere que un estudiante ha respondido el cuadernillo, podr retirrselo y decirle que puede leer un libro o una revista. No permita que ningn estudiante o grupo salga del saln antes de que el tiempo de prueba haya acabado (los estudiantes saldrn slo cuando el tiempo de sesin se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo). 8. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permtales salir del aula. A los que no han concluido dgales que permanezcan en el aula y concdales 10 minutos adicionales. Un vez transcurridos retire tambin sus cuadernillos. 9. Haga la pausa de 20 minutos y convquelos para la siguiente sesin. 81
4.5. SESIN CUESTIONARIO: TERCERO (SEGUNDO DA)

1. Distribuya los cuestionarios y lea el texto 8.
Texto 8.
Ahora vamos a responder un cuestionario. Esto no es una prueba. Queremos conocer sus opiniones. No hay respuestas correctas o incorrectas. Lean con cuidado cada pregunta y contesten de acuerdo con su opinin. Expresen lo que realmente piensan; sus respuestas no las van a conocer ni sus docentes ni el director ni sus padres ni sus compaeros. Si en el cuestionario hay algo que no entienden, pdanme ayuda levantando la mano y guardando silencio. Yo me acercar a sus lugares para ayudarlos.
2. A diferencia de lo que sucede con las pruebas, usted s puede ofrecer asistencia a los estudiantes. Incluso puede leer las preguntas a aquellos que no puedan hacerlo solos. 3. Cuando los estudiantes hayan concluido, recoja los cuestionarios y despdase de ellos agradecindoles por su participacin. 82
4.6 SESIN LECTURA: SEXTO (PRIMER DA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lpiz, goma de borrar y sacapuntas (recuerde que el uso de diccionario no es permitido). 2. Distribuya las pruebas y pdales que no las abran an. Cada estudiante debe recibir el cuadernillo que le corresponde segn el Formulario 2. Lista de Asistencia de Estudiantes. Enseguida, lea el texto 9.
Texto 9.
Ahora todos van a resolver una prueba de lectura de textos. Cada uno tendr una prueba diferente. Encontrarn algunas preguntas fciles y otras ms difciles. Intenten responderlas todas. Recuerden esto: lo ms importante es que se esfuercen y demuestren todo lo que saben. Voy a leer en voz alta la cartula y las instrucciones generales mientras ustedes las leen en silencio junto conmigo.
83
4. Lea a continuacin las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y mire si han comprendido cmo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.
84
5. Tras leer las instrucciones de la evaluacin de lectura y asegurarse de que los estudiantes han comprendido cmo marcar sus respuestas, lea el texto 10.
Texto 10.
Tienen 60 minutos para responder a la prueba. Recuerden seguir las instrucciones y trabajen en silencio. Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio. Ahora pueden comenzar.
6. Anote en la pizarra la hora de inicio y trmino. Utilice un cronmetro o un reloj para medir el tiempo de prueba. Supervise la sesin, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algn estudiante est resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras. A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar. Cuando considere que un estudiante ha respondido el cuadernillo, podr retirrselo y decirle que puede leer un libro o una revista. No permita que ningn estudiante o grupo salga del saln antes de que el tiempo de prueba haya acabado (los estudiantes saldrn slo cuando el tiempo de sesin se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo). 85 7. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permtales salir del aula. A los que no han concluido dgales que permanezcan en el aula y concdales 10 minutos adicionales. Un vez transcurridos retire tambin sus cuadernillos. 8. Haga la pausa de 15 minutos y convquelos para la siguiente sesin.
4.7 SESIN ESCRITURA: SEXTO (PRIMER DA)

1. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lpiz, goma de borrar y sacapuntas. 2. Distribuya las pruebas y pdales que no las abran an. Cada estudiante debe recibir el cuadernillo que le corresponde segn el Formulario 2. Lista de Asistencia de Estudiantes. Enseguida, lea el texto 11.
Texto 11. Ahora van a tener 45 minutos para responder a una evaluacin de escritura. Cada uno tendr una prueba diferente. Voy a leer en voz alta las instrucciones generales mientras ustedes las leen en silencio junto conmigo.
3. Lea en voz alta y lentamente la cartula, desde el ttulo del instrumento. Insista, releyendo, en que la prueba se resuelve siguiendo tres pasos, uno despus del otro y en cules son esos pasos. Bajo ningn concepto aclare a los estudiantes las consignas que siguen al cartelito ESPERA, ubicadas dentro de la prueba.
86
4. Tras leer la cartula de la evaluacin de escritura, lea el texto 12.
Texto 12.
Sigan las instrucciones y trabajen en silencio. Si alguien tiene una duda, levante la mano y espere que me acerque a su sitio.
5. Anote en la pizarra la hora de inicio y trmino. Utilice un cronmetro o un reloj para medir el tiempo de prueba. Supervise la sesin, sin distraer a los estudiantes. Si algn nio reclama su ayuda para la lectura de las instrucciones en las pginas interiores, que corresponden a cada uno de los pasos en particular, dgale que lea con atencin esas instrucciones, ubicndose a su lado para no distraer al resto del grupo. NO lea en voz alta ni agregue explicaciones adicionales. A los 30 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar. Cuando considere que un estudiante ha respondido el cuadernillo, podr retirrselo y decirle que puede leer un libro o una revista. No permita que ningn estudiante o grupo salga del saln antes de que el tiempo de prueba haya acabado (los estudiantes saldrn solo cuando el tiempo de sesin se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo). 87 6. A los 45 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permtales salir del aula. A los que no han concluido dgales que permanezcan en el aula y concdales 10 minutos adicionales. Un vez transcurridos retire tambin sus cuadernillos. 7. Haga la pausa de 15 minutos y convquelos para la siguiente sesin.
4.8 SESIN CUESTIONARIO: SEXTO (PRIMER DA)

1. Distribuya los cuestionarios y lea el texto 13.
Texto 13.
Ahora vamos a responder un cuestionario. Esto no es una prueba. Queremos conocer sus opiniones. No hay respuestas correctas o incorrectas. Lean con cuidado cada pregunta y contesten de acuerdo con su opinin. Expresen lo que realmente piensan; sus respuestas no las van a conocer ni sus docentes ni el director ni sus padres ni sus compaeros. Si en el cuestionario hay algo que no entienden, pdanme ayuda levantando la mano y guardando silencio. Yo me acercar a sus lugares para ayudarlos.
2. A diferencia de lo que sucede con las pruebas, usted s puede ofrecer asistencia a los estudiantes. Incluso puede leer las preguntas a aquellos que no puedan hacerlo solos. 3. Cuando los estudiantes hayan concluido, recoja los cuestionarios y despdase de ellos agradecindoles por su participacin. 4. Concluido el tiempo, si procede, entregue los cuestionarios a las familias. Luego, despdase de los estudiantes y anncieles que el da de maana seguirn trabajando juntos. 88
4.9 SESIN MATEMTICA: SEXTO (SEGUNDO DA)

1. Salude a los estudiantes, si lo considera necesario repita la informacin del protocolo de presentacin (texto 1). Anuncie que el da de hoy empezarn por una evaluacin de matemtica. 2. Solicite a los estudiantes que guarden todos los materiales que tengan sobre el pupitre y que dejen solo lpiz, goma de borrar y sacapuntas (recuerde que el uso de calculadora no es permitido). 3. Distribuya las pruebas y pdales que no las abran an. Cada estudiante debe recibir el cuadernillo que le corresponde segn el Formulario 2. Lista de Asistencia de Estudiantes. Enseguida, lea el texto 14.
Texto 14.
Ahora todos van a resolver una prueba de matemtica. Cada uno tendr una prueba diferente. Encontrarn algunas preguntas fciles y otras ms difciles. Intenten responderlas todas. Recuerden esto: lo ms importante es que se esfuercen y demuestren todo lo que saben. Voy a leer en voz alta la cartula y las instrucciones generales mientras ustedes las leen en silencio junto conmigo.
89
5. Lea a continuacin las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la tercera pregunta de las instrucciones solos y verifique si han comprendido cmo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.
90
Texto 15.
Tienen 70 minutos para responder la prueba. Recuerden seguir las instrucciones y trabajar en silencio. Pueden emplear los espacios en blanco de la prueba para hacer sus clculos. Si alguien tiene una duda, levante la mano y espere a que me acerque a su sitio. Ahora pueden comenzar.
7. Anote en la pizarra la hora de inicio y trmino. Utilice un cronmetro o un reloj para medir el tiempo de prueba. Supervise la sesin, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algn estudiante est resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras. A los 55 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar. Cuando considere que un estudiante ha respondido el cuadernillo, podr retirrselo y decirle que puede leer un libro o una revista. No permita que ningn estudiante o grupo salga del saln antes de que el tiempo de prueba haya acabado (los estudiantes saldrn slo cuando el tiempo de sesin se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo). 8. A los 70 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permtales salir del aula. A los que no han concluido dgales que permanezcan en el aula y concdales 10 minutos adicionales. Un vez transcurridos retire tambin sus cuadernillos. 9. Haga la pausa de 20 minutos y convquelos para la siguiente sesin. 91
4.10 SESIN DE CIENCIAS (SEGUNDO DA)

1. Distribuya las pruebas y pdalas que no las abran an. Cada estudiante debe recibir el cuadernillo que le corresponde segn el Formulario 2. Lista de Asistencia de Estudiantes. 2. Lea en voz alta y lentamente la cartula, desde el ttulo del instrumento.
92
3. Lea a continuacin las instrucciones y los ejemplos resueltos en ellas. Solicite a los estudiantes resolver la segunda y tercera preguntas de las instrucciones solos y verifique si han comprendido cmo deben marcar sus respuestas. Si lo considera necesario repita las instrucciones.
93
94
Texto 16.
Tienen 60 minutos para responder la prueba. Recuerden seguir las instrucciones y trabajar en silencio. Si alguien tiene una duda, levante la mano y espere a que me acerque a su sitio. Ahora pueden comenzar.
4. Anote en la pizarra la hora de inicio y trmino. Utilice un cronmetro o un reloj para medir el tiempo de prueba. Supervise la sesin, sin distraer a los estudiantes. Refuerce las instrucciones si detecta que algn estudiante est resolviendo la prueba sin haberlas comprendido. NO responda ninguna duda sobre el contenido de la prueba o sobre el significado de las palabras. A los 45 minutos de desarrollo de prueba, avise a los estudiantes que quedan 15 minutos para terminar. Cuando considere que un estudiante ha respondido el cuadernillo, podr retirrselo y decirle que puede leer un libro o una revista. No permita que ningn estudiante o grupo salga del saln antes de que el tiempo de prueba haya acabado (los estudiantes saldrn solo cuando el tiempo de sesin se haya cumplido o en el caso excepcional de que todos hayan terminado la prueba antes del mismo). 5. A los 60 minutos retire el cuadernillo a todos los estudiantes que hayan concluido y permtales salir del aula. A los que no han concluido dgales que permanezcan en el aula y concdales 10 minutos adicionales. Un vez transcurridos retire tambin sus cuadernillos. 6. Cuando el tiempo haya concluido, recoja los cuestionarios y despdase de los estudiantes agradecindoles por su participacin.
95
CAPTULO IV: MANUAL PARA LA CODIFICACIN DE LOS TEMS DE RESPUESTA ABIERTA DE MATEMTICA
En su paso por la escuela, el estudiante debe lograr, entre otras cosas, la incorporacin significativa a sus estructuras cognitivas de conceptos y habilidades. Esto posibilita que los contenidos conceptuales, procedimentales y actitudinales aprendidos puedan ser aplicados a situaciones nuevas surgidas de la matemtica o de la vida real del alumno en sus diferentes mbitos de desempeo. La presente evaluacin, por lo tanto, no est limitada solamente a lo que los alumnos han aprendido, sino que tambin est concentrada en determinar si los estudiantes pueden utilizar lo aprendido. Desde una perspectiva que considera que el conocimiento se construye mediante un proceso en el que las ideas pueden evolucionar gracias a situaciones problemticas que favorecen la explicitacin y contraste de puntos de vista, la evaluacin es un elemento fundamental de la dinmica del proceso de aprendizaje (Sanmart y Jorba, 1995 citado por Callejo, 1996). Por eso es importante destacar que la evaluacin se debe centrar tanto en los resultados como en los procedimientos utilizados para resolver los problemas. El medio ms utilizado para evaluar ciertos procedimientos es a travs de la resolucin de problemas. Es as como el estudiante, ante situaciones a resolver, pone en juego los contenidos conceptuales, procedimentales y actitudinales que ha aprendido. Las producciones del alumno son una informacin sobre su estado de saber. Las tareas presentadas a los estudiantes permiten evaluar los aprendizajes para obtener informacin del grado de dominio que tienen sobre los conocimientos en cuestin. La recoleccin de la informacin a travs de este tipo de tareas permitir conocer: dnde se encuentran los estudiantes en los aprendizajes de los procedimientos que utilizan en la reso lucin de problemas, sus logros y sus dificultades, los saberes que utilizan , las estrategias que usan, la forma en que comunican los procedimientos y re sultados, la capacidad de los alumnos para usar sus conocimientos en la resolucin de nuevos problemas. 96
Los procedimientos matemticos generales tienen una presencia insustituible en el quehacer matemtico. Pero en matemtica no se trabaja separando problemas, representaciones, modelizaciones, demostraciones, sino que varios procedimientos convergen en las tareas matemticas. La resolucin de algunos problemas matemticos requiere de procesos de identificar, interpretar, comparar, relacionar, clasificar y ordenar los distintos tipos de nmeros y sus propiedades. En la resolucin de ciertos problemas planteados matemticamente se ponen en juego las operaciones, teniendo en cuenta su significado en cada conjunto numrico y la forma de calcular los resultados.
Para resolver problemas, los alumnos deben reconocer y saber usar las propiedades de las figuras bidimensionales y tridimensionales, aplicar los conceptos de ubicacin y medida, usar y operar con las unidades de medida, as como organizar, procesar e interpretar informacin estadstica en sus diferentes formas de representacin. Por su parte, la comunicacin permite brindar y recibir informacin, establecer conexiones entre diferentes formas de representacin grfica, simblica o verbal de conceptos y relaciones matemticas, precisar el vocabulario, dar a conocer las ideas y los procedimientos de la matemtica.
2. Las pruebas de Matemtica SERCE

Las pruebas de Matemtica SERCE incluyen dos tipos diferentes de tems: de opcin mltiple con cuatro opciones o alternativas de respuesta, de respuesta abierta a desarrollar por el estudiante.
Los tems de opcin mltiple presentan un enunciado incompleto o una pregunta y cuatro opciones de respuesta. Una sola es la correcta. El estudiante debe resolverlo y seleccionar la respuesta que cree correcta. Los tems de respuesta abierta son aquellos en los cuales el estudiante tiene que construir su propia respuesta. Para ello tiene que disear, realizar y comunicar su procedimiento de resolucin. Ambos tipos de tems estn orientados a medir logros en los aprendizajes, pero se diferencian en el tipo de informacin que entregan a partir de sus resultados. En el caso de los tems de opcin mltiple, aunque pueden llegar a medir complejos procesos de pensamiento, se focalizan, en general, en objetivos precisos. Cada tem permite evaluar un aspecto de un objetivo mayor y la suma de todos ellos da cuenta del nivel de logro del o los objetivos planteados. En el caso de las preguntas de respuesta abierta, el proceso tiene tanta o ms importancia que el resultado, porque dichas preguntas facilitan conocer los distintos caminos de exploracin que sigue el estudiante. Permiten seguir una lnea argumentativa, posibilitan establecer los niveles de dominio de conocimiento en las diferentes etapas del proceso de solucin y monitorear los procedimientos que siguen los estudiantes para resolver los problemas planteados. Las pruebas de Matemtica SERCE ponen el nfasis en aquellos procedimientos, habilidades y destrezas vinculadas a la resolucin de problemas y a la comunicacin. Por lo tanto, los tems de respuesta abierta necesitan la clasificacin y codificacin de codificadores expertos. Pero para que esta codificacin sea lo ms objetiva posible es necesario que se efecte teniendo en cuenta una gua comn de consignas y cdigos de correccin para cada tem. De esta manera, los codificadores clasifican y codifican las respuestas. Las categoras: crdito total, crdito parcial y sin crdito dividen las respuestas de los alumnos segn la habilidad matemtica que demuestran al producir su respuesta. Si bien la gua describe y ejemplifica cada cdigo para lograr la mayor objetividad, los codificadores debern tener en cuenta el grado de habilidad matemtica que el estudiante muestra al resolver el tem. 97
3. Estructura de los tems de respuesta abierta

En general, cada tem de respuesta abierta tiene un enunciado, una pregunta y un recuadro en blanco en el que el alumno desarrollar su procedimiento de resolucin, los clculos, argumentos, razones plausibles, dibujos o esquemas necesarios. En la parte inferior de ese recuadro est el lugar asignado para que el alumno escriba la respuesta. En otros tems, el alumno tendr que hacer trazos para completar un diseo.
4. Estructura de las consignas de codificacin

Las consignas de codificacin tienen la siguiente estructura: Cdigo del tem, indicacin de su ubicacin en los cuadernillos de la aplicacin piloto y muestra reducida del tem. Categora de respuesta: Crdito total, crdito parcial o sin crdito. Cdigo numrico para cada categora de respuesta. Descripcin de la categora de respuesta que corresponde a cada cdigo. Ejemplos de las respuestas de los alumnos para cada cdigo.
En todos los casos los ejemplos que se muestran son algunos de los posibles y se extrajeron de las producciones de los alumnos en la aplicacin piloto.
5. Cdigo de dos dgitos

El cdigo de dos dgitos lo usa PISA y TIMSS para la codificacin de los tems abiertos de Matemtica yCciencias. En el cdigo de dos dgitos, el primer dgito indica el crdito asignado a la respuesta. El segundo dgito se usa para codificar las diferentes clases de respuestas o estrategia puesta en juego para responder. El uso del cdigo de dos dgitos posibilita reunir ms informacin acerca de los conceptos errneos, errores comunes, nociones que no han logrado construir y diferentes abordajes que adoptan los estudiantes para resolver los problemas. Al mismo tiempo, el cdigo de dos dgitos indica claramente los niveles jerrquicos de respuestas.
98
6. Cuestiones generales de la codificacin

Omisin del procedimiento de solucin: Si el procedimiento de resolucin del tem no estuviera escrito, a pesar de estar expresamente pedido en las instrucciones, la codificacin vara segn la pregunta. Es necesario, entonces, consultar la gua de correccin de cada pregunta para decidir el cdigo que se asignar a las respuestas. Errores ortogrficos y gramaticales:No se tomar en cuenta los errores ortogrficos y gramaticales. Dudas que el corrector puede tener: Si ante una situacin el corrector dudara y no fuera capaz de asignar el cdigo, porque entiende que la respuesta del alumno no se ajusta a ninguna de las categoras presentadas en esta gua de correccin, lo consultar con el Supervisor de la codificacin de los tems abiertos de Matemtica.
Situaciones que pueden presentarse:Algunos tems de respuesta abierta requieren un procedimiento que tiene varios pasos. Si el estudiante realiza correctamente uno de esos pasos y el resto del trabajo es errneo, se le asignar el crdito parcial, siempre y cuando esta parte no contradiga la parte que efectu correctamente. Si el estudiante resuelve un tem utilizando dos procedimientos distintos y ambos correctos, se le asignar el cdigo que corresponde al mayor nivel de desempeo. En cambio, si un estudiante resuelve un tem utilizando dos procedimientos diferentes, uno correcto y otro incorrecto y no escribe la respuesta se le asignar cdigo 12, que corresponde a una respuesta incorrecta. Si el estudiante resuelve el problema correctamente, pero no respeta la consigna del lugar asignado para resolverlo, su respuesta ser considerada vlida. Por ejemplo: o o o o Si el estudiante hace las cuentas fuera del recuadro asignado para ello. Si coloca la respuesta en otro lugar de la hoja distinto del asignado. Si no da una respuesta explcita: Haba 16 dulces en la caja sino que termina su procedimiento de resolucin con 16, resaltndolo o no, pero que claramente se ve que es el resultado final. Cdigos para respuestas especiales: Cdigo W 99
Este cdigo se asigna cuando un tem est mal impreso, mal encuadernado o fotocopiado, cuando es ilegible y, por lo tanto, el alumno no puede resolverlo. o Cdigo Z
Este cdigo es para las omisiones. Se reserva para los casos en que los estudiantes no han dejado evidencias de sus intentos por responder el tem. Abarca el espacio en blanco y expresiones tales como No me alcanz el tiempo. o Cdigo cuyo primer dgito es 1
Si el alumno en cambio, responde No s, No lo entiendo, tacha, hace una cruz, marcas, escribe groseras, expresiones o hace dibujos que no corresponden con la tarea propuesta, se le asigna el cdigo cuyo primer dgito es 1.
7. Gua general de codificacin de los tems de respuesta abierta de tercero A. Cdigo DM3.B2.IT 11 TEM 23 del Cuadernillo 1 TEM 11 del Cuadernillo 4
En una caja hay 50 caramelos: 25 de naranja, 5 de limn y el resto de uva. Cuntos caramelos de uva hay?
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el alumno resuelva un problema que involucra dos operaciones: una adicin y una sustraccin o dos sustracciones.
Nota: En el cdigo 33 se acepta como correcta la respuesta y el procedimiento aunque la representacin no es adecuada. Si se presenta una resolucin con este modelo, pero con un resultado errneo se considera sin crdito.
100
20 caramelos 20, mostrando o no un procedimiento vlido. 31 Suma y resta (uno de los clculos puede no estar explcito). Ejemplo 1: 25 + 5=30; 50 - 30=20 Ejemplo 2: 25 + 5=30 y responde 20 Hace dos restas sucesivas (uno de los clculos puede no estar explcito). Ejemplo 1: 50 25=25 y 25 5=20 Otra estrategia de solucin. Ejemplo 1: 25 + 5 + 20=50 y responde 20 Ejemplo 2: 25 + 5=30; 30 + 20=50 y responde 20 Ejemplo 3: Dulces de uva hay 20, porque si hay 25 de naranja y 5 de limn, el resto es de uva : Ejemplo 4: 50 - 25 5 20 y contesta 20
32
33
Crdito total: Cdigo 3
20
Nota: Si tiene error en la representacin y no llega al resultado correcto, es cdigo 12. 34 Respuesta correcta sin mostrar el procedimiento de resolucin. Ejemplo: Respuesta 20 (sin procedimiento)
21 Procedimiento matemtico adecuado pero llega a un resultado incorrecto por errores en el clculo. Ejemplo 1: 50 25 = 35 ; 35 5 =30 22 Procedimiento matemtico adecuado sin error en los clculos, pero da una respuesta incorrecta. Ejemplo: 50 30 = 20 ; 25 + 5 = 30 y responde 30 23 El alumno hace el tratamiento correcto solamente de una parte de la tarea y da una respuesta parcial o no da respuesta. Ejemplo 1: 25 + 5 = 30 y responde Hay 30 caramelos de uva Ejemplo 2: 50 25 = 25 y responde Hay 25 caramelos de uva Ejemplo 3: 50 5 = 45 y responde Hay 45 caramelos de uva Ejemplo 4: 25 + 5 = 30
Crdito parcial: Cdigo 2
101
11
Suma todos los nmeros con o sin error en los clculos. Ejemplo 1: 50 + 25 + 5=80 Ejemplo 2: 50 + 25 + 5 =125 Otras respuestas. Ejemplo : 50 25 - 5 30
12
Sin crdito: Cdigo 1
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 15 No s, no lo entiendo. Respuesta correcta con procedimiento evidentemente inconsistente.
B. Cdigo DM3.B2.IT 12 TEM 24 del Cuadernillo 1 TEM 12 del Cuadernillo 4
Dominio de contenidos: Medidas. Dominio cognitivo: Solucin de problemas complejos. El tem requiere que el alumno lea y escriba la hora que indica el primer reloj, que le sume 6 horas y que dibuje en el segundo reloj las agujas que indican la hora del almuerzo.
Nota: El dibujo se considera correcto si se ve claramente la posicin de las agujas, aunque sin tomar en cuenta la longitud de las mismas. El alumno resuelve correctamente las dos partes del tem. Escribe correctamente la hora del 1er reloj: 6 y cuarto; 6:15; 6 h y 15 minutos; 6:15 a.m. Y representa correctamente las agujas correspondientes a las 12 horas y Crdito total: 15 minutos en el 2do reloj. 31 102
Cdigo 3
32
Omite la primera parte del tem y resuelve correctamente la segunda. No escribe la hora en el primer reloj, pero dibuja las 12:15 minutos en el segundo reloj. 21 Escribe incorrectamente la hora del 1er reloj, pero dibuja en el 2do reloj las 12:15 o la hora que resulta de sumarle 6 horas al registro que realiz para el primero. 22 Escribe 6 horas y 15 minutos o expresin equivalente para el 1er reloj, pero comete errores en la segunda parte o la omite. 12 Otras respuestas. 13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 No s, no lo entiendo.
Crdito parcial: Cdigo 2 Sin crdito: Cdigo 1
C. Cdigo DM3.B4.IT 11 TEM 23 del Cuadernillo 2 TEM 11 del Cuadernillo 5
Con 3 litros de jugo, cuntas botellas de 1/2 litro se pueden llenar?
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el alumno use el concepto de medio o de mitad para resolver una situacin.
6 6 botellas, mostrando algn procedimiento correcto aritmtico o grfico que represente la respuesta correcta. 31 3 1/2 = 6 botellas 3 0,5 = 6 botellas 3 x 2 = 6 botellas 1/2 + 1/2 + 1/2 + 1/2 + 1/2 + 1/2 = 3 Se pueden llenar 6 botellas de litro.
32
33 Dibuja 6 botellas de litro o hace otra representacin grfica que exprese la respuesta correcta (puede estar acompaada de una elaboracin aritmtica). 34 Respuesta correcta con otros procedimientos. Ejemplo: 3+3=6 y responde 6 botellas.
103 21 Respuesta correcta sin mostrar el procedimiento.
22 Muestra la eleccin de un procedimiento vlido, pero no llega al resultado correcto o no lo expresa en la unidad correcta. Ejemplo 1: Plantea la divisin, pero resuelve con error. Ejemplo 2: 3 x 2=6 y responde 6 litros. 11 12 Suma 1 + 2 + 3 = 6 litros, 6 botellas 6. Otras respuestas. Ejemplo: 6 litros sin mostrar procedimiento.
Sin crdito: Cdigo 1
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 15 No s, no lo entend. Respuesta correcta con procedimiento evidentemente inconsistente.
D. Cdigo DM3.B4.IT 12 TEM 24 del Cuadernillo 2 TEM 12 del Cuadernillo 5
104
Dominio de contenidos: Geomtrico. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el alumno reconozca un elemento de un dibujo de 3 dimensiones en su representacin en un dibujo de 2 dimensiones (en un plano).
21 22
El alumno hace una cruz u otra marca dentro del rectngulo que representa el escritorio. Dibuja una flecha que seala el escritorio de la maestra.
23 Realiza la correspondencia entre el escritorio dibujado y su representacin en el plano, mediante una flecha u otro trazo. 24 Hace una cruz u otra marca que no sea una flecha fuera del rectngulo, pero muy prxima a su contorno. 12 Otras respuestas.
Sin crdito: Cdigo 1
13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 No s, no lo entiendo.
E. Cdigo DM3.B6.IT 11 TEM 23 del Cuadernillo 3 TEM 11 del Cuadernillo 6
105
El lado mayor de un rectngulo mide 130 centmetros y el lado menor mide 70 centmetros. Cuntos metros mide la suma de los cuatro lados?
70 cm
130cm
Dominio de contenidos: Geomtrico. Dominio cognitivo: Solucin de problemas complejos. El tem requiere que el alumno aplique la propiedad de congruencia entre los lados opuestos de un rectngulo, sume las medidas de los mismos y efecte la equivalencia entre centmetros y metros.
4 metros 4 m 4, mostrando su trabajo. 31 Procedimiento basado en la suma. Ejemplo 1: 130 cm + 130 cm + 70 cm + 70 cm = 400 cm; 400 cm = 4 m Ejemplo 2 : 1,30 m + 1,30 m + 0,70 m + 0,70 m = 4 m Ejemplo 3: 130+130=260; 70+70=140; 260+140=400= 4m Procedimiento basado en multiplicacin y suma. Ejemplo 1: 130 + 70= 200 ; 2002=400 cm = 4 m 4 Ejemplo 2: 1302=260 ; 702=140 ; 260 +140=400cm=4m Ejemplo 3: 1,302=2,60 ; 0,702=1,40 ; 2,60+1,40=4,00

32
21
Calcula correctamente el permetro pero calcula mal la equivalencia. Ejemplo: 400 m 40 m 40, mostrando las operaciones.
22 Calcula correctamente el permetro, pero omite la equivalencia o conversin de unidades. Ejemplo 1: 130 + 130 + 70 + 70=400 cm 400 Ejemplo 2: (130 + 70)2 = 200 2 =400 cm 400 Ejemplo 3: 130 2 + 70 2=260 + 140=400cm 400 Ejemplo 4: 400 400 cm, sin mostrar el procedimiento. 23 Procedimiento correcto para calcular el permetro con error en los clculos o faltando realizar una sola operacin, realizando o no la equivalencia. Ejemplo 1: 130 x 2 = 260; 70 x 2= 240 ; 260 + 240 = 500 Ejemplo 2: 130 + 130=260; 70 + 70=240 Ejemplo 3: 130 + 130=260; 70 + 70=140; 260 + 114=374 Nota: El alumno comete un error al trasladar el resultado de la segunda suma. 24 Respuesta correcta sin mostrar el procedimiento. Ejemplo: 4 metros 4 m 4, sin mostrar el procedimiento. Suma slo los dos lados que son datos, con o sin error en el clculo. Otras respuestas.
106
11 12
Sin crdito: Cdigo 1
F. Cdigo DM3.B6.IT 12 TEM 24 del Cuadernillo 3 TEM 12 del Cuadernillo 6
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas complejos. El tem requiere que el alumno resuelva un problema que implica calcular el nmero de elementos presentados en una distribucin rectangular y luego lo triplique. 107
144 naranjas 144, mostrando un procedimiento vlido o sin mostrar el procedimiento. 41 Con un procedimiento que involucra la multiplicacin. Ejemplo:6 x 8=48 naranjas; 48 x 3=144 naranjas Ejemplo 2: 48 x 3=144 naranjas Ejemplo 3: 6 x 8 x 3=144 naranjas, la multiplicacin en cualquier orden. 42 Con un procedimiento solamente aditivo. Ejemplo: 48+48+48=144 naranjas
43
Respuesta correcta sin mostrar el procedimiento. Ejemplo: 144 naranjas 144 sin mostrar el procedimiento. Escribe un procedimiento correcto, pero con error al operar. 31 48 correcto y error en el clculo en el paso siguiente. Ejemplo: 48 x 3=124 32 Calcula con error el nmero de naranjas del 1er cajn, pero el paso siguiente es correcto. Ejemplo: 6 x 8 = 51 ; 51x3= 153 33 Procedimiento correcto con error en los clculos en ambos pasos. Ejemplo: 6 x 8=49; 49 + 49 + 49=68
Hace correctamente slo un paso.
21 Calcula correctamente slo el nmero de naranjas de un cajn y omite o selecciona incorrectamente la siguiente operacin. Ejemplo 1: 6 x 8=48; 48 x 2=96 Ejemplo 2: 48
108
Sin crdito: Cdigo 1
12 Otras respuestas. 13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 No s, no lo entiendo. 15 Respuesta correcta con procedimiento evidentemente inconsistente.
8. Gua general de codificacin de los temes de respuesta abierta de sexto G. Cdigo DM6. B2.IT 14 TEM 30 del Cuadernillo 1 TEM 14 del Cuadernillo 4
Claudia vive en Batovia y en ese pas la moneda es el bat. Claudia fue a la farmacia, compr 3 cajas de medicamentos de 150 bats cada caja y 2 frascos de jarabe de 72 bats cada uno. Cunto dinero le devolvi el farmacutico si pag con un billete de 1000 bats?
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas complejos. El tem requiere que el alumno resuelva un problema que implica varias operaciones entre nmeros naturales.
109
31
406 bats o 406, mostrando un procedimiento vlido.
Crdito total: Ejemplo 1: 150 x 3=450 72 x 2=144, 450 + 144=594, 1000 594=406 bats Cdigo 3
Ejemplo 2: 150 + 150 + 150 + 72 + 72=594; 1000 - 594=406 bats Ejemplo 3: 1000 594=406 bats
21 Procedimiento correcto y completo, con errores en los clculos. Ejemplo: 150 x 3=450 ; 72 x 2=144, 450 + 144=594, 1000 594=506 bats 22 Procedimiento incompleto: plantea correctamente parte del problema y omite o emplea incorrectamente slo una de las operaciones (con o sin errores en los clculos). Ejemplo 1: 150 x 3=450 ; 72 x 2=144; 450 + 144=594 bats Ejemplo 2: 150 x 2=300; 300 + 144=444; 1000 - 444=556 bats Ejemplo 3: 150 x 3=45 ; 72 x 2=144; 144 + 45=189 bats 23 Respuesta correcta sin mostrar el procedimiento. Ejemplo: 406 bats 406 sin mostrar el procedimiento. 110
Sin crdito: Cdigo 1
11 Suma el precio de una caja de medicamentos y un frasco de jarabe y luego resta (con o sin error en los clculos). Ejemplo: 150 + 72=222; 1000 222=888 12 Otras respuestas. 13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 No s, no lo entiendo. 15 Respuesta correcta con procedimiento evidentemente inconsistente.
H. Cdigo DM6.B2.IT 15 TEM 31 del Cuadernillo 1 TEM 15 del Cuadernillo 4
Dominio de contenidos: Geomtrico. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el alumno resuelva un problema que involucra el concepto de medida del ngulo de un giro (360) y el concepto y clculo de una fraccin. 21 72 72 mostrando un procedimiento vlido. Crdito total: Cdigo 2 Ejemplo 1: de 360 = 72 Ejemplo 2: 360 5 = 72 22 Respuesta correcta sin mostrar el procedimiento.
111
Sin crdito: Cdigo 1
11 Procedimiento correcto con errores de clculo. Ejemplo: 360 5=70 12 Otras respuestas. Ejemplo: Mide el 20% del crculo. 13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 No s, no lo entiendo. 15 Respuesta correcta con procedimiento evidentemente inconsistente.
I. Cdigo DM6.B2.IT 16 TEM 32 del Cuadernillo 1 TEM 16 del Cuadernillo 4
I. Cdigo DM6.B2.IT 16 TEM 32 del Cuadernillo 1 TEM 16 del Cuadernillo 4
El piso de una habitacin que tiene una habitacin que tiene forma forma rectangular largo m mide 2,4 m de mide 2,4y de largo y ncho. Si 1,6 m decubrirSiel piso se piso se para ancho. para cubrir el utilizan baldosas de forma dosas de forma cuadrada cuadrada por lado, de 20 cm por lado, cuntas baldosas cuntas baldosas se necesitan parael piso? el piso? an para cubrir todo cubrir todo
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas complejos. El tem requiere que el alumno resuelva un problema que involucra el clculo del rea de un rectngulo, de un cuadrado, equivalencia entre medidas de longitud o de superficie y divisin entre nmeros naturales y decimales.
112
31
96 baldosas 96, mostrando un procedimiento vlido
Ejemplo 1: 1,6 m = 160 cm 2,4 m = 240 cm rea del piso= 160 x 240=38400 cm2 rea de la baldosa = 20 x 20=400 cm2 N de baldosas = 38400 400=96 baldosas Ejemplo 2: 1,6 x 2,4=3,84 0,20 x 0,20=0,04 3,84 0,04= 96 baldosas Ejemplo 3: 160 20=8 240 20=12 12 x 8=96 baldosas 21 Procedimiento correcto, con error en los clculos y/o en las conversiones. Ejemplo: 160 x 240=38400 20 x 20=40 38400 40=960 22 Procedimiento y clculos correctos, pero muestra una respuesta incorrecta. 1,6 x 2,4 = 3,84 ; 0,20 x 0,20 = 0,04 3,84 0,04 = 96 y responde 960 baldosas. 23 Tratamiento correcto de slo una parte de la tarea y el resto del trabajo omitido o con errores. Una o dos reas correctas y el resto omitido o con errores. Ejemplo 1: 2,4 x 1,6 = 3,84 ; 3,84 x 20 = 76,80 Ejemplo 2: 20 x 20 = 400 Conversiones correctas y el resto omitido o con errores. Otra estrategia. Ejemplo: 1,6m = 8 baldosas 2,4m = 12 baldosas; 12 + 8 = 20 24 Respuesta correcta sin mostrar el procedimiento. 11 Procedimientos asociados al clculo de permetros o suma de datos. Ejemplo 1: 2,4 + 1,6 = 4 Ejemplo 2: 2,4 + 1,6 + 20 = 24 Otras respuestas.
113
Sin crdito: Cdigo 1
12
J. Cdigo DM6.B4.IT 14 TEM 30 del Cuadernillo 2 TEM 14 del Cuadernillo 5
Juana vive en Batovia y en ese pas la moneda se llama bat. Juana compr 2,5 kg de carne y pag 222,50 bats. Cunto cuesta el kilogramo de carne en Batovia?
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el alumno resuelva un problema. Para ello debe seleccionar la operacin correcta y resolverla. Dicha operacin es entre dos nmeros decimales o entre un nmero decimal y un nmero natural
114
89 bats 89, mostrando un procedimiento vlido. 31 222,50 2,5 = 89 222,50 5 = 44,5 ; 222,50 = 89 89 bats con otros procedimientos. Ejemplo: 222,5 5 = 44,5 222,5 44,5 = 178 178 2= 89 44,5 x 2 = 89
32 33 34
21 Planteo correcto de la divisin o de un procedimiento correcto, pero con errores en el clculo, con resolucin incompleta del mismo o sin resolucin. Ejemplo 1: 222,5 2,5 = 8,9 Ejemplo 2: 222,5 2,5 = 22 23 Procedimiento y clculos correctos, muestra error en la respuesta. Ejemplo: 222,5 2,5 = 89 y responde 222,5 Respuesta correcta sin mostrar el procedimiento que la justifique.
12
Otras respuestas.
Sin crdito: Cdigo 1
115
K. Cdigo DM6.B4.IT 15 TEM 31 del Cuadernillo 2 TEM 15 del Cuadernillo 5
La tercera parte de las mesas de la escuela de Antonio son verdes y el resto son azules. Si la escuela tiene en total 360 mesas, cuntas hay de cada color?
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el alumno resuelva un problema que implica calcular un fraccin de un entero y operar.
31
120 mesas verdes y 240 azules , mostrando un procedimiento vlido. Ejemplos: 1/3 de 360 = 120 verdes 1/3 de 360 = 120 verdes 360 3 = 120 verdes 360 120 = 240 azules 2/3 de 360 = 240 azules 360 120 = 240 azules
32
Respuesta correcta sin mostrar el procedimiento.
21 Procedimiento adecuado con error en los clculos. 360 3 = 130 ; 360 130 = 230
116
22 Procedimiento adecuado con error al interpretar la respuesta: 120 mesas azules y 240 verdes. 23 Procedimiento incompleto (slo calcula el nmero de mesas de un color). Ejemplos: 120 de cada color 120 verdes 120
11
Divide 360 2= 180 Otras respuestas.
Sin crdito: Cdigo 1
12
L. Cdigo DM6.B4.IT 16 TEM 32 del Cuadernillo 2 TEM 16 del Cuadernillo 5
Dominio de contenidos: De la Medida. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el resuelva un problema que involucre el concepto y el clculo del volumen de un prisma.
6 cubos 6, mostrando o no un procedimiento vlido. 31 6 cubos con un procedimiento basado en el clculo del volumen de las dos cajas y la divisin entre ellos. Ejemplo: 2 x 4x6=48; 2 x 2 x 2=8 ; 48 8=6 y responde 6 cubos. 32 33 6 cubos con un procedimiento basado en el dibujo de los cubos pequeos dentro de la caja. Otros procedimientos vlidos. Ejemplo: 2 2=1; 4 2=2; 6 2=3; 3 x2 x 1=6 Respuesta correcta sin mostrar un procedimiento. Ejemplo: 6 cubos 6 sin procedimiento.
117
34
21 El alumno elige los procedimientos matemticos adecuados, pero llega a un resultado incorrecto por errores en los clculos.
22
Calcula los volmenes de ambos cuerpos pero no divide. Ejemplo: 6 x 4 x 2=48 ; 2 x 2 x 2=8
23 Dibuja los 6 cubos pequeos dentro de la caja acompaado de un procedimiento inadecuado y responde 6. Ejemplo: Dibuja 6 cubos dentro de la caja grande, hace 6 + 4 + 2=12; 122=6 y responde 6 cubos.
11
Procedimiento basado en la suma de las aristas. Ejemplo 1: 6 + 4+2=12 y divide 12 2=6 y responde 6. Ejemplo 2: 6 + 4 + 2 + 2=14 Otras respuestas.
Sin crdito: Cdigo 1
12
M. Cdigo DM6.B6.IT 14 TEM 30 del Cuadernillo 3 TEM 14 del Cuadernillo 6
Don Luis tiene en su jardn un depsito con 21 litros de agua. Ha utilizado 3,8 litros para regar las flores y 6,25 litros para regar los tomates. Cuntos litros quedan en el depsito de don Luis?
118
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas simples. El tem requiere que el alumno resuelva un problema que implica seleccionar y resolver dos operaciones: una adicin y una sustraccin o dos sustracciones entre nmeros naturales y decimales.
10,95 litros 10,95, mostrando un procedimiento vlido. 31
Procedimiento basado en suma y sustraccin. 3,8 + 6,25 = 10,05 litros 21 10,05 = 10,95 litros Procedimiento basado en dos sustracciones. 21 3,8 = 17,2 17,2 6, 25= 10,95 litros
32
21
Procedimiento correcto con errores operativos en la suma y/o en las restas Ejemplo 1: 3,8 + 6,25= 6,63 ; 21 6,63= 14,37 Ejemplo 2: 3,8 + 6,25= 10,05 ; 10,05 21 = 11,05
Nota: Si el alumno encolumna incorrectamente los nmeros decimales para operar con ellos, asignarle cdigo 11. 22 Procedimiento y clculos correctos, pero muestra una respuesta incorrecta. Ejemplo: 3,8 + 6,25=10,05 ; 21 10,05 =10,95 y responde 10,05 litros.
23 Parte del procedimiento est correctamente planteado (con o sin error en el algoritmo) y el resto del procedimiento es incorrecto u omitido. Ejemplo 1: Hace slo la suma (con o sin error operativo) y el siguiente paso es incorrecto u omitido. 3,8 + 6,25 =10,05 Ejemplo 2: Hace slo una resta (con o sin error operativo) y el siguiente paso es incorrecto u omitido. 21 - 3,8 = 17,2; 17,2 + 6,25=23,45 24 Respuesta correcta sin mostrar el procedimiento. Ejemplo : 10,95 litros sin procedimiento.
119
Sin crdito: Cdigo 1
11 El alumno hace un procedimiento correcto, total o parcial, con error al encolumnar los nmeros decimales. Ejemplo 1: 6,25 Ejemplo 2: 6,25 3,8 3,8 66,3 6,63 12 Otras respuestas incorrectas y respuestas correctas con procedimientos inconsistentes. 13 Respuestas borradas, tachadas, groseras, dibujos o expresiones que no tienen relacin con la tarea propuesta. 14 No s, no lo entiendo. 15 El alumno hace un procedimiento incorrecto y adems con error al encolumnar los nmeros decimales.
N. Cdigo DM6.B6.IT 15 TEM 31 del Cuadernillo 3 TEM 15 del Cuadernillo 6

Una botella que contiene 1,5 litros de refresco de limn se cae y pierde el 40% de su contenido. Queda menos o ms de 1 litro de refresco en la botella?
Dominio de contenidos: Variacional. Dominio cognitivo: Solucin de problemas complejos. El tem requiere que el alumno resuelva un problema. Para ello tiene que calcular un porcentaje, com parar dos medidas y dar una respuesta que se justifica con el procedimiento elegido.
120
Queda menos de 1 litro, mostrando un procedimiento correcto y completo.
31
Queda menos de 1 litro. Respuesta basada en el 60% de 1,5 l = 0,9 litros.
32 Queda menos de 1 litro. Respuesta basada en el 40% de 1,5 l= 0,6 litros y luego hace la diferencia 1,5 l 0,6 l = 0,9 litros.
21
Procedimiento correcto y completo con error en algn clculo. Ejemplo: 1500 x 40 = 60000; 60000 100=600; 1500 600= 800 Queda menos de 1 litro, quedaron 800 cm3 Procedimiento y clculos correctos y responde equivocadamente o no responde. Ejemplo 1: Calcula el 60% de 1,5 litros = 0,9litros y responde Conserv 0,9 litros. Ejemplo 2: Calcula slo el 60% de 1,5 litros = 0,9 litros y no da la respuesta.
22
23 Procedimiento que apunta a hallar slo una submeta del problema: el lquido perdido. Respuesta basada en el clculo del 40% de 1,5 litros = 0,6 litros (con o sin error operativo) sin efectuar la resta. Ejemplo 1: 40% de 1,5 litros = 0,6 litro y responde Queda menos de 1 litro,porque perdi 0,600 l. Ejemplo 2: 1,5 100=0,015 ; 0,015 x 40=0,6 y responde Queda menos de 1 litro. Ejemplo 3: 40% de 1,5 litros =600 ml y responde La botella perdi menos que la mitad.
121
11
Respuesta correcta sin mostrar el procedimiento. Ejemplo 1: Queda menos de un litro. Ejemplo 2: Queda menos. Ejemplo 3: Menos. Otras respuestas. Ejemplo: 40x1,5=60 y responde Ms porque pierde 600 cm3.
Sin crdito: Cdigo 1
12
O. Cdigo DM6.B6.IT 16 TEM 32 del Cuadernillo 3 TEM 16 del Cuadernillo 6

O. Cdigo DM6.B6.IT 16 TEM 32 del Cuadernillo 3 TEM 16 del Cuadernillo 6
Batovia es un pas cuya moneda es el bat. Pablo vive en Batovia y all compr los artculos que Batovia es un pas cuya moneda es el bat. Pablo vive en Batovia y all compr los estn detallados a continuacin.
artculos que estn detallados a continuacin.
Cunto gast en total?
Cunto gast en total?
Dominio de contenidos: Numrico. Dominio cognitivo: Solucin de problemas complejos. El tem requiere que el alumno resuelva un problema que implica interpretar informacin presentada en un cuadro y operar con nmeros naturales. 122
Nota: No se considera una respuesta equivocada si hay error de transcripcin.
31
236 bats 236, mostrando un procedimiento vlido.
21 Procedimiento correcto con error en los clculos: Hace las multiplicaciones correctamente, pero comete error al sumar. Ejemplo: 180 + 6 + 50=290 Se equivoca en las multiplicaciones, pero no en la suma. Ejemplo: 18 + 6 + 50= 74
22 Procedimiento y clculos correctos, pero da una respuesta equivocada. 23 Realiza correctamente un procedimiento parcial para resolver el problema. Omite solamente un paso. Ejemplo 1: 30 x 6=180; 3x2=6; 25x2= 50 Ejemplo 2: 180 + 50 = 230 . Hace por lo menos una multiplicacin y luego efecta la suma de los 3 artculos. Ejemplo 30 x 6=180; 180 + 2 + 25= 207 24 Respuesta correcta sin mostrar el procedimiento. Ejemplo: 236 bats 236.
123
11
Suma los precios con o sin error de algoritmos. Ejemplo: 57 bats (30 + 2 + 25). Otras respuestas.
Sin crdito: Cdigo 1
12
CAPTULO V: MANUAL PARA LA EVALUACIN DE LAS PRUEBAS DE ESCRITURA
El presente documento fue escrito con dos intenciones. La primera, a largo plazo, es ofrecer algunos criterios, basados en las actuales investigaciones sobre la escritura, que orienten una ms ajustada construccin y evaluacin de las instrucciones de produccin escrita como parte esencial de la socializacin de conocimientos, no slo en el marco de los sistemas de evaluacin masivos, sino tambin en el mbito del aula, al que se dirigen, en ltima instancia, nuestras acciones. La segunda, inmediata, se vincula a la necesidad de acordar los aspectos que los pases pondrn en juego al evaluar la escritura; para esto, dejaremos sentado el enfoque terico en el que se sustentan las pruebas de Escritura del SERCE, as como su manera de evaluarlas. El documento se organiza en partes que expresan dichas intenciones. En la primera, sintetizamos los aportes de los modelos que explican la escritura, pues en ellos nos apoyamos para elaborar las pruebas del SERCE. Adems, mostramos cmo se inscriben en ellos dichas pruebas, y justificamos cada uno de los aspectos que hemos decidido evaluar. Inscribimos, finalmente, esta decisin en el marco de una serie de opciones de evaluacin de la escritura. En la segunda, presentamos un glosario de los conceptos que es necesario poner en juego al evaluar. No se trata, por tanto, de una revisin terica de las diversas posiciones sobre, por ejemplo, la coherencia textual, sino de la presentacin de una definicin entre muchas: la que juzgamos ms operativa para una tarea de evaluacin externa, lo ms objetiva posible. En las partes tercera y cuarta, reproducimos las planillas que utilizar el evaluador de las pruebas de escritura. La marcacin de cada tem se explica mediante una instruccin seguida de ejemplos adecuados e inadecuados, es decir, de casos en los que corresponde marcar S o No. En la cuarta y ltima parte, ofrecemos algunas recomendaciones para evitar los sesgos y los errores al evaluar. Este manual fue redactado por Ana Atorresi, responsable de la coordinacin de las reas de Lectura y Escritura del SERCE/LLECE. El proceso de redaccin cont con los valiosos aportes crticos de Andrea Baronzini, de Argentina; Ivanna Centanino, de Uruguay; Giuliana Espinosa, del LLECE; Fabio Jurado Valencia, de Colombia; Mara Mitsuko Okuda, de Brasil y Jssica Tapia, de Per. Los ajustes efectuados a la versin realizada para la aplicacin piloto son deudores de los aportes de Ricardo Martnez, de Chile, y Mara Mitsuko Okuda, de Brasil, as como de los anlisis estadsticos efectuados por Carlos Pardo, de Colombia, y Mauricio Castro y Giuliana Espinosa, del LLECE.
124
Primera parte
1. La escritura
Como sabemos, dominar la escritura no es, simplemente, conocer y manipular las unidades lingsticas mnimas grafemas, slabas, palabras, oraciones, sino poner en juego una multiplicidad de microhabilidades y actitudes al servicio de la construccin de un texto con significado (Braslavsky, 2005). Como ejemplo de microhabilidades, podramos mencionar, entre otras, el dominio de aspectos cognitivos (el planteo de un propsito, la concepcin de ideas, la revisin), de conceptos (tipo textual, situacin comunicativa, gnero discursivo, coherencia, cohesin, norma) y de convenciones (ortogrficas, gramaticales y de presentacin). Las actitudes implicadas en la escritura, por su parte, incluyen las concepciones sobre la cultura impresa y el acto de escribir, las motivaciones y los intereses, y la percepcin de uno como escritor (Tolchinsky, 1993). Para explicar lo que sucede al escribir, algunos investigadores comparan escritores expertos con escritores novatos. Toman como modelo a los primeros y coinciden, en general, en que proceden ms o menos del siguiente modo: piensan antes de escribir, y mientras escriben, en el tema que quieren o deben desarrollar, en la informacin con que cuentan al respecto, en cmo es mejor expresarla, en el receptor a quien destinan el escrito, en la finalidad o propsito de la escritura, en sus posibles efectos y dems; esquematizan la organizacin del texto, es decir, trazan mentalmente y, luego, en borradores, un proyecto de texto y/o sucesivas versiones; releen el escrito para verificar si se ajusta a los objetivos planteados; corrigen lo que juzgan inadecuado (Flower y Hayes, 1996). La investigacin sobre el acto de escribir es relativamente reciente. En consecuencia, la idea de ensear a construir sentidos en un texto y de evaluar ese proceso de construccin, para guiar el aprendizaje, es ms reciente an, tanto en el currculum de la formacin docente como en las prcticas escolares. Efectivamente, la tradicin escolar le ha dado prioridad a los aspectos formales (letra bonita, buena ortografa, oraciones impecables...) y no a la construccin de sentido en escritos genuinos (cfr. Lerner, 2001). En los siguientes puntos, expondremos brevemente cada uno de los aspectos mencionados.
125
1.1.
La planificacin de la escritura
Concebir al receptor o destinatario: Como la comunicacin escrita es diferida a diferencia de la interaccin oral, en la que la emisin y la recepcin son simultneas, el escritor debe hacer una estimacin previa del receptor para adecuar el texto a su comprensin. Esto lo obliga, en primer lugar, a evaluar el grado de informacin que tienen los receptores sobre el tema que va a desarrollar y, en segundo lugar, a considerar la necesidad de expurgar el texto de ambigedades y ausencias en la informacin a menos que busque lo contrario, como en el gnero potico, ya que l no va a estar presente en el momento de la interpretacin para rectificar o completar los datos. Concebir la relacin tema estructura - estilo: Adems, como en el caso de la comunicacin oral, el escritor debe tener presente que ciertos temas determinan el uso de ciertas estructuras o tipos textuales (vase el Glosario...) e impiden el de otras y que las diversas situaciones comunicativas exigen el empleo de distintos estilos(1)*. Por ejemplo, el desarrollo del tema evaluacin de la escritura, que se est efectuando en este manual, demanda, en general, una estructura descriptiva o explicativa, adems del empleo de un registro formal y un tecnolecto. Por el contrario, excluye formas textuales como el mensaje de recepcin del contestador automtico del telfono y la receta de cocina, as como el uso de un registro ntimo.
*Referencias desde el (1) al (12) al final del captulo).
Considerar el contexto en el que circular el escrito: Los textos escritos circulan en muy variados contextos: el hogar (es el caso de las esquelas o mensajes que dejamos a alguien), una institucin en particular (los afiches informativos, las notificaciones o las citaciones a reuniones de una escuela), la sociedad en general (los textos de los medios masivos de comunicacin, como los periodsticos). El contexto de circulacin al que apunta cada escrito determina muchos de sus rasgos temticos, estructurales y esti-lsticos: para reconocer las imposiciones del contexto de circulacin, basta comparar lo crpticos que pueden resultarnos una agenda o un diario ntimo de alguien a quien no conocemos con lo sencillo que puede resultarnos comprender, por su carcter pblico, una crnica periodstica. Plantearse el propsito: Por otra parte, es necesario plantearse con qu objeto se escribe. Hacer claro algo que suponemos confuso para el receptor, persuadirlo de la conveniencia de realizar determinada accin, demostrarle nuestro conocimiento sobre un tema y entretenerlo son algunas de las muy diversas finalidades que puede tener un escrito. Como es evidente, la finalidad impone ciertas estrategias discursivas: por ejemplo, para aclarar algo supuestamente confuso, se apela al uso de parfrasis de lo dicho, de ejemplos, de grficos, de recapitulaciones; de la misma manera, para demostrar el conocimiento sobre un tema, se recurre a la cita de fuentes socialmente indiscutidas o legitimadas, al empleo de tecnicismos, etctera. Buscar y seleccionar informacin: Adems de la representacin del destinatario (para quin se escribe), del tema (qu es lo que se pretende tratar al escribir) y la finalidad (con qu objeto se escribe), la planificacin implica actividades de bsqueda, seleccin y organizacin de las informaciones pertinentes para la resolucin de la tarea, que estn archivadas en la memoria o provienen de otras fuentes (otros textos, otros sujetos, etctera). Planificar recursivamente: Finalmente, debe sealarse que el acto de planificar el texto desarrollar objetivos, recuperar y organizar ideas no se encuentra circunscripto a una etapa previa a la escritura propiamente dicha a una pre-escritura, sino que se pone en juego a lo largo de todo el proceso de composicin. De la misma manera, la conversin de ideas en lenguaje escrito no debe entenderse como un proceso posterior a la planifi-cacin y anterior a la revisin y los ajustes: se trata de una actividad que se produce recurrente y simultneamente. Los buenos escritores constantemente planean (pre-escriben) y revisan (re-escriben) mientras componen (escriben), en etapas no claramente identificables. 1.2. La puesta en texto
126
Traducir lo planificado: La puesta en texto es, bsicamente, el proceso de convertir las ideas en lenguaje escrito; algunos autores prefieren denominarlo traduccin para subrayar el hecho de que la informacin que se produce durante la etapa de planificacin puede representarse a partir de diversos sistemas de signos, tales como los lingsticos y los icnicos o visuales (Flower y Hayes: 1996). Dominar convenciones globales y locales: El proceso de puesta en texto requiere del escritor el dominio de todas las exigencias especiales de la lengua escrita, que se adquiere progresivamente. Se trata de un espectro de convenciones que abarcan dimensiones globales y locales; sintcticas o estructurales, semnticas o vinculadas al significado y pragmticas o dependientes del contexto. Entre las ms globales se encuentran la adscripcin del texto a un esquema discursivo establecido y la determinacin del receptor y el propsito del escrito. Entre las ms locales, se halla el otorgamiento de legibilidad al texto verbal, el empleo adecuado de la normativa gramatical y ortogrfica, del lxico, etctera (cfr. Tusn, 2005). Concentrarse, primero, en los aspectos globales: Los escritores principiantes destinaran buena parte de su atencin al despliegue de microhabilidades que el escritor experto ha automatizado la legibilidad, las normas ortogrficas, las reglas de cohesin entre oraciones y de construccin oracional, el establecimiento de prrafos lo cual interferira con el propsito ms general de la escritura (Krashen: 1981). Desde el mbito de la didctica
de la escritura, se recomienda, entonces, postergar la correccin superfi-cial del texto hasta el final del proceso de composicin, para privilegiar el sentido. De esta forma, habra menos posibilidades de que la memoria a corto plazo se sobrecargue de informaciones locales y pierda otras relacionadas con la estructura o el significado globales. Releer: Durante la puesta en texto, los escritores competentes se detienen y releen los fragmentos que ya han redactado. La relectura, subproceso de la puesta en texto, ayuda al escritor a mantener el sentido global, a evaluar si lo dicho corresponde a lo que quiere comunicar y, en consecuencia, al plan trazado. Adems, permite establecer enlaces coherentes entre las secuencias ya elaboradas y las que se escribirn. Volver a la planificacin: Por otra parte, se cree que existe una correspondencia entre el desarrollo de la competencia escritora y la cantidad y la calidad de correcciones que se realizan al texto. Aunque nos ocuparemos en detalle de estos aspectos en el punto siguiente, sealaremos aqu que, estrechamente ligada con los procesos de planificacin y correccin, la puesta en texto es, muchas veces, un proceso inacabado. Es decir, el proceso puede interrumpirse en cualquier momento y reenviar a la planificacin para apuntar la necesidad de agregar o quitar una idea, por ejemplo, o dar lugar a la revisin que marca la conveniencia de ajustar un prrafo o un subttulo, y esta accin es permanentemente recursiva. Recurrir a estrategias de apoyo: Finalmente, cabe hacer referencia al papel que, durante la puesta en discurso, cumplen las denominadas estrategias de apoyo (Cassany: 1987). Consisten en la puesta en juego de microhabilidades tales como la bsqueda y la seleccin bibliogrfica y la consulta de diccionarios, enciclopedias y fichas. Sirven para salvar ciertas fallas de memoria, que pueden abarcar desde la norma ortogrfica aplicable a una palabra hasta la falta de una cita que apoye un argumento o un dato concreto, como la fecha de una publicacin. Estas estrategias son fundamentales tanto para los escritores expertos -que, en general, construyen textos en dilogo con otros textos a los que citan, refutan, etc. como para los escritores novatos o en proceso de formacin. Estos ltimos, necesitan contar con guas que les recuerden la estructura de los textos, los pasos que deben seguir al escribirlos, qu aspectos revisar en ellos y cmo, entre otras estrategias.
127
1.3.
La revisin y el ajuste
Verificar la adecuacin a la situacin comunicativa: La revisin y el ajuste son procesos fundamentales en la composicin del texto escrito para otros. El escritor verifica si las ideas que ha desarrollado se ajustan a los objetivos y las consideraciones que se plante inicialmente acerca de la situacin de comunicacin: quin es el receptor, en qu marco circular el escrito y dems; en general, para esto, revisa su escrito ponindose en el lugar del receptor; adems, suele compartir su escrito con otros lectores que asuman tambin el papel del lector modelo inscripto en el texto. Controlar la coherencia y el estilo: El escritor debe constatar, por otra parte, si la organizacin que ha dado a las ideas es adecuada, si todas stas se encuentran claramente vinculadas y no presentan desconexiones, si ha aplicado reglas de economa y eficacia a las frases, si ha evitado los lugares comunes, las ambigedades, etctera. Es muy comn hacer esta constatacin, que conduce a nuevos ajustes, en un tiempo posterior, cuando se puede decir que la escritura ha estado en reposo (un da despus, una semana despus...). Controlar los aspectos superficiales: Quien escribe textos para otros controla, finalmente, la adecuacin de la gramtica, la ortografa, los signos de puntuacin, la legibilidad y la presentacin (hoy los programas de computacin le proporcionan seales al escritor sobre algunas de las anomalas ortogrficas y sintcticas). La relectura crtica del escrito que selecciona y presta atencin especial a cada uno de los aspectos parciales es el procedimiento que suelen poner en juego los escritores competentes para auto-corregir su produccin.
1.4. Particularidades de la escritura en las pruebas del SERCE

La mayora de los aspectos de la escritura que acabamos de puntualizar se contemplan en las pruebas del SERCE, si bien nos encontramos con dos limitaciones: en primer lugar, las que impone una instancia de evaluacin masiva; en segundo lugar, las que devienen del hecho de que sta se dirige a escritores en proceso de formacin, lo que supone plantear slo algunas de las exigencias a las que responden los escritores expertos. Bsicamente, para los propsitos del SERCE: se demanda la escritura de un texto completo y no de una serie de oraciones aisladas; se da lugar a la produccin de dos versiones: un borrador y una versin final; se orienta la produccin de ambas versiones mediante las instrucciones y el diseo grfico; se orienta, asimismo, la autocorreccin, desde el nivel ms global hasta el ms superficial; se indica a quin debe dirigirse el texto, en qu mbito circular y qu estructura y qu gnero debe presentar, es decir, se proporciona la informacin necesaria para encarar la tarea de escritura y para evaluar, luego, aspectos que se han explicitado; se proporciona un tiempo para la escritura, adecuado al tipo de produccin pedida y al nivel de desarrollo de los estudiantes; se propone el desarrollo de un tema conocido y significativo, de modo que no sea necesario recurrir a estrategias de apoyo y que pueda ser representada la finalidad del escrito.
2.
Aspectos para evaluar: producto y proceso
Independientemente de los diversos tipos de evaluacin de la escritura y de los objetivos con que sta se pueda efectuar, la valoracin de la capacidad de expresin escrita implica la consideracin de dos aspectos generales, complementarios y relacionados: el producto escrito o los discursos que un estudiante es capaz de redactar; el proceso de escritura o los procedimientos de trabajo y las estrategias que el estudiante utiliza para producir esos discursos. Cabe aqu aclarar que nos estamos refiriendo a aspectos de la escritura que pueden evaluarse y no a tipos de evaluacin; esto es, podemos efectuar una evaluacin del producto de la escritura (de escritos considerados definitivos) a lo largo de todo un proceso lo que llamaramos una evaluacin procesual o podemos efectuar una evaluacin del proceso de escritura una sola vez lo que llamaramos una evaluacin puntual. En el aula, es posible, por ejemplo, plantear una evaluacin procesual del producto de la escritura demandando a los nios que, a lo largo de un perodo, nos entre-guen una tras otra las versiones definitivas de distintos cuentos, para considerar si, a la luz de lo que se les seala, mejoran o no. Para adelantar un ejemplo del otro tipo, las pruebas del SERCE evalan puntualmente una sola vez algunos aspectos del proceso de escritura, como ciertas diferencias entre el borrador y la versin definitiva. La tradicin escolar se ha centrado casi exclusivamente en el producto (y no, precisamente, siguiendo un enfoque evaluativo procesual); sin embargo, el segundo no es menos importante, por lo que, si bien las evaluaciones que se emplean en el SERCE son, sobre todo, evaluaciones del producto, haremos una breve referencia a las evaluaciones del proceso.
128
2.1.
Evaluacin del proceso
La evaluacin del proceso de escritura consiste en la observacin de las estrategias de anlisis de la informacin y del mtodo de redaccin del estudiante. Lgicamente, la observacin no tiene una finalidad punitiva, sino interlocutiva. Es un tipo de evaluacin realmente poco usual en el sistema educativo. Como en lugar de medir un producto esttico se trata de explorar el comportamiento de un sujeto el proceso dinmico que lleva a cabo, esta evaluacin resulta ms cualitativa que cuantitativa. Antes que la adjudicacin de puntaje a cada estudiante, interesa analizar mediante tcnicas de observacin y recoleccin de informacin estilos de trabajo y, eventualmente, si se decide seguir un enfoque evaluativo procesual, avances en el proceso de produccin. Bsicamente, se busca determinar si el estudiante: traza mentalmente un plan, activando en su memoria sus conocimientos sobre el tema por el que se lo interroga, as como sobre los tipos de texto (Adam, 1992; Calsamiglia y Tusn, 1999) y los gneros discursivos (Bajtin, 1982); redacta borradores; cuntos, qu caractersticas tienen (son textos escritos para s mismo o para otro; incluyen palabras clave u oraciones completas, que implican poca economa de procesamiento; dependen del contexto, que no es expresado, o conforman, en realidad, un texto autnomo; tienen una estructura que refleja el proceso de descubri-miento del tema o se organizan atendiendo a la meta que se busca alcanzar); recupera ideas del plan y, posteriormente, del borrador; las reformula, las reubica, las expande; recurre a fuentes de informacin y a apoyos tales como los libros de texto, las carpetas de ejercicios, los diccionarios, las gramticas, etc; realiza correcciones en forma recursiva, privilegiando aspectos globales, o se centra exclusivamente en cuestiones de superficie manteniendo la planificacin inicial, o no corrige nada; trabaja a gusto, motivado, concentrado en la tarea, o se dispersa. Evaluar si estas tareas se realizan o no y, en el primer caso, observar de qu modo son efectuadas resultan actividades que permiten reorientar al estudiante atendiendo al momento del proceso en que se produce la falla. El anlisis introspectivo a posteriori de la tarea de escritura (Qu hizo usted antes de escribir?, Revis el texto?, Lo revis mientras escriba o dej la revisin para el final?, Qu correcciones introdujo?, etctera) es un modo usual de evaluar el proceso. Si bien es ms rpido y menos trabajoso que otros mtodos, no resulta absolutamente confiable, ya que las respuestas dadas por el estudiante escritor se ven casi siempre interferidas por lo que l cree que el evaluador piensa que debera haber hecho. Para asentar los datos que obtiene, el evaluador suele confeccionar un cuadro en el que figuran la fecha del anlisis, la lista de estudiantes y sus respuestas a los diversos aspectos indagados. Si se adopta un enfoque procesual, el anlisis puede repetirse peridicamente para registrar los avances en el estilo de trabajo y el cuadro puede adaptarse a estos fines. Una de las metodologas de anlisis del proceso de respuesta por escrito que ha resultado particularmente exitosa en el campo de la investigacin del proceso de escritura es el anlisis de protocolos. El protocolo es el registro detallado de todos los razonamientos de quien realiza una tarea por escrito, desde el momento en que sta se le plantea hasta que la concluye; se le solicita que no deje de formular en voz alta sus reflexiones, sean del tenor que sean y que, por lo dems, trabaje normalmente (que tome notas, esboce cuadros y esquemas, escriba, etctera). El protocolo que obtiene un investigador, cuya trascripcin puede alcanzar unas veinte pginas por cada hora de sesin, es muy rico en datos y, conjuntamente con las notas y la versin que el escritor experto entrega como final, permite observar no slo el desarrollo del producto escrito, sino muchos de los procesos intelectuales que lo produjeron. La tipificacin de esos procesos permite construir un modelo que da cuenta de los procedimientos involucrados en la escritura de los expertos. 129
En cuanto a aprendices, aplicado al mismo sujeto en diferentes instancias de evaluacin, el anlisis de protocolos permite advertir modificaciones en el tipo de proceso de escritura que se realiza; para consignar estas modificaciones, el investigador lleva un registro en el que vuelca la informacin recogida respecto de cada sujeto en las diferentes instancias de evaluacin. Ahora bien, la exploracin de estos aspectos mediante el anlisis de protocolos supone un intrprete capacitado, adems de un aparato grabador por sujeto; si a esto se suma que la trascripcin fiel de la grabacin es en general dificultosa, se entiende que su implementacin sea poco frecuente en el marco del sistema educativo. Cabe agregar un inconveniente ms para la aplicacin de los anlisis de protocolos en la escuela para observar las modificaciones en el proceso de escritura de los aprendices: los cambios de hbitos de trabajo en este campo son muy lentos y, en general, se aprecian a lo largo de perodos de unos tres aos y no en perodos ms breves. Lo que importa resaltar, en suma, en relacin con la evaluacin del proceso, es la intencin investigativa del docente frente a un asunto tan complejo como el aprendizaje progresivo de la escritura. Sealadas estas virtudes y estos inconvenientes del anlisis del proceso de la escritura, veamos qu aspecto especfico hemos pretendido relevar en las pruebas del SERCE y cmo hemos planteado su evaluacin.
2.1.1. Evaluacin del proceso de Escritura en el SERCE

Las pruebas de escritura del SERCE estn estructuradas en tres pasos que se corresponden, en trminos generales, con las etapas de planificacin, revisin y puesta en texto descritas ms arriba. Como el objetivo final de las pruebas es identificar, describir, explicar y correlacionar aspectos de la escritura es decir, como no se pretende puntuarlos para adjudicar finalmente un puntaje total a la prueba, sino informar separadamente sobre ellos, ofrecer datos sobre el modo en que los nios actan en esos tres pasos es pertinente y muy valioso para las prcticas docentes y la toma de decisiones pedaggicas. Un anlisis cualitativo del borrador como tal y de su diferencia con el texto definitivo permite hacer relevante si el nio concibe la escritura como la produccin de versiones sucesivas que se van mejorando. El anlisis de estos aspectos puede partir de preguntas como las siguientes: Cuntos estudiantes ignoraron el borrador como etapa primera de la escritura? Cuntos se limitaron a escribir el borrador y dejaron en blanco el texto definitivo, etapa ltima de la escritura? Cuntos dejaron en blanco el borrador y pasaron directamente a escribir el texto? Cuntos emplearon el espacio asignado al borrador escribiendo un texto con caractersticas de borrador, es decir, para s? De los que completaron el borrador y redactaron el texto, cuntos recuperaron ideas del borrador?, Cuntas ideas recuperaron?, En qu medida las ajustaron o las dejaron sin efectuar ningn tipo de modificacin? De los que no hicieron el borrador, cuntos lograron producir un texto coherente? Por ejemplo, si se observara que los estudiantes que produjeron textos con errores de organizacin y desarrollo de la informacin no haban escrito previamente borradores ni expandido palabras clave ni, en consecuencia, haban producido modificaciones entre el borrador y el texto definitivo, podra concluirse que uno de los aspectos que resulta ms problemtico para los estudiantes es el reconocimiento de que un texto no se escribe de un tirn, sino que implica un ir y venir sobre las ideas iniciales para expandirlas, suprimirlas, rectificarlas, reubicarlas, por lo tanto, habra que reforzar el trabajo en ese sentido.
130
La evaluacin de la escritura que se centra en el proceso resulta siempre formativa. Esto es, tiene como propsito mejorar el desarrollo de las tareas durante su transcurso y no est destinada a determinar el grado de xito del resultado final. Es formativa, evidentemente, porque se adecua a la individualidad del proceso de aprendizaje. Si aceptamos que quien aprende es un individuo con caractersticas particulares, la evaluacin del proceso de escritura ser formativa en la medida en que acte para que cada aprendiz vaya recibiendo la ayuda adecuada a las necesidades comunicativas que se le presenten. Sabemos que las condiciones del trabajo escolar y de las evaluaciones masivas no colaboran en este sentido. Agreguemos, pues, esta salvedad: que cada aprendiz vaya recibiendo la ayuda adecuada en la medida de lo posible. 2.2. Evaluacin del producto
La tradicin escolar consideraba que el docente, nico poseedor de las competencias para corregir, deba estar exclusivamente a cargo de esta tarea; como demostracin de su capacidad y su dedicacin, deba producir la versin perfecta del texto o, al menos, sealar explcita y pormenorizadamente la solucin adecuada para alcanzarla; finalmente, lo que se correga era lo que el estudiante consideraba versin definitiva, la cual, en general, no difera de la primera versin ms que en aspectos vinculados a la presentacin. Esto provocaba que el estudiante esperara ser corregido y que no se percibiera como el protagonista del trabajo de produccin; es decir, no poda asumir su responsabilidad ante el error y en el aprendizaje ni desarrollar autonoma (Cassany, 2000; Cassany, Luna y Sanz, 1994). Actualmente, se sabe que la revisin y la autocorreccin son procesos fundamentales en la composicin del texto. En efecto, si son convenientemente orientados, los estudiantes resultan capaces de autocorregirse de la misma manera que de generar ideas. Los trabajos actuales han comprobado que la autocorreccin da resultados positivos entre los estudiantes sobre todo cuando, previamente, stos, los aprendices o novatos, han sido formados en la habilidad de corregirse por un docente, el escritor experto. El docente debe mostrar errores y formas de corregirlos en las primeras etapas de la produccin del escrito, porque rehacer un trabajo avanzado o terminado es desmotivador y porque de este modo se adquieren habilidades de reflexin que pueden ponerse en juego para seguir escribiendo(2). A esta forma de corregir, la didctica de la escritura suma otra: la correccin entre pares (Calkins, 1992, 1998).
131
2.2.1. Los objetivos

Toda evaluacin tiene el objetivo principal y general de permitir la toma fundamentada de decisiones. Estas decisiones pueden ir desde determinar el resultado total y final de una unidad de aprendizaje o del curso y traducirlo en un sistema de calificaciones, hasta mejorar el desarrollo de las tareas durante el curso, adecuando el dispositivo de enseanza a las capacidades del grupo (Perrenoud, 1999). Especficamente en el terreno de la elaboracin de pruebas, los objetivos determinan qu aspectos concretos se evaluarn. Situndonos en nuestro tema, la expresin escrita, se trata de una competencia que supone una serie de macrohabilidades cognitivas generales y de microhabilidades procedimientos, conceptos y actitudes que, aunque puedan manifestarse todas y lo hagan al mismo tiempo, no pueden evaluarse siempre en su to-talidad ni de modo superpuesto, si queremos que la evaluacin resulte confiable. Adems, debemos considerar que no es posible evaluar todos los aspectos mediante una prueba de producto: las actitudes y los procedimientos de revisin puestos en juego, por ejemplo, pueden evaluarse solamente en una prueba del proceso, mediante un anlisis retrospectivo (Estuvo concentrado en la tarea?, Le result motivadora?, Para qu pensaba que serva lo que estaba escribiendo?).
2.2.2. Las instrucciones

Una vez escogidos los objetivos, debe seleccionarse la consigna o instruccin adecuada para valorarlos; la tcnica ms vlida por ser la ms global para evaluar conocimientos especficos vinculados a las habilidades de pensamiento que se manifiestan mediante la escritura es la indicacin de redaccin de un texto completo de acuerdo con caractersticas definidas. Ahora bien, sobre todo en las asignaturas cuyo discurso no es predominantemente verbal como Matemtica, Qumica, Fsica y dems la escritura que predomina no es la de un texto completo sino la del par consigna-respuesta, que constituye un gnero propio del mundo educativo. El par consigna-respuesta es un texto coproducido por un docente, que propone la consigna con el fin de orientar o reforzar la interiorizacin de un saber, de relevar ideas sobre un tema, de evaluar conocimientos adquiridos, etctera, y por un estudiante, que elabora la respuesta para alcanzar nuevos conocimientos, dar cuenta de ellos ante el docente y dems. Habitualmente, este gnero impone al estudiante el juego de suponer momentneamente que el destinatario final de la respuesta (el docente) no conoce el tema sobre el cual l escribe. En efecto, sobre todo en las situaciones de evaluacin, suele establecerse un contrato por el cual el estudiante, que reconoce que el docente conoce el tema (y que por eso est socialmente habilitado para evaluar su desempeo), debe suponer lo contrario para obligarse a dar la mayor cantidad de informacin posible dentro de los lmites de lo exigido por la instruccin sobre el asunto en cuestin. En cuanto a la escritura de textos completos, la forma ms difundida de apreciacin preceptiva del producto de la escritura se conoce bajo el nombre de composicin o redaccin y exige al estudiante redactar un texto que, por lo general, no tiene destinatario y contexto de circulacin determinados, lo que constituye una limitacin insalvable si queremos formar escritores genuinos. La composicin es una prueba que sirve para la escuela, ya que, en tanto texto, no tiene circulacin posible fuera de ella; se realiza con poca preparacin por parte de los evaluadores y suele restringirse a la formulacin de una instruccin del tipo: Escribe un texto en el que relates qu hiciste durante las vacaciones, que no especifica los diversos parmetros de la situacin comunicativa que acercaran la produccin a la de un escrito efectuado en circunstancias autnticas (como sucedera en: Cuenta algo divertido que hiciste durante tus vacaciones a un amigo que vive lejos, siguiendo el formato de la carta o el del e-mail, con la intencin de responder a su inters por ti, etctera). Las propuestas ms influenciadas por las modernas teoras lingsticas amplan la formulacin a instrucciones del tipo Escribe una carta a un amigo en la que relates qu hiciste durante tus vacaciones, que incluyen consideraciones acerca de la situacin de comunicacin (amistosa) y, en algunos casos, del gnero (carta). Sin embargo, a veces, suelen emplearse para evaluar el producto escrito en dos o tres de sus aspectos ms superficiales: la caligrafa, la ortografa y, en menor medida, la puntuacin. En estos ca-sos, se dejan de lado las cuestiones globales pedidas, como la adscripcin del texto a un gnero discursivo, y la determinacin del receptor y el propsito del escrito. Entonces, si se considera lo finalmente evaluado, por qu no se pidi al estudiante que redactara una serie de oraciones? Cuando las cuestiones que hacen al texto como tal estn ausentes en la instruccin y no se las evala, aunque la tarea no responda al enfoque de competencias para la vida que se recomienda, la evaluacin resulta justa en la medida en que no las califica. Si, en cambio, la instruccin indica la redaccin de un escrito sin especificar el propsito de la tarea, el portador en el que circular, el lector al que dirigirse, el prototipo textual y el gnero con los que el texto debe corresponderse, etctera y, luego, estos aspectos se evalan, se incurre en una situacin de arbitrariedad para con el estudiante.
132
Lo adecuado, entonces, es incluir en la formulacin de la consigna instrucciones que incluyan consideraciones acerca del propsito, el tema, la situacin de comunicacin, el tipo de texto y, posteriormente, durante la evaluacin, no limitarse a sealar errores de superficie (como la ortografa o la repeticin de palabras), sino atender a la totalidad de los aspectos pedidos, que, por otra parte, no necesariamente deben ser todos los involucrados en la redaccin de un texto. Aunque las consignas pueden ser muy variadas, deben garantizar que la tarea realizada por los estudiantes sea, efectivamente, la que se esperaba. Es decir, una instruccin que pida una redaccin con parmetros excesivamente abiertos -que no especifique, por ejemplo, si el escrito debe destinarse a alguien con quien se tiene una relacin simtrica o asimtrica- no dar lugar a la evaluacin de la representacin adecuada del receptor en el texto. Esta observacin pesa an ms cuando se pretende evaluar distintos aspectos de la produccin para adjudicarles un puntaje, ya que, en este caso, la instruccin debera incluir en forma explcita todos los puntos que sern contemplados si no quiere incurrir en situaciones arbitrarias al calificar. Escribe un relato de ms de diez renglones, por ejemplo, da lugar a diferentes tipos de relatos (biografas, crnicas, cuentos, ancdotas) con las consecuentes variaciones de tema, estilo, organizacin, de muy variadas extensiones, con un uso irregularmente libre de los signos de puntuacin, el vocabulario, etctera. Por otra parte, el acento puesto en la extensin del escrito (ms de diez renglones) provoca con frecuencia que el nio introduzca informacin no pertinente para llenar el espacio o, en el caso inverso (menos de diez renglones), que no desarrolle informacin necesaria para dar coherencia al texto. Adems, es necesario tener en cuenta que, por ms que a partir de un escrito puedan observarse mltiples aspectos, estos estn, de alguna manera, limitados por la instruccin misma. As, no puede evaluarse la creatividad de un escritor si el gnero en el que debe inscribir su texto permite pocas variaciones de estructura, tema y estilo. La descripcin cientfica o enciclopdica, por ejemplo, como la pedida en la prueba del SERCE de sex-to ao, exige un estilo formal, una estructura de divisin jerrquica del tema y los subtemas en sub-subtemas y el tratamiento del tema dado; es, entonces, un escrito de antemano rgido, que no permite evaluar la creatividad, en el sentido en que es entendida en los textos de ficcin. Como consecuencia de lo apuntado, en el momento de realizar el anlisis de los resultados, slo se podrn extraer conclusiones respecto del desempeo en relacin con la instruccin que lo suscit y con el contexto de la evaluacin. En suma, en el caso de las pruebas para valorar el producto de escritura, una de cuyas materias es la habilidad de manejar el cdigo de la lengua en diferentes circunstancias y para diversos fines, ha de buscarse proporcionar en la consigna toda la informacin necesaria para facilitar, y hasta justificar, la ulterior evaluacin. Vemoslo en un esquema (Atorresi y otros, 2000): Consigna clara, justa, generadora de escritos comparables indica [por ejemplo, para evaluar si el estudiante aprendi las caractersticas de la descripcin enciclopdica en relacin con un tema de ciencias naturales enseado]: los pasos que deben seguirse [planificacin, revisin, puesta en texto]; el propsito de la tarea de produccin [recordar, en tercer ao; in-formar, en sexto] el contexto de utilizacin o el marco en el que circular el escrito [la familia, en tercer ao; una enciclopedia, en sexto]
133
el lector al que debe dirigirse el texto [uno mismo o la familia, en tercer ao; un lector sin informacin previa sobre el tema, en sexto] el prototipo textual y el gnero a los que el texto debe corresponder [descripcin con estructura jerrquica de 2 subtemas, lista, en tercer ao; descripcin con estructura jerrquica de 4 subtemas, entrada de enciclopedia, en sexto] el tema que debe tratarse (y con qu detalle) [una serie de cosas o actividades cotidianas; un ser del mundo animal o un alimento](3).
2.2.3. Los criterios de xito y las escalas de calificacin

Habitualmente, se considera que los criterios de xito son el conjunto de los aspectos comunicativos generales y/o especficos que debe alcanzar el escrito para ser apreciado como aceptable; la escala de calificacin o baremo de puntuacin, por su parte, es el valor numrico que se da a cada aspecto, a cada respuesta o al escrito en total. Como se ha dicho, cualquier evaluacin debe tener en cuenta y determinar los objetivos o aspectos concretos que se pretende evaluar, la consigna o instruccin adecuada para valorarlos y los criterios de xito o conjunto de los aspectos comunicativos generales y/o especficos que debe alcanzar el escrito. La asignacin a priori del puntaje que va a merecer cada instruccin de una prueba e, internamente, la determinacin de los aspectos que sern ponderados para asignarle una puntuacin a cada instruccin deben ser cuidadosamente meditadas por el evaluador. Adems de facilitarle la tarea ulterior de la evaluacin, ste estar en condiciones de explicitar ante sus evaluados los criterios a partir de los cuales han obtenido un resultado que, de otro modo, percibirn como un escarmiento o una ddiva arbitrarios y, por lo tanto, no merecedor de ningn anlisis. Por supuesto, cada asignatura exige criterios y parmetros especficos, fuertemente anclados en los cdigos que le son propios; las decisiones tienen, dentro de ese marco, un margen idiosincrsico amplio. A continuacin, presentamos como ejemplo un modelo de baremo que asigna diferentes puntajes numricos a diferentes aspectos de un escrito para el rea de Lenguaje (adaptado de Cassany, Luna y Sanz, 1996): 134
Adecuacin (5 puntos) La presentacin del texto es clara y correcta: Se emplea el registro adecuado: El propsito queda claro: Coherencia (5 puntos) El texto contiene la informacin necesaria: El texto tiene la estructura adecuada: Los prrafos estn bien estructurados: Cohesin (5 puntos) Las comas y los puntos estn bien usados: Se usa, adecuadamente, los conectores: Los pronombres cohesivos estn bien empleados: Correccin gramatical, ortogrfica y lxica: Variacin en las estructuras sintcticas, el lxico y los recursos estilsticos:
1 punto 2 puntos 2 puntos 1 punto 2 puntos 2 puntos 2 puntos 1 punto 2 puntos 5-0 puntos 5-0 puntos
Una escala de calificacin como la anterior, que valora en distintos aspectos la calidad del escrito y que reparte el puntaje total de la prueba entre diversas propiedades del texto, es til para el docente que desea evaluar en forma pormenorizada aspectos que van ms all de la mera adecuacin a la normativa, as como para el estudiante que espera reparar en su escrito elementos defectuosos determinados. Debe cuidarse, sin embargo, el hecho de que todos los aspectos consignados puedan evaluarse a partir de la instruccin dada y, en consecuencia, en el texto producido. En efecto, si se ha pedido la redaccin de una noticia, difcilmente podr observarse variedad en las marcas de la subjetividad, porque la clase de texto noticia tiende a producir ilusin de objetividad evitando, entre otros procedimientos, la inclusin de trminos que expresen subjetividad. Las escalas, entonces, deben ser adaptadas a la consigna. Por otra parte, la escala anterior es de aplicacin compleja en sistemas de evaluacin masivos, en los que intervienen numerosos calificadores. Si bien stos podran acercarse a un acuerdo cuando se trata de adjuntar el puntaje mnimo o el mximo, podrn concordar difcilmente cuando deba optarse entre adjudicar 3 4 puntos sobre 5. De la misma manera, al construir escalas analticas, debe prestarse atencin a que los aspectos sealados resulten sistemticos y no se superpongan, ya que en este ltimo caso algunas cuestiones se evaluaran en forma doble. En escalas para la evaluacin de pruebas de aplicacin masiva, por ejemplo, encontramos puntos como Adecuacin al tipo de texto y Adecuacin a la consigna, cuya diferencia no es en absoluto clara. Adems de las escalas analticas, que valoran segn distintos aspectos la calidad del escrito, pueden emplearse escalas globales o sintticas, que consideran el texto ntegramente y lo ubican en grados de calidad: sobresaliente, muy bueno, bueno, regular y dems; a cada calidad se le adjudica un puntaje. Vase el siguiente fragmento de un ejemplo:
Gua de puntaje para el texto informativo

Excelente (25 a 20)
Se desarrolla y estructura informacin con detalles bien escogidos a travs de todo el escrito. El texto est bien organizado: presenta transiciones marcadas. Tiene variedad de estructuras en las frases y una buena seleccin de palabras. Los errores de gramtica, silabeo y puntuacin son pocos y no interfieren en la comprensin del escrito o estn ausentes. Hbil (19 a 17) En partes de la contestacin se desarrolla y estructura informacin bien escogida. El texto est claramente organizado, pero faltan algunas transiciones y/o hay faltas de continuidad ocasionales. Exhibe alguna variedad en la estructura de las frases y algunas elecciones de palabras acertadas. Los errores de gramtica, silabeo y puntuacin no interfieren en la comprensin.
135
Suficiente (16 a 14) Se desarrolla informacin con algn detalle. El texto est organizado con ideas generalmente relacionadas, pero que tienen poca o ninguna transicin. Exhibe un control de los lmites y la estructura de la frase, pero las oraciones y las palabras elegidas son simples y poco variadas. Los errores de gramtica, silabeo y puntuacin no interfieren en la comprensin. Regular (13 a 10) Presenta alguna informacin clara, pero en forma de lista carente de desarrollo o repetida o limitada a un buen comienzo. Est irregularmente organizado; puede estar desmembrado. Exhibe un control desigual de los lmites y la estructura de la frase; puede tener algunas elecciones de palabras inexactas. Los errores de gramtica, silabeo y puntuacin suelen interferir en la comprensin. (...)
La aplicacin de escalas de evaluacin sintticas generalizada en nuestros pases en sistemas de evaluacin masivos o en evaluaciones institucionales presenta el inconveniente de no permitir devolver resultados en funcin de cada uno de los problemas detectados; por el contrario, slo se llega a saber que los escritos de los estudiantes fueron calificados, por ejemplo, como regulares, pero no sobre qu temas volver para subsanar aquellas fallas que dieron como resultado tal calificacin. La escala de evaluacin sinttica asume cierta unidimensionalidad de la competencia evaluada, en el caso que nos ocupa: la produccin escrita. Sin embargo, involucra la evaluacin de microhabilidades o componentes que necesariamente tienen un comportamiento dismil entre s (la coherencia puede estar presente y la gramtica ser algo defectuosa). Por otra parte, estas grillas suelen apelar a categoras muy subjetivas, del tipo la estructura de las frases es variada, los detalles estn bien escogidos, el lxico es rico, la informacin es clara. Por estas razones, es difcil arribar a niveles generales con sentido claro. Las escalas de calificacin mostradas hasta aqu pueden ser tiles por permitir evaluar en forma pormenorizada o global aspectos que trascienden los rasgos ms superficiales del texto; tambin lo son porque, aplicadas por una misma persona, responden a criterios de evaluacin en principio semejantes para todos los destinatarios. As, por ejemplo, cada docente podra emplear en el aula una escala sinttica porque, si l pone en juego siempre el mismo criterio, los estudiantes resultan claramente calificados. Hemos introducido una condicin si l pone en juego siempre el mismo criterio que merece ser comentada. En efecto, se constataron una cantidad de efectos sistemticos que influyen o sesgan la ponderacin de la informacin que dan las pruebas de los estudiantes. Por un lado, parece existir entre los profesores una tendencia a distribuir las notas segn una curva normal, esto es, a establecer siempre una proporcin ms o menos pareja de notas buenas, regulares y malas, sean cuales fueren las caractersticas de los exmenes. Tambin parece influir el orden en el que se corrigen los exmenes: los primeros suelen obtener mejores notas que los ltimos en ser corregidos. Est bastante comprobada la existencia de un efecto de contraste. Por este efecto, la calificacin otorgada a un trabajo depende, en alguna medida, de la impresin acerca de los trabajos anteriores.
136
Un trabajo que obtendra una nota mediana en un lote de trabajos de calidad superior, puede obtener una nota buena si es corregido junto con trabajos de calidad inferior (Amiguens y Zerbato-Poudou, 1999). Lo anterior debe llamarnos la atencin sobre el hecho de que la evaluacin del trabajo de los estudiantes debe realizarse no sobre la base de un modelo de referencia que el profesor desarrolla, sino mediante la comparacin genrica entre conjuntos de informacin y criterios explcitos. Esto significa que debemos volver al primer punto considerado, los criterios, y tener presentes los sesgos introducidos en la apreciacin del evaluador como efecto de diferentes factores: serie de correccin, tendencia a la normalizacin, propsitos, creencias. Una forma posible de evitar estos sesgos es la elaboracin de glosarios de referencia que habrn de consultarse durante la evaluacin, como se propone ms adelante. Las escalas analticas amplias y las sintticas no son tan adecuadas, en cambio, en evaluaciones en las que intervienen necesariamente diferentes apreciaciones sobre las propiedades de la calidad del escrito. En efecto, los sistemas de evaluacin y las instituciones en las que se desempean grupos numerosos de docentes, incluyen muchos evaluadores que difcilmente pueden acordar en cuanto a la extensin de conceptos tales como adecuada utilizacin de las comas y los puntos, empleo correcto de los trminos cientficos o precisin y riqueza del lxico. Por otra parte, si va a darse un puntaje al texto, el conteo de la cantidad de errores debera realizarse sobre la base de un parmetro que permita calificar de modo equitativo textos de extensin diferente e igualmente adecuados a la consigna dada. Las escalas de evaluacin de la escritura propuestas para el SERCE, como se ver, permiten efectuar esas operaciones(4). En la aplicacin de estas escalas, los glosarios de referencia, que permiten que los evaluadores lleguen a un acuerdo, son absolutamente imprescindibles. Por esta razn, presentamos en la prxima parte el glosario de los conceptos involucrados en la evaluacin de las pruebas del SERCE.
Segunda parte
1. Glosario de conceptos involucrados en la evaluacin(5)
Las definiciones que siguen no tienen otro objeto que el de establecer las convenciones necesarias para uniformar la evaluacin de las pruebas de escritura del SERCE. Por esta razn, se han excluido de ellas los diferentes puntos de vista en los que se posicionan distintos lingistas para dar respuesta a los problemas que plantean la descripcin del sistema lingstico, la diversidad textual, los procesos de comprensin y produccin de enunciados, etctera(6). Los criterios que han regido la adopcin de una u otra teora o de tal o cual concepto han sido, por un lado y precisamente, el hecho de que resultaran ms o menos familiares a los destinatarios de este documento(7); por otra parte, que en conjunto las definiciones permitieran dar cuenta en forma pormenorizada de las posibilidades y las dificultades de los estudiantes al escribir; finalmente, que esas definiciones fueran lo suficientemente claras y distintas como para permitir la identificacin precisa del error o la inadecuacin.(8) En el glosario se incluyen ejemplos tomados de las pruebas del SERCE. Se los transcribe textualmente, por lo que podrn verse en ellos errores e inadecuaciones de diverso tipo. Sin embargo, nos centraremos en sealar el error o la inadecuacin -o el aspecto adecuado- que nos interesa para ejemplificar el punto que estamos tratando. 137
1.1.
Coherencia
Se denomina coherencia semntica a la organizacin subyacente que establecen entre s las partes de un texto tanto desde el punto de vista del significado como desde el punto de vista referencial. La semntica del significado textual se ocupa de los significados atribuidos a palabras, frases u oraciones para dar cuenta de las relaciones que se establecen entre ellas; la semntica referencial del texto se ocupa, por su parte, de los vnculos entre las expresiones y lo que ellas designan, es decir, sus referentes. Junto con las de cohesin, estas relaciones hacen que un texto pueda ser interpretado como tal y no como una suma de oraciones y/o prrafos sueltos. La coherencia estructura el contenido del texto y sus partes de un modo determinado (por ejemplo, presentando en una introduccin contenidos propios de una introduccin) y distribuye la informacin segn su grado de importancia (disponiendo equilibradamente la informacin ms y menos relevante). A la organizacin del contenido textual se la suele llamar macroestructura. La macroestructura de un texto es un tipo de esquema semntico que contiene las informaciones clasificadas como importantes y que explicita sus interrelaciones. Representacin abstracta, la macroestructura puede expresar sintticamente desde el tema ms general (por ejemplo, el tema de un captulo) hasta los temas particulares (el tema de cada apartado de ese captulo, los temas de cada uno de los prrafos que componen ese apartado y dems) del texto. El nivel macroestructural ms global, en muchos casos, est expresado en el ttulo. Si cada nivel superior (ms global) de proposiciones(9) puede representar una macroestructura de un nivel inferior, entonces existen distintos niveles posibles de la macroestructura en un texto. Ntese que, desde este punto de vista, a los estudiantes se les ha dado, en forma de lista o de cuadro, la macroestructura del texto que deban escribir. En las pruebas del SERCE de tercer ao, el texto producido debera tener como tema global tareas/recomendaciones sobre el cuidado de la salud, y deberan poder reconocerse, en los distintos aspectos, proposiciones ms particulares: escolares y familiares/ para la salud bucal, contra la gripe, contra la diarrea. En sexto, el texto producido debera tener como tema global el perro, el pan y deberan poder reconocerse en los distintos prrafos proposiciones relacionadas con las siguientes macroestructuras: caractersticas fsicas, alimentacin, costumbres, relacin con las personas, para el primer caso, y aspecto, componentes, preparacin, consumo, en el ltimo. A la vez, la coherencia es pragmtica, es decir, est definida por la organizacin de los distintos actos de habla producidos al emitir un texto en una situacin comunicativa adecuada (por ejemplo, en el contexto de una clase de aula, el desarrollo contendr, seguramente, los actos de habla preguntar, ejemplificar, explicar, reformular). Como contraparte de la asignacin de coherencia al texto por parte del productor, se ubica la interpretacin que de ese texto hace el lector u oyente; en efecto, un texto conversacional como: A Telfono. Qu hago? / B Vuelvo en una hora, slo podr ser interpretado como coherente por un receptor que reconozca, entre otros factores, que B pretende negar su presencia y que expresa esto a A econmicamente. Las principales reglas constitutivas de la coherencia textual son las siguientes: Regla de repeticin: la mayor parte de las proposiciones deben encadenarse a partir de la repeticin de algunos elementos. 138
Regla de progresin: debe producirse un desarrollo del texto, a partir del aporte constante de nueva informacin. Regla de no contradiccin: no puede introducirse informacin que contradiga un contenido previamente establecido (explcita o implcitamente). Regla de relacin: los hechos referidos deben estar relacionados en el mundo (real o imaginario) que el texto representa. La coherencia se manifiesta en dos niveles: local o lineal y global. El nivel local o lineal atae a las relaciones entre las proposiciones, que pueden ser temporales (simultaneidad, posterioridad, anterioridad) o lgicas (causa-efecto, condicin-consecuencia, medio-meta, oposicin, afirmacin-ejemplo, resultado-razn, afirmacin-parfrasis, etctera). Estas relaciones pueden quedar implcitas y requerir del lector su reposicin por inferencia o pueden aparecer marcadas en la superficie del texto por diversos conectores; solo en el primer caso se las considerar de coherencia; por el contrario, cuando la relacin se explicita a travs de un conector, se las toma como relaciones de cohesin. El nivel global concierne a la organizacin de las proposiciones en la totalidad que constituye el texto. Es decir que, adems de establecerse linealmente, las proposiciones deben organizarse jerrquica y comunicativamente. La organizacin jerrquica, que vara segn el tipo de texto, determina que, en el caso de la descripcin (que hemos solicitado en las pruebas del SERCE), el tema la proposicin ms global se incluya por lo ge-neral al principio del texto y que se lo descomponga en sucesivos subtemas y subsubtemas o proposiciones ms especficas. La organizacin comunicativa de las proposiciones, por su parte, determina la progresin temtica: la informacin se despliega en un cierto orden, sin contradicciones ni redundancias, equilibrando el juego entre datos ya dados y datos nuevos. En las pruebas del SERCE, hemos decido evaluar discriminadamente aspectos que hacen a la coherencia, tanto en los textos adecuados a la consigna como en los no adecuados. Las particularidades de la coherencia en los tipos de texto observados en la fase piloto se encuentran en los apartados Estructura descriptiva, Estructura narrativa y Estructura instructiva. 139
1.2. Estructura textual descriptiva

El tipo textual descriptivo, propuesto en todas las pruebas de escritura del SERCE, revela de un modo singular un ordenamiento jerrquico y vertical de las proposiciones. Los procedimientos descriptivos bsicos son cuatro: anclaje, aspectualizacin, puesta en relacin, encaje por subtematizacin. Por medio de la operacin de anclaje la descripcin denomina su objeto; en otros trminos, seala, a travs de un sustantivo comn o propio, el tema o ttulo. Este puede aparecer: en posicin inicial, para indicar de quin/qu se va a hablar; al final de la secuencia, para explicitar de quin/qu se acaba de hablar. Estos dos procedimientos pueden, por su parte, combinarse para retomar y modificar el tema-ttulo inicial u otras unidades aparecidas en el curso de la descripcin (por ejemplo, para reformular una propiedad o la designacin de una parte del objeto considerado).
Cuando el tema-ttulo se presenta al inicio de la secuencia, el lector puede evocar sus conocimientos enciclopdicos y confrontar sus expectativas con lo que lee. La operacin inversa, de colocacin del tema-ttulo en el final de la secuencia, retarda el proceso referencial y cognitivo: el lector solo puede emitir hiptesis que verificar al trmino de la secuencia, cuando el tema-ttulo le sea dado. La operacin de aspectualizacin es la que ms comnmente se considera como base de la descripcin. Si la operacin de anclaje es responsable de la puesta en evidencia de un todo (Tareas que debo hacer / Es mi perro), la de aspectualizacin se ocupa de la descomposicin de ese todo en partes (tareas para la escuela/ tareas para mi casa / tiene una cabeza, dos ojos, una nariz), cualidades (es bueno, sociable, compaero) o propiedades (es alto, fuerte, peludo). Se trata, entonces, de la divisin y clasificacin de los elementos que componen el o los objetos denominados. La puesta en relacin consiste en asimilar, por comparacin, metfora o metonimia, el objeto que se describe con otro objeto. La puesta en relacin es tpica en la descripcin potica; en la descripcin cientfica, se procede de este modo cuando es necesario describir formas complejas y desconocidas hasta el momento. Los estudiantes que describen el perro como morocho o rubio y la araa como articulada operan relacionando el cuerpo de estos animales con el del ser humano y el de ciertos muecos, respectivamente. La operacin de encaje de una secuencia descriptiva en otra constituye la fuente de la expansin de la descripcin. Una parte seleccionada por aspectualizacin (por ejemplo, las tareas de la escuela o la cabeza del perro) puede ser elegida como base de una nueva secuencia, tomada como nuevo tema-ttulo y, a su vez, ser considerada segn diferentes aspectos: propiedades eventuales y subpartes (forrar cuadernos, sacar punta a los lpices de colores) Los ojos son...; la boca es...). A travs de una nueva temati-zacin, una subparte puede ser mostrada en sus propiedades y partes y esto, hipotticamente, hasta el infinito. Al estudiante, en las pruebas del SERCE, se le ha solicitado que proceda por subtematizacin teniendo en cuenta sus posibilidades cognitivas: en sexto ao, los subtemas se duplican respecto de tercero (Adam, 1991; 1992).
1.3.
Estructura textual narrativa
140
Consideraremos que un texto presenta una estructura narrativa cuando relate algo que sucede o sucedi, en forma real o imaginaria. Una narracin puede resumirse en un hecho o acontecimiento general, que responde a la pregunta Qu ocurri?, pero slo se desarrolla cuando descompone tal hecho en una serie de acciones principales o ncleos, que constituyen el esquema bsico de una narracin. Por tanto, para diferenciar enunciados del tipo yo tuve un perro que un da se muri de textos que expanden su resumen, diremos que hay narracin cuando se observe expandido al menos uno de los ncleos de la historia. Adems de ncleos, una narracin presenta acciones menores; por ejemplo, los diversos e intiles esfuerzos por salvar al perro enfermo. Las acciones menores no integran el esquema bsico de la narracin y se las puede suprimir y expandir sin modificar el esquema. Por esa razn, dejaremos de lado su presencia y su calidad (en los buenos relatos se incluyen para demorar el paso de un ncleo a otro con la finalidad de crear inters o suspenso) a la hora de decidir si el texto presenta una estructura narrativa. El esquema bsico de una narracin puede expandirse tambin mediante la inclusin de secuencias, ms o menos extensas, en las que se describe, se explica (se seala por qu ocurri algo), se argumenta (se formulan evaluaciones de los hechos) o se dialoga. Al igual que las acciones menores, estas inclusiones pueden frecuentemente suprimirse o alterarse sin que se modifiquen los ncleos de la historia: hacen, en verdad, a su relato. Ahora bien, esas secuencias deben estar subordinadas a la narracin. En el caso contrario, el relato se abandona
y el texto pasa a constituir lo que aqu llamamos un hbrido, es decir, un texto que no se corresponde con un gnero definido, que no es ni cuento ni retrato, por ejemplo, sino la suma de un cuento y un retrato truncos. Los ncleos y las acciones menores se organizan temporalmente (a una accin le sigue otra) y lgicamente (una accin es la causa de otra posterior o la consecuencia de una anterior). A esta relacin temporal y lgica que se establece entre las acciones se la denomina secuencia narrativa. Las narraciones que escriben los estudiantes presentan con frecuencia alteraciones en la secuencia narrativa, lo que introduce problemas de coherencia de distinto orden: hay informacin que no puede reponerse porque se han omitido ciertos hechos de la cadena causal, las acciones aparecen desordenadas sin que se explicite que se trata de un caso de retrospeccin o ida hacia atrs en el tiempo, por ejemplo. Sin embargo, por estas fallas, que se evaluarn en los puntos de la Planilla relativos a la coherencia, el texto no deja de ser narrativo. Las relaciones temporales y lgicas pueden explicitarse a travs de conectores, cuya funcin es expresar o hacer evidente la relacin existente y no establecerla. Por eso, la correccin en el uso de estas partculas tampoco ser condicin para adscribir el texto a la categora de narracin. Los hechos narrados se desarrollan en un tiempo y en un lugar que no necesariamente deben ser explcitos y precisos: slo deben cumplir la condicin de mantener una consistencia en el universo representado, de modo que no se introduzcan errores de coherencia (como, por ejemplo, cuando la situacin inicial se sita en un tiempo vago y remoto, y el conflicto, sorpresivamente en la actualidad). Por otra parte, los hechos son protagonizados por participantes que llevan adelante las acciones que el relato desarrolla. Cuando el participante no se mantiene o aparece repentina e injustifica-damente, el texto sigue siendo narrativo, aunque presenta un problema de coherencia. Lo mismo sucede cuando el objeto que persigue el participante vara caprichosamente, sin determinacin ninguna. El protagonista encuentra a otros participantes, elementos o fuerzas que colaboran con su proyecto, y se enfrenta con quienes desempean la funcin de oponentes y le obstaculizan obtener lo que busca o se lo impiden. En las relaciones que se establecen entre protagonistas, ayudantes, oponentes y objetos, se expresan los conflictos. Diversos autores sealan que el conflicto es el rasgo definitorio de la narracin: puede obviarse la situacin inicial, puede velarse la resolucin, pero el conflicto no puede faltar ni estar poco desarrollado. Sin embargo, en los niveles educativos con los que trabajamos no exigiremos tal condicin para adscribir el texto a la categora de narracin: diremos que hay un problema de coherencia narrativa, originado en la incompletitud del principal ncleo narrativo. Toda historia es relatada por un narrador. Como se sabe, el narrador puede relatar como un participante o como un testigo. Este ltimo puede presentar una perspectiva o punto de vista particular a partir del cual cuenta su historia: interna, cuando asume el punto de vista de un personaje; externa, cuando no asume el punto de vista de ningn personaje o cero, cuando relata los hechos dando a conocer la perspectiva (los deseos, los intereses y las ideas) de todos los participantes. En los relatos extensos, sobre todo ficcionales, el narrador puede combinar los puntos de vista, pero no sucede lo mismo, en general, en los relatos breves como los que pueden presentarse en las pruebas del SERCE. En la mayora de los casos, el cambio de punto de vista, que no podr ser acompaado de seales que den cuenta de l, constituir un error de coherencia. Entre los gneros narrativos que desarrollan los estudiantes cuando no se adecuan a la instruccin de escribir un texto descriptivo, sobresale, en primer lugar, la ancdota. La ancdota es un subgnero de la narracin oral que tiene como tema algn suceso relacionado con el enunciador o, en otra de sus variantes, con un conocido del enunciador(10). Tal suceso tiene la cualidad de ser mdicamente excepcional, es decir, de constituir respecto de lo normal o esperable un desvo no demasiado grave
141
ni en cuanto a los trances mismos que lo conformen ni en cuanto a sus consecuencias. En concordancia con su relativa importancia, su extensin es idealmente breve, y lo mismo puede decirse de los rasgos estilsticos; es comn, entre estos ltimos, la inscripcin de dilogos centrales o perifricos a lo narrado. Estructuralmente, la ancdota suele estar construida a la manera de un pequeo enigma (por eso, la introduccin tiene frecuentemente como fin inducir al enunciatario a la ansiedad mediante frases como: A que no sabs lo que..., o no te cont nunca...?). As, un final inesperado o absurdo viene a satisfacer, y justificar, la promesa implcita de la sorpresa. Este punto el estructural es el que menos desarrollado se observa en las producciones estudiantiles, que suelen comenzar con una frmula del tipo Un da yo.... Por su modo de funcionamiento, la ancdota es bastante refractaria a la fijacin en la escritura. En efecto, su pertinencia es altamente ocasional. Los estudiantes que an no han interiorizado los gneros discursivos propios de la escritura y que no interpretan adecuadamente la consigna, suelen producir ancdotas, influidos tal vez tambin porque las actividades de produccin escrita de estos textos son frecuentes en la clase de Lengua o porque la ancdota es uno de los gneros narrativos que se aprende ms all de la escuela y que les resulta ms conocido. Transcribimos dos ejemplos, tomado de las pruebas de pilotaje, en el que podrn observarse las caractersticas mencionadas:
Mi perro y yo
El viernes a la noche mi perro y yo salimos a pacear, yo como siempre lo llevaba con la correa verde claro: el color preferido de l y el mo. Tichi, mi perro siempre llev buenos modales conmigo, pero ese ao no. Al da siguiente fuimos de campamento y llevamos: una carpa, su tachito para hacer sus necesidades, comida, lmpara, algunas ropas, ollas chicas, utensilios para mi y tambin gas. Mi perro de costumbre siempre se acostaba en su manta verde. Sus necesidades no las haca en cualquier lugar. A la noche pas un guardabosque que pasaba por todo el campamento, mi perro escuch ruidos y sali a ladrar, nunca le molest ningn ruido pero este si, el guardabosque se asusto y sali corriendo. Nos echaron. El dueo del lugar nos pregunt que pas y yo le expliqu y mi perro con carino le dio un beso. Y nunca ms le molest ni un solo ruido. 142
Yo y el delicioso pan
El pan es muy delicioso. Este se hace en la panadera. Para m el pan es la vida, porque sin el no puedo estar. Todas las noches me acompaa junto con el yogur. Este pan es una de las vidas de todos nosotros. Un da fue feriado y no haba escuela, y mi madre me mand a buscar el pan. Cuando llego a la tienda las dems personas me dijeron: nio que t vienes a buscar y yo le dije: yo vine a comprar mis deliciosos panes, y ellos me dijeron: hoy no hay pan. Cuando llegue a mi casa empec a llorar y mi mam me pregunt: que te pasa nio mo, y yo le dije yo lloro porque hoy como era feriado la tienda no trabajo, y no pude comprar mis delicias Qu panes ms sabrosos estos!
En menor medida que ancdotas, los estudiantes escriben cuentos. La definicin de cuento ha sido materia de polmicas y controversias que no han terminado de saldarse y cuya mera descripcin sera dificultosa y extensa. Dejando de lado de tales desacuerdos, se considera en general como cuento a toda pieza narrativa ficcional relativamente breve, cuya macroestructura prescribe, segn la rgida definicin cannica, el encadenamiento causal entre las acciones que corresponden al comienzo (o introduccin), al medio (o nudo) y al fin (o desenlace). La falta o el menor desarrollo de una de estas partes no impedir que clasifiquemos el texto como cuento, tanto por el hecho de que la definicin es cannica y no se corresponde con formas ms modernas como por el hecho de que estamos trabajando con textos de escritores aprendices. Tpicamente, las acciones son ubicadas en el pasado y narradas en tercera persona. Existen, por supuesto, narraciones en primera y, en grado mucho menor, en segunda persona. Sin embargo, en el pilotaje se ha verificado que los relatos en primera persona son, mayoritariamente, ancdotas. A diferencia de estas, en los cuentos que aparecieron en lugar de la descripcin pedida por la consigna, el protagonismo de las acciones no es asumido por el alumno redactor, sino que se lo asigna a agentes ficticios. An cuando la triparticin de la macroestructura sea respetada, es comn que los cuentos producidos por los alumnos adolezcan de inconsistencias en cuanto a las relaciones entre cada una de las partes (es comn, por ejemplo, que el final sea absolutamente arbitrario, es decir, no justificado causalmente por las acciones del desarrollo). En estos casos, hablaremos de errores de coherencia. Entre las diversas clasificaciones que el anlisis del gnero ha suscitado, conviene mencionar la que opone las variedades realista (de temtica verosmil y cotidiana) y maravillosa (que presenta sucesos fabulosos y sobrenaturales como realmente acaecidos); probablemente interferidos por los gneros a los que se hallan ms frecuentemente expuestos, los alumnos ensayan, generalmente, los subgneros realistas policial, de aventuras y melodrama amoroso y los maravillosos relato de terror y de ciencia ficcin. Vanse los ejemplos; el primero de ellos, reescritura de un cuento del argentino Anderson Imbert, podra encuadrarse en la categora relato de terror y el segundo en la de relato maravilloso:
143
El tren y Federico
Federico Tom el tren y volvi a su casa en Belgrano, era de noche y su mujer y sus hijos estaran esperando Vio el letrero de la estacin BELGRANO Bajo del tren, se largo a caminar y de repente desconoci las calles Todo se haba mudado: calles, edificios, jardines, todo menos la estacin, en la esquina donde deba estar su casa haba otras, antes blanqueada con cal, ahora era de ladrillos rojos, antes tenia un rbol enfrente, ahora se levantaba all un buzn pintado como la bandera NORTEAMERICANA. FIN
Comer y comer
Haba un perro, que no paraba de comer nunca. Un da se escap, de su casa, y de tanto caminar se encontr en un campo yeno de golosinas; y como a el le gustaban las golosinas, no dej ni una en el campo. En ese lugar haba una montaa, y en la punta de la montaa una golosina del tamao de un elefante; el escalo y escalo y escalo hasta que lleg asta la golosina y se la comi toda. El perro vio pasar un camin que iba para su casa entonces se subi y volvi.
1.4.
Estructura textual instructiva
En algunos casos, ya sea por contaminacin entre el tema del texto pedido (el pan, en una de las pruebas de sexto ao) y la receta de cocina, ya sea por confusin entre la instruccin para escribir y la escritura de una instruccin misma, los estudiantes escriben textos instruccionales. Consideraremos instrucciones los textos que indican cmo hacer algo sin limitarse a enunciar la accin final que se va a realizar (por ejemplo, para hacer el pan hay que usar harina), sino dando cuenta de cmo concretar la actividad paso a paso. Adems, en general, la instruccin enumera los elementos, herramientas u objetos que se deben utilizar para realizar dicha actividad. Frecuentemente, para cumplir con la finalidad de orientar a alguien para la consecucin de una meta, los textos instruccionales presentan elementos que facilitan el reconocimiento de sus partes, as como la diferenciacin y el orden de los pasos: el ttulo identifica la meta; los subttulos, las partes (lista y procedimientos), y los marcadores grficos (vietas) o nmeros, el orden de la secuencia. En los textos instruccionales que son recetas, la lista de ingredientes (como la lista de materiales en las instrucciones para fabricar un objeto) constituye una descripcin inserta en la instruccin; es decir, si bien se observa un segmento descriptivo, este depende del marco general de la instruccin y no la domina. En cambio, los textos que describen cmo es un alimento, no presentan secuencias intruccionales; a lo sumo, transforman las intrucciones en afirmaciones con se impersonal: Para hacer pan, se mezclan agua y harina. La secuencia de los textos instruccionales se ordena temporal y lgicamente. La ms habitual dispone los procedimientos de manera sucesiva, aunque los pasos tambin pueden presentarse en secuencias simultneas (dos acciones deben realizarse al mismo tiempo), alternativas (se da la posibilidad de realizar una accin u otra) o repetidas (la misma accin debe ejecutarse ms de una vez). Predominantemente, los textos instruccionales presentan los procedimientos como rdenes o prescripciones expresadas mediante verbos en modo imperativo o en infinitivo. Tambin existen actividades que admiten diferentes formas de ejecucin o que, en todo caso, no requieren pasos obligatorios, sino recomendaciones, sugerencias o consejos. Hay otra variedad de textos instruccionales que no prescriben ni recomiendan acciones, sino hbitos o conductas: cmo comportarse en un lugar pblico, permanecer en una biblioteca y dems. Estos textos instruccionales no sealan cmo se debe o se puede hacer algo, sino que indican cmo se debe o puede actuar en determinadas situaciones. En lugar de una serie de acciones, presentan una serie de pautas o reglas formuladas como permisos y prohibiciones. Son producidos, por lo comn, por instituciones. Finalmente, en la vida escolar, entre los diferentes textos orales y escritos, se encuentra todo el conjunto de actividades que propone el docente o el libro de texto con el objeto de que el estudiante realice una actividad concreta relacionada con el aprendizaje: las consignas o instrucciones de trabajo. Las consignas escolares se expresan como una prescripcin o como una serie de prescripciones, aunque pueden incluir sugerencias. Tambin pueden estar formuladas como preguntas. En el marco de la evaluacin de las pruebas del SERCE, especficamente en el caso de la consigna 2 de sexto ao, es fundamental tener en cuenta lo planteado aqu respecto de la instruccin para diferenciar dos tipos de textos. Por un lado, los textos predominantemente descriptivos que incluyen una secuencia instruccional y los textos descriptivos que hacen referencia a cmo se hace el pan sin dar instrucciones. Por el otro lado, los textos francamente instruccionales. El siguiente fragmento tomado de las pruebas de pilotaje es descriptivo y no instruccional, lo que puede apreciarse en el uso de la primera persona plural y el modo indicativo: 144
El pan esta rodeado de muchas cosas. Debemos echarle varios ingredientes. Despues lo cocinamos y lo comemos. En este caso, en cambio, el texto es una instruccin, porque predominan el uso de recomendaciones, la segunda persona y el se impersonal: Para hacer dulce de toronja debes utilizar varios ingredientes. Si vas a hacer una buena cantidad de dulce debes echarle la cantidad de azcar que lleva. Si deseas echarle canela se la echas. Debes de pelarla, despus picarla, lavarla, enseguida sacarle esa agua, despus se le echa la azcar pero para darle buen sabor se le echa algo que desees.
1.5.
Gneros discursivos
El uso de la lengua se lleva a cabo mediante conjuntos ms o menos estables de enunciados a los que se denomina gneros discursivos. Los gneros constituyen tipos temticos, composicionales y estilsticos y estn determinados por las prcticas socio-culturales y discursivas (cfr. Bajtin, 1982; Voloshinov, 1992); en este sentido, podra ubicrselos en la interseccin de las dimensiones sintctica, semntica y pragmtica del texto. Los hablantes aprenden el uso de los gneros en la medida en que participan de tales prcticas; es por esto que, en general, puede decirse de un texto o discurso verbal en particular o de un film, o de un programa televisivo que pertenece a tal o cual gnero (es un policial). El receptor orienta su interpretacin de acuerdo con las expectativas creadas por el hecho de reconocer, en primer lugar, el gnero, por lo cual no juzga una pelcula de amor segn los tiroteos que presente ni una policial en trminos de la calidad y la cantidad de las escenas amorosas. El repertorio genrico, que es tan variado como lo son las prcticas, es fijado y modificado a lo largo de la historia de cada sociedad. Por esta razn se dice que los gneros son slo relativamente estables. Es frecuente que dos o ms gneros que devienen de prcticas socio-culturales y discursivas cercanas compartan ciertos rasgos (el folletn, el radioteatro, la telenovela, por ejemplo, configuran receptores comunes, emplean canales anlogos, suponen todos una circulacin masiva, tratan los mismas temas, se estructuran episdicamente, etctera; entre la divulgacin cientfica y el discurso didctico tambin es posible hallar aspectos comunes). De esto resulta que es tan difcil componer una lista finita de los gneros existentes como aislar las caractersticas de cada gnero en particular. Desde este punto de vista, es operativo definir los gneros relacionalmente: as, por ejemplo, considerando el canal escrito, oral, audiovisual podrn diferenciarse entre s el folletn, el radioteatro, la telenovela; o, a partir de las categoras narrador, acciones centrales y perifricas, dilogos centrales y perifricos y registro, podr distinguirse el cuento de la ancdota. Los gneros para uno mismo o para los ms allegados, como las esquelas, las agendas, los diarios ntimos y aquellos a los que corresponden los textos pedidos en tercer ao (las listas), comparten, entre otros, los rasgos de aceptar un registro informal y una presentacin no necesariamente limpia, y de cumplir una funcin de ayuda-memoria. Esta funcin es la funcin primitiva de la escritura (Cardona, 1999), por lo que cabe afirmar que los textos pedidos se corresponden con el nivel de desarrollo -incipiente- de la escritura de los nios (Chartier y Hbrard, 2000). En cuanto a los propuestos en las pruebas del SERCE de sexto, se trata de gneros de divulgacin de propsito informativo. En la prensa diaria, las revistas de divulgacin cientfica y dems, las descripciones puras es decir, no insertas en otros gneros a modo de secuencia suelen aparecer en recuadros y funcionan, tanto grfica como semnticamente, a modo de complemento de un texto central: una crnica o una nota; sin embargo, son semntica y sintcticamente autosuficientes, es decir, su significado y su estructura cierran en s, con independencia del texto central. En la divulgacin cientfica, como la que se pide a los nios, sin embargo, tambin es comn hallar descripciones puras que no se relacionan con un texto principal.
145
Las descripciones de divulgacin, adems de presentar la superestructura tpica de la descripcin, se caracterizan, bsicamente, por estar redactadas sobre la base de la funcin referencial del lenguaje marcada por el uso de la tercera persona gramatical y el modo indicativo (Jakobson, 1973), seleccionar el lxico a partir de la bsqueda de un efecto de objetividad (Barthes, 1970) y emplear un registro escrito y formal (Halliday, 1984).
1.6.
Legibilidad
En trminos generales, se denomina legibilidad a la cualidad de tener suficiente claridad un escrito fundamentalmente, un manuscrito como para que pueda leerse. La legibilidad atae a las letras y las palabras: bsicamente, a la distincin de los grafemas a travs del trazo. Un escrito puede resultar totalmente ilegible (por su forma, los grafemas no se oponen entre s o se observan signos que no se corresponden con ninguna forma asociada a un grafema) o puede presentar problemas de desciframiento: no puede saberse si el escritor conoce el uso ortogrfico de las maysculas porque slo emplea ese tipo de letra o solo puede inferirse que la o final de un adjetivo es tal a partir de la concordancia con el sustantivo pero no por su forma. En cambio, el emplear cursivas o imprentas intercaladas no constituye un problema de desciframiento; de hecho, los escritores expertos tienden a simplificar la escritura manuscrita a partir de la combinacin sistemtica de grafemas propios de las formas cursiva e imprenta sin actuar en desmedro de la legibilidad. Como se ve, entonces, un texto puede ser perfectamente legible aunque no tenga una excelente caligrafa, entendida como letra bella y correctamente formada, segn estilos predeterminados. Como se indica en cada Instructivo, para las pruebas del SERCE, se considerar ilegible el texto cuyo desciframiento resulte imposible. Por otra parte, se considerar que el texto tiene problemas de legibilidad (y no de ortografa) si el nio mezcla sistemticamente maysculas y minsculas (la-Piz, hojas de PaPel cuadriculado) o si usa slo maysculas.
1.7.
Lxico
146
El lxico es el conjunto de las palabras de un idioma, de una regin, de una actividad determinada, de un campo semntico dado, etctera. Esto significa que, aunque pueda ser a menudo comparado con un diccionario, el lxico excede necesariamente tal modelo, dado que hay lexemas que, una vez presentes en la sociedad, tardan en ser registrados como palabras en los diccionarios. El lxico, entonces, es el repertorio de todos los vocablos de una lengua recopilado en la memoria de los hablantes. Todo lexema o unidad del lxico est asociado, por un lado, a un significado (que correspondera a la/s definicin/es del diccionario o a las que los usuarios del lenguaje le atribuyen) y, por el otro, a casi siempre ms de una forma. De tal manera, el lexema nio, cuyo significado es persona no adulta, tiene, entre otras, las formas nio, nia, niita, niito, niote, etctera; asimismo, el lexema bailar, que significa danzar al ritmo de la msica, tiene las formas bailo, bail, bailaba, he bailado, haba bailado, bailara, bailamos, bailbamos, y todo el paradigma de conjugacin del verbo. En un diccionario solo aparece nio y bailar porque las dems son formas de estos lexemas. Es frecuente el empleo de un lexema por otro a partir de cierta afinidad entre algunas de sus formas: tiene un aro en el glbulo de la oreja (por lbulo), el barco sufrag debido al peso (por naufrag), ella es una mu-jer muy clamorosa (por glamorosa). Adems, puede ocurrir que se reemplace un lexema por otro que es su sinnimo en otro contexto: ese tipo es un subconsciente (por inconsciente), es necesario mirar todas las posibilidades (por contemplar), el trnsito est muy constipado (por congestionado).
Mientras los casos anteriores consisten en sustituciones o permutaciones incorrectas entre dos lexemas, otros errores se relacionan, en cambio, con la forma de un lexema. Esto ocurre de cuatro maneras posibles: -Por un lado, por el desconocimiento llano de alguna de sus formas (amnilbar por almbar; anali por anlisis, etctera)(11). En segundo lugar, por el desconocimiento de las reglas productivas de lexemas a partir de lexemas ms simples(12) (descomprensin por incomprensin; deshumano por inhumano; inconocimiento por desconocimiento; tigra por tigresa, etctera). En tercer lugar, por la no identificacin de los lmites de las palabras, muy comn en tercer ao (hazique por as que, abeces por a veces, voy haber por voy a ver, osea por o sea) (Lyons, J.: 1997). Finalmente, es tambin posible sobre todo en tercer ao que los nios no hayan adquirido plenamente la escritura alfabtica y muestren, en el lxico, una escritura silbica: Lpiz d color, cuadrno, etc. (Ferreiro, 1991).
1.8. Ortografa
La ortografa es la parte de la gramtica de una lengua que se encarga de la manera correcta de escribir las palabras. El diccionario de una lengua es en s mismo una gua ortogrfica de la misma. La ortografa no constituye, en s misma, un aspecto central de la evaluacin de la escritura. Lo interesante es correlacionarla con otros aspectos, como la coherencia, e indagar, por ejemplo, si los estudiantes se detienen en aspectos superficiales del texto y no en su organizacin profunda, o si ya tienen automatizadas ciertas normas y pueden estructurar la informacin sin necesidad de prestar atencin a ellas. Los errores de puntuacin no se considerarn aqu como ortogrficos en la medida en que se relacionan, ms bien, con la jerarquizacin de la informacin. Se procede igualmente respecto de los errores de lxico, que surgen del desconocimiento de una palabra, y que se evalan, como se ha visto, aparte. 147
1.9. Registro
Por un criterio de estandarizacin, cuando se dice que diferentes personas hablan (escriben) el castellano/ espaol se hace abstraccin de toda suerte de diferencias en sus respectivos comportamientos lingsticos. Estas diferencias son de registro cuando estn relacionadas con el grado de formalidad de la situacin comunicativa y/o el medio de comunicacin que se emplee. Toda situacin comunicativa requiere un grado particular de formalidad: protocolar, formal, consultivo, casual o informal, ntimo. El grado de formalidad que se establezca puede depender de la edad y el sexo de los interlocutores, del grado de parentesco que los una, del oficio que desempeen, de su relacin social, del lugar en el cual se encuentren, del tema del cual estn hablando y del tipo de discurso del que se trate. Dado este ltimo fac-tor, en las pruebas del SERCE hemos decidido evaluar el registro solo en los textos de sexto ao adecuados a la consigna. En efecto, los tipos de discurso pedidos en tercer ao admiten una variedad de registros, de la misma manera que los cuentos, las ancdotas y todos los otros textos no adecuados a la consigna que podran presentarse en sexto ao. Como determinar, por ejemplo, qu registro es adecuado al cuento consistira en una decisin totalmente arbitraria, se ha decido evaluar solamente si los textos enciclo-pdicos presentan el registro que s se exige en ellos: formal y escrito.
Por otra parte, en el mismo medio escrito podemos distinguir, entre otros matices, textos escritos para ser ledos por otros, textos escritos para ser ledos por uno mismo, textos escritos para ser dichos, textos escritos para ser dichos como si no fueran escritos, etctera. El escritor competente no confunde el medio con el canal de ejecucin de la comunicacin. Por eso, al evaluar las pruebas del SERCE, consideraremos aceptable que en el borrador de sexto ao, texto para ser ledo por uno mismo, aparezcan expresiones como x q y + grande, y no consideraremos aceptable que se las presente en la versin definitiva, texto adecuado o no a la consigna para ser ledo por otros. En muchos casos es difcil si no imposible determinar si el error de registro procede de una inadecuada percepcin del grado de formalidad de la situacin o del medio, ya que es comn que estos factores funcionen asociados. Los mensajes deben adecuarse a ambos parmetros; es errneo, por consiguiente, tanto el uso de un registro coloquial y oral en la redaccin de, por ejemplo, una monografa acadmica, como el uso de un registro ceremonioso o protocolar en el relato de una ancdota intrascendente en la peluquera. Los errores de registro se observan en el plano del vocabulario y en el de la sintaxis. En el primer caso, es comn ver cmo los estudiantes emplean trminos propios de situaciones informales en textos enciclopdicos (el perro es un animal domstico que come y caga dos veces por da). En el segundo caso, se observan construcciones propias de la oralidad, tomadas de textos orales, como las frases truncas y las preguntas de constatacin de la participacin del interlocutor en el dilogo (qu le vamos a hacer, si tiene esas costumbres, no?) o como el uso de la segunda persona y la funcin apelativa (tenga cuidado con los gatos: son enemigos del perro). Es necesario, finalmente, insistir en una diferencia que no siempre es contemplada en la medida de su importancia: las diferencias de registro se establecen en el interior de cada variedad dialectal. En efecto, las variedades dialectales del castellano, es decir, el repertorio de los rasgos fonolxico-sintcticos relacionados con la procedencia geogrfica del hablante (lo propio del castellano colombiano, chileno, roplatense, mexicano, etctera.) no implican un registro menos formal que los del castellano peninsular(13) (que no es, adems, sino otro dialecto). En Buenos Aires, por ejemplo, heladera no es menos formal que refrigerador, de la misma manera que durazno no lo es respecto de melocotn, aparcar de estacionar, ni el voseo en comparacin con el tuteo. La consideracin de la adecuacin del registro, por tanto, est en manos del conocimiento que el evaluador tiene de lo que es formal en su variedad dialectal. El ejemplo siguiente no resulta adecuado a una situacin comunicativa formal como la propuesta en sexto ao, en el marco del Ro de la Plata: El perro come carne y animales muertos. Si los humanos lo joden mucho, el perro se calienta.
148
1.10. Texto
En las pruebas de escritura del SERCE, se considera texto al objeto lingstico emprico y descriptible producido en una situacin comunicativa determinada bajo el efecto de una red de determinaciones lingsticas (macro y micro semnticas, macro y micro sintcticas, etctera) y extralingusticas (culturales, ideolgicas, psicologgicas, situacionales). En teora, para ser tal, un texto debe cumplir con ciertas normas: ser coherente, explicitar su coherencia mediante la cohesin, tener un propsito, resultar aceptable para el receptor, transmitir cierta informacin, ser relevante en la situacin en que se produce, entre otros aspectos. En los hechos, los escritores aprendices elaboran textos que tienen fallas en uno o ms de esos planos y que, sin embargo, aqu consideraremos textos por oposicin al enunciado sin sentido o a la serie de enunciados sin ligazn entre s.
Entonces, a los fines de nuestra investigacin, se dice que hay un no texto cuando se observan, como respuesta a la consigna, un solo enunciado, varios enunciados sin ningn tipo de relacin temtica entre s, o una serie de enunciados que, a pesar de reiterar parte del tema, parecen estar construidos como respuesta a la instruccin Escrib oraciones con tal palabra, ya que no pueden ser inscriptos en ningn gnero, no tienen ninguna finalidad comunicativa, no son cohesivos y resultan apenas coherentes. Se trata de casos como los siguientes: Mi mam me pide que limpie. La maestra nos da tareas. En la escuela hice cuentas. La maestra nos pide un libro. Mi casa esta siempre sucia. Tareas Mi casa es linda. Mi casa es cmoda. Mi casa es grande.
1.11. Ttulo
El escritor competente selecciona y elabora el ttulo del texto teniendo en cuenta el gnero discursivo y el destinatario, entre otros aspectos; as, los ttulos de las obras literarias suelen apuntar al establecimiento de una polisemia o multiplicidad de sentidos, mientras que los de los textos cientficos o enciclopdicos privilegian la univocidad y el designar el tema o contenido del texto mediante una macroestructura. Desde el punto de vista del receptor, el ttulo de un texto funciona como primera clave para establecer una hiptesis de lectura; apoyndose en sus conocimientos sobre el tema, los gneros, etctera, el lector formula ciertas conjeturas sobre el conjunto que, al leer, va rectificando o confirmando; esta operacin es un buen criterio para determinar la adecuacin o inadecuacin del ttulo en tanto macroestructura: si el lector ve frustradas o con-tradichas sus expectativas en un texto de las caractersticas pedidas, el ttulo no es adecuado (Alvarado, M.: 1996). Vase el ejemplo: La vida de un perro Hay diferentes tipos de perros: pueden ser perros callejeros, domesticados y hasta entrenados para cazar. Sus caractersticas fsicas pueden ser variables. El perro es muy hbil. Eso se lo debe al estar apoyado en cuatro patas facilita su destreza. Su ambiente y su hbitat es segn el perro si es domstico vive en casa, si es cazador en Australia si es callejero en la calle. Como se observa, el ttulo no expresa el contenido global del texto. 149
Tercera parte
1. Instructivo para la evaluacin de las pruebas de tercer ao
En este punto, se dan las instrucciones de marcado de cada una de las opciones que componen los tems de la planilla para evaluar las pruebas de escritura de tercer ao. Es fundamental tener en cuenta que cada pregunta indaga un aspecto especfico que se diferencia claramente de los restantes y que, por esa razn, las instrucciones acotan con precisin el universo al que cada opcin de marcado atiende. La mayora de los casos propuestos para ejemplificar los modos de evaluar son crticos. Esto se debe a que esos ejemplos son los que, suponemos, pueden plantear ms dudas al evaluador y no al hecho de que la mayora de los textos respondan a esas caractersticas. El evaluador deber emplear el instructivo siguiendo las sugerencias que se plantean en el punto 5 de este Manual, Recomendaciones para evitar sesgos y errores al evaluar. En la pgina siguiente, se muestra un facsmil de la planilla a la que nos referiremos.
150
151
42
Encabezamiento
Copie todos los datos que figuran en el encabezamiento de la prueba y que tengan sus correspondientes casilleros en la planilla de evaluacin en blanco. Revise la correspondencia entre los datos originales y los copiados.
I. Borrador
1. El nio escribi el borrador? (S/ No/ S, pero borr lo escrito) Marque S cuando el estudiante haya empleado el espacio asignado para la redaccin del borrador, es decir, aun cuando haya escrito una sola palabra clave o haya dibujado. Ignore el hecho de que lo escrito se corresponda o no con lo pedido. Marque S, pero borr lo escrito cuando el borrado de lo escrito sea total. Marque No cuando el borrador no haya sido utilizado en absoluto. Si responde S, debe pasar a las preguntas 2 y 3. Y si marca S, pero lo borr o No, al tem 4, despus de marcar N.C. (No corresponde) en los tems 2 y 3. 2. Sigui, en general, la consigna? (S / No / N.C.) Marque S en el caso en que el estudiante haya consignado en el borrador al menos una palabra clave y/o idea que se corresponda con lo solicitado en la consigna y no se observe un predominio de otras ideas, es decir, aunque haya ignorado una o ms de las ideas pedidas pero siempre y cuando la mayora sean adecuadas. Marque No si el estudiante no consign en el borrador predominantemente palabras-clave y/o ideas que se correspondan con lo solicitado, es decir, si: 1) interpret errneamente el tema y, por ejemplo: -en el cuadernillo 1, enumer cosas y no acciones, o acciones que no son tareas o ms tareas no pedidas que tareas pedidas en la consigna; -en el cuadernillo 2, nombr enfermedades o copi partes de la instruccin (para no tener diarrea, para tener dientes sanos) y no esboz o plante recomendaciones para evitarlas; 2) interpret errneamente el tipo de texto y, en vez de enumerar, por ejemplo, relat, o redact oraciones o palabras sin un sentido acorde con el texto solicitado en la instruccin. Marque N.C. si el borrador resulta por completo ilegible y no puede evaluarse si el estudiante sigui o no la consigna. En el siguiente caso, por ejemplo, tomado del cuadernillo 2, corresponde marcar No, ya que, aunque se hace referencia al tema enfermedad, el estudiante redact una alusin a su vida personal y no se ajust al tipo de texto pedido: Yo no menfermo nunca mi ermano senferma Lo mismo sucede en el siguiente caso, tomado del cuadernillo 1, porque se hace referencia a tareas con una forma predominantemente anecdtica (vase el uso de los verbos en pasado y el esbozo de una secuencia narrativa): 152
Las tareas En La escuela me pusieron una tarea que era un robo y unas divisiones etc. en mi casa me pusieron a ser La tarea des pues a tender las camas des pues de aser la tarea me fuy ajugar con mis amigas y des pues de jugar con mis amigas des colgo los cuadernos y el uniforme En el siguiente caso, se observan esbozos de recomendaciones, en el uso de la expresin tengo que, fundamentalmente; a pesar del uso de la primera persona, no diremos que el texto es predominantemente anecdtico porque no hay secuencia narrativa y porque los verbos estn en presente habitual. Por lo tanto, marcaremos S: Yo ago para tener los dientes sanos ir al dentista. Cuando llo tengo los dientes malos tengo que currmelos porque no los puedo tener as. Cuando llo tengo dolor de barriga tengo que ir al bao. Porque si no voy al bao no se me pasa el dolor. Yo ago para no resfriarme taparme con una corcha. Porque si no me tapo con la corcha tendr mucho fro. Tambin en este caso, tomado del cuadernillo 2, corresponde marcar S, porque es posible considerar que el nio ha escrito una expresin clave (aunque sea la nica) para, en el texto definitivo, redactar una instruccin: cepillo de dientes Si marca S, pase a la pregunta siguiente. Si marca No o N.C., pase a la pregunta 4, despus de marcar N.C. en la 3 y en la 5. 3.a. En el cuadernillo 1, de las 10 ideas pedidas, cuntas plante? (Casi-llero/ N.C.) b. En el cuadernillo 2, de las 6 ideas pedidas, cuntas plante? (Casille-ro- N.C.) Sitese en el punto a. o b. de la pregunta 3, segn corresponda al cuadernillo. El mximo de ideas pedidas es, en el cuadernillos 1, 10 y, en el cuadernillo 2, 6. Numere las ideas planteadas por el estudiante en el borrador de la prueba, una por una, en una hoja aparte. Consigne en el espacio en blanco de la planilla la cantidad de ideas que plante el estudiante en el borrador respecto de las pedidas en la instruccin. Las ideas pedidas son: 1) en el cuadernillo 1, diez tareas escolares (por ejemplo, escribir un cuento, leer un cuento, redactar un texto, completar oraciones, resolver cuentas, recortar palabras, dibujar, etctera) y/u hogareas (hacer compras, ordenar juguetes, ayudar a algn familiar en su trabajo, poner la mesa, etctera), que no deben estar necesariamente ni organizadas en dos subtemas ni ser cinco de cada tipo ni ser de los dos tipos; 2) en el cuadernillo 2, seis menciones de formas de cuidar la salud, incluso cuando ya se est enfermo, independientemente de que tengan la estructura o el fraseo tpicos de la recomendacin (abrigarse, hervir el agua, lavarse los dientes, no andar descalzo, tomar leche, lavar los utensilios de cocina, usar una planta a la que la comunidad adjudica propiedades benficas y dems); Cuente como ideas desde palabras clave hasta prrafos. 153
No cuente las ideas que no se refieran y circunscriban a uno de los 6 10 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes: 1) en el cuadernillo 1, jugar con mis amigos; 2) en el cuadernillo 2, hacer los deberes. Tampoco cuente en forma doble las ideas repetidas, como hacer cuentas de sumar y restar y hacer sumas y restas. Tenga en cuenta que usted puede inferir informacin ausente en la superficie del texto mientras est presente en su estructura profunda y que, en cambio, no puede inventar informacin inexistente. Por ejemplo, si en el borrador del cuadernillo 1 el alumno escribe: Matemtica Lenguaje Recolectar hojas de rboles puede inferirse o reponerse que se trata de estudiar Matemtica y estudiar Lenguaje o de hacer las tareas de Matemtica y hacer las tareas de Lenguaje. En efecto, es normal ante las preguntas Qu tens que estudiar o Qu tens que hacer?, responder simplemente: Matemtica. En cambio, si el alumno consigna: Tijera Tmperas Hacer una carta no puede inferirse, en el caso de las dos primeras ideas, ninguna tarea: habra que inventar y poner informacin (en vez de reponerla); por ejemplo, la idea de que al alumno le pidieron que recortara alguna cosa o pintara otra, con la certeza de que confunde la nocin de tareas con la de materiales para realizarlas. Vea el siguiente ejemplo, tomado de un borrador de cuadernillo 1; los corchetes, que encierran las ideas, y los nmeros, que las cuentan, son nuestros; los nmeros repetidos indican ideas repetidas; hemos considerado, porque la inferencia es simple y porque ante la duda siempre debe beneficiarse al estudiante, que Un borrador, cuatro palabras agudas, siete palabras llanas, Una carta, muchas palabras esdrjulas y diez palabras con h son tareas cuyo sentido se completa a partir de la mencin anterior del verbo hacer; adems, hemos considerado que hacer la tarea es una idea que repite a las anteriores y a las posteriores: [Hacer un plan]1 [Un borrador]2 [cuatro palabras agudas]3 [siete palabras llanas]4 [Una carta]5 [Muchas palabras esdrjulas]6 [Leer mucho]7 [Repasar matemtica]8 [Hacer la tarea] 1 a 8 y 9 [Diez palabras con h]9 En este caso, por tanto, corresponde consignar 9 (de 10).
154
Vea este otro ejemplo, tomado de un borrador de cuadernillo 2. Los corchetes y los nmeros cumplen la misma funcin que en el ejemplo anterior; el 0 expresa ideas no pertinentes o no pedidas: [A mi aula fueron un grupo de mdicos para ensearme a ciudar la salud.]0 Para no resfriarme [no mojarme los pies],1 [no lloviarme]2 y [no andar descalza]3. Para la diarrea [no tomar agua contaminada y]4 [hervirla cuando sea necesario]5. Para manter los dientes sanos, [no comer mucho dulce,]6 [labarme los dientes cuando almuerze, cuando desayune y cuando coma.]7 [Despus cuando llegue a mi casa contarle a mis padres lo que me dijo el mdico]0. En este caso, entonces, corresponde consignar 6. Como se ve, la idea 7 no se consigna, porque el lmite es 6. Adems, las ideas que se cuentan son las que se encuentran en el nivel del subsubtema: el tema recomendaciones, es subclasificado por el nio en los subtemas 1) recomendaciones para no resfriarme, 2) recomendaciones para no tener diarrea y 3) recomendaciones para mantener los dientes sanos; el primer subtema se sub-clasifica en tres subsubtemas: 1) no mojarse los pies, 2) no lloviarse y 3) no andar descalzo; el segundo subtema, se subclasifica en dos subsubtemas: 1) no tomar agua contaminada y 2) hervir el agua si parece necesario; finalmente, el tercer subtema, se despliega en un solo subsubtema: lavarse los dientes tres veces por da; esto es, la mencin de las veces del da en que los dientes deben lavarse no constituye un nuevo nivel de tematizacin, porque la accin sigue siendo una, a diferencia de lo que ocurre con no mojarse los pies y no caminar bajo la lluvia. Con este mismo criterio, no comer muchas cosas dulces como caramelos, chicles y chocolates constituye un solo subsubtema (una misma recomendacin para tener dientes sanos), mientras que recortar 10 palabras agudas, recortar 10 palabras esdrjulas y recortar 10 palabras llanas constituyen tres subsubtemas diferentes, porque designan tres acciones (tres tareas escolares) diferentes del subtema tareas escolares y del tema tareas.
II. Texto definitivo

4. El nio escribi el texto definitivo? (S/ No/ S, pero lo borr) Marque S en el caso en que el estudiante haya escrito en el espacio asignado a la versin definitiva, aunque haya borrado parcialmente lo que escribi, ignorando el hecho de que el texto sea correcto o incorrecto, adecuado a lo pedido o inadecuado. Marque S, pero lo borr en el caso en que el estudiante haya borrado o tachado por completo algo escrito en el espacio asignado a la escritura del texto definitivo. Marque No si el estudiante dej totalmente en blanco el espacio asignado a la escritura del texto definitivo. Si marca S, pase a la pregunta siguiente. Si indica S, pero lo borr o No, marque N.C. en todos los tems restantes de la planilla. 5. Si lo hizo, mejor la presentacin respecto del borrador? (S/ No / N.C.) Responda a esta pregunta slo si marc S en las preguntas 1 y 2. Si marc No, indique N.C.. Compare la superficie del borrador con la del texto. Marque S cuando observe que son ms los elementos mejorados que los que se mantuvieron con la misma presentacin. Considere como elementos para ser mejorados los siguientes: 1) la caligrafa; 2) la horizontalidad en la escritura de las palabras; 155
3) la linealidad en la disposicin de las palabras y las frases (si ya no se observan o se observan menos palabras o construcciones agregadas en medio de otras ya escritas, o flechas que indiquen dnde colocar una idea); 4) los dibujos que ilustran las ideas, siempre y cuando no interfieran con la disposicin del texto en forma de lista (cuadernillo 1) o lista o enumeracin (cuadernillo 2). Asimismo, son expresiones de mejora: 5) la supresin de tachaduras; 6) la eliminacin de dibujos innecesarios o la transformacin de dibujos en texto; 7) la introduccin de elementos grficos, como las vietas ( u otro), que suelen encabezar las listas, o ttulos jerarquizados; 8) la disposicin en forma de lista de elementos que en el borrador no lo estaban. En el siguiente caso, se observa un avance notable entre el borrador y el texto:
156
Marque No cuando observe o bien que entre el borrador y el texto definitivo no hay diferencias de presentacin, es decir, cuando aparezcan o bien las mismas u otras caractersticas propias de un texto para s o para otros, o bien cuando el texto definitivo resulte peor que el borrador. Las marcas persistentes y/o predominantes que debern observarse para marcar No son las siguientes: 1) una caligrafa no esforzada, 2) palabras escritas sin cuidar la lnea horizontal, 3) palabras o construcciones agregadas en medio de otras ya escritas, 4) palabras abreviadas, 5) flechas u otros signos dibujados para indicar reordenamientos de la informacin, 6) tachaduras. Tambin podr observarse la prdida de: 7) informacin, 8) formato. En el siguiente caso tomado del cuadernillo 1, por ejemplo, corresponde marcar No, ya que el estudianteabandon el formato de lista, la divisin en subtemas y dej de lado importante cantidad de informacin.
Borrador
157
Texto definitivo
En este otro caso, si bien en el borrador se observa un elemento propio de un texto para otros (el estudiante traza lneas para escribir de modo bien horizontal), predominan los rasgos propios del texto para s: tachaduras, agregado, etc. Como en el texto definitivo esos rasgos desaparecen, diremos que se observa una mejora entre el borrador y el texto:
158
6. El texto puede ser en general ledo? (S/ No/ N.C.) Cntrese en el texto definitivo. Marque No solo en el caso en que las palabras no puedan descifrarse al punto que resulte imposible contarlas o que no puedan leerse porque no se ha presionado lo suficiente el lpiz contra el papel. Asimismo, si la cantidad de palabras que no es posible descifrar es tal que no puede reponerse el sentido de la frase. Puede ocurrir que sea posible reconocer y contar espacios que corresponden a palabras, pero que stas no puedan leerse de todos modos. Tambin, que se lean grafemas que, sin embargo, no constituyen en conjunto una palabra descifrable. Tambin marque No en estos casos. Abstngase de reconstruir las palabras que no pueden leerse.
Vea el ejemplo:
Aunque, con esfuerzo, podra interpretarse que en la lnea 4 el nio quiso expresar no andar descalzo y en la 5, no mojarse, el hecho es que se lee no el dadecaso y no mo cor, y que eso resulta indescifrable si entendemos por cifrar transcribir en letras un mensaje. Marque S en el caso en que todas las palabras puedan ser ledas, aunque el escrito no tenga un sentido claro. Asimismo, si hay unas pocas palabras indescifrables que, sin embargo, permiten adjudicar un significado general a las frases o al texto. Si marca No, complete N.C. en todos los puntos restantes de la planilla. 7. Si puede ser ledo, excluye los problemas puntuales de desciframiento? (S/ No /N.C.) Marque S cuando la escritura resulta clara por la forma de las letras, por las distinciones entre el cuerpo de la letra y el enlace, porque se dejan espacios evidentes entre palabras y porque se diferencian maysculas de minsculas. Marque No cuando la forma de las letras resulte ambigua, cuando no se distingan con claridad el cuerpo de la letra y el enlace, cuando no se dejen espacios suficientes entre palabras, cuando no se diferencien maysculas de minsculas o se usen solamente maysculas o solamente minsculas. En el siguiente caso, se observan problemas de desciframiento; sin embargo, no impiden la lectura del texto como totalidad; por eso, lo habremos calificado, en el punto 6, como legible y en este, como con problemas de desciframiento:
159
Vea este otro ejemplo, en el que se indicar tambin No porque el estudiante no distingue maysculas de minsculas y no pone, en algunos casos, espacios suficientes entre las palabras (como este ltimo problema es sistemtico, no se considera que hay errores de lxico, es decir, no se dir que para el estudiante existen palabras como unperro, loengorde, leempese, etc. 160
En suma, la utilizacin de solo maysculas suele producir problemas sistemticos en el plano de la separacin de las palabras entre s, adems de no permitir expresar el uso ortogrfico; cuando se observe esta situacin, se dir que el texto no excluye los problemas de desciframiento y no se dir que el alumno no conoce los lmites de la mayora de las palabras que escribe y que por ello las junta todas, lo que constituira un gravsimo problema de lxico, ni que cree que todas las palabras son sustantivos propios y que por ello las pone con mayscula, lo que constituira un gravsimo error ortogrfico. Ante textos como el ltimo, lo nico que puede afirmarse con certeza es que la caligrafa acarrea al lector dificultades para descodificar palabras y frases.
8. El nio mantuvo los subtemas y la estructura planteados en el borra-dor? (S/ No /N.C.) En tercer ao, marque S en el caso en que el estudiante haya retomado el 60% o ms de los subtemas o subsubtemas y la estructura plasmados en el borrador, independientemente del hecho de que se adecuen en el borrador y en el texto a lo propuesto por la instruccin. Por ejemplo, deber indicarse S en el cuadernillo 1 si en el borrador el estudiante relat ciertas acciones en vez de enumerar elementos y en el texto definitivo vuelve a relatarlas todas, y, en el cuadernillo 2, si en el borrador enumer las 6 recomendaciones exigidas y en el texto enumera, de esas 6, 4. Asimismo, si en el borrador enumera 3 expresio-es clave y en el texto definitivo las retoma para construir una ancdota. Es decir, lo que ha de considerarse en tercer ao para determinar si el nio utiliza el borrador para construir su texto es el sostenimiento temtico y estructural con total independencia de que la estructura sea la pedida en la consigna lista clasificada en dos sublistas, en el cuadernillo 1, y recomendaciones, en el cuadernillo 2 y con total independencia de que el tema sea el pedido en la consigna: tareas de la escuela y de la casa, en el cuadernillo 1 y recomendaciones para cuidar la salud, en el 2. Adems, como se ha pedido desarrollar borradores y textos elementales en cuanto a su estructura, las expresiones clave del borrador pueden constituir la protoestructura de textos definitivos igualmente simples o ms elaborados. Por esta razn, cuando en el borrador se observe una lista de palabras claves y en el texto, una ancdota, un cuento u otra clase de texto que las retome, se indicar tambin S. En otras palabras, si la simpleza estructural del borrador no permite afirmar con certeza, al analizar el texto definitivo, que la estructura original ha sido abandonada, se indicar S porque esas ideas elementales han sido retomadas. (En sexto, en cambio, como veremos, la estructura descriptiva de tres niveles de tematizacin y el 75% o ms de los subtemas debern ser claramente coincidentes entre el borrador y el texto para que se indique S). En el siguiente caso, por ejemplo, el alumno plantea una ancdota en el borrador a partir de interpretar errneamente el tema dado en la instruccin, y la sostiene en el texto definitivo, por lo que corresponde marcar S. 161
Del mismo modo, debe procederse en el ejemplo que citamos a continuacin, pues en el texto definitivo aparecen desplegados todos los subtemas clave, planteados del modo ms elemental, en el borrador: Borrador: Recomendaciones Para no resfriarse Para no tener diarrea Para tener dientes sanos Texto definitivo: Recomendaciones Habia una bes un nio que se resfrio y tubo que hir al medico. El medico le dijo que no puede estar descarso y el nio tubo diarea y se volvi a enfermar. El nio tenia dientes sanos y se curo de la enfermeda Marque No si el estudiante no hizo el trnsito del borrador al texto definitivo y no conserv ni la estructura ni la protoestructura, ni el tema, es decir, si en el borrador nombr ciertos subtemas o subsubtemas y en el texto, otros; si en el borrador elabor una enumeracin y en el texto definitivo, un cuento que no incluye el 60% o ms de las cosas enumeradas, si en el borrador relat una ancdota y en el texto definitivo una lista de acciones no relatadas en la ancdota, si en el borrador anunci los campos en que deben darse las recomendaciones para cuidar la salud y en el texto relata un cuento sobre en-fermedades que no hace referencia al 60% o ms de esos campos, etc. En el siguiente caso, tomado del cuadernillo 2, corresponde marcar No, ya que en el borrador y en el texto definitivo se plantearon dos textos sin relacin entre s: 162
Borrador: Tom leche y la sopa Comer naranja Qul agua este limpa Texto definitivo: Mi amigo Mi amigo pedro es mui bueno juega siempre con migo Si en la pregunta 1 indic que el nio no hizo o borr el borrador, no marque N.C., sino No. N.C. se reserva para el caso en que el texto no haya sido escrito (pregunta 4 de la planilla) o resulte ilegible (pregunta 6 de la planilla). 9. Independientemente de lo que haya hecho en el borrador, se refiri en general a lo propuesto? (S/ No / N.C.) Marque S cuando el estudiante haya escrito un texto que se corresponda con la situacin comunicativa, el tema y la macroestructura propuestos por la instruccin, es decir, si: 1) en el cuadernillo 1, enumera al menos una tarea que pueda realizar en el hogar o para colaborar con los quehaceres familiares y otra para la escuela, y si no son ms las ideas no pertinentes que esas pertinentes; 2) en el cuadernillo 2, desarrolla al menos dos recomendaciones para evitar una enfermedad o dos recomendaciones para sendas enfermedades, y si no son ms las ideas no pertinentes que esas pertinentes; Si observa errores puntuales, es decir, si observa ideas no pertinentes cuando la mayora son pertinentes, marque tambin S, como en este caso (se subraya el error puntual, que consisti en insertar, en la lista de tareas y actividades del cuadernillo 1, un objeto): Forar cuaderno tigera Cuentas Vicicleta Pegar palabras Lavar ropa Ntese que hemos considerado que cuentas y bicicleta son tareas y que no lo es tijera, a pesar de que en los tres casos nos encontramos frente a un sustantivo comn. La razn es la siguiente: la lista es un gnero informal y, por tanto, admite supresiones. Puede afirmarse que el estudiante ha suprimido el verbo hacer en hacer cuentas y hacer bicicleta (al menos en el dialecto del Uruguay, de la Argentina y de Colombia). No puede decirse lo mismo respecto de tigera: ni hacer la tijera ni usar la tigera parecen reposiciones con sentido. Entonces, inferimos que se ha usado errneamente tigera en vez de recortar, que s es una tarea posible.
163
Lo mismo se aplica, en el siguiente ejemplo, a Matemtica y Lengua Espanola: puede suponerse o inferirse sin necesidad de inventar informacin la supresin de hacer lo de Matemtica/ Lengua Espaola, estudiar/ practicar Matemtica/ Lengua Espaola, etc. Qu bien me siento cumpliendo las tareas! Matemtica Lengua Espanola barrer limpiar fregar tender buscar el pan el llogur buscar el petroleo y buscar el agua Deje de lado el hecho de que el texto aparezca o no titulado, pues se lo evala luego. Deje de lado tambin el hecho de que el texto aparezca presentado grficamente conforme a la clase textual lista, ya que el formato se evala ms adelante. En el primer ejemplo de este punto, consideramos que el texto responde en general a la instruccin aunque los elementos no hayan sido dispuestos uno debajo del otro y aunque la actividad no escolar aparezca inserta entre las escolares y no ubicada separadamente. Marque No si los aspectos del tema, la situacin comunicativa y la clase textual pedidos no se observan en general; por ejemplo, si el estudiante 1) en el cuadernillo 1, enumer predominantemente o solo cosas y no acciones, o acciones que no son tareas escolares u hogareas; 2) en el cuadernillo 2, nombr predominantemente o solo medicamentos o enfermedades y no recomendaciones para evitarlas; Asimismo, en todos los casos, si interpret errneamente el tipo de texto y, en vez de enumerar, por ejemplo, predominantemente relat o solo redact oraciones sin sentido, con palabras tomadas o no de la instruccin. En el siguiente caso, por ejemplo, tomado del cuadernillo 1, corresponde marcar No, ya que el estudiante no redact una lista de cosas: La maestra no pide muha cosas mi mama pide mucha cosas. 164
Lo mismo ocurre en el siguiente caso, tomado del cuadernillo 2, en el que no se observa una enumeracin de recomendaciones: Qeno hace frio qno se laba. Analicemos este problemtico caso, tomado del cuadernillo 1: El Lunes la maestra mando a Estudiar El martes mi mama me mando a Estudiar El dia mircoles la maestra iso el trabajo El dia Jueves me mando mi mama a Estudiar. El Viernes yo me fui a Estudiar. El sabado se fue mi mam a la Reunin de nosotro Yo me porte bien en la Escuela En la escuela yo ise un trabajo. Veamos, en primer lugar, la cantidad de referencias a lo que se pidi en la escuela y en la casa en relacin con las referencias no pertinentes: si consideramos que en diferentes das se realizan diferentes tareas y tomamos los enunciados en los que claramente se hace alusin al encargo de una tarea, las pertinentes son 3 y las no pertinentes, 5 (El da mircoles la maestra hizo el trabajo, El viernes yo me fui a estudiar, El sbado se fue mi mam a la reunin de nosotro, Yo me port bien en la escuela, En la escuela yo ise un trabajo). En segundo lugar, veamos si el texto tiene la forma de una enumeracin: en realidad, es una enumeracin contaminada con la ancdota (la mencin de diferentes das produce un efecto de representacin del transcurso del tiempo, y hay un sujeto coincidente con el alumno que aparece como ejecutor o receptor de las acciones) y con repeticiones que analizaremos en el punto coherencia, pero enumeracin al fin. Finalmente, consideremos la situacin comunicativa: en este plano, el texto no presenta la finalidad de una lista, recordar lo que hay que hacer, sino que presenta hechos ya ocurridos. Por lo tanto, de los tres aspectos considerados, dos nos indican que debemos marcar No y uno, que debemos marcar S, por lo que consignaremos No. Si marca No, pase a la pregunta 10. Si marca S, pase a la pregunta 11, despus de marcar N.C. en la 10. 10. Si no escribi un texto acorde con la instruccin, qu clase de texto escribi? Una copia completa o parcial, textual o parafraseada, de la instruccin / Un cuento / Una ancdota / Otra descripcin / Otro / Un no-texto / N.C. Responda a esta pregunta slo si marc No en la 9. Marque Una copia completa o parcial, textual o parafraseada, de la instruccin si el nio produce un texto que copia parte de la consigna o que responde a los planteos para el mejoramiento del borrador dados en el paso 2. Vea el siguiente, en relacin con el cuadernillo 2: Escribi las palabras en forma completa. Le podra poner un titulo.
165
Asimismo, en este caso, tomado del cuadernillo 1:
Marque Un cuento si el nio redact una narracin ficcional sobre un tema que no aparece en la consigna, aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas, tal como se plantea en el Glosario. Por ejemplo, en este caso, tomado del cuadernillo 1 (consideramos que se trata de una narracin y no de un no-texto porque es posible reconocer, al menos, dos enunciados): Habia un rey muy malo no queria que su hija se case, pero al final se casaron, / la rescat un prinsipe. Asimismo, en este otro caso, tambin del cuadernillo 1: El barco se unde Habia una ves que existia un barco que se llamaba el tibur el tiburo era un barco muy fuerte y grande su dueo era el capitan barba negra era un pero que luchaba por su patria en una gerraiba el tiburn y le tiraro una bomba y murio el tiburn su dueo barba negra Tambin, si el nio toma algn aspecto de la consigna para elaborar un relato ficcional, aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas. Por ejemplo: Un chico se enfermo mucho. Qucieron salbarle la vida, pero no pudieron curarlo y murio En cambio, si solo se observa un enunciado que podra desplegarse narrativamente pero se encuentra plasmado en una sola proposicin, se indicar Un no-texto. Por ejemplo, en este caso: Los nios hicieron muchas tareas. Marque Una ancdota si el nio redacta un relato personal realista que, si est enteramente desarrollado, en vez del nudo propio de un cuento, incluye una ligera complicacin, como se indica en el Glosario. Por ejemplo, en el cuadernillo 1, se observan estas ancdotas o protoancdotas, que no toman ningn elemento de la consigna y no presentan un hecho ligeramente conflictivo: 166
Mis mejores amigas son YESICA y ROSARIO. a la tarde vamos aser deberes y gugamos con muniecas. Hoy estu vemolestando hoy estuve jugando hoy estu ve corriendo hoy estu ve ayudando En el primer caso, el texto parece constituir el comienzo o la situacin inicial de una ancdota trunca: la presentacin de los personajes y de las acciones habituales que realizan. En el segundo caso, decimos que hay una ancdota, aunque la complicacin est ausente, porque hay presencia de hechos narrados, porque esos hechos estn en pasado y son posibles en la realidad, porque estn atribuidos a una primera persona y porque esa primera persona es la misma, es decir, porque hay unidad de personaje. Tambin, se marcar Una ancdota si el estudiante redacta un relato personal tomando un elemento mencionado en la instruccin. Por ejemplo, en el cuadernillo 1: Mi maestra no quiere que borre el cuaderno. Un dia cuando borre mucho el cuaderno arranco la oja y dijo hay que escribir denuebo todo. Marque Otra descripcin si el nio se refiere, a travs de ms de un enunciado, a cmo es un objeto, un ser o un fenmeno no mencionados ni central ni lateralmente en la instruccin. Por ejemplo, en este caso: Charli es el unico ninio pobre y bueno. Los dems son egostas. Asimismo, si el nio se refiere, por ejemplo, a cmo es un borrador o goma de borrar, a cmo es un til escolar, cmo es la gripe, en qu consiste la diarrea, etc. Un borrador sirbe para borrar cuando nos equibocamos es de goma y se pone susio y ensusia la oja. Tambin en este otro caso: La regla Es un instrumento que sirve para hacer cosas rectas es larga y delgada y nos ayuda a dibujar cosas rectas es un utile que se usa para hacer triangulos, cuadrados, rectngulos etc. Y en este otro: La diarea es cuando tienes dolor de bariga. La gripe es cuando tienes fiebre. Y, finalmente, en este, extrado de un cuadernillo 1, en el que se listan cosas y no tareas, ya que la lista es un texto descriptivo: Las cosas de la escuela y de la casa casa cocina maletin mesa carpeta pizarra silla ventana estante cuaderno 167
Marque Otro si el estudiante escribi un texto que no puede clasificarse de acuerdo con ninguna de las categoras anteriores, como en el siguiente caso, tomado del cuadernillo 2, en el que se pasa de un relato tradicional en pasado, trunco, a una descripcin subjetiva en presente y, finalmente, a un relato anecdtico nuevamente en pasado: El gato Havia una vez un gato muy bonito y bien cuidado le gustaba tomar leche y comer croquetas el gato era muy latoso y enfadoso se subia a las piernas de las personas y se dejaba acariciar. Es un gato muy inteligente le usta comer de todo y tomar de lo que sea le gusta baarse, ir al parque salir a odas partes es bonito Duerme dia, tarde y noche es muy dormilon come a las 2:00 desayuna a las 8:30 y cena a las 10:30 es bien comeln le gustan los nios Un dia el se subio a un arbo y le llame a los bomberos y los rescataron Fin Marque Otro tambin si el estudiante escribi un texto que, inscripto en un gnero discursivo definido, no puede, sin embargo, atribuirse a ninguna de las categoras desagregadas: copia de la instruccin, ancdota, cuento u otra descripcin. Por ejemplo, una noticia o un afiche para prevenir determinada enfermedad. Marque Un no-texto si el estudiante no escribi un texto, sino una oracin sin o con sentido, o una serie de oraciones sin enlaces, del tipo: mi mam es buena, mi pap trabaja, mi tio es alegre. Asimismo, como se indica en el Glosario, si observa series de oraciones como mi mam me pidi ayuda, mi ta me pidio ayuda, mi pap me pidi ayuda. En este ltimo caso, si bien se mantiene el tema pedir ayuda, todo indica que el estudiante escribe como si hubiera recibido la consigna escrib oraciones con pedir ayuda, y no con el criterio de desplegar un tema con una finalidad comunicativa determinada. Recuerde que, cuando se observe un solo enunciado narrativo, descriptivo, instruccional, etc. se marcar Un no-texto, incluso si hay un ttulo, como en el caso siguiente: 168 Los libros perdidos Un da mi hermana se le haba quedado unos libros debajo de su carpeta y no los encontr Marque N.C. si marc S en la pregunta 9. Si marc Un no-texto, pase a la pregunta 14, despus de marcar NC en las preguntas 11 a 13.
II.1. Adecuado o no a la consigna

11. Escribi un ttulo que exprese globalmente el tema del texto que redact? (S/ No / N.C.) Responda a esta pregunta si marc S en la 4 y en la 6, y si no marc Un no-texto en la 10. Si marc Un no-texto en la pregunta 10, pase a la 14, despus de marcar N.C. en sta, en la 12 y en la 13. Marque S en el caso en que el ttulo designe el tema o contenido del texto (Tareas, Para cuidar la salud, etctera, en el caso de textos adecuados a la consigna) y/o indique el gnero (Lista, Lista de tareas Recomendaciones, Recomendaciones para cuidar la salud, Cuadro de cosas para hacer, etctera, tambin en el caso de textos adecuados). En textos adecuados a la consigna, marque No cuando el estudiante no haya incluido un ttulo o cuando ste no presente ninguna de las caractersticas anteriormente mencionadas. En este caso, el ttulo no designa el tema global: Qu bien me siento cumpliendo las tareas! Matemtica Lengua Espanola barrer limpiar fregar tender buscar el pan el llogur buscar el petroleo y buscar el agua Lo mismo ocurre en este ttulo pardico, que encabeza una serie adecuada de recomendaciones para la salud: Sanoman. Por otra parte, el ttulo puede presentar problemas gramaticales y, sin embargo, expresar el tema; es el caso de Lista tarea, para un texto del cuadernillo 1, en el que se indicar S. Para determinar la adecuacin del ttulo en textos no adecuados a la consigna, es conveniente recurrir a lo sealado en la pregunta 10 respecto del gnero. Es decir, si usted ha marcado en esa pregunta Una ancdota, podr dar por buenos ttulos del tipo Lo que me pas, El da que..., Mi doctor, etc., que remiten al gnero. Tenga en cuenta que, si el alumno redact un cuento, puede darse el caso en que el ttulo agregue nuevos significados al texto y exija al lector realizar una inferencia de alto nivel. Veamos el siguiente caso: Los pajaritos Una vez abia un pajarito que tenia muchos sueo I le en con tro una ave que ria comelo al pajarito I el pajarito como es muy Ave vuela a la rama de man nana el pajaro como es un sonso parese una culebra. I lo dise a lo amigo tuve que en con trarte en el campo.
169
En el punto 10 habremos indicado que el texto es un cuento, porque, a pesar de los serios baches que presenta en el plano de la coherencia, muestra una secuencia y elementos propios del gnero. En cuanto a la adecuacin del ttulo, considerando entonces que se trata de un cuento, evaluamos si se hace referencia, como se anticipa, a los personajes; el protagonista del relato es un pajarito; en el cuento se mencionan, adems, un ave, en tanto personaje antagonista, y los amigos. La situacin es ambigua, ya que el ave no parece ser del todo un pjaro y ya que los amigos no juegan un papel que justifique su mencin en el ttulo; sin embargo, quedan dudas y, en ltima instancia, el ttulo puede aludir a los pajaritos en general, como si el relato fuera el caso que presenta un atributo de la especie. Por tanto, consignaremos S. Revisemos este caso de Otra descripcin, tomado del cuadernillo 1. El ttulo es perfectamente adecuado: Las cosas de la escuela y de la casa casa cocina maletin mesa carpeta pizarra silla ventana estante cuaderno Es importante recordar que, cuando en la pregunta 10 se marc Un no- texto, en esta debe consignarse N.C.. En efecto, el no-texto se caracteriza por no presentar, entre otros rasgos, ni un tema ni un gnero ni una situacin comunicativa, por lo que no es posible asignar un ttulo. Vase el siguiente ejemplo, en el que corresponde indicar N.C.: aunque el alumno redact un enunciado en posicin de ttulo y aunque podra decirse que las oraciones presentan entre s la ligazn de estar todas referidas a partes y cosas de la casa, no puede ser inscripto en un gnero ni puede determinarse en qu contexto sera comunicativo; adems, las oraciones presentan la tpica estructura surgida de la consigna escolar haz oraciones con cosas de tu casa: Mi televisin es muy bonita. Mi radi es color rojo. Mi cama es comodo. Mi sillas estn nueva. Mi mesa es blanca. Mi mueble est linda. Mi cocina est limpia. Este lavadero no sirve. Mi escoba barre muy bien. Mi recogerdor est bonita. Mi cuaderno est linda.
170
12. Distribuy adecuadamente toda la informacin? (S/ No / N.C.) Responda a esta pregunta si marc S en la 4 y en la 6, y si no marc Un no-texto en la 10. Si marc Un no-texto en la pregunta 10, pase a la 14, despus de marcar N.C. en sta y en la 13. En el caso de los textos adecuados a la consigna, marque S cuando el estudiante: 1) en el cuadernillo 1, se haya referido a tareas escolares, por un lado, y tareas hogareas, por el otro; el orden tareas escolares/ tareas hogareas es igualmente correcto que el orden tareas hogareas/ tareas escolares; 2) en el cuadernillo 2, se haya referido a ms de una recomendacin para evitar una misma enfermedad en el mismo bloque de informacin; por ejemplo, cuando a para no resfriarse siguen al menos dos recomendaciones para no resfriarse y en el medio no aparece ninguna otra para evitar otra enfermedad; si el estudiante da una sola recomendacin para cada enfermedad, responda tambin S. En los textos descriptivos, adecuados o no a la consigna, marque No si el estudiante, insert una idea englobadora en medio de ideas especficas, y no como su anuncio (en posicin inicial) o su cierre (en posicin final). En el siguiente ejemplo, ponemos en negrita la idea mal ubicada: Las ordenacione que me dio mi medico Que me labe los diente despus de comer Que me cuide la garganta Me dijo que seque el pelo despues de vaniarme Que me dijo que me cuide para no enfermarme Me dijo que no coma muchas cosas de chocolate Y me dijo que me cuide cuando me lastime En los textos descriptivos no adecuados a la consigna (categorizados en el punto 10 como Otra descripcin), marque S cuando el estudiante haya desarrollado el tema en un solo subtema (por ejemplo, si se refiri solamente a tareas escolares o solamente a tareas de la casa) o en dos o ms subtemas pero sin entremezclarlos. Marque No si el estudiante entremezcla el despliegue de los subtemas o el de los subsubtemas. En el siguiente caso, que debe clasificarse como Otra descripcin porque no se refiere a las tareas y, sin embargo, constituye una lista con sentido, hay dos subtemas: cosas de la escuela y cosas de la casa, cuyos subsubtemas aparecen entremezclados; adems, uno de los subtemas englobadores (en negrita) aparece en el mismo nivel que los subsubtemas englobados; por lo tanto, corresponde marcar No. Las cosas de la escuela y de la casa casa cocina maletin mesa carpeta pizarra silla ventana estante cuaderno 171
En los textos narrativos (ancdotas y cuentos), marque No si el texto presenta al menos un problema en el nivel de la secuencia. En el siguiente ejemplo, citado ya ms arriba, los problemas de secuencia son varios: el sueo no funciona como causa de ningn hecho; el hecho de ser sonso no funciona como causa suficiente de parecer una culebra; lo que sucede entre la mimetizacin del pajarito y el encuentro con sus amigos est injustificadamente omitido; la aparicin del pajarito en el campo no tiene antecedente (dnde estaba antes?). Por tanto, sin completar nosotros las secuencias que el estudiante no ha completado, consignaremos No: Los pajaritos Una vez abia un pajarito que tenia muchos sueo I le en con tro una ave que ria comelo al pajarito I el pajarito como es muy Ave vuela a la rama de man nana el pajaro como es un sonso parese una culebra. I lo dise a lo amigo tuve que en con trarte en el campo. En este otro ejemplo, una ancdota, se observa la falta de, al menos, dos hechos (qu hizo el grupo de mdicos inicialmente y cundo constat que todos los amigos del narrador estaban enfermos) por lo que, siempre evitando construir algo que el estudiante no ha construido, se marcar No: Llendo a mi colegio los doctores Me imagine que un grupo de medicos y como todos mis amigos estaban enfermos pero una nia Neba estaba vien enferma pero los medicos vinieron y nos curarn. Tenga en cuenta que todos los textos hbridos, por definicin, presentan problemas de integracin de las secuencias entre s: la secuencia descriptiva, por ejemplo, es paralela a la narrativa y no est incluida dentro de ella, como sucedera si se tratara de un cuento. Como precisamente por este rasgo ya se los clasific como hbridos, ahora no debe reclasificrselos en el mismo sentido, sino que deben analizarse los problemas de distribucin de la informacin dentro de cada secuencia. Esto es, por ejemplo, si dentro de la secuencia descriptiva misma hay subsubtemas entremezclados, si dentro de la secuencia narrativa misma hay hechos injustificadamente desordenados, etc. Recuerde que la pregunta 12 no se aplica en el caso de los no-textos, ya que en ellos no es posible observar una distribucin de la informacin. Ignore en este punto las reiteraciones de informacin que no se corresponden con ubicar mal las ideas englobadoras de anticipacin o cierre de la informacin, ya que se evalan en el siguiente. 13. Evit las reiteraciones de informacin? (S/ No / N.C.) Responda a esta pregunta si marc S en la 4 y en la 6, y si no marc Un no-texto en la 10. Si marc Un no-texto en la pregunta 10, pase a la 14, despus de marcar N.C. en sta. En el caso de los textos adecuados a la consigna, marque S cuando el estudiante, 1) en el cuadernillo 1, se haya referido siempre a diferentes tareas escolares y/u hogareas, e incluso a algn otro tipo de tarea que no entre en estas categoras, porque esto ya fue evaluado; 2) en el cuadernillo 2, haya planteado siempre recomendaciones diferentes para evitar una misma enfermedad, incluso aunque desde el punto de vista de la salud haya un mismo trasfondo; por ejemplo, cuando a para no resfriarse siguen comer naranja y tomar jugo de limn; tambin marque S cuando las mismas recomendaciones aparecen hasta para una enfermedad ms; por ejemplo, si al caso anterior sigue comer naran-
172
ja y tomar jugo de limn para no tener gripe; asimismo, marque S cuando lo recomendado no sea correcto, pero s razonable, desde el punto de vista del nio o de su cultura, ya que no evaluamos aqu saberes de las ciencias naturales; por ejemplo, si aparece lavarse con querosene para no tener piojos; igualmente, si no queda clara la diferencia entre lo preventivo y lo curativo, como en para el dolor de estomago tomar al-calselser. Tambin en el caso de los textos adecuados a la consigna, marque No si el estudiante, 1) en el cuadernillo 1, repiti tareas escolares y/u hogareas, incluso usando sinnimos que no dejan lugar a dudas (hacer lo del colegio, hacer lo que me pidi la maestra); 2) en el cuadernillo 2, repiti la misma recomendacin para la misma enfermedad o para ms de dos enfermedades. En el caso de los textos no adecuados y categorizados como Otra descripcin, marque No cuando observe que en el texto hay un punto en que la informacin no avanza porque se predican los mismos atributos de un objeto, ser o fenmeno, o de algunos de los aspectos en los que se lo ha subtematizado. Por ejemplo, en este caso (la repeticin aparece en negrita): La regla Es un instrumento que sirve para hacer cosas rectas es larga y delgada y nos ayuda a dibujar cosas rectas es un utile que se usa para hacer triangulos, cuadrados, rectngulos etc. En el siguiente caso, marcaremos No porque, a pesar de aparecer en posicin inicial, hacer 5 cuentas no engloba las otras cosas para hacer y se reitera en hacer 5 sumas bajo la forma de la hiponimia: Las recomendaciones hacer 5 cuentas hacer 6 caratulas hacer 5 sumas hacer 2 canciones hacer 20 oraciones En el caso de los textos no adecuados y narrativos, marque No cuando observe que hay uno o ms puntos en los que la informacin no avanza porque se relata el mismo hecho sin adoptar un nuevo punto de vista, o porque se predican los mismos atributos de un hecho o de un personaje. Por ejemplo, en este caso, la primera visita al mdico no es igual que la segunda, y tampoco lo es el primer acceso de tos que el segundo. Por lo tanto, no hay repeticin de informacin y consignaremos S: Yo un dia tenia catarro y mi mama me llevo al medico. El medico me mando a tomar imeparma para la tos. Se me mejoro y fui al medico y me mando a tomar jarabe de fresa. Despue me volvio a dar tos pero fue un poco de polbo que habia olido. Tenga en cuenta en todos los casos que reiterar palabras no es lo mismo que reiterar informacin: completar el cuaderno lenguaje y completar el cuaderno de matemtica no constituyen una reiteracin de informacin. De la misma manera, en la ancdota de arriba, la repeticin de el mdico es una expresin de coherencia narrativa (y no de incoherencia dada por la falta de avance en la informacin): se sostiene el sujeto. 173
14. Cuntas palabras escribi? N.C. Responda a esta pregunta si marc S en la 4 y en la 6. Si Marc No, consigne en esta N.C.. Cuente las palabras que escribi el estudiante en el texto definitivo y consigne el nmero en el casillero. Considere las distintas ocurrencias de un lexema como palabras diferentes (hacer, hago, hace, entonces, sern tres palabras). Ignore las clasificaciones que consideran que los artculos, las preposiciones y otras palabras existentes en el diccionario no son palabras. Cuente los nmeros y las abreviaturas (en 30 cm hay dos palabras). Cuente las palabras ignorando y/o supliendo los errores de lxico; es decir, si el estudiante escribe nisiquiera y con migo, cuente 2 y 1 respectivamente. En textos ms extensos de lo normal, es recomendable, para no perder la cuenta, colocar el nmero de palabras contadas en cada oracin o cada dos oraciones en un papel aparte, y luego sumar esos nmeros hasta llegar al total. No olvide sumar las palabras que conforman el ttulo o la firma. En el siguiente ejemplo, hemos contado 35 palabras:
174 15. Cuntos errores de lxico tuvo? N.C. Responda a esta pregunta si marc S en la 4 y en la 6. Si Marc No, consigne en esta N.C.. Cuente como errores de lxico todos los casos aun los repetidos que queden comprendidos en alguna de las siguientes categoras: 1) empleo de un lexema por otro dada cierta afinidad entre sus formas: tener ms lbulos rojos, darse un bao de inversin (en cada uno de estos casos, hay un error); 2) reemplazo de un lexema por otro que es su sinnimo en otro contexto o que, sin existir en el sistema de la lengua, est emparentado semnticamente con l: tener engripe, por asociacin con estar engripado; compasador por comps, por afinidad con transportador; conservar limpio el ninodoro, por sinonimia con mantener, en otros contextos; erbir la leche y y tomarla antes de su consumicin (por vencimiento); 3) desconocimiento llano de la forma de un lexema: un tile, hirba el agua, tener dolor de estgamo, conservar limpio el ninodoro (en este ltimo caso hay dos errores: se usa conservar en vez de mantener, sinnimos en otro contexto, y se desconoce la forma correcta inodoro), despu, depu, ust, enfermeda; 4) no identificacin de los lmites de las palabras: tirar el agua a dentro, forar elcuaderno; re cortar figuras; avrigarse por que el frio, me mandaron hatrapiar el piso (en hatrapiar hay dos errores: la unin de la preposicin al verbo y el uso de i por e; se considera que el uso de h es un error de tipo ortogrfico);
5) escritura silbica y no alfabtica: Lpiz d color, cuadrno. Tenga en cuenta que los errores de lxico se diferencian de los de ortografa, que no se evalan en este nivel, y tambin de los de desciframiento, que se evaluaron aparte, ms arriba. Es decir, no considere el uso de maysculas, el uso incorrecto de nexos coordinantes o artculos antes de vocal similar, la incorrecta separacin en slabas, los grupos mp, mb, -aba, -sin, -cin, las tildes y, en general, cualquier empleo errneo de la escritura de palabras que no corresponda al lxico. Ni considere tampoco los errores sistemticos en el uso de algunas maysculas (por ejemplo, porque el nio siempre escribe con mayscula la hache), porque corresponde categorizarlos como errores de desciframiento. Asimismo, deje de lado la repeticin de palabras, que constituye una cuestin estilstica que no se evala. No considere los casos en los que se produzca alguna distraccin. La distraccin es tal cuando una contrastacin con otros trminos del texto mismo lo muestra: ella aparece ocasionalmente mientras que predomina, en el resto, la escritura correcta desde el punto de vista lxico. Es lo que ocurre en el siguiente ejemplo con icimo (distraccin)/ icimos: Escrbe plabras/ Hay que baarles/ icimos cuetas/icimos oraciones/icimos numeros/icimo Diviciones/ buscamos Palabras/ Adibinano Palabra/buscamos Palabras en el diccionario Si se observan una escritura incorrecta (en fermo) y otra correcta (enfermo) desde el punto de vista lxico, no cuente ningn error: como siempre, ante situaciones de paridad, se cuenta en beneficio del texto. Si se observa una sola escritura incorrecta (nisiquiera), cuente esa escritura como error. Consigne el nmero de errores en el casillero. Para el siguiente caso, tomado de un cuadernillo 1, corresponde marcar diez errores (se considera que el uso de h y rr es ortogrfico y no lxico): Mi pro fesora mepone haestudir y aler y escribir a prederme las tablas Mi mama mepone hatrapiar la casa y la bare Los errores son: 1) separacin de profesora, 2) unin de me pone, 3) unin de a estudiar, 4) estudir por estudiar, 5) unin de a leer, 6) ler por leer, 7) prederme por aprenderme, 8) unin de me pone, 9) unin de a trapear y 10) trapiar por trapear. 16. Cuntos errores de concordancia? N.C. Responda a esta pregunta si marc S en la 4 y en la 6. Si Marc No, consigne en esta N.C.. Cuente los casos de: 1) no-concordancia sujeto-verbo (La diarrea se evitan con el agua hirbiendo); 2) no-concordancia sustantivo-adjetivo (lapice ngros, regla cortito); 3) no-concordancia nombre-pronombre (le dijo a todos, ponerla a las verduras en labandina); 4) empleo incorrecto de nexos coordinantes en el interior de la oracin (cuaderno tapa dura y rojo, pero rayado). 5) repeticiones de sujetos u objetos en el interior de la oracin (Al cuaderno yo le tengo que hacer la cartula al cuaderno). 175
No cuente los siguientes casos de error de construccin gramatical, que son muy altos para el nivel o que pueden aparecer con ms frecuencia en uno de los cuadernillos que en otros: -ausencia de correlacin verbal en el marco de la oracin (Para no resfrairme nos abrigaramos); -incorrecta insercin de suboraciones (lapiz con los que subrayar); -errores de rgimen (libro forrado en plstico); -alteraciones del orden normal de la frase (de comunicados un cuaderno); -empleo inadecuado de gerundios (me cur enfermndome de gripe). No cuente tampoco los casos de error de construccin gramatical que excedan el marco de la oracin (y que aqu hemos llamado de cohesin interoracional); por ejemplo: Ponerse abrigo. No andamos descalzos en inbierno. En textos no adecuados a la consigna, probablemente deba recurrir al concepto de oracin para determinar si el problema de concordancia se encuentra dentro de su marco o si la excede y concierne a dos oraciones. Para esto, considere las oraciones tal como corresponderan a una puntuacin correcta y no guindose por los signos de puntuacin y/o las maysculas que haya colocado el alumno. Hgalo apoyndose en la figura tonal o extensin comprendida en el habla entre el silencio inicial y la entonacin terminal de la frase (descendente en las afirmaciones). Vea el siguiente ejemplo: el uso no concordante de los en la ltima oracin no se cuenta porque el antecedente gato se encuentra en una oracin anterior; el nico error aparece subrayado: El gato Havia una vez un gato muy bonito y bien cuidado le gustaba tomar leche y comer croquetas el gato era muy latoso y enfadoso se subia a las piernas de las personas y se dejaba acariciar. Es un gato muy inteligente le usta comer de todo y tomar de lo que sea le gusta baarse, ir al parque salir a odas partes es bonito Duerme dia, tarde y noche es muy dormilon come a las 2:00 desayuna a las 8:30 y cena a las 10:30 es bien comeln le gustan los nios Un dia el se subio a un arbo y le llame a los bomberos y los rescataron Fin
176
II.2. Solo adecuado a la consigna

17 a. En el cuadernillo 1, de las 10 ideas pedidas, cuntas plante? Casillero- N.C. b. En el cuadernillo 2, de las 6 ideas pedidas, cuntas plante? Casillero- N.C. Responda a esta pregunta slo si ha marcado S en la 9, es decir, si el texto es adecuado a la consigna. Si marc No, indique en esta N.C.. En primer lugar, ubique el punto al que debe responder, a. o b. segn el cuadernillo que est evaluando. Numere las ideas del estudiante, una por una, en el margen de la prueba, empleando un lpiz o en una hoja aparte. Consigne en el espacio en blanco de la planilla la cantidad de ideas que plante el estudiante en el texto definitivo respecto de las pedidas en la instruccin. Las ideas pedidas son: 1) en el cuadernillo 1, 10 menciones de tareas escolares y hogareas, adoptando el punto de vista del nio (baarse puede ser una tarea) y con independencia de que las menciones sean cohesivas (hacer deberes y tengo que lavar platos, en este orden o en el inverso, constituyen dos menciones); 2) en el cuadernillo 2, 6 menciones de formas de cuidar la salud, incluso cuando ya se est enfermo, independientemente de que tengan la estructura correcta de la recomendacin;
No cuente el ttulo como idea. No cuente como ideas nuevas las que engloban aspectos particulares ya mencionados o que van a mencionarse: Las ordenacione que me dio mi medico [Que me labe los diente despus de comer]1 [Que me cuide la garganta]2 [Me dijo que seque el pelo despues de vaniarme]3 [Que me dijo que me cuide para no enfermarme] 0: Englobadora [Me dijo que no coma muchas cosas de chocolate]4 [Y me dijo que me cuide cuando me lastime]5 No cuente las ideas que no se refieran y circunscriban a uno de los 6 10 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Tampoco cuente en forma doble las ideas repetidas. Vea el siguiente ejemplo, tomado de un texto definitivo de cuadernillo 1; los corchetes, que encierran las ideas, y los nmeros, que las cuentan, son nuestros; los nmeros repetidos indican ideas repetidas: [aga calculos]1 [lava la verdura]2 [dibujar un dibujo]3 [baarse]4 En este caso, por tanto, corresponde consignar 4. Recuerde que el mximo de ideas que puede ponerse en relacin con el cuadernillo 1 es 10 y, en relacin con el cuadernillo 2, 6. Si el nio redacta ms de 10 6 ideas respectivamente pertinentes, se colocar, de todos modos, el nmero fijado como mximo. 18. Si desarroll al menos la mitad de las ideas, lo hizo en el formato textual pedido? S- No- N.C. Responda a esta pregunta si en la anterior: 1) en el punto a. indic 5 o ms; 2) en el punto b. indic 3 o ms. Si marc menos de 5 y 3 respectivamente, marque N.C. y pase a la pregunta siguiente. Marque S cuando el estudiante haya estructurado el texto definitivo en forma de lista, es decir, colocando o bien cinco o ms o bien tres o ms -segn el cuadernillo- elementos de los solicitados uno debajo del otro; separndolos mediante guiones o comas o, en el caso de usarse comas dentro del elemento, mediante punto y coma; en el cuadernillo 1, tambin, poniendo mayscula inicial y punto para separar tareas escolares de tareas hogareas, o bien constituyendo dos perodos de enumeracin, uno para un tipo de tareas y otro para el otro tipo. Tenga en cuenta que basta con que el alumno haya tomado uno de los criterios mencionados. En el siguiente caso, aunque faltan comas dentro de uno de los trminos de la enumeracin y aunque hay puntos en vez de comas, corresponde marcar s, porque el estudiante dispuso los elementos uno debajo del otro y us maysculas y cambio de sujeto para separar las dos enumeraciones: Mi mam me dice que varra. que aregle la piezza. que arrege las plantas. que limpie la mesa. que ponga los platos los cubierto cuchillos. que limpie el vao. Mi maestra me dice que aga la tarea y completar las cosas 177
En el siguiente caso, tambin corresponde marcar S, ya que el estudiante emplea los guiones para separar los trminos de la enumeracin, salvo en un caso, en el que los usa tambin para separar los elementos que integran esos trminos: Cosas de casa yescuela Estudio-Matematica-Lengua-Practico las tablas-Ago la cama-Cocino-Pongo la mesa-Ayudo a mis hermanas- Guardo la ropa Marque No si el estudiante no estructur el texto en forma de lista, es decir, si no separ grficamente o mediante una puntuacin correcta los elementos enumerados. En este caso, corresponde marcar No, porque el estudiante no se-para elementos: Medieron de tarea una oracin recortar 10 sustantivos con las palabras que te di ace oraciones recorta vervos mi pap me dijo que aga 10 oraciones y ordena la pieza 19 a. En el cuadernillo 1, el nio menciona, entre las tareas que le piden en el hogar, una o ms propias de los adultos? b. En el cuadernillo 2, el nio menciona recomendaciones mdicas que no se corresponden con la prctica de la medicina occidental? Responda a esta pregunta slo si ha marcado S en la 9, es decir, si el texto es adecuado a la consigna. Si marc No, indique en esta N.C.. En primer lugar, ubique el punto al que debe responder, a. o b. segn el cuadernillo que est evaluando. En el caso del cuadernillo 1, marque S cuando observe que el estudiante dice realizar l mismo una o ms tareas, actividades o trabajos propios del mundo de los adultos, que demandan un tiempo que podra atentar contra el estudio o un esfuerzo no adecuado al desarrollo fsico, espordicas o regulares, asalariadas o no, por propinas o no, surgidas de la pobreza o la falta de recursos o, incluso, de una eventual situacin de explotacin. Son tareas de este tipo, por ejemplo, alimentar a los animales, lavar los corrales, trapear los pisos, cosechar, cuidar a mis hermanos, pedir dinero, salir a limpiar vidrios de los coches, juntar cartones, etc. Marque No si el estudiante dice realizar tareas o actividades que demandan un tiempo breve y un esfuerzo adecuado al desarrollo fsico del nio de 8 a 10 aos, que se presentan como colaboracin con el adulto, o que el adulto pide para estimular ciertos aprendizajes o para motivar. Son tareas de este tipo: poner la mesa, lavar los platos, ordenar mi pieza, guardar la ropa, ayudarla a vigilar a mi hermano, regar las plantas, hacer compras, buscar el pan, alimentar al perro, etc. En el caso del cuadernillo 2, marque S cuando el estudiante mencione una o ms prcticas de salud curativas o preventivas que no se corresponden con las de la medicina tradicional occidental o que, por su formulacin, pueden llevar a pensar que no se corresponden. Son prcticas de este tipo: tomar t de nogal/ de hierbabuena/ de coca/ de laurel, tomar leche caliente con licor, frotarse crema de eucaliptos, mascar hojas de coca, comer carbn, frotarse los dientes con ceniza, etc. Marque No cuando el estudiante mencione prcticas de salud curativas o preventivas que se corresponden claramente con las de la medicina tradicional occidental. Incluya, entre estas prcticas, las que transmiten los propios padres: no mojarse en la lluvia, dormir abrigado, no andar descalzo en invierno, etc. En caso de duda, en cualquiera de los dos cuadernillos, marque S, ya que el objetivo es detectar posibles casos para un nuevo anlisis no lingstico y fundado en categoras sociolgicas bien delimitadas, que apoye el estudio de factores asociados al rendimiento, y habr otra instancia para descartarlos.
178
Cuarta parte
1. Instructivo para la evaluacin de las pruebas de sexto ao A continuacin, se dan las instrucciones de marcado de cada una de las opciones que componen los tems de la planilla para evaluar las pruebas de escritura de sexto ao. Como en tercer ao, cada pregunta indaga un aspecto especfico de la escritura, que se diferencia claramente de los restantes y, por esa razn, las instrucciones acotan el universo al que cada opcin de marcado atiende. Nuevamente, la mayora de los ejemplos incluidos son crticos, porque ellos son los que le plantearn ms dudas al evaluador. A continuacin, reproducimos un facsmil de la planilla a la que pasaremos a referirnos.
179
Encabezamiento
Copie todos los datos que figuran en el encabezamiento de la prueba y que tengan sus correspondientes casilleros en la planilla de evaluacin en blanco. Revise la correspondencia entre los datos originales y los copiados.
I. Borrador
1. El nio escribi el borrador? (S/ No/ S, pero borr lo escrito/ N.C.) Marque S cuando el estudiante haya empleado el espacio asignado para la redaccin del borrador, es decir, aun cuando haya escrito una sola palabra-clave o haya dibujado. Ignore el hecho de que lo escrito se corresponda o no con lo pedido. Marque S, pero borr lo escrito cuando el borrado de lo escrito sea total. Marque No cuando el borrador no haya sido utilizado en absoluto. Si responde S, debe pasar a las preguntas 2 a 4. Y si marca S, pero lo borr o No, al tem 5, despus de marcar N.C. (No corresponde) en los tems 2 a 4. 2. Si lo hizo, lo redact como un texto para s? (S / No / N.C.) Marque S cuando el estudiante haya empleado el espacio asignado para la redaccin del borrador sin dejar marcas de la intencin de hacer un texto para otros, es decir, si observa el predominio de los siguientes aspectos por sobre los que se listan en Marque No: 1) una caligrafa no esforzada, 2) palabras escritas sin cuidar la lnea horizontal, 3) palabras clave y no oraciones completas o que completan, como si fuera una pregunta, el ttulo de la columna; 4) palabras o construcciones agregadas en medio de otras ya escritas, 5) palabras abreviadas, 6) flechas u otros signos dibujados para indicar reordenamientos de la informacin, 7) tachaduras, 8) dibujos o esquemas sin intencin esttica. Deje de lado el hecho de que las palabras, las frases y/o los dibujos respondan al tema propuesto. Para determinar si la caligrafa y la presentacin son cuidadas o no, prescinda de comparar el borrador con el texto final: la comparacin se demanda ms adelante. En el siguiente caso, por ejemplo, corresponde marcar S, ya que, aunque las dos ltimas columnas aparecen redactadas como respuestas, se observan dos columnas con palabras clave, una caligrafa no cuidada, una disposicin algo oblicua de las palabras y remarcaciones, es decir, un predominio de rasgos de texto para s: 180
Marque No cuando observe el predominio de los siguientes aspectos en relacin con los enumerados en Marque S: 1) oraciones completas o que completan el ttulo de la columna como si fuera una pregunta y que no incluyen correcciones visibles (tachaduras, agregados, etc.); 2) una caligrafa evidentemente cuidada; 3) el uso de una regla para apoyar la escritura de las palabras; 4) el trazado de lneas como renglones; 5) el borrado total o parcial (y no el tachado) de palabras, frases o dibujos; 6) la correccin total o parcial de palabras, frases, esquemas y dibujos para volverlos ms claros o ms bonitos. En el siguiente caso, por ejemplo, corresponde marcar No, ya que el estudiante predominantemente redacta oraciones completas en tres de las cuatro columnas, con mayscula y signos de puntuacin, sin economizar esfuerzos.
181
3. Sigui, en general, la consigna? (S/ No / N.C.) Marque S en el caso en que el estudiante haya consignado en el borrador al menos una palabra-clave y/o idea (subsubtema) que se corresponda con lo solicitado en la consigna y no se observe un predominio, en el nivel de los subtemas, de otras ideas, es decir, aunque haya ignorado una o ms de las 4 ideas pedidas pero siempre y cuando la mayora sean adecuadas. Marque No si el estudiante no consign en el borrador predominantemente palabras-clave y/o ideas que se correspondan con lo solicitado, es decir, si: 1) interpret errneamente el tema y, por ejemplo: - en el cuadernillo 1, hizo referencia a su propio perro o a otro animal en ms de dos de las columnas; - en el cuadernillo 2, se refiri a una comida diferente del pan o se centr en los panaderos, o se refiri a lo que le gusta comer o a cmo se come otro alimento, o list en ms de dos columnas subsubtemas no pertinentes; 2) interpret errneamente el tipo de texto y, en vez de describir, por ejemplo, relat, o redact oraciones o palabras sin un sentido acorde a lo solicitado en la instruccin. En el borrador que mostramos a continuacin, se observan un sub-subtema no pertinente en la columna Caractersticas fsicas, uno pertinente y otro no pertinente (se habla de la sopa que toma un perro en particular) en la columna Alimentacin, dos pertinentes en Costumbres y tres no pertinentes (por su referencia personal y no objetiva) en la columna Relacin con las personas. Como dos de los subtemas, entonces, presentan ideas adecuadas, indicaremos S, ya que, ante la situacin de paridad, se obra en beneficio del texto.
182
Marque N.C. si el borrador resulta por completo ilegible y no puede evaluarse si el estudiante sigui o no la consigna. Si marca S, pase a la pregunta siguiente. Si marca No o N.C., pase a la pregunta 5, despus de marcar N.C. en la 4 y en la 9.
4. De las 4 ideas pedidas, cuntas plante? N.C. Numere las ideas del estudiante, una por una, en una hoja aparte. Consigne en el espacio en blanco de la planilla la cantidad de ideas o subtemas que tom el estudiante en el borrador respecto de las pedidas en la instruccin. Las ideas pedidas son, en los dos cuadernillos, 4; si el estudiante consign ms de cuatro (es decir, si hizo referencia a otro aspecto no pedido, como el hbitat del perro o la historia del pan), se colocar de todos modos este nmero: 1) en el cuadernillo 1, al menos una idea referida a las caractersticas fsicas del perro (y no slo la mencin de una o ms partes del cuerpo), al menos otra sobre su alimentacin, al menos otra sobre sus costumbres y al menos otra sobre su relacin con las personas; 2) en el cuadernillo 2, al menos una idea referida al aspecto exterior del pan, al menos otra sobre los ingredientes que lo componen, al menos otra sobre el modo en que se lo cocina y al menos otra sobre el modo en que se lo come. Cuente como ideas desde palabras-clave hasta prrafos. Son expresiones-clave posibles, por ejemplo: 1) en el cuadernillo 1, columna Caractersticas fsicas, limpio; uoso, chico, peludo, ajil, cuatro patas, cuadrpedo, 2 orejas y columna Relacin con las personas fiel o el perro tiene cuatro patas mientras que las personas dos (en efecto, como se ve en el ltimo ejemplo, algunos estudiantes desarrollan la idea de relacin en trminos de comparacin). 2) en el cuadernillo 2, columna Ingredientes, adems de los tpicos, carn, tosino, qeso, leche; y, en la columna Cmo se come, adems de las referencias a los modos de acompaarlo, cortando pedazos, masticndolo, etc. No cuente las ideas que no se refieran y circunscriban a uno de los 4 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes: 1) en el cuadernillo 1, columna Caractersticas fsicas, es muy bueno, carioso, juguetn; 2) en el cuadernillo 2, columna Ingredientes, horno, los ingredientes se amasan. Tampoco cuente en forma doble las ideas repetidas, como [El perro], Relacin con las personas: les ladra y Costumbres: ladrar. No deben sumarse tampoco los subsubtemas en el interior de cada subtema: si el nio coloc 4 caractersticas fsicas del perro y luego dej en blanco las otras tres columnas o las complet con ideas no pertinentes, se colocar 1. En el siguiente ejemplo, tomado de un borrador de cuadernillo 1, corresponde consignar 3 de las 4 ideas pedidas, porque se considera, dejando de lado cuestiones cientficas y con el criterio de inclinarse por S cuando se tienen dudas, que el ser mamfero es una caracterstica del animal que se manifiesta en sus caractersticas externas.
183
Caractersticas fsicas
Alimentacin
Costumbres
Relacin con las personas
El perro cuida la casa, es Se alimenta de huesos, mamfero, juguetn, etc. de comida, etc. 1 2
El perro se a costumbre a Su dueo le pone un ladrar, cuidar, jugar, pelear nombre. con unos animalitos. 3 0
II. Texto definitivo 5. El nio escribi el texto definitivo? (S/ No/ S, pero lo borr) Marque S en el caso en que el estudiante haya escrito en el espacio asignado a la versin definitiva, aunque haya borrado parcialmente lo que escribi, ignorando el hecho de que el texto sea correcto o incorrecto, adecuado a lo pedido o inadecuado. Marque S, pero lo borr en el caso en que el estudiante haya borrado o tachado por completo algo escrito en el espacio asignado a la escritura del texto definitivo. Marque No si el estudiante dej totalmente en blanco el espacio asignado a la escritura del texto definitivo. Si marca S, pase a la pregunta siguiente. Si indica S, pero lo borr o No, marque N.C. en todos los tems restantes de la planilla. 6. Si lo hizo, mejor la presentacin respecto del borrador? (S/ No / N.C.) Responda a esta pregunta slo si marc S en la pregunta 1. Compare la superficie del borrador con la del texto. Marque S cuando observe que son ms los elementos mejorados que los que se mantuvieron con la misma presentacin. Considere como elementos para ser mejorados los siguientes: 1) la caligrafa; 2) la horizontalidad en la escritura de las palabras; 3) la linealidad en la disposicin de las palabras y las frases (si ya no se observan o se observan menos palabras o construcciones agregadas en medio de otras ya escritas, o flechas que indiquen dnde colocar una idea); 4) los dibujos que ilustran las ideas, siempre y cuando no interfieran con la disposicin del texto en forma de lista (cuadernillo 1) o lista o enumeracin (cuadernillo 2). Asimismo, son expresiones de mejora: 5) la supresin de tachaduras; 6) la eliminacin de dibujos innecesarios o la transformacin de dibujos en texto; 7) la introduccin de elementos grficos, como las vietas ( u otro), que suelen encabezar las listas, o ttulos jerarquizados; 8) la disposicin en forma de cuadro sinptico de elementos que en el borrador lo estaban. 9) la colocacin de un ttulo con jerarqua de tal; 184
10) la transformacin de palabras-clave en oraciones, o la de construcciones incompletas en oraciones completas; 11) el reemplazo de palabras repetidas por sinnimos o la eliminacin de palabras repetidas por falta de atencin (es blanco y y crocante > (es blanco y crocante). En el siguiente caso, por ejemplo, de la comparacin se infiere que corresponde marcar S:
185
Marque No cuando observe que entre el borrador y el texto definitivo no hay diferencias de presentacin, es decir, cuando aparezcan las mismas u otras caractersticas propias de un texto para s. Las marcas persistentes y/o predominantes que debern observarse para marcar No son las siguientes: 1) una caligrafa no esforzada, 2) palabras escritas sin cuidar la lnea horizontal, 3) palabras o construcciones agregadas en medio de otras ya escritas, 4) palabras abreviadas, 5) flechas u otros signos dibujados para indicar reordenamientos de la informacin, 6) tachaduras; 7) disposicin del texto en columnas; 8) prdida de informacin pertinente. 7. El texto puede ser en general ledo? (S/ No/ N.C.) Cntrese en el texto definitivo. Marque S en el caso en que todas las palabras puedan ser ledas, aunque el escrito no tenga un sentido claro. Asimismo, si hay unas pocas palabras indescifrables que, sin embargo, permiten adjudicar un significado general a las frases o al texto. Marque No solo en el caso en que las palabras no puedan descifrarse al punto de que resulte imposible contarlas. Asimismo, si la cantidad de palabras que no pueden descifrarse es tal que no puede reponerse el sentido de la frase. Puede ocurrir que sea posible reconocer y contar espacios que corresponden a palabras, pero que stas no puedan leerse de todos modos. Tambin, que se lean grafemas que, sin embargo, no constituyen en conjunto una palabra descifrable. Tambin marque No en estos casos. Vea el ejemplo:
186
Si marca No, complete N.C. en todos los puntos restantes de la planilla. 8. Si puede ser ledo, excluye los problemas puntuales de desciframiento? (S/ No /N.C.) Marque S cuando la escritura resulta clara por la forma de las letras, por las distinciones entre el cuerpo de la letra y el enlace, porque se dejan espacios evidentes entre palabras y porque se diferencian maysculas de minsculas. Marque No cuando la forma de las letras resulte ambigua, cuando no se distingan con claridad el cuerpo de la letra y el enlace, cuando no se dejen espacios suficientes entre palabras, cuando no se diferencien maysculas de minsculas o se usen solamente maysculas o solamente minsculas.
En el siguiente caso, se observan problemas de desciframiento: la p y la t siempre son dibujadas en su forma mayscula; sin embargo, ese problema no impide la lectura del texto como totalidad; por eso, en el punto 7, habremos calificado el texto como legible y en este, lo calificaremos como texto con problemas de desciframiento. Ntese, adems, que, una vez constatado este problema, no podremos consignar como errores de ortografa todos los usos de P y T: evidentemente, se trata de que el alumno no sabe dibujar estas letras en minscula. No puede afirmarse lo mismo del uso de r y R; en consecuencia, en el punto ortografa, se contar como error el uso de R en RomPer:
En suma, la caligrafa que mezcla maysculas y minsculas, o la que emplea solo maysculas, a diferencia de la que combina cursivas e imprentas, no permite expresar el uso ortogrfico y, algunas veces, implica una incorrecta separacin de palabras. Cuando se observe alguna de estas situaciones, se dir que el texto no excluye los problemas de desciframiento y no se dir que el alumno no conoce los lmites de la mayora de las palabras que escribe y que por ello las junta todas, lo que constituira un gravsimo problema de lxico, ni que cree que todas las palabras son sustantivos propios y que por ello las pone con mayscula, ni que cree que todas las palabras con p deben llevar P, lo que constituira un gravsimo ortogrfico. Lo nico que puede afirmarse con certeza es que la caligrafa acarrea al lector dificultades para descodificar palabras y frases. 9. El nio mantuvo los subsubtemas y la estructura planteados en el borrador? (S/ No / N.C.) Responda a esta pregunta slo si marc S en la pregunta 1. Si en la pregunta 1 indic que el nio no hizo o borr el borrador, no marque N.C., sino No. N.C. se reserva para el caso en que el texto resulte ilegible (pregunta 7 de la planilla). Marque S en el caso en que el estudiante haya retomado, a la vez, la estructura descriptiva y el 75% o ms de los subsubtemas plasmados en el borrador e inscriptos en el tema dado. Hablar de cantidad subsubtemas implica considerar la cantidad de unidades de sentido textual que aparecen en cada columna del borrador -con independencia de que sean adecuadas al subtema -aspecto que se evala luego- y que son retomadas en la construccin del texto definitivo. Por ejemplo, si el alumno escribe en el borrador dos subsubtemas en el subtema Caractersticas fsicas (jugar -no pertinente- y tiene cuatro patas -pertinente-, tres en Alimentacin (carne, vegetales, basura, comida balanceada, huesos) cinco en Costumbres (dormir, comer, orinar, romper cosas, comer huesos) y cinco en Relacin con las personas (buena, excelente, amigo, cuidador, mala con desconocidos) basta con que retome 12 de esos subsubtemas haciendo referencia al tema global perro para que el aspecto temtico se considere recuperado; tambin, por supuesto, puede retomarlos todos.
187
Ahora bien, adems hay que considerar la estructura. Como la estructura del borrador de sexto ao es forzosamente descriptiva porque as lo condiciona el borrador en que se entregan el tema y los subtemas, el estudiante deber mantenerla para que corresponda marcar S. De este modo, quedarn bajo la categora de textos que mantienen los subsubtemas y la estructura dos clases de textos: -Los adecuados en general a la consigna que recuperan el 75% o ms de los subsubtemas; -Los que en el punto 11 clasificaremos como Otra descripcin por, a la vez, referirse al propio perro o al pan de la propia comunidad y por reutilizar el 75% o ms de los subsubtemas planteados en el borrador. Si, en cambio, el estudiante retoma todos los subsubtemas de Caractersticas fsicas, Alimentacin, Costumbres y Relacin con las personas para escribir, en el texto definitivo, una narracin (cuento o ancdota), diremos No: se han conservado aspectos temticos, pero no la estructura. De la misma manera, si el estudiante retoma todos los subsubtemas de Caractersticas fsicas, Alimentacin, Costumbres y Relacin con las personas para escribir, en el texto definitivo, una descripcin sobre el gato, el caballo u otro animal, diremos No: se han conservado la estructura y los susbsubtemas pero stos se refieren a otro tema global. Adems diremos no, por supuesto, si entre el borrador y el texto no hay relacin ni temtica ni estructural y, por ejemplo, en el borrador se listan subsubtemas correspondientes al tema pan y a los subsubtemas Aspecto exterior, Ingredientes, Cmo se prepara y Cmo se lo come y, en el texto definitivo se redacta una publicidad de mermeladas. En el siguiente caso, tomado del cuadernillo 2, corresponde marcar No, ya que, a pesar de lo expresado en el ttulo, el texto definitivo retoma del borrador slo un subsubtema y resulta, a diferencia de ste, un hbrido (mezcla de descripcin y recomendacin) y no una descripcin; es decir, no se recuperan ni los subsubtemas en un 75% o ms ni la estructura: Borrador Aspecto exterior Ingredientes Arina Agua Sal Levadura Cmo se cocina Cmo se lo come
188
Aspero
Se pone en el horno
Cortado Refuerzo
Texto definitivo El Pan El pan es muy bueno y muy rico, pero aspero Podes tomar la leche y acompaarla con el rico pan
En este caso, tambin corresponde marcar No, porque en el borrador y en el texto definitivo se plantearon dos textos sin relacin subsubtemtica y estructural entre s: Borrador
Texto definitivo
189
10. Independientemente de lo que haya hecho en el borrador, se refiri en general a lo pedido? (S/ No / N.C.) Marque S cuando el estudiante haya escrito un texto que se corresponda predominantemente con la situacin comunicativa, el tema y la macroestructura propuestos por la instruccin, es decir, si, respondiendo bsicamente a la pregunta cmo es? y empleando, en general, un tono de objetividad: 1) en el cuadernillo 1, describe al menos a una caracterstica fsica del perro o una de sus costumbres o su alimentacin o un aspecto de su relacin con las personas, y si no son ms las ideas no pertinentes que esas pertinentes; 2) en el cuadernillo 2, describe al menos a un rasgo externo del pan o hace referencia a dos de sus ingredientes o a uno de los modos en que se lo cocina o a uno de los modos en que se lo come, y si no son ms las ideas no pertinentes que esas pertinentes.
Si observa errores puntuales, es decir, si observa ideas no pertinentes cuando la mayora son pertinentes, marque tambin S, como en este caso, que consisti en insertar una instruccin dentro de la descripcin enciclopdica): Los perros comen carne, vejetales y comida que venden especialmente para ellos. Es un animal cuadrpedo. No dejarles gatitos cerca (tenga cuidado). Acostumbra desde chico comer adecuadamente, adaptarse a animales ms chicos, no morder. Son obedientes a las personas. Les gusta correr y jugar con la pelota En este otro caso, tambin se observa un error puntual: se incluye un trmino subjetivo, inadecuado en una descripcin de tipo enciclopdico: El perro es un animal guardin y compaero, etc se alimentan de carne, pan, leche, comida para perros. Las costumbres son simpaticas. Deje de lado el hecho de que el texto aparezca o no titulado, pues se lo evala luego. Marque No si los aspectos del tema, la situacin comunicativa y la clase textual pedidos no se observan en forma predominante; por ejemplo, si el estudiante: 1) interpret errneamente el tema y - en el cuadernillo 1, hizo referencia predominantemente a su propio perro o a otro animal; - en el cuadernillo 2, se refiri predominantemente a una comida diferente del pan, o a aspectos del pan no requeridos en la consigna, o se centr en las panaderas, o se refiri a lo que le gusta comer o a cmo se come otro alimento; 2) interpret errneamente el tipo de texto y, en vez de describir, relat un cuento o una ancdota, o redact una receta (an cuando tenga la lista de ingredientes pedida en la instruccin) u oraciones o palabras sin un sentido acorde con lo solicitado en la instruccin. En el siguiente caso, por ejemplo, tomado del cuadernillo 1, corresponde marcar No, ya que el estudiante, a pesar de haber elaborado una descripcin, no se refiri al tema pedido: El mundo animal es agradable. Es preistorico, es de un continente llamado Africa. Es hermoso, y para terminar decimos que fue reconocido Lo mismo ocurre en el siguiente caso, tomado del cuadernillo 1; si bien hay una descripcin e, incluso, una referencia a los subtemas pedidos, el objeto descripto es singular (un perro en particular) y no general, y la descripcin aparece enmarcada en una suerte de relato trunco y formulada por ende en pasado: El perro habil Un da en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los perros. FIN
190
En el caso siguiente, si bien aparecen nuevamente ciertos elementos temticos adecuados, tambin corresponde marcar No porque las frases sueltas no llegan a constituir un texto descriptivo: El pan branco Como es es branco y de leche Ingredientes de la arina elevadura Conque se come Si marca S, pase a la pregunta 12 despus de marcar N.C. en la 11. Si marca No, pase a la pregunta 11. 11. Si no escribi un texto acorde con la instruccin, qu clase de texto escribi? Una copia completa o parcial, textual o parafraseada, de la instruccin / Un cuento / Una ancdota / Otra descripcin / Otro / Un no-texto / N.C. Responda a esta pregunta slo si marc No en la 10. Marque Una copia completa o parcial, textual o parafraseada, de la instruccin si el nio copia parte de la consigna o responde a los planteos para el mejoramiento del borrador dados en el paso 2 de la prueba: Transformar tus ideas en borrador. Los nios leeran la enciclopedia. Marque Un cuento si el nio redact una narracin ficcional sobre un tema que no aparece en la consigna, aunque sea breve y no tenga plenamente desarrolladas sus partes constitutivas, tal como se plantea en el Glosario. Por ejemplo, este caso ya citado ser considerado una narracin y no una descripcin porque la descripcin se estructura como introduccin o situacin inicial de un relato; adems, ser considerado cuento y no ancdota porque rige la tercera persona y aparece un giro propio del primer gnero: Un da. El perro habil Un da en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los perros. FIN Marque Una ancdota si el nio redacta un relato personal realista que, si est enteramente desarrollado, en vez del nudo propio de un cuento, incluye una ligera complicacin, como se indica en el Glosario. Tenga en cuenta que una narracin personal o de hechos protagonizados por el autor del texto no es lo mismo que una narracin en primera persona: sta puede ser ficcional, como la del ejemplo siguiente, que ser clasificado como cuento y no como ancdota: El perro Era un domingo soleado, lo recuerdo muy vien. Mi dueo me enseo una cadena, y cuando lo bi averigue que hivamos a salir, pero no fue asi. Me llevaba a la perrera donde haban un seor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron a una jaula donde haban perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y de pronto habrieron me cojieron por el coyar y me entregaron a otro dueo, me sent feliz, libre pero aquel dueo nunca me podre olvidar de el porque el me iso todo lo que tube cuando vivi con el.
191
Marque Otra descripcin si el nio se refiere a cmo es un objeto, un ser o un fenmeno no mencionados ni central ni lateralmente en la instruccin. Tambin, si el tema de la descripcin aparece singularizado, como en el caso siguiente: El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaa siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo. Marque Otro si el alumno escribi un texto que no puede clasificarse de acuerdo con ninguna de las categoras anteriores, como en el siguiente caso, una especie de receta incluida en la seccin Cocina de una publicacin meditica: Gerp.com Para hacer Pan deven laverse las manos despacio. Poner los Ingredientes conforme a la reseta. Coser bien el Pan Para que no les haga mal Lo pueden comer con mermelada, con Pollo con lo que deseen Si necesitan mas Informacion visiten mi pagina de Internet que aconti-nuacion les doy www.GERP.COM Se les agradece por su colaboracin en este numero de cosina Grasias. A continuacin transcribimos otro ejemplo, una especie de texto publicitario, en el que corresponde marcar Otro: Pan Usted Podra saboriar un delicioso Pan. Producto elaborada bajo altas normas higiene. Solo colquelo al orno y Listo. Podra compartirlo con toda la familia. Con leche y canele como usted lo dese. Usted Podra elaborar barias clases de Pan. intentelo usted y bera que posible. Marque tambin Otro si el texto es un hbrido, es decir, una combinacin de dos o ms secuencias de diferentes gneros e igual predominio y que no constituyen, como totalidad, un texto que pueda adscribirse a un gnero en particular. En el siguiente caso, la descripcin y la ancdota se encuentran en el mismo nivel, por lo que se marcar Otro: Mi Perro y yo Yo vivo en una casa con mis padres y un perra que se llama pequea Ella es mi mejor amiga y compaera yo la quiero mucho siempre salimos a jugar a la plaza yo le digo CHECHU y ella me ladra y salta corr mos mucho jugamos tambien cuando la bao es muy divertido porque se sacude y me moja un dia ella estaba sentada en la puerta y iva pasando una mujer distraida y ella le enpeso a aladrar y la seora se asusto mucho y dijo hay perra que te hice para que me ladraras si paso todos los dias por aca esta es un poco de mi vida y de mi perra. espero que les halla gustado. Marque Un no-texto si el estudiante no escribi un texto, sino una oracin sin o con sentido, o una serie de oraciones sin enlaces, del tipo: un perro est rabioso, el perro es negro o blanco, yo tengo un perro. Recuerde que, cuando se observe un solo enunciado -narrativo, descriptivo, instruccional, etc.- se marcar Un no-texto, incluso, cuando se observe un ttulo, como en el caso siguiente: 192
El pan El pan es comida de cada dia A continuacin transcribimos otro ejemplo de no texto: El alimento de nuestra vida El alimento es necesario como el pan es buen para la vida moderna. El pan tien muchas vitaminas que nos trae en nuestro cuerpo diaria. No usamos los que puede usarlo en nuestra vida como el carne nos trae una buena salud. Las verduras es tiene muchsimas element Marque N.C. si marc S en la pregunta 10. Adecuado o no a la consigna 12. Escribi un ttulo que exprese globalmente el tema del texto que redact? S- No- N.C Responda a esta pregunta si marc S en la 5 y en la 7, y si no marc Un no-texto en la 11. Si marc Un no-texto en la pregunta 11, pase a la 15, despus de marcar N.C. en esta y en las preguntas 13 y 14. En el caso de los textos adecuados a la consigna, marque S en el caso en que el ttulo, ajustndose a la situacin comunicativa, designe el tema o contenido del texto (El perro, Cmo es el perro, El pan, Una comida bsica, As es el perro, etctera) y/o indique el gnero (Descripcin del perro, etctera). Marque No, en el caso de los textos adecuados, cuando el estudiante no haya incluido un ttulo o cuando ste no presente una de las caractersticas anteriormente mencionadas. En estos casos, tomados de textos adecuados, el ttulo no designa el tema global (la falla se encuentra en el nivel de la situacin comunicativa y no del tema): Mi animal favorito La elaboracin del pan segn yo Por otra parte, el ttulo puede presentar problemas gramaticales y, sin embargo, expresar el tema; es el caso de Panes de mucho tipo. Para determinar la adecuacin del ttulo en textos no adecuados a la consigna, es conveniente recurrir a lo sealado en la pregunta 10 respecto del gnero. Es decir, si usted ha marcado en esa pregunta Una ancdota, podr dar por buenos ttulos del tipo Lo que me pas, El da que..., Mi pan doradito, etc., que remiten al gnero. Tenga en cuenta que, si el alumno redact un cuento, puede darse el caso en que el ttulo agregue nuevos significados al texto y exija al lector realizar una inferencia de alto nivel. En efecto, los ttulos de los textos ficcionales suelen formularse en lenguaje figurado o connotativo, por lo que resulta casi imposible determinar su adecuacin. En este cuento narrado en primera persona y ya citado ms arriba, por ejemplo, el ttulo en tercera debe considerarse adecuado, pues podra tratarse de un caso de polisemia, de generacin de expectativas para frustrarlas, etc.
193
El perro Era un domingo soleado, lo recuerdo muy vien. Mi dueo me enseo una cadena, y cuando lo bi averigue que hivamos a salir, pero no fue asi. Me llevaba a la perrera donde haban un seor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron a una jaula donde haban perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y de pronto habrieron me cojieron por el coyar y me entregaron a otro dueo, me sent feliz, libre pero aquel dueo nunca me podre olvidar de el porque el me iso todo lo que tube cuando vivi con el. Los textos que fueron clasificados como hbridos merecen una consideracin particular: como por definicin no estn adscriptos a una estructura definida, el nico criterio que queda para considerar la adecuacin del ttulo es el temtico. En el siguiente texto hbrido, el ttulo no resultara adecuado porque plantea como tema del texto algo que en l constituye una informacin lateral, condicional: Gerp.com Para hacer Pan deven laverse las manos despacio. Poner los Ingredientes conforme a la reseta. Coser bien el Pan Para que no les haga mal Lo pueden comer con mermelada, con Pollo con lo que deseen Si necesitan mas Informacion visiten mi pagina de Internet que aconti-nuacion les doy www.GERP.COM Se les agradece por su colaboracin en este numero de cosina Grasias. En cambio, en este otro texto hbrido, el ttulo s expresa el tema: Mi Perro y yo Yo vivo en una casa con mis padres y un perra que se llama pequea Ella es mi mejor amiga y compaera yo la quiero mucho siempre salimos a jugar a la plaza yo le digo CHECHU y ella me ladra y salta corr mos mucho jugamos tambien cuando la bao es muy divertido porque se sacude y me moja un dia ella estaba sentada en la puerta y iva pasando una mujer distraida y ella le enpeso a aladrar y la seora se asusto mucho y dijo hay perra que te hice para que me ladraras si paso todos los dias por aca esta es un poco de mi vida y de mi perra. es-pero que les halla gustado. Es importante recordar que, cuando en la pregunta 10 se marc Un no- texto, en esta debe consignarse N.C.. En efecto, como se ha indicado en la entrada Texto del Glosario, el no-texto se caracteriza por no presentar ni un gnero ni un tema ni una situacin comunicativa, por lo que no es posible asignar un ttulo. Vase el siguiente ejemplo, en el que corresponde indicar N.C. aunque el alumno haya redactado un enunciado en posicin de ttulo: Mi perro es juguetn Me gusta el perro de mi casa Finalmente, es necesario recordar tambin que en este punto se est evaluando la distribucin de la informacin en el texto definitivo y no comparando la distribucin en el borrador y en el texto. Por tanto, el evaluador debe olvidar, por ejemplo, que en Caractersticas fsicas el nio consign costumbres y que lo hizo nuevamente en Costumbres: ahora en el texto definitivo, lo que cuenta es si todo lo que corresponde a costumbres se encuentra agrupado. Vea el siguiente ejemplo:
194
Borrador
Caractersticas fsicas correr caminar salta Texto definitivo EL Perro el mejor AMIgo del HOMBRE El perro generalmente corre, camina, salta. En su alimentacin sus dueos utilizan, carne o alimentos, En relacin con las personas saben ser cariosos, mimosos, buenos, cuidadores y en sus costumbres hacen sus necesidades. En el borrador, se consignan costumbres en vez de caractersticas fsicas. Luego, en el texto definitivo, se mantiene el orden de las ideas del borrador, lo que genera que el los subsubtemas referidos a costumbres se encuentren separados entre s. Por tanto, corresponde indicar No. 13. Distribuy adecuadamente toda la informacin? S- No- N.C. Responda a esta pregunta si marc S en la 5 y en la 7, y si no marc Un no-texto en la 11. Si marc Un no-texto en la pregunta 11, pase a la 15, despus de marcar N.C. en esta y en la 14. En el caso de los textos adecuados a la consigna, marque S, dejando de lado las reiteraciones de informacin, cuando el estudiante, no importa en qu orden, 1) en el cuadernillo 1, haya agrupado, por un lado, todo lo referido a las caractersticas fsicas del perro; por otro, todo lo referido a sus costumbres; por otro, todo lo referido a su alimentacin y, por otro, todo lo referido a su relacin con las personas, sin que importe el orden en que cada uno de estos subtemas se presenta. 2) en el cuadernillo 2, haya agrupado, por un lado, todo lo referido al aspecto exterior del pan; por otro, todo lo referido a sus ingredientes; por otro, todo lo referido a su coccin y, por otro, todo lo referido al modo en que se lo come, sin que importe el orden en que cada uno de estos subtemas se presenta. Tenga en cuenta que lo que se evala es la agrupacin de proposiciones o subsubtemas referidos a un mismo subtema; por tanto, debe dejarse de lado el hecho de que todos los subtemas pedidos se desarrollen o no: basta con que se hayan desarrollado ms de uno. En los textos descriptivos, adecuados o no a la consigna, marque No si el estudiante no agrupa ideas temticamente relacionadas, como en este caso: El pan es importante porque nos ayuda a tener energia. El pan se hace con harina. Es amarillento y crocante por fuera y blando por dentro. Tambin se le pone lebadura. Se come con diferentes mermeladas dulces queso y todo lo que te guste. Tambin, si observa que las ideas englobadoras no se encuentran antes de las englobadas, como ocurre con el prrafo subrayado en el siguiente texto: 195 Relacin con las personas cariosos mimosos buenos cuidadores
Alimentacin carne alimentos
Costumbres
hacer sus necesidades
El Perro El perro es un animal muy carioso hay perros de cualquier rasa y su alimentacin es de huesos del pollo y de la carne, la costumbre del perro es jugar con la persona que ms le agrade es juguetn es el mejor amigo del hombre El Perro pettrel es bravo y su alimentacin es comida de bolsa es poco amigo de las personas. Hay perros cariosos, jugueton y algunos que son bravos que se desconocen de sus mismos dueos. Eso es todo del Perro. En los textos descriptivos no adecuados a la consigna (categorizados en el punto 11 como Otra descripcin), marque S cuando el estudiante haya desarrollado el tema en un subtema o en dos o ms subtemas pero sin entremezclarlos. Marque No si el estudiante entremezcla el despliegue de los subtemas. En el siguiente caso, los subtemas son cmo es el perro (del que se deriva por qu ha sido creado), cmo se comporta y por qu se lo quiere, que parecen entremezclados; por lo tanto, corresponde marcar No. El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaa siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo. En los textos narrativos (ancdotas y cuentos), marque No si el texto presenta al menos un problema en el nivel de la secuencia. En el siguiente ejemplo, citado ya ms arriba, no se observan problemas de secuencia, por lo que se marcar S: El perro Era un domingo soleado, lo recuerdo muy vien. Mi dueo me enseo una cadena, y cuando lo bi averigue que hivamos a salir, pero no fue asi. Me llevaba a la perrera donde haban un seor agresivo y malo que maltrataba a los perros. Cuando entre me tiraron a una jaula donde haban perros, me levante y los mire detenidamente y me eche en el piso. Tres meses despues senti una bulla y de pronto habrieron me cojieron por el coyar y me entregaron a otro dueo, me sent feliz, libre pero aquel dueo nunca me podre olvidar de el porque el me iso todo lo que tube cuando vivi con el. En cambio, en este otro caso, los problemas de secuencia son varios: falta la accin inicial realizada por el perro y el conejo; el perro parece correrse a s mismo, el zorro se va y, sin regresar, habla a los personajes que dej, entre muchos otros. Por tanto, sin completar nosotros las secuencias que el estudiante no ha completado y que el texto no permite inferir dadas sus marcas, marcaremos No: El Perro, el conejo y El zorro Un Dia Muy alegre un Perro y el conejo que eran muy buenos amigos. Depronto se aparece un zorro queriendose comer a un conejo, Pero como estaba contra el perro no le hacia nada al conejo Depronto el zorro hizo una trampa para que se separen . el zorro le dijo al Pero que no iba a salir el conejo que ya no queria hacer su amigo y el Perro dijo esmentira y el Perro se fue y salio a buscar al Perro y se le aparecio el zorro el corria y corria de pronto secontro con si amigo Perro y su amigo lo ayudo y el zorro se fue, el Perro le dijo no quiero hacer mi amigo dijo el zorro, mentira bamos a Jugar y a que sea una trampa para que no ben-ga el zorro nunca ms si a que sea un ollo y que no nos y la hicieron ara conejo tu trailo hasta trampa y el zorro cayo y haci el Perro y conejo bivieron felices. En los textos de tipo instruccional, marque S cuando el estudiante enumere en un orden lgico los pasos para alcanzar la meta, teniendo en cuenta, como se ha dicho en el Glosario, que las acciones pueden ser tanto sucesivas como simultneas o repetidas, segn el tema. Marque No cuando observe alteraciones en la secuencia de pasos.
196
Tenga en cuenta que todos los textos hbridos, por definicin, presentan problemas de integracin de las secuencias entre s: la secuencia descriptiva, por ejemplo, es paralela a la narrativa y no est incluida dentro de ella, como sucedera si se tratara de un cuento. Como precisamente por este rasgo ya se los clasific como hbridos, ahora no debe reclasificrselos en el mismo sentido, sino que deben analizarse los problemas de distribucin de la informacin dentro de cada secuencia. Esto es, por ejemplo, si dentro de la secuencia descriptiva misma hay subsubtemas entremezclados, si dentro de la secuencia narrativa misma hay hechos injustificadamente desordenados, etc. 14. Evit las reiteraciones de informacin? S- No- N.C. Responda a esta pregunta si marc S en la 5 y en la 7, y si no marc Un no-texto en la 11. Si marc Un no-texto en la pregunta 11, pase a la 15, despus de marcar N.C. en esta. En el caso de los textos adecuados a la consigna, marque S cuando el estudiante no haya reiterado datos y: 1) en el cuadernillo 1, se haya referido o bien solo a una caracterstica fsica del perro o bien a diferentes caractersticas; o bien a solo un alimento o bien a diferentes alimentos; o bien a solo una costumbre, o bien a diferentes costumbres; o bien a slo un rasgo de la relacin del perro con las personas o bien a diferentes rasgos, e incluso a algn otro tipo de aspecto que no entra en estas categoras, porque esto ya fue evaluado. 2) en el cuadernillo 2, se haya referido o bien solo a un rasgo del aspecto exterior del pan o bien a diferentes rasgos; o bien a solo dos ingredientes o bien a otros, diferentes; o bien a solo una forma de cocerlo, o bien a diferentes formas; o bien a slo uno de los modos en que lo come, o bien a diferentes modos, e incluso a algn otro tipo de aspecto que no entra en estas categoras, porque esto ya fue evaluado. En el siguiente caso, corresponde marcar S: La elaboracin del pan segn yo El pan tiene un color medio amarillento tirando a marrn pero no muy oscuro sino de color ms claro si lo tocas recien sacado del horno te bas a quemar pero es justo en el momento en el que el pan esta ms rico que nunca. Los ingredientes son la cantidad que quieras segn la cantidad que quieras elaborar. Primero tomo lista: trigo, harina, agua, clara de huevo. Para llevar a cabo la elaboracin primero se hase una especie de masa esponjosa con los ingredientes que dicte anteriormente se buelca la preparacion en un molde y se cocina para comerlo podes utilizar diferentes dulces, manteca, queso y todo lo que te guste. En el caso de los textos descriptivos, adecuados o no a la consigna, marque No si el estudiante, reiter datos, incluso usando sinnimos o parfrasis que no dejan lugar a dudas de que se trata de la misma informacin. Vea estos ejemplos, en los que corresponde marcar No (las informaciones repetidas estn subrayadas): Los perros son los megores amigos del hombre. Los perros son aproximadamente de 60 cm de largo y unos 30 cm de altos. Poseen cabellos muy largos o cortos y oregas. Tienen rabo. Sus colores pueden ser: negro, marrones (distintos tonos), blancos, grises. Tambin pueden tener una combinacin de esos colores, ej. que sea blanco y negro el mismo perro. Se alimentan de cualquier cosa. Pero se recomienda darle alimentos balanceados. Los perros muy juguetones, que corren mucho por todos lados y le ladran a cualquier cosa. No sirven de guardianes, no custodian la casa. Otros custodian la casa. Los perros tienen una ecselente relacion con las personas. Son los mejores amigos de las personas. 197
El perrito es muy imgreido en la familia todos los queremos porque es un buen perro cuando lega familiares se porta bien y no se orina en la sala por eso lo quieren tanto pero tanto que le compran ropa le dan de tomar leche lo sacan al campo cuidamos de el no hay otro perrito mas que el porque el es nuestro amigo hermano y primo el es todo para nosotros nos quiere tanto como nosotros a el mis padres les da todo porque es uno mas de nuestra familia es lindo tener un perro porque si estas triste o alegre te acompaa siempre por eso Dios creo a los perritos y otros animales el es nuestro perrito imgreido de la familia por eso lo queremos mucho a nuestro perrito es nuestro amigo de todo el mundo ese es mi perrito lindo. El pan que preparan en monsefu es muy rico hecho por los panaderos en la ciudad de las flores. Por ejemplo el pan frances, italiano el de manteca las micas y las kolisas A la gente le gusta el pan que preparan en las monsefu llamada la ciudad de las flores En el caso de los textos no adecuados y narrativos, marque No cuando observe que hay uno o ms puntos en los que la informacin no avanza porque se relata el mismo hecho sin adoptar un nuevo punto de vista (es decir, cuando observe una reiteracin que no se inscribe en el llamado relato iterativo), o porque se predican los mismos atributos de un hecho o de un personaje. Esto ltimo es lo que se observa en este texto ya citado: El perro habil Un da en una casa vivia un perro habil que vivia con una familia que le pasaba acariciando el perro era mediano y peludo el perro se alimentaba de carne de galletas para perros y le gustaba la leche al perro le gustaba dormir y tambien jugar con las personas que vivian las personas lo acariciaban El perro era el mejor amigo de toda la gente finalmente el perro era el mas querido de todos los perros. FIN En el caso de los textos no adecuados e instruccionales, marque No cuando observe que uno o ms de los pasos de la instruccin se repiten innecesariamente. 15. Cuntas oraciones escribi? Casillero Responda a esta pregunta si marc S en la 5 y en la 7. Si Marc No, consigne en esta N.C.. Cuente las oraciones simples y complejas construidas por el alumno y consigne el nmero en el casillero. Considere las oraciones tal como corresponderan a una puntuacin correcta y no guindose por los signos de puntuacin y/o las maysculas que haya colocado el alumno. Para esto, apyese en la figura tonal o extensin comprendida en el habla entre el silencio inicial y la entonacin terminal de la frase (descendente en las afirmaciones). En el siguiente texto, cada barra indica una oracin y las oraciones suman 4: Cuando sali de la casa de mi amiga cruse por un callejor y vi un gato como moustro que tena un cartel con su nombre / era medio loco / adems era deformado, gordo, cabezn, orejn / vive en un tacho, come basura y su constumbre es asustar. El concepto de figura tonal le permitir, adems de suponer el signo ausente, dirimir si ese signo debera haber sido un punto o, en cambio, una coma; si, por ejemplo, se enumeran acciones o acciones y atributos muy ligados semnticamente y lo suficientemente breves como para constituir en conjunto una nica figura tonal, corresponder contar 1 oracin (le gusta comer las plantas de mam y le gusta jugar mucho; vive en un tacho, come basura y su constumbre es asustar). Si, en cambio, las estructuras vinculadas son ms extensas y menos cercanas semnticamente, deber considerarse como 1 oracin a cada una de ellas (adems era deformado, gordo, cabezn, orejn / vive en un tacho, come basura y su constumbre es asustar). 198
Cuando la relacin entre dos unidades que el alumno no separa con punto es dbil o confusa, se contarn 2 oraciones. As, en: Mi perro es un animal muy pequeo: tiene cuatro patas, se vinculan el ser pequeo y el tener cuatro patas por medio de dos puntos, como si la segunda unidad constituyera la explicacin de la primera, lo cual no ocurre. Entonces, como las unidades no resultan sintctica y semnticamente asociadas, se cuentan dos oraciones (la coherencia ya se ha evaluado). Con el mismo criterio juntar lo que est ms asociado semnticamente y separar lo menos asociado se proceder en el caso de los textos en los que varias proposiciones seguidas hayan sido ligadas por el alumno mediante y: El Perro, el conejo y El zorro/ Un Dia Muy alegre un Perro y el conejo que eran muy buenos amigos. Depronto se aparece un zorro queriendose comer a un conejo /, Pero como estaba contra el perro no le hacia nada al conejo / Depronto el zorro hizo una trampa para que se separen ./ el zorro le dijo al Pero que no iba a salir el conejo que ya no queria hacer su amigo / y el Perro dijo esmentira y el Perro se fue y salio a buscar al Perro / y se le aparecio el zorro / el corria y corria / de pronto secontro con si amigo Perro y su amigo lo ayudo/ y el zorro se fue, / el Perro le dijo no quiero hacer mi amigo dijo el zorro, / mentira bamos a Jugar y a que sea una trampa para que no benga el zorro nunca ms/ si a que sea un ollo y que no nos / y la hicieron / ara conejo tu trailo hasta trampa / y el zorro cayo y haci el Perro y conejo bivieron felices. Cuente tambin como oraciones el ttulo, la palabra fin o las expresiones similares, las firmas o las fechas que pueden aparecer al pie del texto y las iniciales (A) que indican cambio de hablante en un dilogo. 16. Cuntas palabras escribi? Casillero Responda a esta pregunta si marc S en la 5 y en la 7. Si Marc No, consigne en esta N.C.. Cuente las palabras que escribi el estudiante en el texto definitivo y consigne el nmero en el casillero. Considere las distintas ocurrencias de un lexema como palabras diferentes (hacer, hago, hace, entonces, sern tres palabras). Cuente los nmeros y las abreviaturas (en 30 cm hay dos palabras). Cuente las palabras ignorando y/o supliendo los errores de lxico; es decir, si el estudiante escribe nisiquiera y con migo, cuente 2 y 1 respectivamente. Es recomendable, para no perder la cuenta, anotar al final de cada lnea y en una hoja aparte la cantidad palabras escritas por el estudiante y, finalmente, sumar todos los nmeros de todas las lneas. No olvide sumar las palabras que conforman el ttulo o la firma. 17. Cuntos errores de lxico tuvo? Casillero Responda a esta pregunta si marc S en la 5 y en la 7. Si Marc No, consigne en esta N.C.. Cuente como errores de lxico todos los casos aun los repetidos que queden comprendidos en alguna de las siguientes categoras: 1) Empleo de un lexema por otro dada cierta afinidad entre sus formas: (se revuelve en el barro despus de baarse, mis padres adaptaron un gato) (en cada uno de estos casos, hay un error). 2) Reemplazo de un lexema por otro que es su sinnimo en otro contexto o que est emparentado semnticamente con l: (acostumbra vivir en el mbito terrestre, tiene costumbres parejas a nosotros, su clase de ser es muy buena; es un animal domesticado.
199
3) Desconocimiento llano de la forma de un lexema: Tiene la constumbre, es ognvoro, es ovnvoro, le dan comidas balanciadas, tiene sarma, arania, se pone en un reciviente. 4) No identificacin de los lmites de las palabras que no estuviera triste por que el perro, para a ser pan, la leche seprepara, se hace con larina. 5) Escritura silbica y no alfabtica: prro, lche, etctera. No cuente como palabras errneas desde el punto de vista lxico aquellas que usted no haya podido leer por sus problemas caligrficos. Tenga en cuenta que los errores de lxico se diferencian de los de ortografa, que no se evalan en este punto. Es decir, no considere el uso de maysculas, el uso incorrecto de nexos coordinantes o artculos antes de vocal similar, la incorrecta separacin en slabas, los grupos mp, mb, -aba, -sin, -cin, las tildes y, en general, cualquier empleo errneo de la escritura de palabras que no corresponda al lxico. No considere tampoco los problemas de legibilidad, que no se evalan en este ao (Vea el punto en el Instructivo para la evaluacin de las pruebas de tercer ao); por ejemplo, los errores sistemticos en el uso de algunas maysculas (porque siempre se dibuja una misma letra en mayscula). Asimismo, deje de lado la repeticin de palabras que constituye una cuestin estilstica que, como se dijo, no se evala, y tambin la repeticin de palabras (es bueno y y fiel), que responde, en general, a un problema de atencin. Consigne el nmero de errores en el casillero. 18. Cuntos errores de ortografa? Casillero Responda a esta pregunta si marc S en la 5 y en la 7. Si Marc No, consigne en esta N.C.. Cuente los errores de ortografa, excluyendo de esta categora los de lxico, ya evaluados y los de legibilidad, que no se evalan. Considere el uso normado de maysculas (en nombres propios, al comienzo de oracin), el uso incorrecto de contracciones, nexos coordinantes antes de vocal similar, separacin en slabas, tildes, grupos mp, mb, -aba, -sin, -cin y, en general, cualquier empleo errneo de la escritura que no corresponda al lxico o a la legibilidad. As, no sern contados los casos en los que la forma de las letras resulta ambigua, no se distinguen con claridad el cuerpo de la letra y el enlace, no se dejen espacios suficientes entre palabras, no se diferencien maysculas de minsculas o se usen solamente maysculas o solamente minsculas, ya que no puede determinarse si hay un error ortogrfico habiendo, previamente, un problema de desciframiento. No cuente como error la ausencia de mayscula al comienzo de las oraciones que usted y no el alumno reconstruy. No cuente como errneos los usos de los pronombres demostrativos en funcin sustantiva que no resulten ambiguos (se dir que el texto Tengo un perro. Este es polica no contiene errores de tildacin, como tampoco Tengo un perro. ste es polica). Con el mismo criterio, no considere errneo el uso de solo como equivalente de solamente (No juega: solo duerme se considerar igualmente correcto que No juega: slo duerme); s considere errneo el uso de slo como adjetivo (un perro slo es cayegero). No evale la ortografa de las palabras que corresponden a otro idioma y la de los nombres propios del espaol (Cusco, Cuzco, Viviana, Biviana, Bibiana); s evale en los nombres propios el uso de mayscula inicial. 200
No evale en esta categora los errores de puntuacin, que pueden ser explicados tomando en cuenta a veces a la coherencia, a veces a la cohesin y otras veces a la ortografa, por lo que se ha decidido no evaluarlos. No cuente como palabras errneas desde el punto de vista ortogrfico aquellas que usted no haya podido leer por sus problemas caligrficos. Contabilice todas las veces en que aparezca un mismo error. Consigne el nmero en el casillero. Slo adecuado a la consigna 19. De las 4 ideas pedidas, cuntas plante? Casillero- N.C. Responda a esta pregunta slo si ha marcado S en la 10, es decir, si el texto es adecuado a la consigna. Si marc No, indique en esta N.C.. Numere las ideas del estudiante, una por una, en el margen de la prueba, empleando un lpiz, o en una hoja aparte. Es conveniente usar el nmero 1 para hacer referencia a la primera idea pedida en el borrador; el 2, para la segunda y as sucesivamente; as podrn localizarse luego ms simplemente los problemas de reiteracin de ideas y de ideas no pertinentes (0). Consigne en el espacio en blanco de la planilla la cantidad de ideas que plante el estudiante en el texto definitivo respecto de las pedidas en la instruccin. Las ideas pedidas son, en ambos cuadernillos, 4; si el estudiante consign ms de cuatro (es decir, si hizo referencia a otro aspecto no pedido y pertinente), se colocar de todos modos este nmero: 1) en el cuadernillo 1, al menos una idea referida a las caractersticas fsicas del perro, al menos otra sobre su alimentacin, al menos otra a sus costumbres y al menos otra a su relacin con las personas; 2) en el cuadernillo 2, al menos una idea referida al aspecto exterior del pan, al menos otra sobre los ingredientes que lo componen, al menos otra sobre el modo en que se lo cocina y al menos otra sobre el modo en que se lo come, incluido el acto de deglucin. Cuente como ideas las proposiciones, oraciones y prrafos que se refieran a los subtemas pedidos, sea cual sea el orden en el que se presenten, ya que la descripcin admite comenzar por cualquiera de los subtemas dados. No cuente las ideas que no se refieran y circunscriban a uno de los 4 puntos enumerados. Es decir, excluya de la cuenta las menciones no pertinentes. Por ejemplo, son ideas no pertinentes: 1) en el cuadernillo 1, es domstico; 2) en el cuadernillo 2, es vlandito y salado. Tampoco cuente en forma doble las ideas repetidas, como [El pan], es alimentisio, es nutitivo. Vea este ejemplo, tomado del cuadernillo 1; los corchetes, que encierran las ideas, y los nmeros, que las cuentan, son nuestros; los nmeros, que se corresponden con el orden dado a los subtemas en el borrador, repetidos indican ideas repetidas; el 0 indica una idea no pertinente: [El perro es chiquito o largo] 1 [su costumbres son dormir y comer dogi con carne] 3 [duerme todo el da] 3 [se acuesta todo el da en el silln] 3 [y caga en el patio de atrs] 3 [duerme no se dispierta nisiquiera para moberse]3 [(lo tengo que mover yo)] 0 En este caso, por lo tanto, corresponde consignar 2. 201
Vea este otro ejemplo: El Perro [El Perro es un animal comn y corriente como todos los Perros del mundo]0 [y hace caca y Piz como los gatos y tambin se tira pedos.]3 [Y siempre tiene la mania de RomPer los colchones almuadas las hojas que hay en los muebles.]3 En este caso, por tanto, corresponde tambin consignar 2. El texto que transcribimos a continuacin, en cambio, presenta las cuatro ideas; ntese que ser juguetn puede entenderse tanto como un predicado referido a las costumbres como referido a la relacin con las personas: en estos casos se optar siempre por contar ideas de un modo que beneficie al estudiante; as, si luego aparece una clara alusin a la relacin con las personas, ser juguetn se interpretar como costumbre. [Los perros son los megores amigos del hombre.]4 [Los perros son aproximadamente de 60 cm de largo y unos 30 cm de altos.]1 [Poseen cabellos muy largos o cortos y oregas.]1 [Tienen rabo.]1 [Sus colores pueden ser: negro, marrones (distintos tonos), blancos, grises.]1 [Tambin pueden tener una combinacin de esos colores, ej. que sea blanco y negro el mismo perro.]1 [Se alimentan de cualquier cosa. Pero se recomienda darle alimentos balanceados.]2 [Los perros muy juguetones, que corren mucho por todos lados y le ladran a cualquier cosa. No sirven de guardianes, no custdian la casa. Otros custodian la casa.]3 [Los perros tienen una ecselente relacion con las personas. Son los mejores amigos de las personas.]4 20. Cuntos casos de registro oral y/o informal introdujo en el vocabulario? Responda a esta pregunta slo si ha marcado S en la 10, es decir, si el texto es adecuado a la consigna. Si marc No, indique en esta N.C.. Cuente los errores producto de emplear palabras propias de una situacin informal y/o de un medio oral. Vea el siguiente ejemplo, tomado de un escrito producido en la Argentina; el error -un vocablo en lunfardo que significa, en espaol estndar, tomar o coger- est subrayado: El perro puede ser peligroso si lo entrenan para casar y para ser guardian. Persigue a su presa hasta que la alcansa y la chapa del cueyo. En este ejemplo guatemalteco, el error de registro surge por el uso de una palabra informal: La perra tiene leche en las chiches. En el siguiente caso, los errores se producen por el uso de diminutivos con matiz afectivo (tambin hubiera sido errneo el uso de aumentativos) y de adverbios que implican juicios de valor, los cuales no son propios del registro escrito y formal: EL PERRO El perro es un animal comun entre las personas El perro es un aminal muy bonito que tiene ojos caf o negritos. Su nariz es bastante bonito como si fuera una manzana. Sus orejitas son como de obejas que tienen adentro adentro parece algodn. 202
En el ejemplo anterior, no se consideran errneas desde el punto de vista del registro las comparaciones porque stas son propias de la divulgacin enciclopdica. En este caso ya citado, los errores de seleccin de vocabulario en funcin del registro aparecen subrayados: El Perro El Perro es un animal comn y corriente como todos los Perros del mundo y hace caca y Piz como los gatos y tambin se tira pedos. Y siempre tiene la mania de RomPer los colchones almuadas las hojas que hay en los muebles. En textos como el pedido, el uso de nmeros y unidades de medida abreviadas (40 cm) es frecuente y no constituye un error. S constituyen errores de registro en el plano del vocabulario, en cambio, el uso de q, x q y otras abreviaturas informales: Los perros es un tesoro de Dios asi como a nosotros mismo. A ellos les gusta comer carne y cuidar la casa Hay beses q se aburren de comer las mismas cosas No les gusta q les jales lacola. Esas son las caractersticas de los perros. Asi son asi seran por siempre Este es el paso #3. Estas son mi palabras y q Dios los vendiga. 21. Cuntos otros casos de registro oral y/o informal introdujo? Responda a esta pregunta slo si ha marcado S en la 10, es decir, si el texto es adecuado a la consigna. Si marc No, indique en esta N.C.. Como se ha visto en el Glosario, adems de inadecuaciones por el uso de palabras informales o propias de la comunicacin oral, el texto adecuado a la consigna puede presentar errores de registro en el plano de su sintaxis y su estructura global, por desvos respecto de la intencin informativa y/o del gnero descriptivo enciclopdico. Los errores surgen, por ejemplo, del empleo puntual o menos frecuente que el correcto de la primera o la segunda persona (designarse a s mismo en tanto enunciador y apelar al receptor es introducir la oralidad en el texto), de la incorporacin de dibujos (perros sonrientes, por ejemplo) que no son propios de las enciclopedias, de la inclusin de saludos u otras expresiones propias de gneros de intencin no objetiva y, en general, coloquial. Vea este ejemplo; contiene un error por uso de la segunda persona: El perro es un animal fiel. Pero tambin es un animal muy delicado. Para alimentarlo bien dale comida valanciada. Este otro texto tiene cuatro errores: uso de la primera persona plural, uso de la segunda singular, uso de la primera singular y uso de la segunda plural: Los perros es un tesoro de Dios asi como a nosotros mismo. A ellos les gusta comer carne y cuidar la casa Hay beses q se aburren de comer las mismas cosas No les gusta q les jales lacola. Esas son las caractersticas de los perros. Asi son asi seran por siempre Este es el paso #3. Estas son mi palabras y q Dios los vendiga. Tenga en cuenta, dado que el sostenimiento de la persona y el nmero es normal, que, si el estudiante hubiera sostenido una de esas personas -siempre menos que la tercera, ya que en el caso contrario el texto habra resultado no adecuado- a lo largo de toda la secuencia, el error habra sido uno; en este caso hay dos errores: uso de primera y segunda persona singular:
203
La elaboracin del pan segn yo El pan tiene un color medio amarillento tirando a marrn pero no muy oscuro sino de color ms claro si lo tocas recien sacado del horno te bas a quemar pero es justo en el momento en el que el pan esta ms rico que nunca. Los ingredientes son la cantidad que quieras segn la cantidad que quieras elaborar. Primero tomo lista: trigo, harina, agua, clara de huevo. Para llevar a cabo la elaboracin primero se hase una especie de masa esponjosa con los ingredientes que dicte anteriormente se buelca la preparacion en un molde y se cocina para comerlo podes utilizar diferentes dulces, manteca, queso y todo lo que te guste. En este ejemplo, adems de un error de registro en el plano del vocabulario (caga), se observan un error por suponer una situacin oral presencial de la que el receptor es partcipe activo (por eso, se alude a un silln determinado y al patio de atrs (como si se estuviera adelante) y otro error por inclusin de una primera persona (yo). El perro es chiquito o largo su costumbres son dormir y comer dogi con carne duerme todo el da se acuesta todo el da en el silln y caga en el patio de atrs duerme no se dispierta nisiquiera para moberse (lo tengo que mover yo) 22. Describi caractersticas o fenmenos con una perspectiva errnea desde el punto de vista de las ciencias naturales? Responda a esta pregunta slo si ha marcado S en la 10, es decir, si el texto es adecuado a la consigna. Si marc No, indique en esta N.C.. En primer lugar, ubique el punto al que debe responder, a. o b. segn el cuadernillo que est evaluando. Marque s cuando considere que el alumno describe el perro o el pan o un fenmeno asociado a ellos mediante conceptos errneos desde el punto de vista de las ciencias naturales. No considere cuestiones de vocabulario sino conceptuales: la perra tiene leche en las chiches no constituye un problema conceptual, sino de seleccin del vocabulario, y ya se lo ha evaluado. En caso de duda, en cualquiera de los dos cuadernillos, marque S, ya que el objetivo es detectar casos para un nuevo anlisis no lingstico, a cargo de especialistas en Ciencias, y que habr otra instancia para descartarlos. Son, por ejemplo, errores conceptuales, los siguientes: El perro es un animal mamfero porque vive en casas, el perro nunca duerme, todos los perros son domsticos, hay diferentes especies de perros, los perros pueden ser perros salvajes, perros caseros y perros carnvoros, todo perro tiene un dueo, el perro tiene la costumbre de dormir/comer/caminar y caminar, el pan se hace con trigo y harina, el pan debe ser pasteurizado, el pan se pone duro si no le ponen levadura, el pan se pone verde porque no lo cocinan bien, entre otros.
204
Quinta parte
1. Recomendaciones para evitar sesgos y errores al evaluar En este punto, y a partir de los resultados obtenidos en el pilotaje, se plantean una serie de recomendaciones tendientes a evitar los sesgos y los errores al evaluar. Constituyen sesgos, por ejemplo, la correccin excesivamente exigente de los textos de sexto ao en relacin con los de tercero, y lo contrario o la correccin excesivamente indulgente de los textos ms problemticos. Los sesgos pueden deberse al orden en que se corrigen los trabajos, a las caractersticas generales del lote de textos, a las implicaciones de evaluar textos de estudiantes del propio pas, entre otras razones. En cuanto a los errores, tienen, en general dos causas: no se apela al Manual o a la consulta tcnica para resolver un caso o, especficamente, no se sigue el itinerario de correccin, esto es, se evalan aspectos que, dado el caso, no deberan evaluarse (como el ttulo de los no-textos). Las recomendaciones son las siguientes: No escribir sobre el borrador o el texto del nio, que constituyen un documento que debe preservarse intacto, sino en una hoja aparte o en los mrgenes; en este ltimo caso, con lpiz negro. Lo escrito en los mrgenes deber borrarse antes de entregar la prueba a otro evaluador, ya se trate de uno del propio pas o del supervisor del LLECE, ya que es necesario evitar las mutuas influencias. El evaluador deber consultar el Manual hasta tanto automatice las pautas de evaluacin; adems, una vez que se haya familiarizado con l, deber revisarlo cada vez que termine de evaluar unas veinte pruebas, para verificar si se sigue ajustando a l y su evaluacin no se ha sesgado. Es importante revisarlo en forma completa, para no dejar de evaluar en cada punto slo lo que concierne a ese punto. Tambin lo consultar cada vez que dude ante un caso concreto de marcacin en la planilla de evaluacin. Si el Manual no le ofrece una respuesta, el evaluador plantear una consulta tcnica al responsable de la evaluacin en su pas; si el responsable no pudiera saldar la duda, enviar una consulta, con copia a su coordinador en el pas, a la coordinacin tcnica de Lectura y Escritura del LLECE, Ana Atorresi: anaatorresi@uolsinectis. com.ar. Idealmente, el coordinador del rea de Escritura en el pas reunir semanalmente la serie de consultas a las que no ha podido dar res-puesta y las enviar todas juntas, a la Coordinadora tcnica de Lectura y Escritura del LLECE y a todos los otros coordinadores de escritura en los pases, dando a cada una de ellas el siguiente formato: Nmero de caso:...... Borrador: (tipeado si la consulta no comprende cuestiones grficas o caligrficas y, de lo contrario, escaneado) Texto definitivo: (tipeado si la consulta no comprende cuestiones grficas o caligrficas y, de lo contrario, escaneado) Consulta 1:....................................................................... Respuesta 1: (espacio que llenar la Coordinadora de rea del LLECE) Consulta 2: (si la hubiera) ................................................. Respuesta 2: (espacio que llenar la Coordinadora de rea del LLECE) Por otra parte, cada veinte pruebas, el evaluador habr de verificar la consistencia de las planillas que ha llenado. Si, por ejemplo, marc que el texto no puede leerse, no podrn aparecer marcaciones referidas a la coherencia del texto.
205
Para evitar el efecto de la evaluacin de las pruebas de un ao sobre la evaluacin de las pruebas del otro, el evaluador intercalar pruebas de ambos aos: 20 de tercero y 20 de sexto o viceversa. Tendr mucho cuidado para impedir que las pruebas y las planillas se mezclen. El evaluador evitar el ordenamiento de pruebas de acuerdo con una caracterstica diferente del nmero de cuadernillo, como el hecho de tener o no texto definitivo o como el hecho de ser ste ms o menos extenso, para evitar la influencia del tipo de trabajos en la evaluacin. Al concluir la evaluacin de 20 pruebas, el evaluador revisar tambin que los datos del encabezado de cada cuadernillo coincidan con los que ha consignado en la planilla de evaluacin; slo entonces separar pruebas de planillas.
Referencias
(1) En sentido general, se denomina estilo al conjunto de los rasgos discursivos que funcio-nan como indicadores del contexto social y personal del hablante; ms especficamente, son rasgos de estilo el dialecto (lecto o variedad determinada por la regin de la que el hablante es oriundo); el cronolecto (variedad determinada por el momento histrico en que el hablan-te se incorpora en la masa de hablantes), el sociolecto (determinado por el grupo social al que el hablante pertenece), el tecnolecto (determinado por la esfera de ocupacin del hablante), el registro (determinado por el grado de formalidad desde ntimo hasta solemne de la situacin comunicativa y/o el medio de comunicacin oral o escrito que se emplee) y el idiolecto (determinado por rasgos individuales). En esta definicin se encuentra implcita la suposicin de que hay una lengua estndar, oficial o neutra, de la cual se desprenden las diferencias mencionadas; con frecuencia, sin embargo, esa lengua es un habla regional o dialecto extendida autoritariamente al conjunto de una nacin. Los conceptos se amplan en el Glosario. (2) En la revisin y en la autocorreccin, se ponen en juego diversas estrategias metacogniti-vas, vale decir, operaciones mentales de las que se es consciente y que se sabe cmo, cun-do y para qu usar. La reflexin metacognitiva sistemtica parece ser un proceso imprescin-dible para adquirir habilidades mentales duraderas, que pueden transferirse a la solucin de nuevos interrogantes. (3) Como se habr ido notando, el xito de una consigna depende tambin, en gran parte, de los verbos que empleamos para formular la instruccin. Compartir con nuestros estudiantes, a comienzo del ao, a qu llamaremos describir, argumentar, resumir, justificar y dems allana en buena medida la tarea posterior de ambas partes. El uso de este tipo de definiciones es fundamental cuando se trata de emprender una tarea de correccin compar-tida; a esto responde el glosario que presentamos ms adelante. (4) Las planillas propuestas para la correccin de la escritura del SERCE cuentan con el antece-dente de las empleadas por el Sistema de Evaluacin de la Calidad Educativa de la Provincia de Buenos Aires, cuyo prototipo se dise en 1998 con la direccin del LLECE, y que se apli-caron en diversas tomas a partir de ese ao. (5) Parte de este glosario se basa en Atorresi y otros (2000). (6) Al final de cada definicin, se remite, mediante nota, a la referencia bibliogrfica de la obra o las obras que se han tomado como base en general, de amplia difusin. (7) El criterio de lo familiar deviene del anlisis de los currculos nacionales, los libros de textos y los instrumentos de evaluacin efectuado al comienzo del SRCE por el ICFES. 206
(8) En el cuerpo de las definiciones, las palabras y/o frases en negrita remiten a otro concepto incluido en el propio glosario. (9) Se habla de proposiciones en lugar de oraciones con el fin de diferenciar objetos sintcticos y semnticos. La proposicin debe entenderse como el significado que subyace en una ora-cin simple. Juan no vio esa pelcula, Esa pelcula Juan no la vio y Esa pelcula no fue vista por Juan son tres oraciones diferentes; sin embargo, todas expresan la misma propo-sicin: Juan + negacin +ver + esa pelcula. Al leer un texto, se procesa la informacin de tal manera que no se retienen las formas superficiales (las oraciones) sino su contenido pro-posicional, lo cual est directamente relacionado con la limitada capacidad de la memoria a corto plazo. (10) Existe, por ltimo, la ancdota de celebridad, atribuida a una figura histrica (Bolvar, Coln, El Che) o pblica (Gardel, Maradona, Pel). No se la considera relevante aqu, porque no es esperable su ocurrencia en las pruebas. Por lo dems, participa de las caractersticas comunes a las otras dos. (11) No se consideran errores de este tipo los de ortografa. (12) En efecto, la formacin de lexemas obedece a ciertas reglas productivas en numerosas lenguas. Por ejemplo, los lexemas niada, niera, niera, niez, aniado, etc. fueron construidos a partir del lexema nio, ms simple lxicamente, gracias a reglas productivas del espaol. Aunque muchos diccionarios registran de hecho niera como una unidad de vocabulario, sera innecesario hacerlo si se considera que tanto su significado como sus pro-piedades gramaticales (lo mismo que su pronunciacin) son predecibles por medio de la misma regla que interviene en los casos de tontera, alcahuetera, porquera, etc. (13) El que as se lo haya razonado y el que se lo siga haciendo obedecen a una particular con-cepcin ideolgica de la relacin entre las diversas variedades perifricas de una lengua impuesta durante un proceso de colonizacin, y le conceden a la otrora metrpoli la continui-dad de una supremaca lingstica sobre sus ex colonias. 207
CAPTULO VI: MANUAL PARA LA CODIFICACIN DE LOS TEMS DE CIENCIAS NATURALES

A. Cdigo C.b1.it15 TEM 15 del Cuadernillo 1 TEM 30 del Cuadernillo 6
La dureza de un mineral es la resistencia que ofrece a ser rayado. Felipe tiene que ordenar algunos minerales del ms duro al ms blando. Los minerales son: cuarzo, diamante, yeso y calcita. l descubre que el diamante raya a todos los dems y que la calcita raya al yeso pero no al cuarzo. Segn estas evidencias, cul sera la lista de Felipe? Escrbela en las lneas en blanco. _____________________________________________________________ _____________________________________________________________ _____________________________________________________________
Contenido: Materia y energa Desempeo: Solucin situaciones problemticas Objetivo: Este tem pretende evaluar la competencia del alumno para inferir la dureza de distintos minerales relacionando informacin dada. 208
3.1
Ordena todos los minerales desde el ms duro al menos duro.
Ejemplos: A) 1. 2. 3. 4. diamante cuarzo calcita yeso
Crdito completo: 3
B) 1. diamante, cuarzo 2. calcita, yeso. 3. 4. 2.1 Ubica correctamente en la lista al menos dos minerales, estableciendo, al menos para estos minerales, la relacin correcta en cuanto a dureza de cada uno con los tres restantes. Ejemplos: A) 1. 2. 3. 4. Crdito parcial: 2 B) Ubica correctamente el diamante y el yeso (relacin correcta en cuanto a dureza, del diamante con los otros tres minerales y del yeso con los otros tres minerales). diamante calcita cuarzo yeso Ubica correctamente el diamante y el cuarzo (relacin correcta en cuanto a dureza, del diamante con los otros tres minerales y del cuarzo con los otros tres minerales). diamante cuarzo yeso calcita Ubica correctamente la calcita y el yeso (relacin correcta, en cuanto a dureza, de la calcita con los otros tres minerales y del yeso con los otros tres minerales). cuarzo diamante calcita yeso
209
1. 2. 3. 4. C) 1. 2. 3. 4.
1.1 1.2 1.3
No s Respuestas borradas, tachadas, groseras, dibujos que no corresponden. Ubica correctamente en la lista solamente un mineral. Este cdigo se asigna a respuestas que establecen de manera correcta la relacin de un mineral con los otros tres.
Ejemplos: A) 1. 2. 3. 4. Sin Crdito: 1 B) 1. 2. 3. 4. 1.4 diamante yeso cuarzo calcita calcita diamante cuarzo yeso Otras respuestas.
Ejemplo: 1. yeso 2. diamante 3. cuarzo 4. calcita
tem mal impreso, cortado, invertido, ilegible por el alumno.
210
Omisin o missing.
B. Cdigo: C.b2.it15 TEM 30 del Cuadernillo 1 TEM 15 del Cuadernillo 4
Existen varios dichos sobre la lluvia. Uno de ellos es: Siempre que llovi, Par. Otro dice: Siempre que par, volvi a llover. Primero, describe cmo se forma la lluvia. A continuacin, explica por qu el agua que compone la lluvia nunca se agota y siempre vuelve a llover. _____________________________________________________________ _____________________________________________________________ _____________________________________________________________
Contenido: Tierra y ambiente Desempeo: Solucin de situaciones problemticas 211
Objetivo: En este tem se pretende evaluar la capacidad del alumno de describir los procesos de evaporacin y condensacin, y de explicar basndose en carcter cclico de estos procesos, por qu el agua que compone la lluvia no se agota.
4.1 El alumno hace referencia a la evaporacin ( el agua se evapora, pasa de lquido a gas, el vapor sube, etc) y su condensacin (el vapor se condensa, cambia de gas a lquido, el vapor se hace agua y despus llueve, etc) y a la repeticin de los procesos en forma sucesiva. Nota: No es necesario que el alumno responda utilizando los nombres de los cambios de estado, pero debe describirlos en forma explcita. No se entender que el alumno describe la condensacin cuando solo seala que el vapor se transforma en nubes, dado que no se podra establecer si el alumno sabe que se produjo un cambio de gas a lquido. Ejemplos: El vapor se hace agua cuando hace fro y el agua lquida cae como lluvia. La lluvia que cae se evapora, despus se transforma en lquido, vuelve a caer y as se repiten estos cambios. Es porque el sol evapora el agua y se forman las nuves cargadas de agua. Despus llueve y al terminar el sol evapora el agua y vuelbe a llover. El agua nunca se agota por que esa evaporacin se vuelve lquida y se forma en las nubes el agua de lluvia. El vapor sube y las nuves avsorben el vapor y el vapor produce el agua de la lluvia. El agua nunca se agota por que despus que llueve sale el sol y ase que aga vapor. 3.1 El alumno hace referencia a la evaporacin o a la condensacin del agua y a la repeticin de los procesos en forma sucesiva. Ejemplo: La lluvia baja de las nuves. El agua de la lluvia nunca se agota porque cuando deja de llover el agua se vapora y esta regresa a las nuves para que buelba a llober
Crdito completo: 4
Crdito parcial: 3
3.2 El alumno hace referencia a la evaporacin y la condensacin, pero no a la repeticin de los procesos en forma sucesiva. Ejemplo: El agua se evapora y suve hacia las nuves y en las nuves se condensa y vuelve a llover El agua se ebapora por el calor del sol y se hacen nubes y luego se ase agua y despus llueve y se va al mar.
212
2.1
El alumno solo hace referencia a la evaporacin o a la condensacin.
Ejemplo: Llueve porque suve el vapor entonces las nuves se inchan y se larga a llover La lluvia se forma por el bapor de agua. Cuando lluebe el piso queda mojado y al calor. El agua del piso se forma en bapor 2.2 El alumno hace referencia a la repeticin de procesos en forma sucesiva, sin describir la evaporacin ni la condensacin de manera correcta. Si el alumno hace referencia al ciclo considerando a las nubes como objetos animados que se trasladan llevando agua, codifique 1.3.
Crdito parcial: 2
1.1 1.2
No s. Respuestas borradas, tachadas, groseras, dibujos que no corresponden.
1.3 El alumno hace referencia a las nubes como objetos animados que se trasladan llevando agua. Ejemplo: Las nubes bagan asorben el agua y se ban cargando. El agua nunca se agota por que cuando se acaba una nube baja por ms Sin Crdito: 1 1.4 El alumno atribuye la formacin de lluvia al humo que proviene de la contaminacin o confunde con la formacin de lluvia cida. Ejemplo: La lluvia se forma por humo de los autos. As llegan a las nubes donde se acumula y forma la lluvia y por eso la lluvia contiene muchas sustancias 1.5. Otras respuestas.
Item ilegible por el alumno (mal impreso, cortado, invertido). Omisin o missing.
213
C. Cdigo: C.b3.it10 TEM 10 del Cuadernillo 2 TEM 25 del Cuadernillo 4
Hacia qu direccin puede ser incmodo manejar un coche al atardecer? A. Hacia el sur. B. Hacia el este. C. Hacia el oeste. D. Hacia el norte. Explica por qu: _____________________________________________________________ _____________________________________________________________ _____________________________________________________________
Contenido: Tierra y ambiente Desempeo: Solucin de situaciones problemticas 214
Objetivo: En este tem se pretende evaluar si el alumno es capaz de aplicar conocimientos sobre las posiciones relativas del Sol y la Tierra para explicar una situacin cotidiana.
3.1 El alumno marca la opcin C y seala que el Sol se oculta por el oeste y que por lo tanto al conductor, la luz le llegara de frente. Ejemplo: C. Por que como el sol se marcha por el oeste, te encandila. 3.2 Crdito completo: 3 El alumno marca la opcin C y seala que el Sol se oculta por el oeste.
Ejemplo: C. Porque hacia el occidente se oculta el Sol y el conductor no tiene una gua para ver por donde maneja 3.3 El alumno marca la opcin C y solo seala que a la persona que conduce la luz del sol le llegara de frente. Ejemplo: C. Por que te dara el Sol en la cara.
Crdito parcial: 2
2.1
El alumno marca la opcin C y no da ninguna explicacin. 215
1.1 1.2 Sin Crdito: 1
1.3 El alumno marca A, B o D, sealando que a la persona que conduce la luz sol le llegara de frente. 1.4 1.5 El alumno marca C, pero da una explicacin incorrecta. Otras respuestas
W Z
D. Cdigo: C.b3.it15 TEM 15 del Cuadernillo 2 TEM 30 del Cuadernillo 4
216
Contenido: Seres vivos / Salud Desempeo: Interpretacin y aplicacin de conceptos
Objetivo: Este tem pretende evaluar si el alumno es capaz de seleccionar un criterio objetivo de clasificacin y utilizarlo para agrupar animales.
El alumno se refiere explcita o implcitamente (solo hace mencin a las categoras) a un criterio que permite clasificar los seres vivos presentados en dos grupos y clasifica los seis animales correctamente de acuerdo con dicho criterio. 3.1 Clasifica por modo de reproduccin (ovparos vivparos). Se considerar tambin la clasificacin por exclusin ponen huevos no ponen huevos. Crdito completo: 3 3.2 Clasifica por presencia de columna vertebral (vertebrados invertebrados). 3.3 Clasifica por otro criterio objetivo (por ejemplo: terrestres areos). Si el alumno seala un criterio y clasifica correctamente los seis animales en tres grupos asignar el cdigo 3.3. Nota: No es necesario que el alumno responda utilizando nombres tcnicos para las categoras.
El alumno se refiere explcita o implcitamente (solo hace mencin a las categoras) a un criterio que permite clasificar los seres vivos presentados en dos grupos y clasifica cuatro o cinco de los seis animales (4 5) correctamente de acuerdo con este criterio. Crdito parcial: 2 2.1 Clasifica por modo de reproduccin (ovparos vivparos) Se considerar tambin la clasificacin por exclusin ponen huevos no ponen huevos. 2.2 Clasifica por presencia de columna vertebral (vertebrados invertebrados).
217
2.3 Clasifica por otro criterio objetivo. Si el alumno seala un criterio y clasifica correctamente cuatro o cinco de los seis animales en tres grupos asignar el cdigo 2.3 (Por ejemplo: omnvoros, herbvoros y carnvoros).
1.1 1.2
1.3 Seala un criterio que permite clasificar los seres vivos presentados en dos grupos, pero clasifica 3 o menos de los seis animales correctamente de acuerdo con este criterio. 1.4 Seala un criterio que no permite clasificar los seres vivos presentados en dos grupos (por ejemplo: color y tipo de alimentacin o insectos y mamferos o carnvoros y omnvoros). 1.5 Propone una agrupacin de todos los animales, pero no seala el criterio de clasificacin utilizado. 1.6 Clasifica por exclusin. Por ejemplo: mamferos y no mamferos; vuelan y no vuelan. 1.7 1.8 Seala dos criterios diferentes. Por ejemplo: mamferos y voladores. Otras respuestas.
Sin Crdito: 1
W Z
Item ilegible por el alumno (mal impreso, cortado, invertido). Omisin o missing. 218
E. Cdigo: C.b4.it15 TEM 30 del Cuadernillo 2 TEM 15 del Cuadernillo 5
Por qu todos los seres vivos dependen de las plantas para obtener energa? Escribe tu respuesta a continuacin. _____________________________________________________________ _____________________________________________________________ _____________________________________________________________
Contenido: Tierra y ambiente Desempeo: Interpretacin y aplicacin de conceptos
Objetivo: Este tem pretende evaluar la capacidad del alumno para aplicar sus conocimientos sobre las relaciones trficas y el flujo de la energa a la explicacin de la dependencia que los animales tienen, de las plantas. 219
3.1. El alumno hace referencia al papel de las plantas como primer eslabn de las cadenas alimentarias, haciendo evidente la nocin de flujo de energa entre plantas y animales. Ejemplos: - Todos los seres vivos dependen de las plantas para obtener alimentos porque la planta es la nica Crdito completo: en la cadena de alimentacin que elabora sus propios alimentos por lo que ella se nombra en producto3 res y el ser humano pasa a hacer consumidor. - Porque las plantas producen su propio alimento usando la energa del sol y los animales necesitan alimentarse de otros seres vivos. Porque solo las plantas reciben directamente la energa del Sol; por ello todo ser vivo extrae la energa que reciben las plantas - Por que las plantas son la base de la cadena alimentaria y si no hay plantas se terminan todos los depredadores.
2.1. El alumno hace referencia a que las plantas son los nicos seres vivos que pueden producir sus propios alimentos a partir de la energa del Sol. Ejemplos: Crdito parcial: 2 - Porque las plantas son los nicos seres vivos que elaboran su propio alimento. De este modo, con el proceso de fotosntesis, las plantas absorben el dixido de carbono expulsa el oxigeno (que es el gas que nosotros utilizamos para respirar y de este modo vivir). - Por que las plantas son productoras. 220
1.1 No s 1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden. 1.3 El alumno seala que las plantas sirven de alimento para algunos animales. Ejemplo: - Por que las plantas nos provee de alimentos por sus frutos, sus vitaminas, etc. 1.4 El alumno seala la importancia de las plantas en la produccin de oxgeno o que posibilitan la respiracin. Sin Crdito: 1 Ejemplo: - Porque las plantas realizan la fotosntesis que es cuando las plantas largan el oxgeno 1.5 El alumno seala que las plantas sirven de alimento para algunos animales y la importancia de las plantas en la produccin de oxgeno o que posibilitan la respiracin. 1.6 Otras respuestas.
W Z
221
F. Cdigo: C.b5.it15 TEM 15 del Cuadernillo 3 TEM 30 del Cuadernillo 5
Por qu el carbn, el petrleo y el gas son combustibles fsiles? Escribe tu respuesta a continuacin. _____________________________________________________________ _____________________________________________________________ _____________________________________________________________
Contenido: Tierra y ambiente Desempeo: Interpretacin y aplicacin de conceptos
Objetivo: Este tem pretende evaluar la capacidad del alumno para relacionar el proceso de formacin del carbn, el petrleo y el gas con el nombre que se le da a este conjunto de combustibles.
222
4.1 El alumno seala el origen de los combustibles como un evento que ocurri hace mucho tiempo atrs y a partir de seres vivos. Ejemplos: Crdito completo: 4 Porque se formaron hace millones de aos de plantas enterradas. Porque en ciertos lugares del mundo se enterraron organismos muertos en gran cantidad y en muchos miles de aos se forma todo eso Por parte unos dinosaurios que murieron se enterraron y fue dando vuelta el mundo y as se fue creando el carbn el petrleo y muchas cosas ms
Crdito parcial: 3
3.1 El alumno slo seala el origen de los combustibles fsiles a partir de seres vivos, pero no menciona que el evento ocurri en el pasado. Ejemplos: Porque los que murieron se transformaron en combustibles fsiles Porque se formaron por plantas.
2.1 El alumno slo seala que el evento ocurri hace mucho tiempo atrs, pero no menciona el origen de los combustibles fsiles a partir de seres vivos. Crdito parcial: 2 Ejemplos: - Porque se formaron hace muchsimo tiempo. - Porque se hicieron hace miles de aos.
223
1.1
No s.
1.2 Respuestas borradas, tachadas, groseras, dibujos que no corresponden. 1.3 El alumno se refiere al uso de los combustibles, por ejemplo se usan para cocinar o para andar los carros. 1.4 El alumno se refiere a que provienen de la tierra o de fsiles de seres vivos. Ejemplo: Sin Crdito: 1 Porque cuando un animal se muere se hace fsil. Porque son los fsiles de los dinosaurios. 1.5 El alumno se refiere a que los combustibles fsiles como recursos no renovables. 1.6 Otras respuestas. Ejemplo: Por los huesos de los humanos despus que se descomponen los cuerpos que en unos mil aos se convirtieron en estos combustibles que sern hallados por los humanos
W Z
224
CAPTULO VII: MANUAL PARA EL PROCESAMIENTO Y ANLISIS DE DATOS APLICACIN PILOTO

El presente Manual de Procesamiento de datos y Anlisis de Items para el SERCE, es un documento gua para el procesamiento de datos provenientes de la aplicacin piloto del estudio, que presenta indicadores estadsticos que orienten la toma de decisiones en relacin con la aceptacin o rechazo de tems para conformar los instrumentos que se aplicarn en el estudio definitivo, decisiones que, por supuesto, tambin estarn sustentadas en un anlisis cualitativo, basado en los marcos tericos de las pruebas, el contexto y propsitos del estudio, las caractersticas de la poblacin evaluada, etc. Su alcance no cobija el procesamiento de datos de la aplicacin definitiva. Para efectos prcticos, esos indicadores estadsticos se toman de la Teora de Respuesta al Item (TRI), cuyos supuestos son fuertes y apropiados para los propsitos de la evaluacin del SERCE; algunos de estos indicadores permiten reconocer la calidad de cada uno de los tems y otros describen al grupo o grupos de evaluados a quienes se aplica dichos tems. Todos estos indicadores pueden ser interpretados desde los supuestos de la TRI en general y desde los diferentes modelos de esta teora. Adems, son apropiados para los objetivos del estudio piloto. Es prudente mencionar que algunos de los objetivos del estudio piloto son la verificacin de la calidad de los tems aplicados y de los procedimientos implementados. No se pretende, a partir de esta aplicacin piloto, realizar comparaciones de resultados entre pases, entre otras razones, debido a que las muestras no son representativas. Sin embargo, para efectos del anlisis de tems, s es necesario conocer el comportamiento de los tems en los diferentes pases participantes, por lo cual se incluye la produccin de reportes por pas. El procesamiento de datos planteado para la aplicacin piloto incluye el anlisis de tems de seleccin mltiple con nica respuesta e tems con respuesta abierta de crdito parcial; no se incluyen las preguntas de la prueba de escritura. Para el anlisis de tems del estudio piloto, adems del reporte internacional y de los reportes por pas, se har uso de los informes de la aplicacin piloto entregados por los Coordinadores Nacionales. 1. FUNDAMENTACIN TERICA DEL MODELO DE ANLISIS 1.1. LAS TEORAS DE MEDICIN En la construccin de pruebas, dos teoras psicomtricas han tenido trascendencia: la teora clsica de las pruebas (TCP) y la teora de respuesta al tem (TRI). El modelo lineal de la TCP describe la influencia de los errores de medida en las puntuaciones observadas y sus relaciones con las puntuaciones verdaderas27 . La TCP presenta varias limitaciones; la ms importante de ellas es que no permite separar las caractersticas del examinado de las caractersticas del test. La dificultad de un tem se define, en este contexto, como la proporcin de examinados en un grupo determinado que contesta el tem correctamente. Las caractersticas mtricas del test (tales como confiabilidad y validez) se definen en trminos de un grupo determinado de examinados con el cual se ha construido el baremo o norma de interpretacin de las puntuaciones; esto hace difcil comparar examinados que tomaron distintos tests, e imposibilita el anlisis de interpretaciones de resultados con referencia a criterio28 .
27 Martnez, R. (1996). Psicometra: Teora de los Tests Psicolgicos y Educativos. Madrid: Sntesis. 28 ardo, C. (2001). Revista ACTA Colombiana de Psicologa. No. 5. Bogot: Universidad Catlica de Colombia.
225
Otra debilidad de la TCP es que no proporciona informacin precisa acerca de la habilidad de cada una de las personas; presume que la varianza del error de medida es igual para todos los examinados. Adems, la construccin de formas paralelas de una prueba, requisito para establecer la confiabilidad, se dificulta en la prctica. El modelo de la teora de respuesta al tem, (TRI), intenta dar una fundamentacin probabilstica al problema de la medicin de rasgos y constructos no observables, y considera al tem como unidad bsica de medicin. La TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCP, sino que hace asunciones adicionales que permiten superar las debilidades de esta ltima29 . Mientras en la TCP la medicin del atributo se asume como la sumatoria de respuestas a tem individuales, en la TRI se estima el nivel de un atributo medido utilizando el patrn de respuesta del evaluado30 . 1.2. LA TEORA DE RESPUESTA AL ITEM (TRI) 1.2.1. Supuestos de la TRI Los planteamientos de la TRI se fundamentan en el postulado de que la ejecucin de una persona en una prueba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, habilidad y en el hecho de que la relacin entre la ejecucin del examinado y la habilidad que la soporta puede describirse por una funcin monotnicamente creciente. Como todo modelo matemtico, la TRI incluye un conjunto de supuestos acerca de los datos en los cuales se aplica, y especifica las relaciones entre los constructos descritos en el modelo3132 . En trminos generales, la TRI considera 3 supuestos bsicos: 1) Dimensionalidad. En la TRI se asume que cuando se disea una prueba, sta deber medir, preferiblemente, una dimensin, una habilidad. Se reconoce que cuando una persona responde a un tem en una prueba, confluyen mltiples habilidades, pero los tems deben disearse haciendo nfasis en una de ellas o en una combinacin particular predefinida. 2) Independencia Local. Se espera que un evaluado responda a un tem en particular sin que recurra a informacin de otros tems para hacerlo correctamente. En otras palabras, la ejecucin en un tem no debe afectar sus respuestas en otro. En las pruebas en donde los tems dependen de un mismo contexto (texto), se aplica la independencia local entre los tems y no entre ellos y el contexto. 3) Curvas Caractersticas de tems (CCI). La CCI es una funcin matemtica que relaciona la probabilidad de xito en una pregunta con la habilidad, medida por el conjunto de tems que la contienen33 34. Los diferentes modelos de la TRI se diferencian en la forma particular que adquiere la funcin de probabilidad, la cual incluye el nmero especfico de parmetros del modelo. Todo tem puede describirse por su CCI y es esta curva la unidad conceptual bsica de la TRI.
226
29 30 31
32 Weiss, D. y Yoes, M. 1994. Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological testing. Boston.
Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates. Nunnally, A. (1987). Teora Psicomtrica. Mxico: Trillas. Hambleton, R. y Swaminathan, H. 1985. Item Response Theory: principles and applications. Kluwer. Boston.
33 7 Hambleton, R. y Swaminathan, H. 1985. Op. Cit. Thorndike, R. 1999. IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. 1999. The New 34 Rules of Measurement. New Jersey. University of Kansas.
1.2.2. Modelos en la TRI Bajo el nombre genrico de la TRI se presentan diferentes modelos que, aunque se diferencian en algunos rasgos, tienen en comn una serie de aspectos bsicos, especialmente el de ser modelos estructurales que establecen una relacin matemtica formalizada entre la respuesta a un tem concreto y el nivel de habilidad de una persona. Los primeros modelos de TRI seguan la ojiva normal, en la actualidad los modelos de uso comn siguen la ojiva logstica o funcin de distribucin logstica, que define toda una familia de curvas de forma similar en apariencia a la ojiva normal; La forma general de la funcin logstica es:
e f ( ) = 1 + e
donde
(1)
e es la base de los logaritmos neperianos, xf ( cualquier valor o funcin. y ) = 1 + e
Existen diversas funciones que cumplen la propiedad de la monotona creciente de la curva que describe la probabilidad como funcin de la habilidad. Las diferencias entre ellas pueden darse por la forma y por los parmetros que la describen. Para definir las curvas son utilizadas hasta tres parmetros denominados a, b y c, que representan el ndice de discriminacin, el ndice de dificultad y la probabilidad de seleccionar la respuesta correcta al azar, respectivamente.
227
Modelo De Rasch
El modelo de Rasch, establece la probabilidad de respuesta de una persona ante un estmulo dado, en trminos de la diferencia entre la medida del rasgo de la persona y la medida del estmulo utilizado35. El modelo considera que la respuesta a un tem slo depende de la interaccin entre la habilidad del sujeto y de la dificultad del tem, es decir, de( ) = b. La CCI viene dada por la funcin logstica, y el nico parmetro de y de e f los tems que se tiene 1 + e en cuenta es b, el ndice de dificultad. No se hacen hiptesis globales sobre el patrn de respuestas de un grupo, ni sobre la adivinacin sistemtica. Por el contrario, plantea que la adivinacin es un patrn personal y puede ser detectada en funcin del ajuste o desajuste de las respuestas de una persona al modelo. Esta misma hiptesis aplica para los tems. La medida de una persona es independiente de la prueba empleada y la calibracin del tem es independiente de la poblacin que lo aborda.
35
Tristn, A. (2001). Rasch para Todos. Mxico: Ceneval.
La funcin del modelo se expresa de la siguiente forma: (2) donde,
e Pi (())es laprobabilidad de responder correctamente el item i en determinado nivel ( ) = e f f = e 1 + e los e ) = son1 +valores de la variable medida f ( 1 + e bi es el ndice de dificultad del tem i es la base de los logaritmos neperianos
Modelo de Dos Parmetros

En 1952, Frederic Lord propuso un modelo de Respuesta al tem en el que las ICCs tomaban la forma de una ojiva normal de dos parmetros. En este modelo se tienen en cuenta los parmetros de dificultad (b) y discriminacin (a). Estos se definen tericamente en una escala que oscila entre (- ,+ ). No obstante, en la prctica, los valores de dificultad generalmente varan entre 3.5 y +3.5, correspondiendo el valor de 3.5 a tems muy sencillos y el valor +3.5 a tems muy difciles. En cuanto al parmetro a, los valores negativos se descartan en los test de aptitud y en la prctica sus valores oscilan entre 0 y 2. Valores muy bajos en poder discriminante dan lugar a ICCs, que crecen lenta y gradualmente al aumentar el nivel de habilidad. La funcin del modelo se expresa de la siguiente forma:
228 donde,
e Pi (( ) es la probabilidad de acertar el item i para un valor( ) = e f f )= 1 + e son valores ) = lose1 + ede la variable medida f ( 1 + e bi es el ndice de dificultad del tem i ai es el ndice de discriminacin del tem i es la base de los logaritmos neperianos D es un factor de escalamiento = 1.7 (su uso asegura una variabilidad inferior a 0.01 en los valores estimados Tristn, A. (2001). Rasch para Todos. Mxico: Ceneval. de habilidad, cuando se usa la ojiva normal o la ojiva logstica de dos parmetros).
Modelo de Tres Parmetros

Este modelo fue originado y desarrollado por Allan Birnbaum. Adems de los supuestos bsicos de la TRI, el modelo de Tres Parmetros usa directamente los valores a, b y c, para encontrar una curva que mejor aproxime los puntos observados. El modelo se expresa en la siguiente funcin:
Da( b ) )= ci +(1ci) e Pi( 1+eDa( b )
i i i
(3)
donde,
Pi(( )es la probabilidad de responder correctamente el tem i para un valor( ) = e ) = e f f e los e 1 + e ) = son1 +valores de la variable medida f ( 1 + e ai es el ndice de discriminacin del tem i bi es el ndice de dificultad del tem i ci es la probabilidad de responder en forma correcta el tem cuando no se conoce la respuesta (por azar)
es la base de los logaritmos neperianos es una constante = 1.7 (valor introducido para que la funcin logstica sea ajustada a la ojiva normal con una exactitud de 0,01)
Distintos estudios que han puesto a prueba este modelo han encontrado que el parmetro c, por lo regular, asume valores ms pequeos que el valor que resultara si los examinados de baja habilidad seleccionaran al azar la respuesta; este fenmeno se ha explicado por el hecho de que en realidad los examinados de baja habilidad regularmente no eligen al azar a ciegas-la respuesta a un tem que no pueden responder, sino que responden opciones que se presentan ante ellos como plausibles. Por lo anterior se ha sugerido evitar la denominacin de adivinacin para el parmetro c y se ha optado por llamarlo nivel de seudoprobabilidad. 2. INDICADORES ESTADSTICOS PARA EL ANLISIS DE TEMS El anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin implica un saber profundo sobre el objeto de evaluacin, la poblacin evaluada, los propsitos de la evaluacin y se requiere, adems, conocer debidamente las tcnicas de procesamiento de datos para hacer una adecuada interpretacin de los indicadores estadsticos disponibles. El proceso de anlisis de tems debe conducir a la toma de decisiones en relacin con la inclusin, exclusin o modificacin de tems, a partir de la identificacin clara de las posibles problemticas de los mismos. A continuacin se describe cada uno de los indicadores sugeridos para el procesamiento de datos del SERCE, con miras a proveer informacin cuantitativa necesaria para adelantar el anlisis de tems. 2.1. DIFICULTAD Definicin: indica la posicin de la curva del tem a lo largo de la escala de habilidad; entre ms difcil es un tem su curva estar localizada ms a la derecha en la escala de habilidad.
229
Justificacin de uso: es uno de los parmetros fundamentales en los Modelos de la TRI. Es indicador base para la conformacin de pruebas y de bancos de tems, as como para establecer comparabilidad de escalas. Se requiere para obtener otros indicadores de tems (curvas caractersticas, funcin de informacin). Interpretacin: los valores de dificultad oscilan entre menos infinito y ms infinito en la escala logit, aunque en trminos prcticos los tems asumen valores entre 3.5 y +3.5, cuando el promedio de dificultades del grupo de tems se centra en cero. Valores positivos y altos indican alta dificultad y los valores negativos indican baja dificultad. Criterio de aceptacin: regularmente se analiza la distribucin de valores de dificultad del instrumento en relacin con los valores de habilidad de la poblacin evaluada para conceptuar sobre lo apropiado de la medicin de dicho instrumento, de acuerdo con los propsitos que lo inspiraron. Un aspecto importante de anlisis est dado por la densidad de tems en un punto de la escala de habilidad en particular; as, se espera que no haya ms de dos tems de un mismo componente o contenido que midan con la misma dificultad. No se establecen de antemano valores de rechazo para este indicador; no obstante, tems que sean respondidos correctamente por la totalidad de la muestra o que no sean respondidos correctamente por ninguno de los evaluados sern objeto de un reporte especial. 2.2. DISCRIMINACIN Definicin: corresponde al poder de un tem para diferenciar a los evaluados en distintos niveles de habilidad frente a un constructo medido36 Grado en el cual las respuestas a un tem varan en relacin con el nivel de habilidad. Se conoce tambin como la pendiente de la curva en el punto de mxima inflexin. Justificacin de uso: es, junto con la dificultad, parmetro fundamental de los tems dentro del Modelo de Dos Parmetros. Indica en qu grado el tem es respondido correctamente por las personas de alta habilidad e incorrectamente por las personas de baja habilidad. Interpretacin: los valores de discriminacin oscilan, tericamente, entre menos infinito y ms infinito, aunque, en la prctica, los tems presentan valores de discriminacin entre 0 y +2. Valores que se aproximan a ms infinito se corresponden con un patrn de Guttman (discriminacin perfecta). Criterio de aceptacin: son aceptables los tems con valores de discriminacin superiores o iguales a 0.7. No obstante, en caso de tener un mayor nmero de tems que los necesarios, la aceptabilidad se hara en orden del valor de la discriminacin. 2.3. CORRELACIN PRODUCTO MOMENTO PUNTO MEDIDA Definicin: relacin entre la respuesta correcta a un tem de una prueba y el valor de habilidad obtenido en dicha prueba. Este indicador supera las dificultades de la correlacin punto biserial tradicional en tanto no es afectada por valores missing. Se calcular para la clave as como para las dems opciones de cada tem. Justificacin de uso: permite inferir validez de los tems en cuanto stos se comporten como partes del instrumento. Interpretacin: puede tomar valores entre 1 y 1. Los valores positivos indican que la respuesta correcta al tem est asociada a altos puntajes en la prueba; valores negativos indican que dicha asociacin se da de manera inversa, es decir, altos puntajes en la prueba se asocian a una respuesta incorrecta al tem.
36 ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.
230
Criterio de aceptacin: son aceptables tems con valores superiores a 0.25. Es deseable que la distribucin de valores de correlaciones biseriales de los tems de la prueba incluya valores superiores al criterio de aceptacin. Igualmente, se debe seguir el orden del valor de la correlacin punto biserial para la aceptacin de los tems. 2.4. FUNCIONAMIENTO DIFERENCIAL DE TEMS -DIF37 Definicin: grado en el cual un tem presenta propiedades estadsticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos. Justificacin de uso: es un indicador de equidad en cuanto permite reconocer tems que presenten comportamiento estadstico diferente en los distintos pases participantes en el estudio, bien sea para proceder a ajustar dichos tems si se encuentra que el DIF se debe a fallas de construccin-o para reconocer necesidades particulares de ajuste o cualificacin de procesos educativos si se descartan problemas de construccin del tem-. En cualquier caso, debe garantizarse que la calificacin final en el estudio se realice a partir de tems que no presenten DIF. Interpretacin: se interpreta el test t de significancia estadstica para aceptacin o rechazo de la hiptesis de funcionamiento diferencial que es equivalente al test de significancia Mantel Haenszel. Criterio de aceptacin: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad. Clculo: el anlisis de DIF se realiza con todos los tems (o todos los grupos poblacionales), excepto con el que est siendo analizado, anclando sus dificultades (habilidades) a los valores de las dificultades (habilidades) para la totalidad de los tems (o grupos poblacionales) incluyendo el que est siendo analizado. Se calcula un DIF de contraste que corresponde a la diferencia entre los tamaos de DIF de los tems (o grupos poblacionales) en estudio, que es equivalente a la medida de DIF con procedimiento Mantel-Haenszel. 2.5. CURVA CARACTERSTICA DEL ITEM ICC38 Definicin: funcin matemtica que relaciona la probabilidad de xito en un tem con la habilidad medida por el tem. Se debe calcular, para cada tem, la ICC y la Curva Emprica del tem39 , tanto para la clave como para las dems opciones de respuesta. Se presentarn cuatro grficas por prueba, por grado, en el Informe Internacional, solamente. Justificacin de uso: permite verificar el grado en el cual el modelo da cuenta de los resultados de la evaluacin40 . Interpretacin: la curva caracterstica del tem para el Modelo de Dos Parmetros toma la forma de una ojiva logstica. La interpretacin consiste en verificar la correspondencia entre la curva emprica del tem y la curva caracterstica. Criterio de aceptacin: curvas empricas (ECC) que se comportan de acuerdo con la curva caracterstica del modelo.
37 DIF, en ingls: Differential Item Functioning. 38 Item Caracteristic Curve 39 La curva basada en los puntajes observados se puede llamar Funcin Emprica de Respuesta al tem o Curva Emprica del Item (en ingls: Empirical Caracteristic Curve, ECC). 40 Se sugiere obtener las ICC para el modelo de dos parmetros y para el modelo de Rasch con el propsito de establecer el mejor ajuste de los datos.
231
2.6. AJUSTE PRXIMO Y LEJANO (INFIT Y OUTFIT) Definicin: indica la correspondencia entre un grupo de datos y el modelo estadstico utilizado para representarlos. El ajuste prximo (infit) se refiere a la relacin entre los datos que se encuentran cerca del valor de dificultad del tem y el valor de dificultad; el ajuste lejano (outfit) se refiere a la relacin de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad. Ambos indicadores deben ser calculados para la clave. Para las dems opciones de respuesta debe calcularse el ajuste lejano. Justificacin de uso: la utilizacin de un modelo para representar datos debe fundamentarse en la verificacin de que dicho modelo en verdad representa el comportamiento de los datos y, por ende, puede inferirse el cumplimiento de los supuestos de dicho modelo para los datos analizados. Interpretacin: los valores posibles se encuentran entre cero (0) e infinito positivo. El valor que determina el ajuste perfecto entre los datos y el modelo es 1. Los valores muy inferiores a 1 indican dependencia de los datos (paradoja de atenuacin); valores superiores a 1 indican ruido en la informacin; valores superiores a 2 indican que el ruido es mayor que la informacin til. Criterio de aceptacin: valores de ajuste entre 0.8 y 1.2. Clculo: se basa en la suma de los cuadrados de los residuos estandarizados. Esta suma se aproxima a una distribucin chi cuadrado. Dividiendo esta suma por sus grados de libertad se obtiene un valor esperado de 1 y rango entre cero e infinito. 2.7. PROMEDIO DE HABILIDAD POR OPCIN Definicin: promedio de las habilidades de quienes eligen cada opcin de respuesta de un tem. Se debe incluir, adicionalmente, la proporcin de respuestas para cada opcin. Esta informacin se presenta para el informe internacional de la aplicacin piloto solamente e incluye los datos de todos los evaluados. Justificacin de uso: permite reconocer la proporcin de personas que seleccionan una opcin como respuesta correcta y su habilidad promedio. La combinacin de estos dos datos proporciona informacin til para determinar la validez de cada tem en relacin con los marcos conceptuales de las pruebas y valorar la calidad de cada opcin. Interpretacin: los valores posibles de habilidad promedio se encuentran entre infinito negativo hasta infinito positivo. Se espera que el promedio de habilidad para la opcin considerada clave sea el mayor de todos. El mapa de distribuciones de los promedios de habilidad de las opciones de todos los tems indica el funcionamiento relativo de todas las opciones y puede ser interpretado con base en los marcos conceptuales de las pruebas. El orden de los promedios de habilidades permite comprender las complejidades de las opciones para la poblacin evaluada. Las proporciones de respuesta para cada opcin dan una idea de su atraccin en una poblacin particular. Criterio de aceptacin: el mayor promedio de habilidad debe ser el de la clave.
232
2.8. MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES Definicin: Relacin grfica, en una misma escala, entre la distribucin de las dificultades de los tems y la distribucin de las habilidades de los evaluados. Esta grfica se presenta slo en el informe internacional. Aunque no es un indicador estadstico en s mismo, utiliza indicadores de personas y de tems que ofrecen informacin pertinente para el anlisis de los bloques y de los tems que los conforman. Justificacin de uso: permite contrastar la dificultad de los tems en una poblacin particular y determinar si stos se ajustan a la poblacin; igualmente, es posible observar el cubrimiento de las habilidades por parte de los tems. Permite identificar grupos de tems o de personas que por su nivel de dificultad o habilidad, respectivamente, merezcan una atencin especial en el anlisis. Pueden ser contrastadas las expectativas de los constructores de tems, en relacin con el nivel de dificultad de los tems, as como si la muestra seleccionada se comporta de acuerdo con los propsitos del diseo muestral. Interpretacin: las habilidades y las dificultades se presentan en una escala que oscila entre menos infinito y ms infinito. Si la distribucin de habilidades tiene valores inferiores a la distribucin de dificultades, quiere decir que para ese grupo poblacional los tems resultaron difciles. Por el contrario, si la distribucin de habilidades tiene valores superiores a la distribucin de dificultades, signfica que para ese grupo poblacional los tems resultaron fciles. Criterio de aceptacin: se espera que las distribuciones de habilidades y dificultades tengan posicin y dispersin semejantes entre s. De esta manera se entiende que el grupo de preguntas analizado cubre la totalidad de las habilidades dela poblacin. Si las distribuciones no son semejantes, las diferencias deben ser interpretadas a la luz de los marcos tericos de las pruebas y del propsito del estudio SERCE. 2.9. CORRELACIONES INTER TEM Definicin: correlaciones entre los tems de un mismo bloque. Este indicador se presenta slo en el Informe Internacional. Justificacin de uso: indica el grado de relacin entre dos tems de un mismo bloque, indicando si miden lo mismo (dimensionalidad del constructo). Se utiliza en anlisis de la confiabilidad de un grupo de tems. Interpretacin: Si el valor de las correlaciones es positivo y alto indica que los tems miden el mismo objeto; si, por el contrario, los valores son negativos, indica que los tems miden objetos diferentes. Criterio de aceptacin: las correlaciones deben ser positivas y altas. 2.10. ERROR ESTNDAR DE MEDICIN Definicin: corresponde a la desviacin estndar de una distribucin imaginaria de errores que representan la posible distribucin de valores observados alrededor del valor terico verdadero. Es un indicador de la confiabilidad. Justificacin de uso: si se calcula el error de medicin de cada habilidad estimada o dificultad estimada (o conjunto de habilidades o dificultades), se conoce la precisin de la medida o la estimacin, orientando la toma de decisiones para la depuracin de bases de datos y para el anlisis de tems. 233
Interpretacin: como en cualquier proceso de medicin, se espera que el error sea cercano a cero. Errores demasiado grandes restan confianza en las estimaciones del parmetro. La escala de valores en la cual se reportan los errores est asociada a la escala de medicin utilizada, por lo cual no es posible establecer, de manera universal y de antemano, un valor mnimo aceptable de error. Criterio de aceptacin: por lo general, diferentes autores coinciden en que la decisin de cul sera un valor de error aceptable y cul no, debe derivarse de un juicio profesional experto de quienes conocen procedimientos psicomtricos, el instrumento de medida y su marco de fundamentacin41. 3. INDICADORES ESTADSTICOS PARA EL ANLISIS DE GRUPOS DE TEMS En consideracin a que el diseo del estudio contempla que los instrumentos (pruebas) estn conformados de acuerdo con agrupaciones de tems en bloques, aplicados de manera sistemtica en cuadernillos editados con arreglos distintos de dichos bloques, el anlisis de tems debe incluir una fase de anlisis de indicadores estadsticos que den cuenta del comportamiento de tales agrupaciones. En tal sentido, a continuacin se describen los indicadores propuestos para el anlisis de bloques; es de notar que dado que la aceptacin o rechazo de tems se hace con base en sus indicadores individuales, para los indicadores de grupos de tems no se define un criterio de aceptacin. 3.1. PROMEDIO Se requiere obtener promedio de habilidades, promedio de dificultades y porcentaje de respuestas correctas. Definicin: promedio de las dificultades de los tems del bloque y de las habilidades de las personas que abordan el bloque. Justificacin de uso: permite conocer el comportamiento del bloque en diferentes grupos poblacionales, en relacin con la posicin de dicho bloque en distintos cuadernillos. Tambin permite observar el comportamiento relativo de los distintos grupos poblacionales, de acuerdo con el diseo muestral. Interpretacin: si el bloque se encuentra ajustado a la poblacin, el promedio de habilidades debe ser aproximadamente igual al promedio de dificultades. Si el promedio de habilidades es superior, significa que el bloque fue relativamente fcil para ese grupo poblacional; si por el contrario el promedio de habilidades es inferior al promedio de dificultades, significa que el bloque fue relativamente difcil para ese grupo poblacional. El porcentaje de respuestas correctas aporta al anlisis intrabloque en cuanto constituye un indicador general de la manera en que los evaluados abordaron cada bloque. 3.2. DESVIACIN ESTNDAR Se requiere obtener la desviacin estndar de habilidades y de dificultades. Definicin: medida de la dispersin de la distribucin de las dificultades de los tems de un bloque y de la distribucin de las habilidades de las personas que abordan dicho bloque. Justificacin de uso: permite valorar la homogeneidad/heterogeneidad de los valores de dificultad del grupo de tems de un bloque, as como de los valores de habilidad del grupo poblacional que aborda dicho bloque. 234
41
AERA, APA, NCME. (1999) Standards ford educational and psychological testing. Washington: AERA.
Interpretacin: desviaciones estndar altas (superiores a 1 en valores logit) indican heterogeneidad del grupo de datos; desviaciones estndar bajas (inferiores a 1 en valores logit) indican homogeneidad del grupo de datos. Esta informacin se contrasta con el respectivo valor del promedio para comprender el desempeo de una poblacin particular. 3.3. PUNTUACIN MXIMA Y PUNTUACIN MNIMA Definicin: puntuaciones logit ms alta y ms baja alcanzadas por una poblacin particular. Justificacin de uso: permite reconocer los extremos de la distribucin de habilidades en una poblacin particular y contrastarlos con las expectativas de los evaluadores. Interpretacin: si el valor mximo en logits alcanzado por una poblacin es inferior al valor de habilidad equivalente a n-1 tems correctos, indica que el grupo de tems result complejo para las personas de ms alta habilidad. Si el valor mnimo, en logits, alcanzado por una poblacin es superior al valor de habilidad equivalente a 1 tem correcto, indica que el grupo de tems result fcil para las personas de ms baja habilidad. Se espera que los valores mnimos y mximos correspondan a 1 respuesta correcta y a n-1 respuestas correctas, respectivamente. 3.4. CONFIABILIDAD Definicin: indica el grado de precisin en la medicin. En la TRI se utiliza la Funcin de Informacin como indicador de la confiabilidad. Justificacin de uso: es importante conocer la precisin de la medicin en cada punto de la escala de habilidad, para cada uno de los bloques, en las distintas poblaciones. Interpretacin: a mayor valor de la funcin de informacin es mayor la precisin en la medida. 4. SOFTWARE PARA PROCESAMIENTO El procesamiento de datos para el estudio SERCE debe ofrecer informacin suficiente para efectuar el anlisis de tems con los indicadores sugeridos en los apartados 2 y 3. En el mercado se cuenta con oferta considerable de software que opera con los supuestos de la Teora de Respuesta al Item y que implementa las funciones matemticas de sus diferentes modelos, enunciadas en el apartado 1 de este documento. La diferencia entre un software y otro, ya sea que estn o no inspirados en un mismo modelo, radica principalmente en aspectos como el tamao poblacional y la longitud de los instrumentos que les es posible procesar, en la formulacin matemtica particular que implementan y, quizs lo ms importante, desde el punto de vista de un proceso de evaluacin, en la confiabilidad (precisin) de los datos que arroja. Se revisaron distintas caractersticas tcnicas (la cantidad de indicadores que reporta el software y la precisin en las estimaciones de los mismos; la cantidad de datos que tiene capacidad de analizar; los requerimientos de conformacin de bases de datos; la convergencia en las estimaciones y la interfase grfica) de programas de software disponibles en el mercado, tales como Bilog MG, Multilog, Parscale, Rascal y Winsteps y se lleg a la conclusin que este ltimo ofrece las mayores ventajas para el procesamiento de datos en la aplicacin piloto del proyecto SERCE. 235
Winsteps es un software que opera en plataforma windows y que implementa los principios de la Teora de Respuesta al tem para construir mediciones objetivas a partir de una base de datos sencilla en la cual se especifican personas (evaluados) y sus respuestas a un grupo de tems. Puede trabajar de manera simultnea con varios formatos de tems (dictomos, de seleccin mltiple con nica y con mltiple respuesta y de crdito parcial); ofrece gran variedad de reportes tabulares y con interfases grficas, en los cuales se presenta de manera detallada y tambin resumida, el comportamiento de las poblaciones y de los tems analizados. Una caracterstica importante es que el software seala con claridad los datos que presentan comportamientos por fuera de lo esperado. Los datos missing no son un problema para las estimaciones que realiza este software. La generacin de escalas de calificacin usando Winsteps constituye un proceso relativamente simple toda vez que el software permite el procesamiento de datos, agrupados segn variables de inters, sin requerir modificaciones en la estructura de la base de datos original. Winsteps tambin permite prefijar valores (anclar) de los parmetros para facilitar procesos de comparabilidad (equating). Winsteps puede procesar hasta 10.000.000 de personas y 30.000 tems y cada tem puede contemplar hasta 255 categoras de calificacin (el de mayor capacidad, para tems y categoras, en el mercado). El software tiene un manual detallado para orientar su uso y la interpretacin de la informacin que arroja; la firma Winsteps ofrece apoyo tcnico en lnea, oportuno y eficaz, para solventar inquietudes tanto de procesamiento como de interpretacin de datos. 5. BASE DE DATOS Son dos las bases de datos necesarias: la de entrada o base de datos inicial y la base de datos de salida, cada una compuesta por varias tablas. 5.1. BASE DE DATOS DE ENTRADA Esta base de datos debe contener la siguiente informacin de los evaluados: Cdigo de pas Grado Cdigo del centro educativo Aula Nombre del cuadernillo Respuestas a las preguntas Esta informacin puede encontrarse en diferentes tablas que tengan algn campo comn para obtener el archivo de datos que se utilizar en el procesamiento de datos para el anlisis de tems. En total se requieren 5 archivos de datos, que tendrn la siguiente informacin y deben estar en formato txt:
236
Archivo 1. Lenguaje tercer grado Cdigo de pas Cdigo de centro educativo Cdigo de grado Aula Cdigo estudiante Nombre del cuadernillo de lenguaje Respuestas a Bloque 1 de lenguaje (si aplica) Respuestas a Bloque 2 de lenguaje (si aplica) Respuestas a Bloque 3 de lenguaje (si aplica) Respuestas a Bloque 4 de lenguaje (si aplica) Respuestas a Bloque 5 de lenguaje (si aplica) Respuestas a Bloque 6 de lenguaje (si aplica) Respuestas a Bloque 7 de lenguaje (si aplica) Respuestas a Bloque 8 de lenguaje (si aplica) Archivo 2. Lenguaje sexto grado Cdigo de pas Cdigo de centro educativo Cdigo de grado Aula Cdigo estudiante Nombre del cuadernillo de lenguaje Respuestas a Bloque 1 de lenguaje (si aplica) Respuestas a Bloque 2 de lenguaje (si aplica) Respuestas a Bloque 3 de lenguaje (si aplica) Respuestas a Bloque 4 de lenguaje (si aplica) Respuestas a Bloque 5 de lenguaje (si aplica) Respuestas a Bloque 6 de lenguaje (si aplica) Respuestas a Bloque 7 de lenguaje (si aplica) Respuestas a Bloque 8 de lenguaje (si aplica) Archivo 3. Matemtica tercer grado Cdigo de pas Cdigo de centro educativo Cdigo de grado Aula Cdigo estudiante Nombre del cuadernillo de matemtica Respuestas a Bloque 1 de matemtica (si aplica) Respuestas a Bloque 2 de matemtica (si aplica) Respuestas a Bloque 3 de matemtica (si aplica) Respuestas a Bloque 4 de matemtica (si aplica) Respuestas a Bloque 5 de matemtica (si aplica) Respuestas a Bloque 6 de matemtica (si aplica) Respuestas a Bloque 7 de matemtica (si aplica)
237
Respuestas a Bloque 8 de matemtica (si aplica) Archivo 4. Matemtica sexto grado Cdigo de pas Cdigo de centro educativo Cdigo de grado Aula Cdigo estudiante Nombre del cuadernillo de matemtica Respuestas a Bloque 1 de matemtica (si aplica) Respuestas a Bloque 2 de matemtica (si aplica) Respuestas a Bloque 3 de matemtica (si aplica) Respuestas a Bloque 4 de matemtica (si aplica) Respuestas a Bloque 5 de matemtica (si aplica) Respuestas a Bloque 6 de matemtica (si aplica) Respuestas a Bloque 7 de matemtica (si aplica) Respuestas a Bloque 8 de matemtica (si aplica) Archivo 5. Ciencias sexto grado Cdigo de pas Cdigo de centro educativo Cdigo de grado Aula Cdigo estudiante Nombre del cuadernillo de ciencias Respuestas a Bloque 1 de ciencias (si aplica) Respuestas a Bloque 2 de ciencias (si aplica) Respuestas a Bloque 3 de ciencias (si aplica) Respuestas a Bloque 4 de ciencias (si aplica) Respuestas a Bloque 5 de ciencias (si aplica) Respuestas a Bloque 6 de ciencias (si aplica) Adems, se requieren tablas con las claves o respuestas correctas a cada tem de cada bloque, de acuerdo con el orden de los bloques establecido en los archivos anteriores, con los cdigos de identificacin de cada tem, segn bloque, cuadernillo y prueba.Estos archivos contienen toda la informacin necesaria para realizar el procesamiento de datos con Winsteps.
238
5.2. ARCHIVOS DE COMANDOS Para procesar los datos y obtener los indicadores para el anlisis de tems es necesario generar un archivo de comandos para cada bloque cuyos tems se van a analizar. Debe contener los comandos necesarios para producir los indicadores mencionados en los puntos 2 y 3 de este documento y debe generar los siguientes archivos: Estudiantes tems Correlaciones Inter tem Es necesario mencionar que debido a que cada tem de un mismo bloque aparece un dos cuadernillos distintos, en diferente posicin, (por ejemplo el bloque 1 de matemtica aparece en el cuadernillo 1 (en primer lugar) y en el 8 (en segundo lugar), se recomienda procesar informacin para cada bloque por separado (bloque 1 cuadernillo 1 y bloque 1 cuadernillo 8) segn la posicin del bloque en el cuadernillo y procesar de manera conjunta el bloque sin tener en cuenta si se encuentra en diferentes cuadernillos; es decir, cada pregunta tendr tres reportes de indicadores. Es necesario tener en cuenta este aspecto para el tema de los archivos de comandos y las bases de datos de salida. 5.3 BASE DE DATOS DE SALIDA Esta base de datos, en Access, estar conformada por los archivos que contienen la informacin producida por el Winsteps y que se utilizar para el anlisis de tem. Adicionalmente, se debe crear un archivo, en Word, que contenga las grficas de las curvas caractersticas de los tems seleccionados y el mapa de distribuciones de habilidades y dificultades por bloque.
239
6. REPORTES Agunos reportes son para la muestra total y otros para los resultados de cada pas y sern de dos clases: tablas y grficas. 6.1. REPORTES EN TABLAS PARA EL INFORME INTERNACIONAL Reporte 1. Indicadores por bloque. Se producirn 3 reportes: uno cuando los bloques se encuentran en primera posicin en un cuadernillo; otro cuando se encuentran en segunda posicin en un cuadernillo y un tercer reporte con la informacin consolidada de los dos cuadernillos.
Reporte 1. Indicadores por Bloque. Matemtica 3er grado. Posicin en el cuadernillo: Primera
Bloque Promedio Dificultad Desviacin Estndar
M3_1 M3_2 M3_3 M3_4 M3_5 M3_6 M3_7 M3_8
-0.002 -0.120 -0.125 0.121 0.004 0.001 0.005 -0.006
0.930 0.980 1.050 1.020 0.890 1.100 0.710 0.836
Respuest. 0.19 0.15 0.20 0.40 0.30 0.29 0.31 0.18
Proporc.
Puntuac. Mxima
Puntuac.
1.980 1.360 2.150 2.980 1.890 2.100 1.560 1.836
3.035 2.980 2.895 2.980 3.000 2.890 3.152 2.836
n-1
Mnima -1.980 -1.360 -2.150 -2.980 -1.890 -2.100 -1.560 -2.980
Puntuac.
Puntuac.
-3.035 -2.980 -2.895 -2.980 -3.000 -2.890 -3.152 -2.836
240
Los valores de promedio, desviacin estndar, puntuacin mxima y puntuacin mnima se reportan en logits. Se incluye tambin una columna que indica la proporcin de respuestas correctas. Las columnas denominadas Puntuacin n-1 y Puntuacin 1 indican el valor, en logits, para la totalidad menos unas respuestas correctas y para una respuesta correcta, respectivamente. De esta forma se puede contrastar la puntuacin mxima real con el mximo posible y la puntuacin mnima real con el mnimo posible, a partir de los datos de promedio en cada pas. La desviacin estndar indica la variabilidad de las dificultades de los tems utilizados en el bloque. Este reporte se relaciona con el reporte 5.
Reporte 2. Indicadores por tem. Presenta 6 indicadores para cada tem. Como para el reporte 1, tambin se producirn tres reportes por bloque. Reporte 2A. Indicadores por Item Bloque: M3_1 Posicin en el cuadernillo: Primera Error de Medicin 0.12 0.15 0.08 0.07 0.12 0.11 0.11 0.15 0.09 0.10 0.08 0.09 0.08 0.10 Correlac. punto biserial 0.33 0.31 0.35 0.37 0.12 0.48 0.55 0.48 0.19 0.32 0.30 0.35 0.39 0.18 Ajuste Prximo (Infit) 1.00 0.95 1.05 1.03 1.00 0.85 0.97 0.75 0.83 0.97 1.01 1.03 0.98 0.94 Ajuste Lejano (Outfit) 1.05 0.98 1.08 1.10 1.08 0.87 0.90 0.70 0.79 0.99 1.00 1.05 1.00 0.98
tem M3B1IT01 M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08 M3B1IT09 M3B1IT10 M3B1IT11 M3B1IT12 M3B1IT13 M3B1IT14
Dificultad -0.120 -0.111 -0.120 -0.190 -0.250 -0.040 -0.080 -0.180 -0.215 -0.230 -0.240 -0.100 -0.110 -0.180
Discrim 1.00 0.99 0.95 0.93 1.00 1.01 1.03 1.00 0.69 0.98 1.00 0.97 1.01 0.98
N 30418 30418 30418 30418 30418 30418 30418 30418 30418 30418 30418 30418 30418 30418
241
Los valores sombreados corresponden a indicadores que estn por fuera del criterio de aceptacin. La ltima columna hace referencia a la totalidad de estudiantes que se incluyeron para el anlisis de este tem.
Reporte 2B. DIF por Item. Bloque: M3_1 Posicin en el cuadernillo: Primera ITEMS
Pas
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20
M3B1IT01 M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08
1.20 1.80 2.16 1.90 0.90 1.10 1.15 1.18 1.50 1.70 2.10 9.00 1.10 1.40 1.00 0.99 0.95 0.93 1.00 1.01
1.00 0.99 0.95 0.93 1.00 1.01 1.03 1.00 2.69 0.98 1.00 0.97 1.01 0.98 1.03 1.00 0.85 0.97 4.75 0.83
1.00 0.95 1.05 1.03 1.00 0.85 0.97 3.75 0.83 0.97 1.01 1.03 0.98 0.94 1.03 1.00 7.69 0.98 1.00 0.97
0.99 0.95 0.93 1.00 0.99 0.95 0.93 1.00 1.01 1.03 1.00 6.69 0.98 1.00 0.97 1.01 0.98 4.75 1.10 1.40
1.00 0.99 0.95 0.93 1.00 1.01 1.03 1.00 2.69 0.98 1.00 0.97 1.01 0.98 5.75 0.83 0.97 1.01 1.03 0.98
1.03 1.00 0.69 0.98 1.00 0.97 1.01 0.98 1.90 0.90 1.10 1.15 1.18 1.50 1.70 2.10 9.00 1.10 1.40 2.81
1.03 1.00 0.99 0.95 0.93 1.00 1.01 0.98 1.05 1.03 1.00 0.85 0.97 3.75 0.83 0.97 1.01 1.03 0.98 0.94
1.00 0.99 0.95 0.93 1.00 1.01 1.03 1.00 4.69 0.98 1.00 0.97 1.01 0.98 0.90 1.10 1.15 1.18 1.50 1.70
242
Los valores sombreados corresponden a indicadores que estn por fuera del criterio de aceptacin.
Reporte 3. Indicadores por opcin. Indicadores por opcin de cada tem. Igualmente, se producirn 3 reportes por tem. Reporte 3. Indicadores por Opcin. Bloque: M3_1 Posicin en el cuadernillo: Primera Opcin Correcta
Promedio de habilidad Error Estndar de Medicin
Item
Opciones 1 2 3 4 Omisin
Ajuste (Outfit) 1.05 0.98 1.08 1.10 1.08 0.87 0.90 0.70 0.79 0.99 1.00 1.05 . . . 0.98 0.87 0.90 0.70 0.79 0.99
Correlacin
Porcentaje de Respuesta
M3B1IT01
M3B1IT02
Multimarca
. . .
. . .
Multimarca
1 2 3 4 Omisin . . .
-0.140 -0.050 -0.110 -0.175 -0.250 -0.110 -0.240 -0.080 -0.160 -0.080 -0.190 -0.200 . . . -0.120 -0.140 0.056 -0.110 -0.150 -0.250
0.11 0.11 0.15 0.09 0.08 0.12 0.15 0.08 0.07 0.12 0.11 0.11 . . . 0.09 0.10 0.08 0.09 0.08 0.10
-0.33 0.31 -0.35 -0.37 -0.32 -0.48 -0.55 -0.48 -0.19 0.32 -0.30 -0.35 . . . -0.18 -0.23 0.31 -0.35 -0.37 -0.12
6 56 11 16 5 6 13 24 20 42 0 1 . . . 20 25 35 15 3 2
243
M3B1IT16
1 2 3 4 Omisin Multimarca
Reporte 4. Correlaciones Inter-tem. Listado con las correlaciones entre todos los tems de un mismo bloque. Reporte 4. Correlaciones Inter-item Bloque: M3_1 Posicin en el cuadernillo: Primera Item M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 Item M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08 correlacin 0.15 0.08 0.25 0.21 0.04 0.00 0.12
244
6.2. REPORTES GRFICOS PARA EL INFORME INTERNACIONAL Reporte 5. Mapa de distribucin de habilidades y dificultades. Posicin en el Cuadernillo: Primera. Este reporte se produce para cada bloque de la prueba. Como se ha mencionado anteriormente, se producen 3 mapas por bloque. Reporte 5. Mapa de distribucin de habilidades y dificultades. Bloque 1 Matemtica 3er grado.
245
En este mapa la letra M en cada costado de la escala central, indica el promedio; la s y la t indican la primera y la segunda desviacin estndar, respectivamente. Se observa que la distribucin de dificultades de los tems se encuentra ms alta en la escala que la distribucin de habilidades, lo que indica que el bloque result difcil para el grupo de personas evaluadas, en general. No obstante, algunas personas logran buenos desempeos y alcanzan valores altos de habilidad. Los valores de dificultad de los tems se encuentran entre 1 y 1 logit, aproximadamente; se esperara una distribucin ms amplia. Reporte 6. Promedio, desviacin estndar, valores mximo y mnimo de dificultades de tems, por bloque. Para cada bloque se relaciona el promedio de dificultades de los tems con la desviacin estndar para cada bloque y se muestran lneas que indican la longitud de la medida efectiva en cada uno y en la muestra total, es decir, desde el valor de dificultad mnimo hasta el valor mximo. Reporte 6. Promedio, desviacin estndar, valores mximo y mnimo de dificultades de tems, por bloque. Posicin en el Cuadernillo: Primera.
246
Reporte 7. Funcin de Informacin. Esta grfica la produce directamente el Winsteps e indica el grado de precisin en la medida para cada punto de habilidad, para un bloque en particular. Reporte 7. Funcin de Informacin. Bloque M3_1 Posicin en el Cuadernillo: Primera.
247 ESCALA DE HABILIDAD
El eje Y indica la cantidad de informacin para el bloque total. El valor mximo alcanzado depende de la cantidad de tems en el bloque y de la habilidad particular donde el tem mide con mayor informacin.
Reporte 8. Curva Caracterstica del tem y Curva Emprica del tem. Se produce una grfica para cada tem de cada bloque. Reporte 8A. Curvas Caracterstica y Emprica del tem para la clave. tem M3B1IT01
248 ESCALA DE HABILIDAD El eje Y indica la probabilidad de respuesta. La lnea roja representa la Curva Caracterstica del tem y la lnea azul la Curva Emprica del tem. Las lneas verde y gris indican el lmite de aceptacin dado el error de medicin en cada punto de habilidad.
Reporte 8B. Curva Emprica del tem por opcin. tem M3B1IT01
El eje Y indica la probabilidad de respuesta y el eje X la escala de habilidad. Cada opcin est representada por una Curva Caracterstica. Este reporte incluye 4 grficas para un mismo nmero de tems, por prueba, por grado.
249
6.3. REPORTES EN TABLAS POR PAS
Reporte A. Indicadores por tem.

Ajuste Prximo (Infit) MT 1.02 1.09 0.90 0.94 1.00 0.98 0.98 0.94 1.10 0.98 1.02 1.04 1.01 1.01 1.02 0.99 Pas 1.07 1.01 0.90 0.92 0.94 1.00 1.06 0.94 1.06 0.92 0.97 1.05 1.03 1.06 1.11 0.89 Ajuste Lejano (outfit) MT 1.23 1.12 0.84 1.02 0.99 0.96 0.92 0.91 1.16 0.88 1.01 0.98 0.98 0.99 0.88 0.89 Pas 1.13 1.11 1.12 1.12 1.11 1.12 1.11 0.92 0.91 0.97 0.98 1.12 1.15 1.11 1.14 1.13
Pas: Colombia N pas: 1472 N MT: 33420 Bloque: M3_ 1
tem
Dificultad MT Pas 0.50 -0.15 -0.08 -0.08 -0.77 -0.08 -0.08 -0.35 -1.00 0.32 -0.21 0.41 0.71 -0.47 0.82 0.50
Error MT 0.13 0.11 0.12 0.12 0.11 0.12 0.11 0.12 0.11 0.13 0.12 0.12 0.15 0.11 0.12 0.06 Pas 0.13 0.11 0.12 0.12 0.11 0.12 0.11 0.12 0.11 0.13 0.12 0.12 0.15 0.11 0.05 0.11
Discriminacin MT 0.97 0.96 1.11 1.05 1.09 0.99 0.83 1.08 0.78 1.08 1.02 0.95 1.01 0.89 0.94 1.05 Pas 0.95 0.81 1.20 1.08 1.02 1.04 1.05 1.16 0.38 1.05 0.96 0.96 0.99 0.99 1.00 1.03
r pbis MT 0.20 0.25 0.34 0.29 0.32 0.24 0.25 0.32 0.26 0.31 0.28 0.21 0.20 0.22 0.13 0.28 Pas 0.16 0.14 0.39 0.31 0.31 0.28 0.29 0.35 0.18 0.27 0.24 0.18 0.19 0.28 0.19 0.25
DIF MT 0.47 0.42 0.23 -0.63 -1.87 -0.63 2.25 -0.56 -0.39 0.39 -0.19 0.88 -0.51 -0.60 0.48 0.25 Pas 1.01 1.02 0.95 0.98 0.97 1.01 1.04 0.97 1.04 0.95 0.99 1.03 0.99 1.04 1.05 0.97
M3B1IT01 M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08 M3B1IT09 M3B1IT10 M3B1IT11 M3B1IT12 M3B1IT13 M3B1IT14 M3B1IT01 M3B1IT02
0.362 -0.253 -0.134 0.103 -0.312 0.105 -0.676 -0.198 -0.897 0.216 -0.155 0.159 0.884 -0.313 0.665 0.434
MT = Muestra Total Pas = Colombia
250
Reporte B. Indicadores por opcin. Reporte B. Indicadores por Opcin. Bloque: M3_3 Posicin en el cuadernillo: TerceraPas: Colombia
Item
Opcin Correcta
Opciones
Promedio de habilidad
Error Estndar de Medicin
Ajuste (Outfit)
Correlacin
M3B1IT01
Multimarca -0.110 -0.140
1 2 3 4 Omisin 1 2 3 4 Omisin . . .
MT
-0.140 -0.050 -0.110 -0.175 -0.250 -0.240 -0.080 -0.160 -0.080 -0.190
Pas
-0.050 -0.110 -0.150 -0.250 -0.110 -0.080 -0.160 -0.080 -0.190 -0.02 -0.03
MT Pas
0.11 0.11 0.15 0.09 0.08 0.12 0.15 0.08 0.07 0.12 0.11 0.11 0.13 0.11 0.12 0.12 0.11 0.12 0.11 0.02 0.10 0.13 0.03 0.10
MT
1.05 0.98 1.08 1.10 1.08 0.87 0.90 0.70 0.79 0.99 1.00 1.05
Pas
1.13 1.11 1.12 1.12 1.11 1.12 1.11 0.92 0.91 0.97 0.98 1.12
MT
-0.33 0.31 -0.35 -0.37 -0.32 -0.48 -0.55 -0.48 -0.19 0.32 -0.30 -0.35
Pas
-0.16 0.14 -0.39 -0.31 -0.31 -0.28 -0.29 -0.35 -0.18 0.27 -0.24 -0.18
MT Pas
6 56 11 15 5 6 13 24 20 42 0 1 11 60 9 9 4 7 15 30 12 38 2 3
M3B1IT02
. . .
. . .
Multimarca -0.200
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
251
M3B1IT16
2 3 4
-0.120 0.056
-0.140 -0.110
-0.02
-0.15 -0.09 -0.05 0.02
0.09
0.10 0.08 0.09
0.13 0.12 0.15 0.12
0.11
0.98 0.87 0.90 0.79 0.70
1.14 1.13 0.91 0.92
1.11
-0.18 -0.23 -0.35 0.31
-0.28 -0.19 -0.27 0.25
20 25 35 15 3 2
18 27 30 20 3 2
Multimarca
Omisin
-0.250
-0.150
-0.13
0.10
0.08
0.13
0.99
0.97
-0.12
-0.37
-0.18
-0.24
MT = Muestra Total Pas = Colombia
6.4. REPORTES GRFICOS POR PAS
Reporte C. Promedio, desviacin estndar y valores mximo y mnimo de dificultad de tems, por bloque.
Reporte C. Promedio, desviacin estndar y valores mximo y mnimo de dificultad de tems, por bloque.
252
7. FASES DEL PROCESAMIENTO Para obtener la informacin mencionada en este documento es necesario procesar los datos siguiendo las siguientes fases: Preparacin de archivos. A partir de la base de datos, se deben conformar los archivos para el procesamiento. El principal es el que contiene la informacin de cada estudiante y sus respuestas a las preguntas que abord, el cual se describe en el punto 5.1 de este manual y se denomina Archivo de Datos. Los otros archivos que se deben preparar son los denominados archivos de comandos. Procesamiento de datos. Procesar toda la informacin necesaria con el software Winsteps. Se debe disear un directorio de archivos para ubicar los archivos de sa lida de una manera ordenada y sistemtica, de tal manera que se facilite su manejo posterior. Se debe prestar especial atencin a guardar los archivos grficos mencionados en los reportes. Conformacin de la base de datos de resultados. A partir de los archivos de salida y de la informacin existente, se debe conformar una base de datos con datos individuales de cada estudiante, de cada tem y de cada bloque, a partir de los archivos de salida del software Winsteps. Produccin de reportes. A partir de la informacin de la base de datos, se producirn los distintos reportes descritos. Elaboracin del informe final. Todos los reportes se editan, de manera ordenada, en un documento final.
253
CAPTULO VIII: MANUAL PARA EL PROCESAMIENTO Y ANLISIS DE DATOS APLICACIN DEFINITIVA

El Manual de Procesamiento de Datos Para el Anlisis de tems y la Produccin de Resultados Estudio Principal es el documento gua del procesamiento de datos provenientes de la aplicacin principal del Segundo Estudio Regional Comparativo y Explicativo, SERCE42 . Se incluye una sucinta aproximacin terica al modelo de anlisis utilizado: la Teora de Respuesta al tem, TRI, y, especficamente, al modelo de Rasch, con base en el cual se realizar el procesamiento e interpretacin de los datos del Estudio. El documento describe los indicadores estadsticos utilizados en la fase de anlisis; tales indicadores, en su mayora, provienen de la Teora de Respuesta al tem (TRI), la cual provee el respaldo terico y tcnico necesario en la generacin de resultados vlidos y confiables; tambin se incluyen indicadores de la Teora Clsica de las Pruebas (TCP) en consideracin a que estos pueden contribuir al proceso de anlisis. Algunos de estos indicadores se utilizan para confirmar la calidad de los tems aplicados43 mientras otros describen a los estudiantes evaluados que abordan dichos tems; la informacin suministrada por estos indicadores resulta esencial en el proceso de definicin de las escalas de calificacin, tanto en lo concerniente a tems de seleccin de respuesta como a los de produccin de respuesta. Con la descripcin de los indicadores se incluyen tambin los criterios para su interpretacin, con lo cual se espera facilitar el anlisis de los reportes de resultados. Se incluye la descripcin de las fases del procesamiento para la generacin de resultados, desde los criterios aplicados para depurar las bases de datos enviadas por los pases participantes, hasta la ejemplificacin de tablas y grficas del Informe de resultados, que permitirn valorar el desempeo de las poblaciones de los pases participantes en el Estudio, contrastando resultados nacionales entre s y frente a los indicadores internacionales. Finalmente, se aade una resumida descripcin de las caractersticas tcnicas del software utilizado para el procesamiento de datos (de anlisis de tems y de resultados), as como de las fases generales de todo el proceso. 254
42 El Manual de Procesamiento ha tomado algunos elementos relevantes del Manual de Procesamiento desarrollado para el Estudio Piloto del SERCE Estudio Piloto del SERCE. 43 Si bien los tems del Estudio Principal fueron seleccionados a partir de un juicioso proceso de anlisis de tems luego de la aplicacin piloto, es necesario, desde el punto de vista tcnico, corroborar, luego de la Aplicacin Principal, que los indicadores que describen la calidad de los tems conserven su adecuacin a los criterios exigidos para, de esta forma, asegurar que las escalas de calificacin se generan a partir de tems ptimos.
1. FUNDAMENTACIN TERICA DEL MODELO DE ANLISIS 1.1. LAS TEORAS DE MEDICIN En la construccin de pruebas dos teoras psicomtricas han tenido trascendencia: la teora clsica de las pruebas (TCP) y la teora de respuesta al tem (TRI). El modelo lineal de la TCP describe la influencia de los errores de medida en las puntuaciones observadas y sus relaciones con las puntuaciones verdaderas44 . La TCP presenta varias limitaciones; la ms importante de ellas es que no permite separar las caractersticas del estudiante evaluado de las caractersticas de la prueba. La dificultad de un tem se define, en este contexto, como la proporcin de estudiantes evaluados en un grupo determinado que contesta el tem correctamente. Las caractersticas mtricas de la prueba (tales como confiabilidad y validez) se definen en trminos de un grupo determinado de estudiantes evaluados con el cual se ha construido el baremo o norma de interpretacin de las puntuaciones; esto hace difcil comparar estudiantes que toman distintas pruebas e imposibilita el anlisis de interpretaciones de resultados con referencia a criterio45 . Otra debilidad de la TCP es que no proporciona informacin precisa acerca de la habilidad de cada una de las personas; presume que la varianza del error de medida es igual para todos los estudiantes evaluados. Adems, la construccin de formas paralelas de una prueba, requisito para establecer la confiabilidad, se dificulta en la prctica. El modelo de la teora de respuesta al tem (TRI) intenta dar una fundamentacin probabilstica al problema de la medicin de rasgos y constructos no observables, y considera al tem como unidad bsica de medicin. La TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCP, sino que hace asunciones adicionales que permiten superar las debilidades de esta ltima46 . Mientras en la TCP la estimacin del atributo se toma como la sumatoria de respuestas a tems individuales, en la TRI se estima el nivel de un atributo medido utilizando el patrn de respuesta del estudiante evaluado47 .
255
44 Martnez, R. (1996). Psicometra: Teora de los Tests Psicolgicos y Educativos. Madrid: Sntesis. 45 Pardo, C. (2001). Revista ACTA Colombiana de Psicologa. No. 5. Bogot: Universidad Catlica de Colombia. 46 Lawrence Erlbaum Associates. 47 Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey:
Nunnally, A. (1987). Teora Psicomtrica. Mxico: Trillas.
1.2. LA TEORA DE RESPUESTA AL TEM (TRI) 1.2.1. Supuestos de la TRI Los planteamientos de la TRI se fundamentan en el postulado de que la ejecucin de una persona en una prueba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, habilidad y en el hecho de que la relacin entre la ejecucin del estudiante evaluado y la habilidad que la soporta puede describirse por una funcin montona creciente. Como todo modelo matemtico, la TRI incluye un conjunto de supuestos acerca de los datos en los cuales se aplica y especifica las relaciones entre los constructos descritos en el modelo4849 . En trminos generales, la TRI considera 3 supuestos bsicos: 1)Dimensionalidad. En la TRI se supone que cuando se disea una prueba, sta deber medir, preferiblemente, una dimensin, una habilidad. Se reconoce que cuando una persona responde a un tem en una prueba, confluyen mltiples habilidades, pero los tems deben disearse haciendo nfasis en una de ellas o en una combinacin particular predefinida. 2)Independencia Local. Se espera que un estudiante evaluado responda a un tem en particular sin que recurra a informacin de otros tems para hacerlo correctamente. En otras palabras, la ejecucin en un tem no debe afectar sus respuestas en otro. En las pruebas en donde los tems dependen de un mismo contexto (texto), se aplica la independencia local entre los tems y no entre ellos y el contexto. 3)Curvas Caractersticas de tems (CCI). La CCI es una funcin matemtica que relaciona la probabilidad de xito en una pregunta con la habilidad, medida por el conjunto de tems que la contienen5051. Los diferentes modelos de la TRI se diferencian en la forma particular que adquiere la funcin de probabilidad, la cual incluye el nmero especfico de parmetros del modelo. Todo tem puede describirse por su CCI y es esta curva la unidad conceptual bsica de la TRI.
256
48 Hambleton, R. y Swaminathan, H. (1985). Item Response Theory: principles and applications. Kluwer. Boston. 49 Weiss, D. y Yoes, M. (1994). Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological testing. Boston. 50 Hambleton, R. y Swaminathan, H. 1985. Op. Cit. 51 Thorndike, R. (1999). IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: University of Kansas.
1.2.2. Parmetros y modelos en la TRI Bajo el nombre genrico de la TRI se presentan diferentes modelos que, aunque se diferencian en algunos rasgos, tienen en comn una serie de aspectos bsicos, especialmente el de ser modelos estructurales que establecen una relacin matemtica formalizada entre la respuesta a un tem concreto y el nivel de habilidad de una persona. Los primeros modelos de TRI seguan la ojiva normal; en la actualidad los modelos de uso comn siguen la ojiva logstica o funcin de distribucin logstica, que define toda una familia de curvas de forma similar en apariencia a la ojiva normal. La forma general de la funcin logstica se indica en la ecuacin 1.
f ( ) =
e 1 + e
257 donde, y funcin logstica e base de los logaritmos neperianos e variable o funcin. fx, cualquier ( ) = 1 + e Existen diversas funciones que cumplen la propiedad de la monotona creciente de la curva que describe la probabilidad como funcin de la habilidad. Las diferencias entre ellas pueden darse por la forma y por los parmetros que la describen. Para definir las curvas se utilizan hasta tres parmetros denominados a, b y c, que representan el ndice de discriminacin, el ndice de dificultad y la probabilidad de seleccionar la respuesta correcta al azar, respectivamente.
Modelo de dos parmetros En 1952, Frederic Lord propuso un modelo de Respuesta al tem en el que las CCIs tomaban la forma de una ojiva normal de dos parmetros. En este modelo se tienen en cuenta los parmetros de dificultad (b) y discriminacin (a), que se definen tericamente en una escala que oscila entre menos infinito y ms infinito. No obstante, en la prctica, los valores de dificultad generalmente varan entre 3.5 y +3.5, correspondiendo el valor de 3.5 a tems muy sencillos y el valor +3.5 a tems muy difciles. En cuanto al parmetro a, los valores negativos se descartan en las pruebas de aptitud y en la prctica sus valores oscilan entre 0 y 2. Valores muy bajos en poder discriminante dan lugar a CCIs, que crecen lenta y gradualmente al aumentar el nivel de habilidad. La funcin del modelo se expresa mediante la ecuacin 2.
donde, Pi( ) probabilidad de responder correctamente el tem i, para un valor valor de la variable medida ndice de discriminacin del tem i ai bi ndice de dificultad del tem i e base de los logaritmos neperianos D factor de escalamiento (al tomar un valor de 1.7, se asegura una variabilidad inferior a 0.01 en los valores estimados de habilidad, cuando se usa la ojiva normal o la ojiva logstica de dos parmetros). Modelo de tres parmetros
258
Este modelo fue originado y desarrollado por Allan Birnbaum. Adems de los supuestos bsicos de la TRI, el modelo de tres parmetros usa directamente los valores a, b y c, para encontrar una curva que mejor aproxime los puntos observados. El modelo se expresa en la funcin 3. El modelo se expresa en la siguiente funcin: ) =c +(1c ) e Pi( i i Da ( ) b 1+e
i i
Da (bi) i
donde, Pi ( ) es la probabilidad de responder correctamente el tem i para un valor son los valores de la variable medida ai es el ndice de discriminacin del tem i bi es el ndice de dificultad del tem i ci es la probabilidad de responder en forma correcta el tem cuando no se conoce la respuesta (por azar) e es la base de los logaritmos neperianos
Distintos estudios que han puesto a prueba este modelo han encontrado que el parmetro c, por lo regular, toma valores ms pequeos que el valor que resultara si los estudiantes evaluados de baja habilidad seleccionaran al azar la respuesta; este fenmeno se ha explicado por el hecho de que en realidad los estudiantes de baja habilidad regularmente no eligen al azar la respuesta a un tem que no pueden responder, sino que eligen opciones que se presentan ante ellos como plausibles. Por lo anterior se ha sugerido evitar la denominacin de adivinacin para el parmetro c y se ha optado por llamarlo nivel de seudo-probabilidad. Modelo de Rasch Este modelo establece la probabilidad de respuesta de una persona ante un estmulo dado en trminos de la diferencia entre la medida del rasgo de la persona y la medida del estmulo utilizado52 . El modelo considera que la respuesta a un tem slo depende de la interaccin entre la habilidad del sujeto y la dificultad del tem, es decir, de y de b. La CCI viene dada por la funcin logstica y el nico parmetro de los tems que se tiene en cuenta es b, el ndice de dificultad. No se hacen hiptesis globales sobre el patrn de respuestas de un grupo, ni sobre la adivinacin sistemtica. Por el contrario, se plantea que la adivinacin es un patrn personal y puede ser detectada en funcin del ajuste o desajuste de las respuestas de una persona al modelo. Esta misma hiptesis aplica para los tems. La medida de una persona es independiente de la prueba empleada y la calibracin del tem es independiente de la poblacin que lo aborda. La funcin 4 expresa el modelo.
donde, Pi ( ) es la probabilidad de responder correctamente el item i en determinado nivel son los valores de la variable medida bi es el ndice de dificultad del tem i e es la base de los logaritmos neperianos 259
52
Tristn, A. (2001). Rasch para Todos. Mxico: Ceneval.
1.3.
MODELO UTILIZADO PARA EL PROCESAMIENTO DEL ESTUDIO PRINCIPAL
Al igual que se hizo para el Estudio Piloto, se utilizar el Modelo de Rasch para el anlisis de los datos del Estudio Principal. Esta decisin se tom con base en el estudio de las caractersticas de cada uno de los modelos mencionados en el apartado anterior. El Modelo de Rasch ofrece, frente a los dems modelos, varias ventajas que se mencionan a continuacin, las cuales son referenciadas por distintos autores53545556. Una de las principales ventajas del Modelo de Rasch es que el puntaje bruto es una estadstica suficiente para la estimacin de la habilidad de las personas y la suma de respuestas correctas para un tem es, igualmente, una estadstica suficiente para la estimacin del parmetro de dificultad, lo que implica, para ambos casos, que un solo nmero contiene toda la informacin para la estimacin de parmetros. Este modelo tiene la propiedad conocida como objetividad especfica que implica que los datos deben ajustarse al modelo (contrario a los modelos de dos y tres parmetros en los cuales se busca que el modelo se ajuste a los datos), lo cual es recomendable en proceso de desarrollo de pruebas. Esta propiedad permite estimar un valor de ajuste. El Modelo de Rasch realiza buenas estimaciones an cuando en la poblacin se encuentren pocas personas en niveles de habilidad bajos (en estos casos un modelo como el de tres parmetros no puede hacer buenas estimaciones del parmetro c). Dadas las ecuaciones de estimacin de parmetros para el Modelo de Rasch, se garantiza la convergencia en el proceso de estimacin (la ponderacin que ejercen los valores de discriminacin en las estimaciones de habilidad no permiten la convergencia en los modelos 2p y 3p).
260
53 Fischer, G. y Molenaar, I. (1995). Rasch Models. Foundations, Recent Developments, and Applications. New York: Springer Verlag. 54 Hambleton, R. y Swaminathan, H. (1996). Item Response Theory: Principles and Applications. Pp.307-309. Boston: Kluwer Nijhoff Publishing. 55 Wright, B. (1992). IRT in the 1990s: Which Models Work Best? Rasch Measurement Transactions. 6.1. Chicago: MESA Press. 56 Pardo, C. (2001). El Modelo de Rasch: Una alternativa para la evaluacin educativa en Colombia. En Revista Acta Colombiana de Psicologa. No. 5. Bogot: UCC.
2. FASES GENERALES DEL PROCESAMIENTO DE DATOS

Para obtener la informacin mencionada en este documento es necesario procesar los datos de acuerdo con las siguientes fases: 2.1. FASE UNO: PROCESAMIENTO PARA EL ANLISIS DE TEMS Y DE PRUEBAS
Esta fase tiene como propsito verificar la calidad de los tems y de las pruebas que van a ser utilizados para la calificacin de los evaluados dentro del Estudio Principal. Est constituida por los siguientes procesos: 2.1.1. Conformacin y Depuracin de la base de datos. Se depuran las bases de datos entregadas por los pases participantes en el Estudio Principal, las cuales deben ajustarse a la estructura diseada por la Coordinacin Tcnica del LLECE. Los criterios de depuracin se mencionan en el captulo 3 de este documento. Una vez hecha la depuracin, se conforma una base de datos con toda la informacin para cada prueba y grado. 2.1.2. Preparacin de archivos. A partir de la base de datos deben conformarse los archivos para el procesamiento. Es necesario conformar dos clases de archivos: unos que contienen la informacin de cada estudiante y sus respuestas a las preguntas que abord, que se describen en el punto 3.2. de este Manual y se denominan Archivos de Datos, y otros, los denominados archivos de comandos. 2.1.3. Procesamiento de datos. Procesar toda la informacin necesaria con el software elegido. 2.1.4. Produccin de Reportes para el Anlisis de tems y de Pruebas. Con la informacin obtenida del procesamiento de datos se producen los reportes necesarios para que los paneles de expertos realicen los anlisis correspondientes y tomen decisiones en relacin con los tems que deben ser eliminados antes de la produccin de resultados. 2.2. FASE DOS: PRODUCCIN DE RESULTADOS 261
2.2.1. Conformacin de la base de datos de resultados y procesamiento. Teniendo en cuenta las decisiones de los paneles de expertos se ajustan los archivos de comandos y se calibra el parmetro de los tems. Los valores obtenidos del proceso de calibracin se utilizan para obtener los resultados de los estudiantes. Se conforma una base de datos con los resultados de cada estudiante. 2.2.2. Produccin de reportes. A partir de la informacin de la base de datos se producirn los distintos reportes descritos en este documento. 2.2.3. Elaboracin del informe final. Todos los reportes se editan en un documento final.
3. CONFORMACIN DE LA BASE DE DATOS PARA ANLISIS DE TEMS 3.1. DEPURACIN INICIAL Cada pas, luego de la aplicacin de las pruebas, debe realizar diversos procesos que tienen como fin la conformacin de la base de datos con la informacin de cada estudiante tanto para las pruebas de Lectura, Matemtica y Ciencias Naturales (si aplica) como para los cuestionarios de factores asociados. Esa labor ha sido diseada en su totalidad por el SERCE, de tal manera que se garantice informacin vlida y confiable. Al final debe utilizarse el mdulo de captura de datos para organizar la informacin en las bases de datos. Este mdulo est diseado de tal manera que no acepta registros adicionales a los ya predeterminados, es decir, de alguna manera ya se implementa un primer control en la conformacin de estas bases de datos. No obstante, existen algunas rutinas de verificacin que debe realizar la Coordinacin Tcnica para garantizar la calidad de la informacin de acuerdo con criterios preestablecidos. Existe un tiempo prudencial para realizar las correcciones del caso, si es necesario, y, una vez verificada la informacin de la base de datos, se contina con los procesos subsiguientes. Dado que las pruebas estn organizadas por bloques, se requiere hacer posible un procesamiento de datos en el que se obtenga informacin para todas las preguntas de cada una de las reas evaluadas, al mismo tiempo. En este sentido la base de datos debe contener la informacin de todos los estudiantes evaluados, pero organizada de tal manera que sea posible procesar todas las preguntas en su conjunto y por bloque. Esto significa que es necesario, entonces, conformar cinco bases de datos, a razn de una base de datos por cada prueba y grado. 3.2. ESTRUCTURA DE LAS BASES DE DATOS Las cinco bases de datos requeridas, correspondientes a las cinco pruebas aplicadas, son las siguientes: Lectura de tercer grado de sexto grado Lectura de tercer grado Matemtica de sexto grado Matemtica de sexto grado Ciencias Cada una de estas cinco bases de datos se conforma con los siguientes campos: Cdigo de pas Cdigo de centro educativo Cdigo de grado Cdigo de aula Cdigo de estudiante en el aula Cdigo de cuadernillo Bloque en primera posicin Bloque en segunda posicin Respuestas bloque 1 Respuestas bloque 2 Respuestas bloque 3 Respuestas bloque 4 Respuestas bloque 5 Respuestas bloque 6 262
Adems, se requieren tablas con las claves o respuestas correctas a cada tem de cada bloque, de acuerdo con el orden establecido para los bloques en los archivos anteriores, con los cdigos de identificacin de cada tem, segn bloque, cuadernillo y prueba. Estos Archivos de Datos contienen toda la informacin necesaria para realizar el procesamiento con el software Winsteps, cuya justificacin de uso se presenta en el captulo 11. 3.3. ARCHIVOS DE COMANDOS Para procesar los datos y obtener los indicadores para el anlisis de tems es necesario construir archivos de comandos con la informacin requerida para el anlisis. Los archivos deben contener los comandos suficientes para estimar los indicadores mencionados en este documento y para generar tres reportes principales con resultados para estudiantes, tems y correlaciones inter-tem. 4. DEPURACIN DE BASES DE DATOS PARA ANLISIS DE TEMS Enseguida se indican las depuraciones que se realizarn a cada una de las cinco bases de datos conformadas, de acuerdo con lo especificado en el punto anterior. 4.1. POR INFORMACIN INSUFICIENTE Se eliminarn los registros de aquellos estudiantes evaluados que respondan el 50% o menos de los tems de uno cualquiera de los dos bloques que conforman el cuadernillo que l aborde. 4.2. POR PREGUNTAS NO ALCANZADAS Se eliminarn los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. 4.3. POR DESAJUSTE DE LOS ESTUDIANTE EVALUADOS Se eliminarn los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.357. Una vez aplicados los criterios de depuracin, se procesarn las bases de datos para generar los indicadores estadsticos para el anlisis de tems. 263
57 El rango de aceptacin podr cambiarse al intervalo comprendido entre 0.8 y 1.2, dependiendo de la calidad de los datos observados despus del primer procesamiento. Es decir, si la cantidad de datos que cumple el criterio de 0.7 a 1.3 es superior al 70% del total, se utilizara el rango ms exigente, de 0.8 a 1.2.
5. VERIFICACIN DE SUPUESTOS DEL MODELO. Despus de depurar las bases de datos se comprobar la dimensionalidad de cada una de las pruebas. Para hacerlo se divide cada prueba en dos subpruebas, con base en los valores de carga de eigen values en el primer factor residual (tabla 23.3 del Winsteps), dejando los valores positivos como una subprueba y los valores negativos como otra. Se procesa la informacin para todos los estudiantes en cada subprueba y se analiza la correlacin de estos datos. El valor de la correlacin debe ser alto. La independencia local se analiza, por pares de tems, a partir de los valores de correlacin (Pearson) entre los residuos lineales de todos los examinados que los responden (archivo de correlaciones inter-tem). El valor de estas correlaciones debe ser cercano a cero. En relacin con las ICC se calcula la probabilidad de respuesta para cada valor de habilidad para cada tem. La funcin de probabilidad debe ser montona creciente. 6. INDICADORES ESTADSTICOS PARA ANLISIS DE TEMS. El anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin implica un saber profundo sobre el objeto de evaluacin, la poblacin evaluada, los propsitos de la evaluacin y requiere, adems, conocer debidamente las tcnicas de procesamiento de datos para hacer una adecuada interpretacin de los indicadores estadsticos disponibles. El proceso de anlisis de tems en el Estudio Principal debe conducir a la toma de decisiones en relacin con la inclusin o exclusin de tems, a partir de la identificacin clara de las posibles problemticas de los mismos. A continuacin se describe cada uno de los indicadores que se estimarn en el procesamiento de datos del SERCE, con miras a proveer informacin cuantitativa necesaria para adelantar el anlisis de tems. Los indicadores propuestos en este Manual son los ms ampliamente utilizados en distintos estudios de evaluacin educativa 58596061 dichos indicadores se presentan agrupados en dos categoras: en la Categora 1 estn aquellos que permiten tomar la decisin de eliminar un tem, en virtud de que el exceder el criterio de aceptacin establecido implica o bien la violacin a los supuestos del modelo de anlisis o bien la contradiccin de los propsitos del estudio. En la Categora 2 se agrupan los indicadores que proporcionan informacin complementaria para una mejor comprensin del desempeo del tem en la evaluacin, pero que no implican una decisin de exclusin.
264
58 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA. 59 Pardo, C. Rocha, M. y Barrera, L. (2005). Manual para Anlisis de tems y Calificacin pruebas ECAES. Documento de Trabajo. Bogot: ICFES. 60 Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: LEA. 61 Gregory, K. Martin, O. (2001). Technical Standards for IEA Studies. IEA.
6.1. INDICADORES DE CATEGORA UNO 6.1.1. AJUSTE PRXIMO Y LEJANO (INFIT Y OUTFIT) Definicin: indica la correspondencia entre un grupo de datos y el modelo estadstico utilizado para representarlos. El ajuste prximo (infit) se refiere a la relacin entre los datos que se encuentran cerca del valor de dificultad del tem y el valor de dificultad; el ajuste lejano se refiere a la relacin de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad. Ambos indicadores deben ser calculados para la clave. Para las dems opciones de respuesta debe calcularse el ajuste lejano (outfit). Justificacin de uso: la utilizacin de un modelo para representar datos debe fundamentarse en la verificacin de que dicho modelo en verdad representa el comportamiento de los datos y, por ende, puede inferirse el cumplimiento de los supuestos de dicho modelo para los datos analizados. Interpretacin: los valores posibles se encuentran entre cero y ms infinito. El valor que determina el ajuste perfecto entre los datos y el modelo es 1. Los valores muy inferiores a 1 indican dependencia de los datos (paradoja de atenuacin); valores superiores a 1 indican ruido en la informacin; valores superiores a 2 indican que el ruido es mayor que la informacin til. Criterio de aceptacin: valores de ajuste entre 0.7 y 1.3. Clculo: se basa en la suma de los cuadrados de los residuos estandarizados. Esta suma se aproxima a una distribucin chi cuadrado. Dividiendo esta suma por sus grados de libertad se obtiene un valor esperado de 1 y rango entre cero e infinito. Procedimiento para la toma de decisiones: se analizan, en primer lugar, los tems que excedan, por encima, el valor de ajuste lejano; luego se analizan los tems que estn por debajo del valor de ajuste lejano; posteriormente se analizan los tems que excedan, por encima, el valor de ajuste prximo y, finalmente, los tems que estn por debajo del valor de ajuste prximo. Se procesa la base de datos tantas veces como sea necesario en consideracin a las decisiones del panel de expertos. 6.1.2. FUNCIONAMIENTO DIFERENCIAL DE TEMS -DIF 62 Definicin: grado en el cual un tem presenta propiedades estadsticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos63. En el Estudio Principal los grupos corresponden a los pases participantes. Justificacin de uso: es un indicador de equidad en cuanto permite reconocer tems que presenten comportamiento estadstico diferente en los distintos pases participantes en el estudio, para reconocer necesidades particulares de ajuste o cualificacin de procesos educativos si se descartan problemas de construccin del tem. En cualquier caso, debe garantizarse que la calificacin final en el estudio se realice a partir de tems que no presenten un valor significativo del DIF. Interpretacin: se interpreta el test t de significancia estadstica para aceptacin o rechazo de la hiptesis de funcionamiento diferencial que es equivalente al test de significancia Mantel Haenszel.
62 63 DIF, en ingls: Differential Item Functioning. Holland, P. y Wainer, H. (1993). Differential Item Functioning. New Jersey: Lawrence Erlbaum
265
Associates.
Criterio de aceptacin: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad. Estos valores son equivalentes al test de significacin Mantel-Haenszel. Clculo: el anlisis de DIF se realiza con todos los tems, excepto con el que est siendo analizado, anclando sus dificultades a los valores de las dificultades para la totalidad de los tems, incluyendo el que est siendo analizado. Se calcula un DIF de contraste que corresponde a la diferencia entre los tamaos de DIF de los tems en estudio, que es una estimacin log-odds, equivalente al tamao de DIF Mantel-Haenszel64. Procedimiento para la toma de decisiones: si un tem presenta DIF para un pas, el panel de expertos analizar si este valor se debe a sesgo por caractersticas del proceso educativo en dicho pas o si el tem debe eliminarse para la obtencin de resultados65. 6.2. INDICADORES DE CATEGORA DOS 6.2.1. DIFICULTAD Definicin: indica la posicin de la curva del tem a lo largo de la escala de habilidad; entre ms difcil es un tem, su curva estar localizada ms a la derecha en la escala de habilidad. Justificacin de uso: es uno de los parmetros fundamentales en los modelos de la TRI. Es indicador base para la conformacin de pruebas y de bancos de tems, as como para establecer comparabilidad de escalas. Se requiere para obtener otros indicadores de tems (curvas caractersticas, funcin de informacin). Interpretacin: los valores de dificultad oscilan entre menos infinito y ms infinito en la escala logit, aunque en trminos prcticos los tems toman valores entre 3.5 y +3.5, cuando el promedio de dificultades del grupo de tems se localiza en cero. Valores positivos y altos indican alta dificultad y los valores negativos indican baja dificultad. Criterio de anlisis: regularmente se analiza la distribucin de valores de dificultad del instrumento en relacin con los valores de habilidad de la poblacin evaluada para conceptuar sobre lo apropiado de la medicin de dicho instrumento, de acuerdo con los propsitos que lo inspiraron. Un aspecto importante de anlisis est dado por la densidad de tems en un punto de la escala de habilidad en particular; as, se espera que no haya ms de dos tems que midan un mismo componente o contenido con la misma dificultad. No se establecen de antemano valores de rechazo para este indicador; no obstante, tems que sean respondidos correctamente por la totalidad de la muestra o que no sean respondidos correctamente por ninguno de los estudiantes evaluados sern objeto de un reporte especial. 6.2.2. DISCRIMINACIN Definicin: corresponde al poder de un tem para diferenciar a los estudiantes evaluados en distintos niveles de habilidad frente a un constructo medido66 . Es el grado en el cual las respuestas a un tem varan en relacin con el nivel de habilidad. Se conoce tambin como la pendiente de la curva caracterstica en el punto de inflexin. El modelo de Rasch especifica que la discriminacin es uniforme para todos los tems pero el software utilizado indica cul sera la discriminacin de un tem cuando se parametriza este indicador.
64 Linacre, J. (2006). A User Guides to Winsteps 65 Los pases participantes en la aplicacin piloto adelantaron una primera revisin de los valores de DIF de todos los tems, con base en los informes de resultados de dicha aplicacin y no solicitaron a la Coordinacin Tcnica la exclusin de tems por razn de este criterio. 66 ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.
266
Justificacin de uso: el valor emprico calculado por el Winsteps indica la distancia en la escala de habilidad en la cual el tem mide; informacin que contribuye a contrastar los resultados con lo esperado por el panel de expertos. Interpretacin: los valores de discriminacin oscilan, tericamente, entre menos infinito y ms infinito. En la prctica, los tems presentan valores de discriminacin entre 0 y +2. Los valores que se aproximan a ms infinito se corresponden con un patrn de Guttman (discriminacin perfecta). Criterio de anlisis: valores de discriminacin altos indican que el tem mide efectivamente en un intervalo pequeo de habilidad y viceversa. 6.2.3. CORRELACIN PRODUCTO MOMENTO PUNTO -MEDIDA Definicin: relacin entre la respuesta correcta a un tem de una prueba y el valor de habilidad obtenido en dicha prueba. Este indicador supera las dificultades de la correlacin punto biserial tradicional en tanto no es afectada por valores omitidos (missing). Se calcular para la opcin que opera como clave y tambin para las dems opciones de cada tem. Justificacin de uso: permite inferir la validez de los tems en cuanto stos se comporten como partes del instrumento. Interpretacin: puede tomar valores entre 1 y 1. Los valores positivos indican que la respuesta correcta al tem est asociada con altos puntajes en la prueba; valores negativos indican que dicha asociacin se da de manera inversa, es decir, altos puntajes en la prueba se asocian con una respuesta incorrecta al tem. Criterio de anlisis: es deseable que la distribucin de valores de correlaciones de los tems de la prueba incluya valores superiores 0.25. Igualmente, debe seguirse el orden del valor de la correlacin para la aceptacin de los tems. Valores negativos para la clave indican que puede haber problemas en la definicin de la respuesta correcta o en la pertinencia de alguna de las opciones. 6.2.4. CURVA CARACTERSTICA DEL TEM CCI67 Definicin: funcin matemtica que relaciona la probabilidad de respuesta correcta en un tem con la habilidad medida por el tem. Debe calcularse para cada tem la CCI y la Curva Emprica del tem68 , tanto para la clave como para las dems opciones de respuesta. En el Informe de Anlisis de tems se mostrarn las grficas de tems que presenten problemas de ajuste; de no haber tems con problemas, se presentarn, a lo sumo, cuatro grficas por prueba. Justificacin de uso: permite verificar el grado en que el modelo da cuenta de los resultados de la evaluacin. Interpretacin: Consiste en verificar la correspondencia entre la curva emprica del tem y la curva caracterstica. 225 267
67 68
(en ingls: Empirical Caracteristic Curve, ECC).
Item Caracteristic Curve. La curva basada en los puntajes observados puede llamarse Funcin Emprica de Respuesta al tem o Curva Emprica del tem
Criterio de anlisis: los momentos en los cuales la curva real excede los lmites de aceptacin de la ICC (estos lmites aparecen sealados en color oscuro en cada grfica) indican que para el grupo de personas de esa habilidad no se cumple la medicin como la supone el modelo. 6.2.5. PROMEDIO DE HABILIDAD POR OPCIN Definicin: promedio de las habilidades de quienes eligen cada opcin de respuesta de un tem. Debe incluirse, adicionalmente, la proporcin de respuestas para cada opcin. Esta informacin se presenta solamente para el informe internacional e incluye los datos de todos los estudiantes evaluados. Justificacin de uso: permite reconocer la proporcin de personas que selecciona una opcin como respuesta correcta y su habilidad promedio. La combinacin de estos dos datos proporciona informacin til para determinar la validez de cada tem en relacin con los marcos conceptuales de las pruebas y valorar la calidad de cada opcin. Interpretacin: los valores posibles de habilidad promedio se encuentran entre menos infinito y ms infinito. Se espera que el promedio de habilidad para la opcin considerada clave sea el mayor de todos. El mapa de distribuciones de los promedios de habilidad de las opciones de todos los tems indica el funcionamiento relativo de todas las opciones y puede ser interpretado con base en los marcos conceptuales de las pruebas. El orden de los promedios de habilidades permite comprender las complejidades de las opciones para la poblacin evaluada. Las proporciones de respuesta para cada opcin dan una idea de su atraccin en una poblacin particular. Criterio de anlisis: la clave debe arrojar el mayor promedio de habilidad. 6.2.6. CORRELACIONES INTER TEM Definicin: son las correlaciones de los residuos entre los tems de un mismo bloque calculadas por el Winsteps. Los residuos son aquellas partes de las observaciones que no son explicadas por el modelo de Rasch. De acuerdo con las especificaciones del modelo, los residuos deben ser aleatorios y no presentar estructura. Justificacin de uso: indica el grado de relacin entre dos tems de un mismo bloque, mostrando si miden lo mismo (dimensionalidad del constructo). Interpretacin: Si el valor de las correlaciones es diferente de cero indica que los tems miden objetos diferentes. Criterio de anlisis: los valores de las correlaciones deben ser cero. 6.2.7. ERROR ESTNDAR DE MEDICIN Definicin: corresponde a la desviacin estndar de una distribucin imaginaria de errores que representan la posible distribucin de valores observados alrededor del valor terico verdadero. Es un indicador de la confiabilidad. Justificacin de uso: si se calcula el error de medicin de cada habilidad estimada o dificultad estimada (o conjunto de habilidades o dificultades), se conoce la precisin de la medida o la estimacin. 268 226
Interpretacin: errores demasiado grandes restan confianza en las estimaciones del parmetro. La escala de valores en la cual se reportan los errores est asociada con la escala de medicin utilizada, por lo cual no es posible establecer, de manera universal y de antemano, un valor mnimo aceptable de error. Anlisis: observar cmo se comportan los errores de medicin tanto de las personas como de los tems (por lo general, diferentes autores coinciden en que la decisin de cul sera un valor de error aceptable y cul no, debe derivarse de un juicio profesional experto de quienes conocen procedimientos psicomtricos, el instrumento de medida y su marco de fundamentacin69 ). Como en cualquier proceso de medicin, se espera que el error sea cercano a cero. 6.2.8. MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES Adems de los indicadores que se acaban de enunciar, en los informes de resultados para anlisis de tems se dispondr de una grfica que relaciona, en una misma escala, la distribucin de las dificultades de los tems y la distribucin de las habilidades de los estudiantes evaluados. Aunque no es un indicador estadstico en s mismo, utiliza indicadores de personas y de tems que ofrecen informacin pertinente para el anlisis de las pruebas y de los tems que las conforman. Esta grfica permite contrastar la dificultad de los tems en una poblacin particular y determinar si stos se ajustan a la poblacin; igualmente, es posible observar el cubrimiento de las habilidades por parte de los tems; permite identificar grupos de tems o de personas que por su nivel de dificultad o habilidad, respectivamente, merezcan una atencin especial en el anlisis. As, pueden ser contrastadas las expectativas de los constructores de tems, en relacin con el nivel de dificultad de los tems y observar si la muestra seleccionada se comporta de acuerdo con los propsitos del diseo muestral. En esta grfica las habilidades y las dificultades se presentan en una escala que oscila entre menos infinito y ms infinito. Si la distribucin de habilidades tiene valores inferiores a la distribucin de dificultades, quiere decir que para ese grupo poblacional los tems resultaron ms difciles de lo esperado. Por el contrario, si la distribucin de habilidades tiene valores superiores a la distribucin de dificultades, significa que para ese grupo poblacional los tems resultaron ms fciles. 7. INDICADORES ESTADSTICOS PARA ANLISIS DE GRUPOS DE TEMS En consideracin a que el diseo del estudio contempla que los instrumentos utilizados estn conformados de acuerdo con agrupaciones de tems en bloques, aplicados de manera sistemtica en cuadernillos editados con arreglos distintos de dichos bloques, el anlisis de tems debe incluir una fase de anlisis de indicadores estadsticos que den cuenta del comportamiento de tales agrupaciones y de la prueba como totalidad. En tal sentido, a continuacin se describen los indicadores propuestos para el anlisis de bloques y de pruebas. Es de anotar que dado que la aceptacin o rechazo de tems se hace con base en los indicadores de la Categora Uno mencionados en el anterior captulo, para los indicadores de grupos de tems no se define un criterio de aceptacin. 7.1. PROMEDIO Definicin: media aritmtica de las dificultades de los tems del bloque y de las habilidades de las personas que abordan cada bloque.
69 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
227 269
Justificacin de uso: permite conocer el comportamiento de los diferentes bloques de cada prueba en relacin con la poblacin que los aborda. Interpretacin: si el bloque se encuentra ajustado a la poblacin, el promedio de habilidades debe ser aproximadamente igual al promedio de dificultades. Si el promedio de habilidades es superior, significa que el bloque fue relativamente fcil para ese grupo poblacional; si por el contrario el promedio de habilidades es inferior al promedio de dificultades, significa que el bloque fue relativamente difcil para ese grupo poblacional. 7.2. DESVIACIN ESTNDAR Definicin: medida de la dispersin de la distribucin de las dificultades de los tems de un bloque y de la distribucin de las habilidades de las personas que abordan dicho bloque. Justificacin de uso: permite valorar la homogeneidad / heterogeneidad de los valores de dificultad del grupo de tems de un bloque, as como de los valores de habilidad del grupo poblacional que aborda dicho bloque. Interpretacin: desviaciones estndar altas (superiores a 1 en valores logit) indican heterogeneidad del grupo de datos; desviaciones estndar bajas (inferiores a 1 en valores logit) indican homogeneidad del grupo de datos. Esta informacin se contrasta con el respectivo valor del promedio para comprender el desempeo de una poblacin particular. 7.3. PUNTUACIN MXIMA Y MNIMA Definicin: puntuaciones logit ms alta y ms baja alcanzadas por una poblacin particular. Justificacin de uso: permite reconocer los extremos de la distribucin de habilidades en una poblacin particular y contrastarlos con las expectativas de los evaluadores. Interpretacin: si el valor mximo en logits alcanzado por una poblacin es inferior al valor de habilidad equivalente a n-1 tems correctos, indica que el grupo de tems result complejo para las personas de ms alta habilidad. Si el valor mnimo, en logits, alcanzado por una poblacin es superior al valor de habilidad equivalente a 1 tem correcto, indica que el grupo de tems result fcil para las personas de ms baja habilidad. Se espera que los valores mnimos y mximos correspondan a 1 respuesta correcta y a n-1 respuestas correctas, respectivamente. 7.4. FUNCIN DE INFORMACIN Definicin: bajo la TRI la funcin de informacin puede ser vista como una expresin matemtica de la precisin de la medida en cada nivel del objeto evaluado; indica el grado de precisin en la medicin. Esta funcin corresponde a la informacin estadstica de cada tem, basada en el modelo de Fisher 70. Justificacin de uso: la funcin de informacin es una alternativa a los ndices tradicionales de precisin en la medicin y est asociada con la confiabilidad de consistencia interna71. Interpretacin: La mayor valor de la funcin de informacin.Tambin es mayor la precisin en la medida.
70 71 Linacre, J. (2006). A User Guides to Winsteps. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
228 270
8. DEPURACIN DE BASES DE DATOS PARA GENERACIN DE ESCALAS DE CALIFICACIN. Esta depuracin se realiza en dos momentos, uno sobre las bases de datos originales enviadas por los pases participantes en el Estudio Principal (que contienen informacin de todos los estudiantes evaluados) y dos, sobre las bases de datos despus de haber hecho el procesamiento para anlisis de tems. Ambos momentos pueden implicar la eliminacin de registros por las razones que se describen enseguida. 8.1. DEPURACIN PREVIA AL PROCESAMIENTO PARA ANLISIS DE ITEMS
8.1.1. POR INFORMACIN INSUFICIENTE Se eliminarn los registros de aquellos estudiantes evaluados que respondan el 50% o menos de los tems de cualquiera de los dos bloques que conforman el cuadernillo que l aborde. 8.1.2. POR PREGUNTAS NO ALCANZADAS Se eliminarn los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. 8.1.3. POR ASISTENCIA PARCIAL Se eliminarn los registros de los estudiantes evaluados que no hayan asistido a todas las pruebas. De esta manera se evita la necesidad de calcular ponderadores independientes para cada caso. 8.2. DEPURACIN POSTERIOR AL PROCESAMIENTO PARA ANLISIS DE TEMS 271 229
8.2.1. POR DESAJUSTE DE LOS ESTUDIANTES EVALUADOS Se eliminarn los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.372. Una vez hecha esta depuracin se procesa de nuevo la informacin para proceder a aplicar los criterios de depuracin por anlisis de tems, propiamente dichos. 8.2.2. POR ANLISIS DE TEM Se eliminar la informacin de los tems que decida el panel de expertos con base en el anlisis de tems. 8.3. ESTRUCTURA DE LA BASE DE DATOS PARA PRODUCCIN DE RESULTADOS
Las cinco bases de datos requeridas, correspondientes a las cinco pruebas aplicadas, son las siguientes:
Lectura de tercer grado Lectura de sexto grado Matemtica de tercer grado Matemtica de sexto grado Ciencias de sexto grado
72 El rango de aceptacin podr cambiarse a 0.8 y 1.2 dependiendo de la calidad de los datos observados despus del primer procesamiento.
Cada una de estas cinco bases de datos se conforma con los siguientes campos:
Cdigo de pas Cdigo de centro educativo Cdigo de grado Cdigo de aula Cdigo de estudiante en el aula Cdigo de cuadernillo Bloque en primera posicin Bloque en segunda posicin Respuestas bloque 1 Respuestas bloque 2 Respuestas bloque 3 Respuestas bloque 4 Respuestas bloque 5 Respuestas bloque 6
Esta estructura implica el procesamiento de datos con base en la informacin de una sola matriz para obtener resultados equiparados de los estudiantes y que se conoce como equating concurrente o de un paso. Adicionalmente se verificar este resultado utilizando el mtodo tradicional de equating con tems comunes, que implica el procesamiento independiente de cada bloque73. 9. ESCALAS DE CALIFICACIN 9.1. PUNTUACIN TOTAL EN LA PRUEBA La escala de puntuacin tiene promedio 500 y desviacin estndar 100 puntos. Se obtiene por una transformacin lineal de la escala logit o logstica (con cuatro cifras decimales) que produce directamente el software Winsteps para cada estudiante en el archivo ESTUDIANTES*.xls74 9.2. NIVEL DE DESEMPEO El propsito es describir lo que los estudiantes saben y pueden hacer al obtener resultados iguales o superiores a varios puntos seleccionados en la escala de desempeo. El procedimiento se deriva del proceso denominado anclaje de escalas 75 (por su nombre en ingls scale anchoring) y requiere que las puntuaciones de los estudiantes se encuentren en una escala comn. El procedimiento para obtener este resultado es el siguiente: Se selecciona un grupo de tems con el punto de anclaje ms bajo (entre -2 o -1 desviacin estndar de la media) y que corresponda con el nivel de desempeo ms bajo evaluado por la prueba con base en el marco conceptual. Para todos los dems tems de la prueba se obtiene su punto de anclaje que corresponde al punto de la escala
73 Linacre, J. (2006). A User Guides to Winsteps. 74 El asterisco (*) se reemplaza por el nombre de la prueba (rea y grado). 75 Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88. p 57.
230 272
en el cual los estudiantes tienen una probabilidad igual o superior a 0.6 de responderlo correctamente. Para describir el segundo punto de anclaje, se seleccionan los tems cuya probabilidad de ser respondidos correctamente es igual o superior a 0.6 en ese punto y que en el punto de anclaje anterior su probabilidad de ser respondidos correctamente sea inferior a 0.5 y la diferencia de las probabilidades sea superior a 0.2. Luego de establecer los tems de cada punto de anclaje y describir estos puntos con base en el marco conceptual de las pruebas por un panel de expertos, se obtiene el nivel de desempeo de cada estudiante. Un estudiante queda asignado al nivel de desempeo ms alto en el cual su probabilidad de responder correctamente los tems de ese punto es igual o superior a 0.6. 9.3. DESEMPEO RELATIVO POR CATEGORAS DE LA ESTRUCTURA DE PRUEBA
Se obtendrn resultados del desempeo relativo por pas, a partir de las respuestas de sus estudiantes a cada una de las categoras de la estructura de prueba (dimensin disciplinar y dimensin cognitiva). Se dice que un grupo poblacional (pas) presenta un desempeo significativamente alto o bajo en una categora especfica si la diferencia entre su desviacin de la media para esa categora y su desviacin de la media general es superior al doble del error estndar de las diferencias entre estas desviaciones76. Para una categora n y una poblacin j se hace la estimacin mediante la ecuacin 5. Cnj = (Xnj - Xn ) - (Xtj - Xt ) en donde, Xn porcentaje promedio de respuestas correctas para la categora n. Xt porcentaje promedio de respuestas correctas para todas las poblaciones. 273 231 10. BASES DE RESULTADOS Es la base de datos, en formato Access, que contiene los resultados y la identificacin de los estudiantes. En ella debe encontrarse toda la informacin de los estudiantes y sus resultados, tanto de la puntuacin total en cada una de las pruebas como el nivel de desempeo. La base comprende los siguientes campos: Cdigo de pas Cdigo de centro educativo Cdigo de grado Cdigo de aula Cdigo de estudiante en el aula Cdigo de cuadernillo Puntuacin en la prueba de Lectura Nivel de desempeo en la prueba de Lectura Puntuacin en la prueba de Matemtica Nivel de desempeo en la prueba de Matemtica Puntuacin en la prueba de Ciencias Naturales Nivel de desempeo en la prueba de Ciencias Naturales.
76 Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88.
(5)
Con base en esta informacin podrn agruparse los resultados, con el propsito de establecer promedios desviaciones estndar y errores de distintos grupos de estudiantes, de acuerdo con el plan de anlisis. 11. SOFTWARE PARA PROCESAMIENTO El procesamiento de datos para el estudio SERCE debe ofrecer informacin suficiente para efectuar el anlisis de tems con los indicadores sugeridos en los captulos anteriores. En el mercado se cuenta con oferta considerable de software que opera con los supuestos de la Teora de Respuesta al tem y que implementa las funciones matemticas de sus diferentes modelos, enunciadas en el captulo 1 de este documento. La diferencia entre un software y otro, ya sea que estn o no inspirados en un mismo modelo, radica principalmente en aspectos como el tamao poblacional y la longitud de los instrumentos que les es posible procesar, en la formulacin matemtica particular que implementan y, quizs lo ms importante, desde el punto de vista de un proceso de evaluacin, en la confiabilidad (precisin) de los datos que arroja. Se revisaron distintas caractersticas tcnicas (la cantidad de indicadores que reporta el software y la precisin en la estimaciones de los mismos; la cantidad de datos que tiene capacidad de analizar; los requerimientos de conformacin de bases de datos; la convergencia en las estimaciones y la interfase grfica) de programas de software disponibles en el mercado, tales como Bilog MG, Multilog, Parscale, Rascal y Winsteps y se lleg a la conclusin que este ltimo ofrece las mayores ventajas para el procesamiento de datos del estudio principal del proyecto SERCE. Winsteps es un software que opera en plataforma Windows y que implementa los principios de la Teora de Respuesta al tem para construir mediciones objetivas a partir de una base de datos sencilla en la cual se especifican personas (estudiantes evaluados) y sus respuestas a un grupo de tems. El mtodo de estimacin que utiliza el Winsteps es conocido como Joint Maximum Likelihood Estimation (JMLE), tambin llamado UCON (Unconditional Maximum Likelihood Estimation), tiene la ventaja de producir estimaciones simtricas y ser muy flexible para trabajar con datos omitidos (missing), adems de su capacidad para analizar pruebas de gran longitud (las pruebas del Estudio Principal tienen alrededor entre 66 y 96 tems) y de no suponer una distribucin especfica de personas (las muestras en el Estudio Principal son independientes para cada pas). Es de considerar que con este mtodo las estimaciones presentan sesgo cuando el conjunto de datos es pequeo, caso que no corresponde con las caractersticas del Estudio Principal77. El software puede trabajar de manera simultnea con varios formatos de tems (dictomos, de seleccin mltiple con nica y con mltiple respuesta y de crdito parcial); ofrece gran variedad de reportes tabulares y con interfases grficas, en los cuales se presenta de manera detallada y tambin resumida, el comportamiento de las poblaciones y de los tems analizados. Una caracterstica importante es que el software seala con claridad los datos que presentan comportamientos por fuera de lo esperado. La generacin de escalas de calificacin usando Winsteps constituye un proceso relativamente simple, toda vez que el software permite el procesamiento de datos, agrupados segn variables de inters, sin requerir modificaciones en la estructura de la base de datos original. Winsteps tambin permite prefijar (anclar) valores de los parmetros para facilitar procesos de comparabilidad (equating). Winsteps puede procesar hasta 10 millones de personas y 30 mil tems y cada tem puede contemplar hasta 255 categoras de calificacin (el de mayor capacidad, para tems y categoras, en el mercado). El software tiene un manual detallado para orientar su uso y la interpretacin de la informacin que arroja; adems, la firma Winsteps ofrece apoyo tcnico en lnea, oportuno y eficaz, para solventar inquietudes tanto de procesamiento como de interpretacin de datos.
77 Para conocer una discusin ms amplia sobre las caractersticas y ventajas del mtodo JMLE, puede consultarse: Wright, B y Masters, G. (1982). Rating Scales Analysis.
232 274
12. REPORTES Los reportes sern de dos clases: en forma de tablas y de grficas y contienen informacin de cada prueba en su totalidad y de cada bloque. Para ilustrar los reportes que se presentan enseguida, se han utilizado valores hipotticos. 12.1. REPORTES EN TABLAS POR PRUEBA 1. Indicadores por tem Presenta 6 indicadores para cada tem, en cada prueba. Reporte 1. Indicadores por Item
Item
Dificultad -0.120 -0.111 -0.120 -0.190 -0.250 -0.040 -0.080 -0.180 -0.215 -0.230 -0.240
Error de Medicin
Discriminacin
M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08 M3B1IT09 M3B1IT10 M3B1IT11
M3B1IT02
0.12 0.15 0.08 0.07 0.12 0.11 0.11 0.15 0.09 0.10 0.08
1.00 0.99 0.95 0.93 1.00 1.01 1.03 1.00 0.69 0.98 1.00
Correlacin Punto Medida
0.33 0.31 0.35 0.37 0.12 0.48 0.55 0.48 0.19 0.32 0.30
Ajuste Prximo (Infit) 1.00 0.95 1.05 1.03 1.00 0.85 0.97 0.75 0.83 0.97 1.01
Ajuste Lejano (Outfit) 1.05 0.98 1.08 1.10 1.08 0.87 0.90 0.70 0.79 0.99 1.00
N 30418 30418 30418 30418 30418 30418 30418 30418 30418 30418 30418
275 233
Los valores sombreados corresponden a indicadores que estn por fuera del criterio de aceptacin. La ltima columna hace referencia a la totalidad de estudiantes que se incluyeron para el anlisis de este tem.
Reporte 2. Indicadores por opcin Muestra 5 indicadores por opcin de cada tem para cada prueba.
Reporte 2. Indicadores por Opcin Item Opcin Correcta Opciones

Promedio de habilidad
-0.140 -0.050 -0.110 -0.175 -0.250 -0.110 -0.240 -0.080 -0.160 -0.080 -0.190 -0.200
Error Estndar de Medicin

0.11 0.11 0.15 0.09 0.08 0.12 0.15 0.08 0.07 0.12 0.11 0.11
Ajuste (Outfit)
Correlacin
6 56 11 16 5 6 13 24 20 42 0 1
M3B1IT01
Multimarca
1 2 3 4 Omisin 1 2 3 4 Omisin . . .
1.05 0.98 1.08 1.10 1.08 0.87 0.90 0.70 0.79 0.99 1.00 1.05
-0.33 0.31 -0.35 -0.37 -0.32 -0.48 -0.55 -0.48 -0.19 0.32 -0.30 -0.35
M3B1IT02
. . .
. . .
Multimarca
. . .
. . .
. . .
. . .
. . .
234 276
M3B1IT16
2 3 Omisin 4
-0.120 -0.140 -0.110 0.056
0.09 0.10 0.08 0.08 0.09
0.98 0.87 0.90 0.79 0.70
-0.18 -0.23 -0.35 0.31
20 25 35 15 3 2
Multimarca
-0.250
-0.150
0.10
0.99
-0.12
-0.37
Reporte 3. Correlaciones Inter-tem Listado con las correlaciones entre todas las combinaciones de dos tems de cada bloque, para cada prueba, dado que los estudiantes responden la prueba por bloque. Reporte 3. Correlaciones Inter-tem Item M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 M3B1IT01 Item M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08 correlacin 0.15 0.08 0.25 0.21 0.04 0.00 0.12
235 277
12.2. REPORTES GRFICOS POR PRUEBA Reporte 4. Mapa de distribucin de habilidades y dificultades Este reporte se produce para cada prueba y para cada bloque. Enseguida se ilustra un reporte para el bloque 1 de la prueba de matemtica para tercer grado.
236 278
Reporte 4. Mapa de distribucin de habilidades y dificultades. Bloque 1 Matemtica 3 En este mapa la letra M en cada costado de la escala central, indica el promedio; la s y la t indican la primera y la segunda desviacin estndar, respectivamente. Se observa que la distribucin de dificultades de los tems se encuentra ms alta en la escala que la distribucin de habilidades, lo que indica que el bloque result relativamente difcil para el grupo de personas evaluadas, en general. No obstante, algunas personas logran buenos desempeos y alcanzan valores altos de habilidad. Los valores de dificultad de los tems se encuentran entre 1 y 1 logit, aproximadamente; se esperara una distribucin ms amplia. Reporte 5. Promedio, desviacin estndar, valores mximo y mnimo de dificultades de tems, por bloque Para cada bloque de cada prueba se relaciona el promedio de las dificultades de los tems con la desviacin estndar y se muestran lneas cuya longitud indica la medida efectiva en cada uno y en la muestra total, es decir desde el valor de dificultad mnimo hasta el valor mximo. Reporte5. Promedio, desviacin estndar y valores mximo y mnimo de dificultades de tems, por bloque Posicin en el cuadernillo: primera
237 279
Reporte 6. Funcin de Informacin Esta grfica es producida directamente por el software Winsteps e indica el grado de precisin en la medida para cada punto de habilidad, para un bloque en particular. Reporte 6. Funcin de Informacin Bloque 1 de la prueba de Matemtica para tercer grado Posicin en el cuadernillo: primera
238 280
ESCALA DE HABILIDAD En el eje Y se representa la cantidad de informacin para el bloque total. El valor mximo alcanzado depende de la cantidad de tems en el bloque y de la habilidad particular donde cada tem mide con mayor informacin.
Reporte 7. Curva Caracterstica del tem y Curva Emprica del tem Se producen dos grficas para cada tem de cada bloque de cada prueba. La primera para la clave (Reporte 7A) y la segunda para cada opcin (Reporte 7B). Reporte 7A. Curvas Caracterstica y Emprica del tem para la clave. tem M3B1IT01
239 281
ESCALA DE HABILIDAD En el eje Y se representa la probabilidad de respuesta correcta. La lnea roja representa la Curva Caracterstica del tem y la lnea azul la Curva Emprica del tem. Las lneas verde y gris indican el lmite de aceptacin dado el error de medicin en cada punto de habilidad.
Reporte 7B. Curva Emprica del tem por opcin. tem M3B1IT01
ESCALA DE HABILIDAD En el eje Y se muestra la probabilidad de respuesta correcta y en el eje X la escala de habilidad. Cada opcin est representada por una Curva Caracterstica. Este reporte incluye 4 grficas para un mismo nmero de tems, por prueba, por grado. 12.3. REPORTES EN TABLAS CON INFORMACIN POR PAS Se producirn cinco reportes con la informacin de cada pas para cada uno de los siguientes indicadores por cada tem: Reporte A. Dificultad. Reporte B. Ajuste prximo. Reporte C. Ajuste lejano. Reporte D. Discriminacin. Reporte E. Porcentaje de respuestas correctas. 282 240
A continuacin se ilustra el Reporte de dificultades de los tems del bloque 1 de la prueba de matemtica para tercer grado. Reporte A. Dificultad tem M3B1IT01 M3B1IT02 M3B1IT03 M3B1IT04 M3B1IT05 M3B1IT06 M3B1IT07 M3B1IT08 M3B1IT09 M3B1IT10 M3B1IT11 Pas 1 0.362 -0.253 -0.134 0.103 -0.312 0.105 -0.676 -0.198 -0.897 0.216 -0.155 Pas 2 0.50 -0.15 -0.08 -0.08 -0.77 -0.08 -0.08 -0.35 -1.00 0.32 -0.21 Pas 3 0.13 0.11 0.12 0.12 0.11 0.12 0.11 0.12 0.11 0.13 0.12 Pas 4 0.13 0.11 0.12 0.12 0.11 0.12 0.11 0.12 0.11 0.13 0.12 Pas 5 0.97 0.96 1.11 1.05 1.09 0.99 0.83 1.08 0.78 1.08 1.02 Pas 6 0.95 0.81 1.20 1.08 1.02 1.04 1.05 1.16 0.38 1.05 0.96 Pas 7 0.20 0.25 0.34 0.29 0.32 0.24 0.25 0.32 0.26 0.31 0.28 Pas . . . . . . . . . . . . Pas 12 Pas 13 Pas 14 Pas 15 Pas 16 Pas 17 0.47 0.42 0.23 -0.63 -1.87 -0.63 2.25 -0.56 -0.39 0.39 -0.19 1.01 1.02 0.95 0.98 0.97 1.01 1.04 0.97 1.04 0.95 0.99 1.02 1.09 0.90 0.94 1.00 0.98 0.98 0.94 1.10 0.98 1.02 1.07 1.01 0.90 0.92 0.94 1.00 1.06 0.94 1.06 0.92 0.97 1.23 1.12 0.84 1.02 0.99 0.96 0.92 0.91 1.16 0.88 1.01 1.13 1.11 1.12 1.12 1.11 1.12 1.11 0.92 0.91 0.97 0.98
241 283
12.4. REPORTES GRFICOS POR PAS Reporte F. Promedio, desviacin estndar y valores mximo y mnimo de dificultad de tems por bloque.
Reporte F. Promedio, desviacin estndar y valores mximo y mnimo de dificultad de tems, por bloque
242 284
BIBLIOGRAFA
CAPITULO I. Muestreo, diseo y anlisis. Sharon L. Lohr. Thomson Paraninfo, S.A. Ao 2000. CAPITULO II. Elaboracin Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin(LLECE). CAPITULO III. Elaboracin Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin(LLECE). CAPITULO IV. Scoring Guides for the Mathematics and Science Free-Responses Items, TIMSS International Study Center, Boston College, USA, 1999. Mathematics Marking Guide, OECD Programme for International Student Assessment (PISA), 2000. Polya, G, Cmo plantear y resolver problemas, Editorial Trillas, Mjico, 1989. Parra, C y Saz, I, (comps.),Didctica de matemticas, Aportes y reflexiones, Paids, Buenos Aires, Argentina, 1994. Callejo, M.L, Evaluacin de procesos y progresos del alumnado en la resolucin de problemas, Uno, Revista de Didctica de las Matemticas, N 8, Espaa, abril de 1996. Chemello, G y Daz, A, Matemtica, Metodologa de la enseanza, parte II, Conicet, Buenos Aires, Argentina, 1997. Sadovsky, P, Ensear matemtica hoy, Libros del Zorzal, Buenos Aires, Argentina, 2005. Hernndez, H, Delgado Rub, J, Fernndez, B, Cuestiones de didctica de la matemtica, Ediciones Homo Sapiens, Argentina, 1997. CAPITULO V. Adam, J.M. (1989), Le texte descriptif, Paris, Ed. Nathan. Adam, J.M. (1992), Types et prototypes: narration, argumentation, description, conversation, explication, dialogue, Paris, Ed. Nathan. Alvarado, M. (1994), Paratexto, Buenos Aires, Oficina de Publicaciones del Ciclo Bsico Comn de la Universidad de Buenos Aires. Amiguens, R. y Zerbato-Poudou, M. (1999), Las prcticas escolares de aprendizaje y evaluacin, Mxico, Fondo de Cultura Econmica. Atorresi, A. y otros (2000), Evaluacin de la escritura, La Plata, DGCyE. Atorresi, A. (2005), Construccin y evaluacin de consignas de resolucin escrita, Posgrado en Materiales didcticos, Buenos Aires, FLACSO. Atorresi, A. y Zamudio, B. (2000), La explicacin, Buenos Aires, Eudeba. Austin, J. (1971), Cmo hacer cosas con palabras, Buenos Aires, Paids. Bajtin, M. (1982), Esttica de la creacin verbal, Mxico, Fondo de Cultura Econ-mica. Barthes, R., (1966/1970), Anlisis estructural del relato, Buenos Aires, Tiempo Contemporneo. Beaugrande, R.A. de y Dressler, W. (1997), Introduccin a la lingstica del texto, Barcelona, Ariel. 244 286
Bernrdez, E. (1982), Introduccin a la lingstica del texto, Madrid, Espasa Calpe. Bottro, J. y otros (1995), Cutura, pensamiento, escritura, Barcelona, Gedisa. Braslavsky, B. (2005), Ensear a entender lo que se lee, Mxico, FCE: Calkins, L. (1992), La intervencin del maestro, en Didctica de la escritura, Bue-nos Aires, Aique. Calkins, L. (1992), Didctica de la escritura, Buenos Aires, Aique. Calsamiglia, H. y Tusn, A. (1999), Las cosas del decir, Barcelona, Ariel. Camilloni, A. (1998) La calidad de los programas de evaluacin y de los instrumen-tos que los componen, en Camilloni, A., Celman, S., Litwin, E. y Palou de Mat, M., La evaluacin de los aprendizajes en el debate didctico contem-porneo, Buenos Aires, Paids, pp. 76-89. Camps, A. (1995), Hacia un modelo de enseanza de la composicin escrita en la escuela, en Textos, n 5, julio de 1995, Barcelona. Cardona, G. R. (1999), Antropologa de la escritura, Barcelona, Gedisa Cassany, D. (1987), Describir el escribir, Barcelona, Paids. Cassany, D. (1999), Construir la escritura, Barcelona, Paids. Cassany, D. (2000), Reparar la escritura, Barcelona, Gra. Cassany, D.; Luna, M. Y Sanz, G. (1994), Ensear lengua, Barcelona, Gra. Charolles, M. (1978), Introduction aux problemes de la cohrence des textes; Pars, Langue Franaise, 38. Chartier, A. M. y Hbrard, J. (2000), Saber leer y escribir: unas herramientas mentales que tienen su historia, en Infancia y Aprendizaje, 89, pp. 11-24 Ciaspuscio, G. (1994), Tipos textuales, Buenos Aires, Oficina de Publicaciones del Ciclo Bsico Comn de la Universidad de Buenos Aires. Coltier, D. (1988), Introduction et gestion des exemples dans les textes these, Pratiques, 58, Pars. di Stefano, M. y Pereira, C. (1998), Representaciones sociales en el proceso de lectura en: Signo y Sea, Buenos Aires, Instituto de Lingstica, Universi-dad de Buenos Aires. Di Tulio, A. (1997), Manual de gramtica del espaol, Buenos Aires, Edicial. Ferreiro, E. (1991), La construccin de la escritura en el nio, en Revista Lectura y Vida, 12, 3; pp 5-14. Flower, L. y Hayes, J. (1996), La teora de la redaccin como proceso cognitivo en: Textos en contexto. Los procesos de lectura y escritura, Buenos Aires, A.I.A. Lectura y Vida. Garca Debanc, C. (1994), Apprendre a justifier par crit un rponse: analyses linguistiques et perspectives didactiques en Pratiques, 84, Pars. Graves. D. (1991), Didctica de la escritura, Madrid, Morata. Graves. D. (1992), Un aula donde se lea y se escriba, Buenos Aires, Aique, 1992. Greimas, A. (1966), Semntica estructural, Madrid, Gredos. Greimas, A. (1966), Seuils, Pars, Ed. du Seuil. Halliday, M. y Hasan, R. (1976), Cohesion in English, Londres, Longman. Hevelock, E. (1996), La musa aprende a escribir, Barcelona, Paids. Jolibert, J. (1988), Formar nios productores de textos, Santiago, Dolmen. Jakobson, R. (1970), Lingstica y potica, Madrid, Ctedra. Jurado, F., Bustamente y Prez, M. (1998), Juguemos a interpretar. Evaluacin de competencias en lectura y escritura, Bogot, Plaza & Jans-Universidad Na-cional. Krashen, S. (1981), Second Language Adquisition and Second Language Learning, Pergamon. Lerner, D. (2001), Leer y escribir en la escuela, Mxico, Fondo de Cultura Econmi-ca. Lyons, J. (1997), Semntica lingstica, Barcelona, Paids. Martnez, M. C. (2004), Estrategias de lectura y escritura de textos, Cali, Ctedra UNESCO-Universidad del Valle. McCormick Calkins (1998), Didctica de la escritura, Buenos Aires, Aique. Moliner, M. (1996), Diccionario de uso del espaol, Madrid, Gredos. Perrenoud, P. (1990), La construccin del xito y del fracaso escolar, Madrid, Mora-ta.
245 287
Perrenoud, P. (1999), Avaliao. Da Excelencia a Regulao das Aprendizagens. Entre duas lgicas, Porto Alegre, Artes Mdicas. Ribas Seix, T. (1997), Evaluar en la clase de lengua: cmo el estudiante gestiona su propia escritura, en Textos de Didctica de la Lengua y de la Literatura n 11, enero de 1997. Serafini, M. R. (1985), Cmo se escribe, Barcelona, Paids. Silvestri, A. (1995), El discurso instruccional, Buenos Aires, Oficina de Publicaciones del Ciclo Bsico Comn de la Universidad de Buenos Aires. Smith, F. (1983), Reading like a Writer en: Language Arts, 60. Textos (37) (2004), La reflexin sobre la lengua, Barcelona, Gra. Textos (39) (2005), La normativa, Barcelona, Gra. Tolchinsky, L. (1993) Aprendizaje del lenguaje escrito. Procesos evolutivos e impli-caciones didcticas. Barcelona, Antropos. Van Dijk, T (1983), La ciencia del texto, Barcelona, Paids. Van Dijk, T. (1990), Estructuras y funciones del discurso, Mxico, Siglo XXI. Wells, G. (1986), Aprender a leer y a escribir. Barcelona, Laia. CAPITULO VI . Elaboracin Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin(LLECE). CAPITULO VII. Martnez, R. (1996). Psicometra: Teora de los Tests Psicolgicos y Educativos. Madrid: Sntesis. Pardo, C. (2001). Revista ACTA Colombiana de Psicologa. No. 5. Bogot: Universidad Catlica de Colombia. Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates. Nunnally, A. (1987). Teora Psicomtrica. Mxico: Trillas. Hambleton, R. y Swaminathan, H. 1985. Item Response Theory: principles and applications. Kluwer. Boston. Weiss, D. y Yoes, M. 1994. Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological testing. Boston. Hambleton, R. y Swaminathan, H. 1985. Thorndike, R. 1999. IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. 1999. The New Rules of Measurement. New Jersey. University of Kansas. Tristn, A. (2001). Rasch para Todos. Mxico: Ceneval. ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey. Item Caracteristic Curve. CAPITULO VIII. Martnez, R. (1996). Psicometra: Teora de los Tests Psicolgicos y Educativos. Madrid: Sntesis. Pardo, C. (2001). Revista ACTA Colombiana de Psicologa. No. 5. Bogot: Universidad Catlica de Colombia. Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates. Nunnally, A. (1987). Teora Psicomtrica. Mxico: Trillas. Hambleton, R. y Swaminathan, H. (1985). Item Response Theory: principles and applications. Kluwer. Boston. Weiss, D. y Yoes, M. (1994). Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological testing. Boston. Thorndike, R. (1999). IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: University of Kansas. Tristn, A. (2001). Rasch para Todos. Mxico: Ceneval.
246 288
Fischer, G. y Molenaar, I. (1995). Rasch Models. Foundations, Recent Developments, and Applications. New York: Springer Verlag. Hambleton, R. y Swaminathan, H. (1996). Item Response Theory: Principles and Applications. Boston: Kluwer Nijhoff Publishing. Wright, B. (1992). IRT in the 1990s: Which Models Work Best? Rasch Measurement Transactions. 6.1. Chicago: MESA Press. Pardo, C. (2001). El Modelo de Rasch: Una alternativa para la evaluacin educativa en Colombia. En Revista Acta Colombiana de Psicologa. No. 5. Bogot: UCC. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA. Pardo, C. Rocha, M. y Barrera, L. (2005). Manual para Anlisis de tems y Calificacin pruebas ECAES. Documento de Trabajo. Bogot: ICFES. Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: LEA. Gregory, K. Martin, O. (2001). Technical Standards for IEA Studies. IEA. Holland, P. y Wainer, H. (1993). Differential Item Functioning. New Jersey: Lawrence Erlbaum Associates. Linacre, J. (2006). A User Guides to Winsteps ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88 Wright, B y Masters, G. (1982). Rating Scales Analysis.
247 289
248

Comprendio de Los Manuales Del Serce

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Comprendio de Los Manuales Del Serce

Cargado por

Copyright:

Formatos disponibles

COMPENDIO

DE LOS MANUALES DEL SERCE

Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin

Jorge Sequeira Director OREALC/UNESCO Santiago

Manual del Coordinador Nacional para la Aplicacin Definitiva ............... 35

2. Papel del Coordinador Nacional .......................................................................................... 35

Captulo III: Manual del Aplicador para la Aplicacin Definitiva ................................. 54

Captulo IV: Manual para la Codificacin de los tems

Captulo V: Manual para la evaluacin de las pruebas de Escritura .................................... 124

CAPTULO I: MANUAL DE MUESTREO

Los universos indicados en el apartado a) se estudiarn a travs de la aplicacin de pruebas estandarizadas de

3. Subuniversos del Estudio.

4. Unidades de muestreo y marco muestral.

Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicacin Piloto, SERCE 2005.

Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicacin Piloto, SERCE 2005.

7. Criterios de estratificacin7 para la optimizacin del muestreo.

8. Cantidad mnima de escuelas por estrato explcito y por pas.

500 300 0 100 900

400 200 0 50 650

250 200 50 30 480

150 140 40 10 300

400 250 100 0 650

100 100 50 0 200

9. Ajustes en el tamao de la muestra.

10. Procedimientos para la seleccin de escuelas y alumnos. Sistema de reemplazos.

ANTES DE LOS REEMPLAZOS

Cantidad de Escuelas 118 160 230 358 633

Error a nivel nacional 5% 4% 3,5 % 3% 2%

Error en el estrato urbano pblico 7% 6% 5% 4% 3%

Error en el estrato rural 7% 6% 5% 4% 3%

17. Sistema de ponderaciones para la estimacin de resultados a nivel nacional y de subuniversos.

Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicacin Piloto, SERCE 2005.

0 < R < 0,75 29 68 8 21 81 38 36 45 55 69 30 31 72 42 48 50 35

Fuente: OREALC/UNESCO Santiago, Marcos muestrales de la Aplicacin Piloto, SERCE 2005.

Estimador del promedio en el estrato h: X h =

Error cuadrtico medio del estimador del promedio en el estrato h:

Por ser los que presentan menor error de muestreo.

Error cuadrtico medio del estimador del promedio a nivel nacional:

Estimador del promedio de escuelas o directores a nivel nacional: X =

Varianza del estimador del promedio a nivel nacional:

PUNTAJES DE LOS ALUMNOS EN LENGUA

Estimadores alternativos (de expansin simple)

PROMEDIO DEL ESTRATO (EXP. SIMPLE) =

Estimador del promedio a nivel nacional: X =

Varianza del estimador del promedio en el estrato h:

Varianza del estimador del promedio a nivel nacional:

Propuesta para el clculo de la precisin a posteriori

CAPTULO II: MANUAL DEL COORDINADOR NACIONAL PARA LA APLICACIN DEFINITIVA

2. PAPEL DEL COORDINADOR NACIONAL

Tabla 1. Lista de Instrumentos

QA3 QA6 Autoadministrada

Cuestionarios de Factores Asociados

QL3,QL6, QM3,QM6 QC6

4. ACTIVIDADES PREVIAS A LA APLICACIN

4.2 Recibir y estudiar la documentacin del proyecto

4.3 Establecer contacto con los centros educativos

4.4 Convocar, seleccionar y capacitar a los aplicadores

Imprimir cuadernillos y cuestionarios

Organizar la revisin y entrega de los materiales a los aplicadores

ACTIVIDADES DURANTE LA APLICACIN

5.1. Implementar un sistema interno (nacional) de apoyo a la aplicacin

5.2. Colaborar con el sistema de control de calidad del estudio

ACTIVIDADES DESPUS DE LA APLICACIN Organizar la verificacin y recepcin de los materiales de la aplicacin

Organizar la captura de las respuestas a los instrumentos

FIRMA: DOCUMENTO DE IDENTIDAD:__