Antecedentes para la incorporacin del ranking de Notas de Enseanza Media como factor de seleccin a las universidades

Comit Tcnico Asesor PSU Julio, 2012

La conversin de las NEM

Las notas de enseanza media (NEM) se han considerado en los procesos de seleccin empleando una transformacin de sus puntajes a una escala equivalente a la de las pruebas. Las tablas de conversin se actualizaban regularmente (cada 2 aos). La actual no ha sido modificada desde la penltima PAA. La actualizacin de las tablas era necesaria para compensar la tendencia a la elevacin de las notas en el tiempo y asegurar que la ponderacin nominal de las NEM no se viera distorsionada. La tabla de conversin actual no emplea los lmites de las pruebas (150/850). Su mnimo es 208 y su mximo es 826.

Transformacin NEM

850 800 750 700 650 600 550 500 450 400 350 300 250 200 150
4 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 5 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 6 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 7

Las NEM como factor de seleccin

Ha mantenido una buena capacidad predictiva La relacin entre PSU y NEM (ver subsiguiente lmina), sugiere que hay fuertes diferencias en los estndares para asignar notas entre los establecimientos educacionales. Adems, ha existido una tendencia a la elevacin de las notas en el tiempo (ver lmina siguiente).

Progresin anual del promedio de notas de enseanza media

5.8 5.7 5.6 5.5 5.4 5.3 5.2 5.1 5 4.9 4.8
01 20 19 75 19 77 19 79 19 83 19 85 19 87 19 89 19 93 19 95 19 97 19 99 19 81 19 91 20 03

Distribucin de NEM segn PSU promedio (por establecimiento educacional)

Las fuertes disparidades en los criterios para asignar notas entre establecimientos educacionales

El ranking de notas de enseanza media

Corresponde al ordenamiento de los estudiantes segn su posicin relativa al interior de su establecimiento educacional (supone considerar a todos los egresados de un establecimiento, no solo los que se inscriben para rendir las PSU). Por definicin el ranking promedio es equivalente en todos los establecimientos educacionales (y por extensin el ranking promedio es independiente de la dependencia del establecimiento educacional, lo que introduce un criterio de equidad). Su mayor desventaja educacional es que promueve la competencia entre pares, debilitando el rol de formas colaborativas de aprendizaje. Para compensar potenciales efectos adversos, se ha decidido que la valoracin de este aspecto se base en la informacin acumulada en los tres aos previos (sin incluir las notas de la generacin que egresa). Adicionalmente, esta opcin tiene ventajas prcticas en trminos del acceso oportuno de los datos para el clculo del puntaje.

Alternativas propuestas para considerar el ordenamiento de los postulantes en las NEM NEM2: Ajuste en tabla de conversin de Notas de
Educacin Media, considerando el promedio de notas del establecimiento educacional (la tabla se hace ms exigente a medida que el promedio se incrementa).

NEM3: Conversin de notas de Educacin Media

considerando el mnimo, mximo y promedio de las notas de cada establecimiento educacional.

NEM2
( Propuesta USACH )
Puntaje NEM ajustado segn promedio de notas del establecimiento (ltimos tres aos):

Si Nota Alumno = Promedio establ. NEM2 = 500

(Nota: 500 es el Puntaje Promedio PSU)

Si Nota Alumno > Promedio establ. NEM2 = 500+(NA-NE)*350/(7-NE) Si Nota Alumno < Promedio establ. NEM2 = 500+(NA-NE)*350/(NE-4)

Nota EM Alumno 7 6.9 6.8 6.7 6.6 6.5 6.4 6.3 6.2 6.1 6 5.9 5.8 5.7 5.6 5.5 5.4 5.3 5.2 5.1 5 4.9 4.8 4.7 4.6 4.5 4.4 4.3 4.2 4.1 4

5.2 850 831 811 792 772 753 733 714 694 675 656 636 617 597 578 558 539 519 500 471 442 413 383 354 325 296 267 238 208 179 150

Promedio Colegio (ltimos 3 aos) 5.3 5.4 5.5 5.6 5.7 5.8 5.9 850 850 850 850 850 850 850 829 828 827 825 823 821 818 809 806 803 800 796 792 786 788 784 780 775 769 763 755 768 763 757 750 742 733 723 747 741 733 725 715 704 691 726 719 710 700 688 675 659 706 697 687 675 662 646 627 685 675 663 650 635 617 595 665 653 640 625 608 588 564 644 631 617 600 581 558 532 624 609 593 575 554 529 500 603 588 570 550 527 500 482 582 566 547 525 500 481 463 562 544 523 500 479 461 445 541 522 500 478 459 442 426 521 500 477 456 438 422 408 500 475 453 434 418 403 389 473 450 430 413 397 383 371 446 425 407 391 376 364 353 419 400 383 369 356 344 334 392 375 360 347 335 325 316 365 350 337 325 315 306 297 338 325 313 303 294 286 279 312 300 290 281 274 267 261 285 275 267 259 253 247 242 258 250 243 238 232 228 224 231 225 220 216 212 208 205 204 200 197 194 191 189 187 177 175 173 172 171 169 168 150 150 150 150 150 150 150

6 850 815 780 745 710 675 640 605 570 535 500 483 465 448 430 413 395 378 360 343 325 308 290 273 255 238 220 203 185 168 150

NEM3
( Propuesta USACH ) Puntaje NEM ajustado segn: mximo, mnimo y promedio de notas del establecimiento (ltimos tres aos).

Mximo establecimiento Promedio establecimiento Mnimo establecimiento

NEM 2 vs. NEM3

Promedio establecimiento

____ NEM3 ____ NEM2

100 NEM NEM2 NEM3

300

400

500

600

700

800

900

200

0
4 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 5 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 6 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 7

Comparacin de Transformaciones de Notas

Comparacin a nivel de establecimientos: NEM vs NEM2

Admisin 2007, Promedios por establecimiento

NEM2 presenta menor variabilidad de puntajes entre establecimientos con mismo promedio PSU Disminuye relacin NEM-PSU por establecimiento (pendiente)

Comparacin a nivel de establecimientos: NEM vs NEM3

Admisin 2007, Promedios por establecimiento

NEM3 no disminuye variabilidad de puntajes entre establecimientos con mismo promedio PSU Disminuye relacin NEM-PSU por establecimiento (pendiente)

Correlacin entre factores individuales

PSUL PSUM NEM NEM2 NEM3

PSUM NEM NEM2

NEM3

0.75 0.54 0.48

0.44

1 0.55 0.48
0.44

1 0.94
0.91

1
0.98 1

(N=174943)

Brechas: Particulares Pagados vs. Municipales

140%

123%
120% 100% 80% 60% 40% 20% 0%

117%

53% 26%

18%

0%
NEM NEM2 NEM3 Ranking PSUM PSUL

(Como % de la Desviacin Estndar de cada factor)

Brechas: Hombres vs. Mujeres

40%

30%

29%

20%

10%

5%

0%

NEM
-10%

NEM2

NEM3 Ranking PSUM

PSUL

-20%

-18% -25%

-18%

-18%

-30%

(Como % de la Desviacin Estndar de cada factor)

Validez Predictiva:
Alumnos CRUCH Admisin 2007
Muestra: Carreras con al menos 10 alumnos N alumnos= 42508 N carreras= 900
Factor PSUM PSUL NEM NEM2 NEM3 N 42508 42508 42508 42508 42508 Media 600 607 632 582 593 DS 82 80 87 107 136 Min. 226 219 332 267 213 Mx. 850 850 826 850 850

Correlaciones con Notas de Primer Ao (PPA):

Resultados Globales
0.25 0.25 0.23 0.23 0.25

0.1

NEM

NEM2

NEM3

Ranking

PSUL

PSUM

Correlaciones Parciales
Controlando por PSUM, PSUL, NEM
0.1 0.09 0.08 0.07 0.06 0.05 0.04 0.03 0.02 0.01 0

0.04
0.02 0.02

NEM2

NEM3

Ranking

Conclusiones sobre la capacidad predictiva de la posicin relativa de los postulantes en las notas de EM
Todas las alternativas para valorar la posicin relativa de los estudiantes muestran buena capacidad predictiva, equivalente a las NEM. El efecto adicional de estas alternativas (por encima de lo que predicen la PSU y NEM) es pequeo, pero positivo.

Conclusiones sobre brechas

Todas las alternativas estudiadas muestran bajas brechas segn la dependencia de los establecimientos, por lo que su efecto contribuir a compensar las diferencias que se observan en los otros factores de seleccin En cuanto a las diferencias de rendimiento entre hombres y mujeres, las NEM y las transformaciones consideradas muestran resultados ms favorables a las mujeres. Una implicancia de asignar mayor peso a las NEM y sus transformaciones es que se favorece el ingreso a las universidades de las mujeres.
En las PSU se constata una diferencia favorable a los hombres, por lo que lo observado con las NEM y Ranking tiene un efecto compensatorio.

DISTRIBUCIN DEL PUNTAJE RANKING EN COMPARACIN CON NEM

Diferencia Puntaje Ranking-NEM

Frecuencia dif Frecuencia Acumulada 0 94725 94725 10 1300 103213 20 1126 116464 30 852 127395 40 831 136320 50 788 143363 60 367 148497 70 328 152675 80 303 155527 90 81 158040 100 67 159607 125 99 162367 150 36 164324 >150 1494 165818 Porcentaje Acumulado 57.13 62.24 70.24 76.83 82.21 86.46 89.55 92.07 93.79 95.31 96.25 97.92 99.1 100

Comparacin de Diferencia Puntaje Ranking-NEM segn dependencia

Dependencia Particular Pagado Particular Subvencionado Municipal N 26941 Promedio 14.4 Desv. Est. 24.7 Min 0 Max 292

126099 85845

18.5 18.1

33.4 32.1

0 0

331 311

EFECTO EN POSTULACIONES

Simulacin en Postulaciones, segn dependencia

Dependencia Mantiene Sube Baja Carrera Preferencia Preferencia Ingresa Sale No Ingresa Total

Part. Pagado

17172
88%

572
3% 2691 6% 1407 6% 4670 5%

1347
7% 2042 4% 1080 4% 4469 5%

109
1% 690 1% 388 2% 1187 1%

397
2% 738 2% 427 2% 1562 2%

2208

19597
100%

Part. Subvencionado

42753 87%

12117

48914 100%

Municipal

22065 87%

7252

25367 100%

Total

81990 87%

21577 23%

93878 100%

Simulacin en Postulaciones, segn Modalidad Educativa

Modalidad HumanistaCientfico Mantiene Sube Baja Preferencia Preferencia Preferencia 72002 3854 4241 Ingresa 881 Sale 1476 No ingresa 16741 Total 82454

87%
TcnicoProfesional 10495 87% Total 82497 87%

5%
826 7% 4680 5%

5%
268 2% 4509 5%

1%
320 3% 1201 1%

2%
129 1% 1605 2% 21840 23% 5099

100%
12038 100% 94492 100%

Conclusiones
El puntaje de ranking adoptado bonifica a estudiantes con rendimientos relativos superiores y no produce efectos adversos en puntajes de postulantes inferiores (en comparacin con el puntaje que tendran en NEM) Este puntaje de ranking se asocia a cambios esperables: leve efecto en ingreso/salida del sistema, efecto ms importante en movilidad entre carreras/universidades (siempre favoreciendo postulantes de establecimientos con subvencin del Estado)

Recomendaciones
Restituir, a partir del prximo ao, la prctica de ajustar anualmente la tabla de conversin de NEM, para corregir las potenciales distorsiones que se producen con los cambios en los promedios de las notas de enseanza media. Monitorear anualmente el funcionamiento del nuevo sistema y sus reglas.

Antecedentes para la incorporacin del ranking de Notas de Enseanza Media como factor de seleccin a las universidades
Comit Tcnico Asesor PSU Julio, 2012