CALCULO DE SIGNIFICANCIA ESTAD ISTICA PARA RESULTADOS SIMCE

SIMCE Unidad de Curr culum y Evaluaci on Ministerio de Educaci on 2011

 Indice
1. Antecedentes Generales 2. Comparaci on de puntajes promedios 2.1. Errores de estimaci on de puntuaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2. Construcci on del test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3. Criterio de decisi on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3. Comparaci on de proporciones o porcentajes 3.1. Supuestos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2. Construcci on del test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3. Criterios de decisi on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 2 3 4 5 5 6 8

C alculo de Signicancia Estad stica SIMCE

1.

Antecedentes Generales

Uno de los indicadores m as consolidados en los reportes de resultados SIMCE es la comparaci on de los puntajes promedio de dos agrupaciones de estudiantes. Por ejemplo, un establecimiento puede comparar su puntaje promedio con el puntaje promedio del grupo socioecon omico en el cual se encuentra clasicado o con el puntaje promedio de todos los estudiantes del pa s. Realizar estas comparaciones permite a los establecimientos determinar si sus estudiantes demuestran un desempe no superior, similar o inferior al de los estudiantes del grupo de referencia.

Para determinar si la diferencia entre los puntajes promedio de dos agrupaciones de estudiantes es signicativa, y no producto de factores aleatorios, se utiliza el m etodo detallado en la primera parte de este documento.

Por otro lado, con la incorporaci on de los resultados seg un niveles de logro surgi o la necesidad de contar con un m etodo que permita comparar las distribuciones de estudiantes en dichos niveles. Para esto se busc o una metodolog a de comparaci on de la distribuci on de estudiantes de cada nivel que permitiese determinar si la diferencia entre dos proporciones de estudiantes en un determinado nivel es signicativa o no. Esta metodolog a es presentada en la segunda parte del presente documento y debe ser utilizada para realizar comparaciones de agregaciones de 1.000 o m as estudiantes (como comunas, regiones y grupos socioecon omicos), por lo tanto no es adecuada para comparar proporciones de estudiantes en establecimientos.

Dado que SIMCE es una prueba de car acter censal, en el documento se hace referencia a poblaciones y no a muestras.

C alculo de Signicancia Estad stica SIMCE

2.

Comparaci on de puntajes promedios

Una medida razonable de la discrepancia entre los datos y la hip otesis nula H0 : (x y = 0) es la diferencia entre el promedio de una agrupaci on de inter es, x, y el promedio con el cual se desea comparar (agregaci on on, la diferencia tender a a ser peque na. Si de referencia), y . Si x e y realmente provienen de la misma poblaci provienen de poblaciones diferentes, la diferencia ser a m as grande.

Cuando no se puede asumir que las dos poblaciones en estudio tienen varianzas homog eneas entonces se utiliza un m etodo en base al estad stico t-student 1 .

Una estimaci on u til es por intervalos, en donde se calculan los dos valores entre los que se encontrar a el par ametro (en este caso la diferencia de promedios: (x y )), con un nivel de conanza de 95 %2 .

Un intervalo de conanza correspondiente al 95 % para la diferencia de medias est a dado por: (x y ) t(n,0,95) Donde: x y y : promedio en cada una de las poblaciones de inter es.
2 2 andar de medici on en cada una de las poblaciones de inter es. 1 y 2 : cuadrados de los errores est 2 1 n1

2 2 n2

n1 y n2 : tama nos de las poblaciones a comparar. n : grados de libertad del estad stico t-student, determinado a partir del tama no de las poblaciones de inter es. t(n,0,95) : valor en la distribuci on t-student con n grados de libertad y con una probabilidad acumulada de 0,95.

2.1.

Errores de estimaci on de puntuaciones

En una medici on como SIMCE, en donde se pretende estimar un rasgo no observable, las estimaciones nunca ser an exactas conteniendo cierto error, a partir de ello, tienen limitaciones para determinar si, por ejemplo,
1 Se 2 Nivel

utiliza esta distribuci on porque adem as, permite una comparaci on m as robusta en poblaciones de pocos datos. de conanza es la probabilidad de que el intervalo calculado contenga al verdadero valor del par ametro. Se indica por

1 y habitualmente se reporta el porcentaje (1 )100 %. Se habla de nivel de conanza y no de probabilidad ya que una vez obtenida la poblaci on de inter es, el intervalo de conanza contendr a al verdadero valor del par ametro o no.

C alculo de Signicancia Estad stica SIMCE

existen diferencias entre dos puntajes promedio.

Considerando que la estimaci on de las puntuaciones se realiza utilizando la teor a de respuesta al tem (IRT), se obtiene, para cada estudiante evaluado, un puntaje estimado y su correspondiente error de estimaci on. Este u ltimo permite estimar el intervalo en el cual se encuentra el verdadero valor de la habilidad del estudiante. As , para obtener una comparaci on estad stica entre dos agrupaciones de inter es, el error de medici on debe ser tomado en cuenta. Estos errores son incluidos en el estad stico de la siguiente manera: SE =
2 2 2 2 EPEst 1 + EPEst2 + EPEst3 + . . . + EPEsti

Donde EPEsti corresponde al error de estimaci on de puntaje para el estudiante i, que pertenece a la poblaci on de inter es (i =1,...,n ).

2.2.

Construcci on del test

Para construir el test y realizar la d ocima es necesario computar ciertos indicadores: 1. El promedio simple de puntajes en cada una de las agrupaciones que se desea comparar3 . 2. El n umero de estudiantes que hay en las respectivas agregaciones. 3. La desviaci on est andar, dada de la siguiente forma: DE = SE Donde: n : n umero de estudiantes en las agrupaciones de inter es. t(0,95,n1) : valor de la distribuci on con n 1 grados de libertad y con una probabilidad acumulada de 0,95. SE: indicador que da cuenta de la variabilidad en la agregaci on. A continuaci on, para determinar la existencia de una diferencia estad sticamente signicativa entre esas dos agrupaciones, es necesario calcular los l mites del intervalo de conanza, para posteriormente determinar si la diferencia, entre los promedios de puntajes de las poblaciones de inter es, es signicativa con un nivel de conanza de 95 %.
t(n1,0,95) n

3 Este

promedio simple es calculado a partir de las puntuaciones de todos los estudiantes que pertenecen a dicha agrupaci on. Un

ejemplo ser a comparar los puntajes promedio obtenidos por hombres y mujeres en la prueba de Lectura de 4 B asico.

C alculo de Signicancia Estad stica SIMCE

As , los l mites superior e inferior, para la diferencia entre los promedios de las dos agregaciones vienen representados por las siguientes ecuaciones: LS = LI = 1 Donde: DEpobli : desviaci on est andar de la poblaci on i (i =1,...,n ). E : error de poblaci on4 . LS : l mite superior del intervalo de conanza. LI : l mite inferior del intervalo de conanza. [(DEpobl1 + E )2 + (DEpobl2 + E )2 ] [(DEpobl1 + E )2 + (DEpobl2 + E )2 ]

2.3.

Criterio de decisi on

Si la diferencia entre los promedios de ambas poblaciones es menor o igual al LS o es mayor o igual al LI, no existe una diferencia estad sticamente signicativa. Si la diferencia entre los promedios es mayor al LS, esta diferencia es estad sticamente signicativa a favor de la poblaci on 1, del mismo modo si la diferencia de los promedios es menor al LI esta diferencia tambi en es estad sticamente signicativa a favor de la poblaci on 2.

Considerando un intervalo m as conservador, se determin o comparar las diferencias de los promedios de ambas poblaciones redondeados. Finalmente el criterio queda de la siguiente manera5 : LI P oblacio n1 P oblacio n2 LS Diferencia no signicativa. LS < P oblacio n1 P oblacio n2 y 5 < P oblacio n1 P oblacio n2 Diferencia signicativa, el promedio de la poblaci on 1 es superior al promedio de la poblaci on 2.

P oblacio n1 P oblacio n2 < LI y P oblacio n1 P oblacio n2 < 5 Diferencia signicativa, el promedio de la poblaci on 2 es superior al promedio de la poblaci on 1.
4 Se

considera el error de haber tomado esa cohorte buscando minimizar el error de que los puntajes reejen las caracter sticas

particulares de los estudiantes evaluados. En el caso de comparaciones entre agrupaciones para una medici on dentro del mismo a no este error toma el valor de 0,5, en el caso de comparar promedios obtenidos en mediciones ocurridas en distintos a nos este error toma el valor de 3,5. 5 El criterio de los 5 puntos permite ser m as conservadores en las conclusiones. El valor escogido viene dado por el error de medida basado en la Teor a Cl asica del Test considerando la conabilidad de las pruebas SIMCE igual a 0,99. EM = SD 1 conf iabilidad.

C alculo de Signicancia Estad stica SIMCE

3.

Comparaci on de proporciones o porcentajes

La comparaci on de proporciones es un problema cl asico, la mayor a de los textos introductorios de estad stica sugieren utilizar intervalos de conanza para la diferencias basado en intervalos de Wald. Considerando una poblaci on, con n estudiantes, de los cuales r han sido clasicados en un nivel de logro de inter es6 , entonces la proporci on de estudiantes en dicho nivel de logro es p =
r n.

A partir de la ecuaci on anterior se quiere calcular

un intervalo de conanza (IC) para tal proporci on en la poblaci on. Un IC para p se calcula com unmente como: p z 2
(1p ) (p ) n

Por lo que la diferencia entre dos proporciones p1 y p2 , D = p1 p2 tiene como intervalo de conanza a D z 2 Donde: z : punto de la distribuci on normal en que se acumula el 1 2 n1 y n2 : tama nos de las poblaciones 1 y 2 que se comparan. Por otro lado, hay extensa literatura (Vollset (1993), Santner (1998), Agresti & Coull (1998), Newcombe (1998), Brown, Cai & DasGupta (2001)) que indican que dicho procedimiento es discutible en particular para tama nos inferiores a 50 y cuando la proporci on (o porcentaje) de inter es p es cercano a 0 o 1 (0 % o 100 %).
2 p1 (1p1 ) n1

p2 (1p2 ) . n2

de probabilidad.

En la misma literatura se sugiere utilizar los intervalos basados en la metodolog a llamada Wilson Score Interval (Brown, Cai & DasGupta (2001), Newcombe & Merino (2006)) donde el intervalo de conanza para una proporci on p viene dado por: IC :
1 np+ 2 z 2

n+z 2
2

nz 2
2 2

n+z 2

[p(1 p) +

z2
2

4n

Esta metodolog a solo es v alida cuando se cumple la condici on7 : M in{np, n(1 p)} 10.

3.1.

Supuestos

Los m etodos estad sticos disponibles para la comparaci on de proporciones se basan en dos supuestos claves: 1. La existencia de una proporci on verdadera y desconocida8 de estudiantes que pertenecen a cada nivel de logro de cada establecimiento en cada a no, denido por su resultado en una prueba de logro. Este supuesto
6 De

los tres posibles: Avanzado, Intermedio e Inicial. autores relajan la condici on a que el m nimo sea mayor a 5. 8 Cuyo valor no es, necesariamente, constante en el tiempo.
7 Algunos

C alculo de Signicancia Estad stica SIMCE

permite utilizar una proporci on observada, suponiendo que la prueba SIMCE es el mejor estimador de dicha proporci on te orica. 2. Que los estudiantes se clasican en los niveles de manera independiente9 y, que el n umero de estudiantes es lo sucientemente grande como para aplicar teor a asint otica que permite la determinaci on probabil stica de la conanza de la comparaci on10 . Como los niveles de logro est an construidos usando las pruebas SIMCE y estas a su vez est an construidas y analizadas de modo que sus resultados son comparables a no a a no, el primer supuesto es satisfecho.

En el caso del segundo supuesto, la situaci on no es tan sencilla. Por un lado, del an alisis de las pruebas SIMCE, TIMSS y PISA surge evidencia para refutar el supuesto de independencia. Se ha estimado la correlaci on de los resultados de los estudiantes en aula, tanto para lectura como para matem atica, y se ha determinado que estas correlaciones son signicativamente distintas de cero11 . Por otro lado, el n umero de estudiantes por establecimiento que rinde las pruebas SIMCE es muy peque no para aplicar teor a asint otica en un gran n umero de establecimientos12 . Para el caso particular de la comparaci on de proporciones, la aplicaci on de Teorema Central del L mite exige que se satisfaga una condici on que involucra la proporci on estimada y el n umero de individuos usados para estimar la proporci on. En este caso dado que el supuesto de independencia no es satisfecho, se utiliza la versi on m as conservadora de la condici on. Esta es13 : M in{np , n(1 p )} 10 Considerando lo anterior se entregan comparaciones de proporciones o porcentajes de estudiantes en niveles de logro solo para poblaciones estad sticamente grandes (1.000 o m as estudiantes). Es decir, las comparaciones de proporciones o porcentajes son robustas si la base para la cual se calculan es lo sucientemente grande.

3.2.

Construcci on del test

Considerando las restricciones de la metodolog a indicada, se exponen a continuaci on las ecuaciones utilizadas en la comparaci on de proporciones o porcentajes de estudiantes por nivel de logro, metodolog a denominada
9 El

n umero de estudiantes que se clasica en un nivel de logro sigue una distribuci on binomial porque cada estudiante se clasica

en un nivel siguiendo una distribuci on Bernoulli. 10 Aproximaci on de la distribuci on binomial a la distribuci on normal usando el Teorema Central del L mite. 11 Una condici on necesaria para independencia es que las correlaciones sean cero. 12 No hay reglas estrictas para la aplicaci on del Teorema Central del L mite, sin embargo hay consenso en la literatura estad stica en que para tama nos superiores a 50 este funciona muy bien, entre tama nos de 20 a 50 funciona bastante bien, tama nos menores que 10 no siempre funciona y no debe aplicarse para tama nos menores a 5. 13 el efecto neto de la no-independencia entre observaciones es que se pierden grados de libertad.

C alculo de Signicancia Estad stica SIMCE

Wilson Score Interval (1927).

Primeramente, se han de calcular tres cantidades: A = 2 r + z2

2

B=z
2

z2

r + 4 r(1 n )
2

C = 2 (n + z 2 ) En donde: z : valor en la distribuci on normal donde se acumula el 97,5 % de la distribuci on ( = 5 %), su valor es 2 1,96. r : n umero de estudiantes en el nivel de logro. n : n umero de estudiantes en la poblaci on. Los componentes de las ecuaciones anteriores dan como resultado la estimaci on de un intervalo de conanza al 95 % para una proporci on. Esta representaci on es equivalente a la presentada en el inicio del punto 3 pero tiene un manejo operacional m as simple. Luego, el intervalo de conanza est a dado por: IC:
(AB ) C

Utilizando el intervalo de conanza presentado en el punto anterior, se deben calcular l1 y u1 : l mites inferior y superior que denen el intervalo de conanza al 95 % para la poblaci on de estudiantes 1 (poblaci on de inter es), y l2 y u2 son los l mites inferior y superior, de la poblaci on de estudiantes 2, con la cual es comparada (poblaci on de referencia)14 . Ambos calculados partir de la metodolog a de Wilson antes presentada.

Los l mites del intervalo de conanza de la diferencia de proporciones de estudiantes en alg un nivel de logro est a dado por (Newcombe, 1998b): LI : D LS : D + (p1 l1 )2 + (u2 p2 )2 (p1 l1 )2 + (u2 p2 )2

Donde D es la diferencia de proporciones: D = (p1 p2 ).

14 Una

comparaci on ser a por ejemplo, determinar si la proporci on de estudiantes en el nivel de logro inicial de alg un grupo

socioecon omico es signicativamente menor respecto al mismo nivel de logro en otro grupo socioecon omico.

C alculo de Signicancia Estad stica SIMCE

Cabe destacar que las comparaciones presentadas en este documento son bloque a bloque: proporci on de estudiantes en un nivel de logro versus otra poblaci on de estudiantes en el mismo nivel de logro. Otro tipo de comparaci on, no abordada en este documento, podr a ser estimar la diferencia de proporciones basadas en las distribuciones subyacentes de cada poblaci on.

3.3.

Criterios de decisi on

Si la diferencia entre las proporciones de ambas poblaciones es menor o igual al LS y mayor o igual al LI, no existe una diferencia estad sticamente signicativa. Si la diferencia entre las proporciones es superior al LS, esta diferencia es estad sticamente signicativa a favor de la poblaci on 1. Del mismo modo, si la diferencia de las proporciones es inferior al LI, esta diferencia es estad sticamente signicativa a favor de la poblaci on 2. Otra forma de comprobar la signicancia es vericando si el cero (0) est a contenido entre los l mites denidos del intervalo de conanza y, de modo an alogo que para promedios, se determina un valor m nimo, en este caso de 3 puntos porcentuales de diferencia, para construir intervalos m as conservadores15 As , la regla de decisi on es la siguiente: 1. Si el intervalo de conanza contiene el valor cero, es decir LI 0 LS , la diferencia no es estad sticamente signicativa. 2. Si el l mite superior es menor al valor cero, es decir LS < 0 y adem as |D| 3 %, entonces la proporci on en la poblaci on 2 es signicativamente mayor a la proporci on de estudiantes en la poblaci on 1. 3. Si el l mite inferior es mayor al valor cero, es decir LI > 0 y adem as |D| 3 %, entonces la proporci on en la poblaci on 1 es signicativamente mayor a la proporci on de estudiantes en la poblaci on 2.

15 El

valor de 3 % recoge el error de clasicaci on de estudiantes basado en la metodolog a utilizada para ello.