Comparacin de Alternativas

Comparacin de Alternativas
El objetivo es determinar si una configuracin es mejor
que otra con respecto a un criterio de performance.
Hay dos pruebas estadsticas para responder esta
pregunta:
El Paired-t Test y
El Two-Sample Test.
Tratan de determinar un punto estimado de la diferencia
promedio entre las medias respectivas de los diseos de
configuracin de sistemas.
Se construye un intervalo de confianza para un punto
estimado de la diferencia entre las medias.
2

Comparacin de Alternativas
Debemos tener en cuenta las siguientes consideraciones:
H0 : 1 = 2
H1 : 1 2

su equivalente
su equivalente

H0 : 1 - 2 = 0
H1 : 1 - 2 0

H0 nos dice que el valor de 1 no es significativamente

diferente de 2 con un nivel de significancia.
H1 nos dice que el valor de 1 y 2 son
significativamente diferentes con un nivel de
significancia.

Comparacin de Alternativas
Consideremos el intervalo de confianza siguiente:

[ L_inferior < 1 - 2 < L_superior ]

Si H0 es verdadera, el intervalo de confianza hallado
debe incluir el valor cero con una probabilidad de 1- .
Si el intervalo de confianza incluye el valor cero, no
debemos rechazar H0 y concluimos que el valor de 1
no es significativamente diferente del valor de 2 con un
nivel de significancia.
Si el intervalo de confianza no incluye cero, rechazamos
H0 y concluimos que el valor de 1 es significativamente
diferente que el valor de 2 con un nivel de
significancia.
4

Comparacin de Alternativas
Posibles posiciones de un intervalo de confianza

(a)

No
debemos
rechazar Ho

(b)

Rechazamos
Ho

(c)

Rechazamos
Ho
1- 2 = 0

Paired-t Test
Dos grupos de observaciones son diferentes solo en un
aspecto o tratamiento.
Muestras Pareadas: Se llaman pares correspondientes
a dos observaciones que son los mas similares posibles
entre si. Solo difieren en un aspecto relevante.

Paired-t Test
Ejm.
Un investigador mdico desea probar los efectos de nuevos
medicamentos.
A veinte personas en un grupo se les hace corresponder de la
manera mas prxima posible con 20 personas de un segundo grupo
en trminos de peso, edad, sexo, nivel de actividad, colesterol y
cualquier otro factor.
Entonces tenemos 20 pares de gemelos idnticos.
A uno de los grupos se le proporciona una nueva droga, y el otro
recibe otra medicina.
Solo el investigador sabe cual grupo recibe cada medicamento.
Toda diferencia subsiguiente, buena o mala, en las presiones
sanguneas de los gemelos se atribuye a las medicinas debido a
que se han corregido todos los otros factores relevantes
Es decir, se han elaborado pares de observaciones (gemelos) que
son idnticos en trminos de los dems factores relevantes.
7

Paired-t Test
Otro mtodo para utilizar muestras pareadas
involucra el anlisis de las mismas
observaciones antes y despus del tratamiento.
Una prctica comn en la industria es evaluar a
los empleados en los programas de
capacitacin.
Entonces se tiene un puntaje antes y uno
despus de la capacitacin en cada
observacin (empleado).
Todo cambio en el puntaje puede atribuirse a
esta formacin adicional.
8

Paired-t Test
Puntaje

di di

Empleado

Antes de la
capacitacin

Despus de la
capacitacin

9.0

9.2

-0.2

0.04

7.3

8.2

-0.9

0.81

6.7

8.5

-1.8

3.24

5.3

4.9

0.4

0.16

8.7

8.9

-0.2

0.04

6.3

5.8

0.5

0.25

7.9

8.2

-0.3

0.09

7.3

7.8

-0.5

0.25

8.0

9.5

-1.5

2.25

10

7.5

8.0

-0.5

0.25

74.0

79.0

-5.0

7.38

Sea d i la diferencia entre todo par correspondiente. La media

de las diferencias entre todos los pares seria entonces:

Paired-t Test
Diferencia promedio entre las observaciones pareadas:
_

d
n

5.0
0.5
10

Desviacin estndar de las diferencias entre las observaciones

pareadas:
Sd

2
i

_2

nd

n 1

7.38 10(0.5) 2

0.736
9

Se requiere del estadstico t, para un nivel de confianza del 90% y n1= 9 grados de libertad t = 1.833:
10

Paired-t Test
Intervalo para la diferencia entre medias; observaciones pareadas:

Sd
I .C. para d d t
n
_

0.736
0.5 (1.833)
10

0.927 d 0.073

Como se restaron los puntajes posteriores al entrenamiento de los

puntajes anteriores al entrenamiento, produciendo valores negativos, se
puede estar 90% seguro de que la media de los puntajes posteriores al
entrenamiento esta entre 0.073 puntos y 0.927 puntos mas alto.
11

Paired-t Test y la Simulacin

Una prueba pareada (Paired-t Test) requiere que el
nmero de rplicas ejecutadas de un modelo para cada
alternativa sea igual.
La ecuacin para calcular un intervalo de confianza bajo
estas condiciones es:
_

dt

( n 1,1 )
2

_
Sd
Sd
d d t

( n 1,1 )
n
n
2

n d i d i
2

Sd Sd

Sd

n(n 1)

12

Paired-t Test y la Simulacin

Suponga que se usa la simulacin para analizar el % de
utilizacin de recursos para dos alternativas.
Llamemos a las dos alternativas mtodo #1 y mtodo
#2.
Se ejecutan diez rplicas de un modelo para cada
alternativa.
La siguiente tabla contienen los datos de utilizacin de
recursos (expresado en porcentaje de tiempo total
trabajado) generado para cada rplica del modelo.

13

Ejercicio Para el Alumno

Observacio
nes
pareadas

% utilizacin en
la i-sima rplica
para el mtodo
#1

% utilizacin en
la i-sima
rplica para el
mtodo #2

Diferencia entre
metodo #1 y #2
en la i-sima
rplica

Rplica i

X 1i

X 2i

d i X 1i X 2i

75

67

64

76

85

-9

81

73

68

25

74

62

12

144

76

71

25

91

87

????? 16

55

63

-8

64

67

55

12

144

85

90

-5

25

10

89

85

16

28

Cuadrado de la
diferencia en la
i-sima rplica

di

d i 604 14
2

Ejercicio Para el Alumno

n d i d i
2

Sd

n(n 1)

Sd Sd
_

d
_

dt

( n 1,1 )
2

Sd

(10)(604) (28) 2

58.4
10(9)

S d ( 58.4 ) 7.64

28
2.8
10

t 9, 0.95 1.833

_
Sd
Sd
d d t

( n 1,1 )
n
n
2

2.8 1.833

1.632 d 7.23

7.64
7.64
d 2.8 1.833
10
10

15

Ejercicio Para el Alumno

Un intervalo de confianza al 90% para la diferencia en la
utilizacin del recurso para los dos mtodos es
[-1.63,7.23 ]
Podemos estar seguros a un 90% que la diferencia
verdadera de la utilizacin del recurso entre el mtodo
#1 y el mtodo #2 esta contenida dentro del intervalo
anterior.
Para el ejemplo, la diferencia verdadera tiene la
posibilidad de ser igual a cero.
Un valor de cero implica que no hay diferencia entre el
mtodo #1 y el mtodo #2.
Por lo tanto no podemos concluir que un mtodo es
superior a otro en trminos de la variable de decisin.
16

Two-Sample Test
Este es otro mtodo para verificar la diferencia entre dos
medias.
Empleado cuando el numero de replicas no es igual
para las dos alternativas comparadas.
Aqu el inters esta en estimar la diferencia entre dos
medias poblacionales (1 - 2).

17

Two-Sample Test
Grados de libertad cuando las varianzas poblacionales no son iguales:
S1
S2

n
n2
1
2

g.l.

S1 2

n
1

n1 1

S22

n
2

n2 1

Debido a que g.l. se calcula de esta manera alterada, el estadstico t

se simboliza con t`. El intervalo de confianza se ha calculado entonces
como:

I .C.. para.1 2 x1 x 2 t `

S1
S2

n1
n2

18

Two-Sample Test
Ejm.
Telefnica del Per aplico dos programas de entrenamiento
utilizados por IBM.
Doce ejecutivos a quienes se les dio el primer tipo de
entrenamiento obtuvieron un promedio de 73.5 en la prueba
de competencia.
Se asume que la varianza en los puntajes para este grupo
fue de 100.2.
Quince ejecutivos a quienes se les administro el segundo
programa de entrenamiento obtuvieron un promedio de 79.8.
Se asume una varianza de 121.3 para este segundo grupo.
Haga un intervalo de confianza del 95% para la diferencia en
los puntajes promedios
19

Two-Sample Test
g.l.

100.2 121.3

12
15

100.2

12
11

121.3

15

14

24.55

Si g.l. es fraccionario, se aproxima hacia abajo, hacia el entero

inmediatamente anterior. As , g.l. =24.
Un intervalo de confianza del 95% con 24 grados de libertad requiere
un valor t = 2.064.

20

Two-Sample Test
I .C.. para.1 2 x1 x 2 t
73.5 79.8 2.064

S1
S2

n1
n2

100.2 121.3

12
15

6.3 8.36
14.66 1 2 2.06

Debido a que el intervalo contiene cero, no existe una fuerte

evidencia de que exista diferencia alguna en la efectividad de los
programas de entrenamiento.
21

Two-Sample Test y Simulacin

La ecuacin para construir un intervalo de confianza con esta prueba es:

x1 x2 t v,1

S1
S
2 1 2 x1 x 2 t
v ,1
n1
n2
2

S1
S
2
n1
n2

donde v es estimado de la siguiente manera:

2
S1 2
S2

n n
1
2

S1 2

n
1

n1 1

S22

n
2

n2

22

Ejercicio Para el Alumno

Siguiendo con el ejemplo anterior, suponga que 15
rplicas de un modelo son ejecutadas para otra
alternativa (mtodo #3),
Cada rplica es independiente de las 10 rplicas
ejecutadas para el mtodo #1.
La siguiente tabla contiene la data del % de utilizacin
del recurso producida por estos escenarios.

23

Ejercicio Para el Alumno

i-sima
rplica

Mtodo #1
X1i

X 1i - X 1

77

-3.7

13.69

89

-0.53

0.28

82

1.3

1.69

91

1.47

2.16

89

8.3

68.89

91

1.47

2.16

76

-4.7

22.09

88

-1.53

2.34

86

5.3

28.09

88

-1.53

2.34

76

-4.7

22.09

87

-2.53

6.40

77

-3.7

13.69

88

-1.53

2.34

84

3.3

10.89

89

-0.53

0.28

88

7.3

53.29

90

-0.47

0.22

10

72

-8.7

91

1.47

?????2.16

11

90

0.47

0.22

12

91

1.47

2.16

13

89

-0.53

0.28

14

91

1.47

2.16

15

90

0.47

0.22

i 1

?????75.69

10

10

X1i - X1

1i

807

Mtodo #3
X2i

i 1

X 1i X 1

310.1

15

15

X
i 1

X 2i - X 2 X 2i - X 2 2

2i

1343

i 1

X 2i X 2

25.72

24

Ejercicio Para el Alumno

n

1) x ( n )

x
i 1

2) S 2 ( n )

i 1

xi x ( n )
n 1

3) t

v ,1

S1 S 2

n n
1
2
4) v
2 2
2 2
S1
S2

n
n
1 2
n1 1 n2 1
2

807
x (1)
10
_

x ( 2)

1343
15

S 2 (1)

310.1
9

S 2 ( 2)

25.72
14

34.45 1.837

15
10
2
34.45
1.837

10
15

9
14
25

Ejercicio Para el Alumno

x

x2 t

8.83 1.81

v ,1

S1
S
2 1 2 x1 x 2 t
v ,1
n1
n2
2

S1
S
2
n1
n2

34.45 1.837
34.45 1.837

1 2 8.83 1.81

10
15
10
15

12.25 1 2 5.41
Un intervalo de confianza al 90% para la diferencia en la utilizacin
de labor entre el mtodo #1 y mtodo #3 es [-12.25, -5.41]

26