Comparación de Escenarios

Múltiples

Profesor: Felipe Baesler

Comparación de Alternativas

En simulación generalmente se desea

comparar el comportamiento del sistema
actual con una o mas alternativas
Dado que el comportamiento de cada
escenario es representado por intervalos
de confianza, la comparación entre
escenarios se debe hacer de la misma
manera.
Comparación de Alternativas

Media Media
sistema A sistema B

Respuesta del Sistema

Comparación de Alternativas
(Test t para datos pareados)

Si el número de réplicas de cada sistema

es el mismo
Se puede calcular un intervalo de
confianza para la diferencia entre los
pares de datos de las dos alternativa
Si el IC contiene al cero, esto implica que
no existe evidencia suficiente para decir
que los sistemas son diferentes
Comparación de Alternativas
(Test t para datos pareados)

x1j = medida de efectividad del sistema 1 para la réplica j

x2j = medida de efectividad del sistema 2 para la réplica j
entonces zj = x1j - x2j para j=1,...,n

1 n 1 n
Z (n)   z j y S ( z ) 
2
 [ z j  z (n)] 2

n j 1 (n  1) j 1

S ( z)
Z (n)  tn1,1 / 2
n
Ejemplo
Asuma que se están comparando 2 sistemas y queremos
calcular un intervalo de confianza de la diferencia con
alfa=0.1
Réplica Sistema 1 Sistema 2 S1-S2
1 126.97 118.21 8.76
2 124.31 120.22 4.09
3 126.68 122.45 4.23 Como el intervalo no
4 122.66 122.68 -0.02 contiene el 0,
5 127.33 119.40 7.93
Media 4.998 concluimos que los
s^2 12.34 sistemas son diferentes
t4,0.95 = 2.13
CI = 4.998 +/- 2.13(12.34/5).5
= 4.998 +/- 3.35
= [1.65, 8.31]
Test Modificado

Si por alguna razón no es posible tener el

mismo número de observaciones en cada
sistema se puede utilizar el test t clásico.

Como alternativa se presenta el test t

modificado
Test Modificado

s12  n1  s22  n2 
X1 (n1 )  X 2 (n2 )  t fˆ ,1 
2 n1 n2

 s  n1  s  n2  
2 2 2


1
 2

 n1 n2 
fˆ 
 s  n1    s  n2  
2 2 2 2
1 2
   
 n1   n2 

n1  1 n2  1
Ejemplo
Considere un IC con un nivel de confianza del 90%

Réplica Sistema 1 Sistema 2 S1-S2

1 126.97 118.21 8.76
2 124.31 120.22 4.09
3 126.68 122.45 4.23 Como el intervalo no
4 122.66 122.68 -0.02
5 127.33 119.40 7.93
contiene el 0,
Media 125.59 120.592 concluimos que los
s^2 4.086 3.761 sistemas son diferentes
f 7.98634
t7.99,0.95 ~ 1.86
CI = (125.59-120.59) +/- 1.86(4.09/5 + 3.76/5).5
= 4.998 +/- 1.86(1.25)
= [2.66, 7.30]
Comparación de más de dos
sistemas

Comparar todos contra todos

Seleccionar el mejor entre k sistemas
Comparación con un estándar
Técnicas de Ranking y selección
Representación de
Respuestas Múltiples

Respuestas múltiples se refiere a un

sistema que genera mas de una variable
de salida
Ejemplo
Tiempo en el sistema
Utilización de algún recurso
Tiempo en cola, etc.
Representación de
Respuestas Múltiples

Generalmente la representación del

comportamiento de un sistema se realiza
en base a una sola variable de salida
En la realidad es de interés presentar mas
de una variable de salida (respuesta)
La representación se realiza utilizando
intervalos de confianza
La probabilidad que dicho intervalo
contenga la verdadera media es 1-
Representación de
Respuestas Múltiples

Ej 1: El tiempo medio en el sistema de los

pacientes en la sala de urgencias se
estima con el siguiente IC

25 35 45
1-=.95 (nivel de confianza)
Esto significa que la prob. que el verdadero
tiempo en el sistema se encuentre dentro del IC
es 0.95
Representación de
Respuestas Múltiples

Ej 2: La utilización del recurso médico en

la sala de urgencias se estima con el
siguiente IC

.55 .65 .75

1-=.95 (nivel de confianza)
Esto significa que la prob. que la verdadera
utilización del médico se encuentre dentro del
IC es 0.95
Representación de
Respuestas Múltiples
Ej 3: El tiempo medio en el sistema Y la
utilización del médico

25 35 45

.55 .65 .75

 1-=.95 (nivel de confianza) Intervalos individuales
 La prob. que la verdadero tiempo en el sistema Y
utilización del médico se encuentre dentro de los
respectivos IC es 0.95
Representación de
Respuestas Múltiples

Desigualdad de Bonferroni
La probabilidad que todos los k intervalos
simultaneamente contengan sus respectivas
verdaderas medias satisface la siguiente
expresión
k
P(  s  I s para todo s  1,2,3...., k )  1    s
s 1
Representación de
Respuestas Múltiples

Ej: Si se construyen 10 intervalos para

diferentes medidas de efectividad cada
uno a un 90% de confianza, entonces la
probabilidad anterior sería mayor a cero
La probabilidad de error resultante se
estima como
k


Todos los alfa no tienen porque ser
s  iguales. Las medidas de efectividad
mas importante pueden considerar
s 1 mayor confianza
Comparación de Escenarios
Múltiples

Generalmente se compara la situación

actual con una alternativa propuesta
Para esto se utiliza las estrategias de
prueba de hipótesis tradicionales
Prueba t pareada
Prueba t modificada
etc
Comparación de Escenarios
Múltiples

Según el objetivo del estudio puede ser

importante otro tipo de análisis
Comparación entre mas de 2 sistemas
Comparación entre todos los pares
Seleccionar el mejor de todos
Comparar con un estándar
Seleccionar un subgrupo que contenga al
mejor
otros
Comparación de todos los pares
(all pairwise comparison)

Podría ser de interés en un estudio

comparar todos los posibles escenarios
Comparar todas las combinaciones de
sistemas de 1,2,3 ....k
Existe un total de k(k-1)/2 pares
 Para lograr un nivel de confianza general (1-) ,el nivel
de confianza de cada diferencia individual entre pares
debe ser 1-/((k-1)k/2)
Comparación con un
Estándar

La idea es comparar el sistema 2, 3,...k

con un sistema 1
Se construyen intervalos de confianza
para las diferencias 2 - 1, 3 - 1, …, k - 1.
Para lograr un nivel de confianza general
(1-) ,el nivel de confianza de cada
diferencia individual entre pares debe ser
1-/(k-1)
Seleccionar el Mejor de k
Sistemas

Esta es una técnica de 2 etapas

Se define la probabilidad de selección
correcta p(cs)
P(CS)  P*, donde P* > 1/k
También es necesario definir “cantidad de
indiferencia” d* donde i2 - i1  d*
d* es la mayor diferencia entre las medias
de 2 sistemas que no es considerada
importante (signficativa)
Etapa I

Hacer no corridas de cada sistema, no  2

Calcular la media y varianza para cada
uno de los k sistemas a partir de las no
corridas

(1)
X (n0 )
i

Si (n0 )
Etapa I

Estimar el número total de corridas

necesarias Ni para i=1,...,k

  h12 si2 (no )  

N i  max no  1,  * 2 
  (d )  
h1 depende de k, P* y n0
h1 se encuentra en App. 10.B Law & Kelton
Etapa II
Haga Ni - no corridas adicionales y calcule
Ni
1
 no ) 
( 2)
X i ( Ni  X ij
N i  no j no 1
Calcule pesos (Wi1 and Wi2) para cada
sistema de la siguiente manera

no  N i  ( N i  no )d *2  
Wi1  1  1  1  2 2  
N i  no  h1 si (no )  
Wi 2  1  Wi1
Etapa final

Calcule las nuevas medias muestrales

ponderadas:
~
X i ( N i )  Wi1 X (1) (no )  Wi 2 X ( 2) ( N i  no )

Seleccionar el mejor

~
X i ( Ni )
Recomendaciones

Usar no20
Elegir P(CS) lo mas pequeño posible
Elegir d* lo mas grande posible
Esto permite mantener el número de
corridas bajo
Ejemplo

 Considere 5 sistemas (k=5)

 Probabilidad de selección correcta P(CS) = 0.9
 Cantidad de indiferencia d* = 1
 n0 = 20 para cada sistema
 h1 =2.747 de App 10.11
 Ejemplo

  h2 s 2 n  
   
 Max n0  1,  1 i 20  
  d *  
Sistema Media S^2 Ni  
1 126.48 14.52 110   (2.747) 2 (14.52)  
2 121.92 7.96 61  Max  20  1,  
  
2
 1
3 127.16 9.45 72
  (2.747) 2 (14.52)  
4 130.71 8.25 63  Max  21,  
5 144.07 6.20 47   12  
 Max 21, 109.56 
 110
Ejemplo

Después de realizar las corridas

adicionales se tiene: Sistema Media
1 124.45
2 121.63
3 126.11
4 132.03
5 144.83
Sistema Media1 S^2 Ni Media2 W1 W2
1 126.48 14.52 110 124.45 0.206 0.794
2 121.92 7.96 61 121.63 0.386 0.614
3 127.16 9.45 72 126.11 0.322 0.678
4 130.71 8.25 63 132.03 0.368 0.632
5 144.07 6.20 47 144.83 0.459 0.541
 Ejemplo

Sistema Media1 S^2 Ni Media2 W1 W2 n  N  ( N  n )d *2  

Wi1  o 1  1  i 1  i 2 2 o 
1 126.48 14.52 110 124.45 0.206 0.794 Ni  no  h s
1 i ( no )  
2 121.92 7.96 61 121.63 0.386 0.614
20  110  (110  20)(1)  
3 127.16 9.45 72 126.11 0.322 0.678  1  1   1  
110  20  2.747 2 (14.52)  
 
4 130.71 8.25 63 132.03 0.368 0.632
 0.21
5 144.07 6.20 47 144.83 0.459 0.541
Wi 2  1  Wi1
 1  .21
 .79
Sistema Media1 S^2 Ni Media2 W1 W2 WA
1 126.48 14.52 110 124.45 0.206 0.794 124.868
2 121.92 7.96 61 121.63 0.386 0.614 121.742
3 127.16 9.45 72 126.11 0.322 0.678 126.448
4 130.71 8.25 63 132.03 0.368 0.632 131.544
5 144.07 6.20 47 144.83 0.459 0.541 144.481