Simulacin de Sistemas Semestre 2008 -1

Simulacin de Sistemas
Anlisis de Modelos
Agenda
1. VALIDACIN DE RESULTADOS
1. Comparacin de los resultados de salida del modelo con los del sistema real
2. Test de Turing
2. ANLISIS DE RESULTADOS PARA SISTEMAS TERMINALES Y NO-TERMINALES
1. Sistemas Terminales y No Terminales
2. Anlisis de Sistemas Terminales
3. Anlisis de Sistemas No Terminales

Validacin de Resultados
Dado que las salidas del modelo se emplearn para obtener conclusiones es
importante que se pueda confiar en el modelo
Modelo
Sistema
Real
Es el modelo una
representacin creble del
sistema real?
Para esto se emplea la validacin y la
verificacin
Validacin de Resultados
VALIDACIN
VERIFICACIN
Se refiere a la construccin correcta de un modelo. Se puede definir
verificacin como el proceso de determinar si la lgica operacional del
modelo (programa de ordenador) se corresponde con la lgica del diseo.
En trminos ms simples, consiste en determinar si hay errores en el
programa.
Se refiere a la construccin de un modelo correcto. La validacin es el
proceso de determinar si el modelo, como abstraccin, es una buena
representacin del sistema
Estn procesados correctamente los sucesos del modelo?
Son vlidas las frmulas matemticas y las relaciones incluidas en el
modelo?
Estn calculadas correctamente las estadsticas y medidas de
ejecucin?
Comparacin de los resultados de salida del modelo con los del sistema
real.
Test de Turing.
Forma 1:
Se plantea la prueba de hiptesis de la siguiente manera:
H0 : E(Y) = c, vs.
H1 : E(Y) c.
Se calcula el estadstico t0 = [ E(Y) c] / [S/ n], donde n es el tamao de muestra.
Y donde S es la Desviacin Estndar de la muestra, que se calcula de la siguiente manera:
S = [ ( (Yi E(Y)2 ) / (n-1) ]
La hiptesis nula H0 se rechaza si t0 > t/2 , n-1

Comparacin de los resultados de salida del modelo con
los del sistema real
Validacin de Resultados
Modelo
Sistema
Real
Comparacin entre ambos
empleando mtodos estadsticos
Se plantean pruebas de Hiptesis, supongamos que generamos valores observados de una
variable Y, (ya sea, tiempo de espera, nmero de personas en cola, etc.). Sabemos que en
el sistema real el promedio de la variable Y es una constante c.
Comparacin de los resultados de salida del modelo con
los del sistema real
Validacin de Resultados
Forma 2:
Si las hiptesis alternativas fueran:
H1 : E(Y) > c, se rechaza si t0 > t , n-1
H1 : E(Y) < c, se rechaza si t0 < t , n-1

Se debe de tener en cuenta adicionalmente los errores Tipo I y los errores Tipo II.

El error Tipo I es la probabilidad de rechazar la hiptesis nula, dado que es verdadera y se
define de la siguiente manera:

P( Rechazar H0 / H0 es verdadera ) =

El error Tipo II es la probabilidad de no rechazar H0 cuando en realidad es falsa y se define
asi:

P( No rechazar H0 / H1 es verdadera ) = (), donde = E(Y) - c/ S

Si escogemos un pequeo, aseguramos una probabilidad pequea para el error Tipo I.
Para disminuir la probabilidad del error tipo II, debemos incrementar el tamao de la
poblacin n.
En este test, a un experto, o grupo de expertos, se le presentan resmenes o informes de resultados de
ejecucin del sistema y del modelo, a los que se les ha dado el mismo formato. Estos informes se reparten
aleatoriamente, para ver si los expertos son capaces de discernir cules son los reales del sistema y cuales
la imitacin resultado de la simulacin.

Si los expertos no son capaces de distinguir entre ambos, se puede concluir que no hay evidencias para
considerar inadecuado al modelo. Si descubren diferencias las respuestas sobre lo que encuentran
inconsistente se puede utilizar para realizar mejoras en el modelo.
Test de Turing
Validacin de Resultados
Cul es la diferencia entre un sistema Terminal y un Sistema No Terminal?
Anlisis de Resultados para Sistemas Terminales y No Terminales
SISTEMA TERMINAL SISTEMA NO TERMINAL
Tiene una condicin fija de
comienzo y un evento definido
para terminar la simulacin
No tiene una condicin fija de
comienzo y tampoco un evento
definido para terminar la simulacin
Ejemplos: Banco, correo, fast foods
Ejemplos: Hospitales, sistemas de produccin,
sistemas de telefona, trmites documentarios
La corrida dura un tiempo
especfico.
Las condiciones iniciales
son conocidas.
Las condiciones iniciales
son importantes
La corrida dura un perodo no
definido de tiempo.
Las condiciones iniciales no son
importantes.
El inters se sita en el
comportamiento del estado
estacionario
Cmo se analizan los resultados de cada uno?
La decisin a tomar en un Sistema Terminal es LA CANTIDAD DE RPLICAS NECESARIAS para que
el anlisis sea confiable
Anlisis de Sistemas Terminales
Se requiere segn la mayora de procedimientos estadsticos:
Datos Independientes (entre rplica y rplica, no se necesita demostrar)
Sigan una distribucin normal (si tomamos un tamao mnimo entnces lo tomamos como vlido. Min 30)
El problema es que los datos podran estar correlacionados, por eso se trabaja con varias rplicas, los
cuales se presumen son independientes y normales (Teorema del Lmite Central)

Para crear estos datos empleamos el MODULO Record, donde se definirn las siguientes expresiones
para medir indicadores de inters:


Variable Descripcin
DAVG(Dstat ID) Promedio de estadstica en DSTAT
DMIN(Dstat ID) Mnimo de estadstica en DSTAT ID
DMAX(Dstat ID) Mximo de estadstica en DSTAT ID
TAVG(Tally ID) Promedio de valores en Tally ID
TMIN(Tally ID) Mnimo de valores en Tally ID
TMAX(Tally ID) Mximo de valores en Tally ID
NC(Count ID) Valor de contador Count ID
Se generarn archivos que contienen para cada rplica el valor del estadstico solicitado


Intervalos de Confianza
Anlisis de Sistemas Terminales
Para construir un intervalo de confianza para el promedio se deben correr rplicas y estar seguro que
son independientes. Para calcular un intervalo de confianza para el promedio se usa:
n
s
t s t h
x
1 n /2, 1 x 1 n /2, 1
= =
Donde h es la mitad del ancho del intervalo,
1 , 2 / 1 n
t
o se toma de la tabla de valores de T para un nivel de confianza de o,
( ) ( ) x s x s y
es la desviacin estndar de los promedios y la desviacin estndar del
parmetro que se est estudiando, respectivamente.
Si construimos el intervalo apropiadamente, el promedio de una muestra aleatoria caer dentro del
intervalo con una probabilidad de 1 - o, o sea que el nivel de confianza es (1 - o)%. El ancho del
intervalo medir, cuan preciso es el estimado x, del promedio desconocido. A menor ancho de intervalo
mejor el intervalo.
Anlisis de Sistemas Terminales
Para determinar el nmero de replicas (n*) que se necesitan para alcanzar un ancho de intervalo
especfico (h*), se hacen n rplicas inicialmente, se calcula el ancho del intervalo inicial (h) y si se
determina que este es muy ancho, se reduce el mismo tomando ms observaciones :
El nmero total de rplicas requeridas para reducir el ancho del intervalo es n*, en donde [] significa
redondeo hacia el prximo entero
Cul es el nmero total de rplicas requeridas?
(
(

|
.
|

\
|
=
2
* h
h
n n*
Luego de calcular la nueva n*, se hacen n* - n rplicas adicionales asegurando que las mismas son
independientes.
Anlisis de Sistemas Terminales
Para un nivel de confianza de 95% t 0.975, 24 = 2.064 y h = 2.7
Ejemplo
Para un sistema terminal simulado se hicieron 10 corridas, la tabla inferior muestra el valor del indicador
Trabajos completados
Corrida Trabajos
completados
1 93
2 113
3 107
4 103
5 112
6 103
7 112
8 100
9 98
10 105
( ) 59 . 6 , 6 . 104 = = x s x
Con n = 10 y un nivel de confianza de 95%
t 0.975, 9 = 2.262
Se tiene que h es igual a 4.7
Con un nivel de confianza de 95% podemos
decir que el nmero esperado de trabajos
completados por da para este modelo estar
entre 99.9 y 109.3.
Si queremos que h ~ 3, entonces:
n * = [ 10 (4.7/3)2 ] = [24.6] = 25

Se necesitan:
25 - 10 = 15 observaciones adicionales.
Corrida Trabajos
completados
11 94
12 115
13 111
14 102
15 108
16 96
17 111
18 107
19 113
10 103
11 113
12 113
13 103
14 99
15 104
( ) 5 . 6 , 106 = = x s x
n
s
t s t h
x
1 n /2, 1 x 1 n /2, 1
= =
Caractersticas
No existe una condicin inicial que sea fija ni constante entre rplicas
No tiene condicin natural de finalizar
Anlisis de Sistemas No Terminales
En este tipo de sistema existen dos etapas. Estas son:
Etapa de transicin o de calentamiento (warm-up period)
Estado estabilizado
Etapa de
calentamiento


Estado
estabilizado

Estado Estabilizado
Anlisis de Sistemas No Terminales
Aqu se tiene inters en analizar el sistema en su estado estabilizado (steady state), por dos razones:
Es en este estado donde cualquier medida de desempeo est estabilizada.
Cualquier observacin recogida en la etapa de transicin sesgar los resultados
Para evitar que los resultados estn sesgados, tenemos tres mtodos para analizar el sistema. Estos son:

Reducir la etapa de transicin al seleccionar las condiciones iniciales apropiadas para la corrida

Descartar los datos pertenecientes al inicio de la simulacin, de esta manera se evitan las
observaciones sesgadas de la etapa de transicin

Correr la simulacin por mucho, mucho tiempo; de manera tal que los datos del estado estabilizado,
dominen los datos de la etapa de transicin
Otro objetivo del anlisis de los sistemas no-terminales es el de estimar la varianza del promedio de la
medida de desempeo de inters, de manera tal que se pueda desarrollar un intervalo de confianza
para el promedio.
Anlisis de Sistemas No Terminales
En el caso del sistema terminal, la estimacin de la varianza es sencilla, ya el largo de corrida es
fijo y se generan un nmero de rplicas independientes con una condicin inicial fija. En los sistemas
terminales, cada rplica nos da un resultado insesgado e independiente.

En los sistemas no-terminales, se introduce sesgo al inicio de cada rplica. Adems, en estos
sistemas no existe una condicin definida de como terminar una rplica. Una manera de evitar estos
problemas es haciendo una sla y larga corrida.
Intervalos de Confianza
El problema surge, al realizar una sola y larga corrida, pues luego, se deber trabajar con datos
altamente correlacionados. Adems, la ausencia de independencia entre observaciones complica el
anlisis
Cmo se procede entonces?
En sistemas No Terminales se emplear:
MTODO DE LAS MEDIAS DE GRUPO (Batch Mean)
Los pasos a seguir son los siguientes:

Se realiza una sola y larga corrida.

Se agrupan las observaciones en Batches consecutivos.

Si los grupos son suficientemente largos, la correlacin entre ellos es pequea.

Los valores de cada grupo se toman como observaciones IID. ( independientes e idnticamente
distribuidas)
Anlisis de Sistemas No Terminales
Emplearemos el OUTPUT ANALYZER del Arena, analizando en
este caso archivos generados en el MDULO RECORD

Mtodo de las Medias de Grupo
Datos basados en el tiempo/observaciones
Los indicadores pueden ser de dos tipos:
Basados en el Tiempo
Basados en Observaciones

Cmo identificar si un indicador se basa en el tiempo o en observaciones?
Se debe preguntar si para un instante(observacin o evento dado) el indicador refleja un
valor que NO depende de valores anteriores. Si es as, su valor se obtiene a partir de
slo la observacin actual y es entonces basado en Observaciones

Indicadores basados en el tiempo: cuyo valor vara en funcin del tiempo y acumulan el
valor de observaciones anteriores. Algunos ejemplos:
NR(Recurso)
NQ(Cola)
TAVG(Tally)

Indicadores basados en observaciones: tiene un valor en particular para una
observacin dada, no acumulan el valor en el tiempo de las observaciones anteriores:
(Cola.WaitingTime)
Tally




Datos basados en el tiempo/observaciones
EN ARENA, en el OUTPUT Analyzer, se pueden generar dos tipos de output data files:

Time persistent
Based on Observations

Los Time persistent generan un archivo que contiene todos los valores del indicador dado
entre el instante inicial hasta el instante final del horizonte de simulacin
Se pueden generar a partir del ELEMENT DSTATS

Los Based on Observations generan un archivo que contiene slo el valor del indicador al
finalizar la simulacin. Es decir generan un dato por rplica
Se pueden generar a partir del ELEMENT OUTPUTS


Cuando se genere un archivo output con cada tipo y se grafique en el OUTPUT Analyzer
los basados en el tiempo se vern como una lnea en funcin del tiempo que representa la
evolucin del valor, mientras que los basados en observaciones slo se vern como
puntos.

Simulacin de Sistemas Semestre 2008 -1
Simulacin de Sistemas
Anlisis de Modelos