Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Actas de la Conferencia de simulación de invierno de
2008 SJ Mason, RR Hill, L. Mönch, O. Rose, T. Jefferson, JW Fowler eds.
CÓMO CONSTRUIR MODELOS DE SIMULACIÓN VÁLIDOS Y CREIBLES
Averill M. Ley
Averill M. Law & Associates, Inc.
6601 East Grant Road, Suite 110
Tucson, AZ 85715, EE. UU.
ABSTRACTO actualmente existe (ver Sección 2.8). Por ejemplo, un
modelo de un banco de barrio sería relativamente fácil de
En este tutorial presentamos técnicas para construir modelos de validar ya que podría observarse de cerca. Por otro lado,
simulación válidos y creíbles. Las ideas que se discutirán incluyen la un modelo de efectividad de un sistema de armas navales
importancia de una formulación definitiva del problema, discusiones en el año 2025 sería virtualmente imposible de validar por
con expertos en la materia, interacción regular con el tomador de completo, ya que se desconocería la ubicación de la batalla
decisiones, desarrollo de un documento de supuestos por escrito, y la naturaleza de las armas enemigas. Además, a menudo
recorrido estructurado del documento de supuestos, uso de análisis es posible recopilar datos en un sistema existente que se
de sensibilidad para determinar factores importantes del modelo y puede usar para construir y validar un modelo.
comparación de los datos de salida del sistema y del modelo para un
sistema existente (si lo hay). Cada idea se ilustrará con uno o más
ejemplos del mundo real. También discutiremos la dificultad de usar • Un modelo de simulación de un sistema complejo solo puede
técnicas estadísticas formales (p. ej., intervalos de confianza) para ser una aproximación al sistema real, sin importar cuánto
validar modelos de simulación. tiempo y dinero se gaste en la construcción del modelo. No
existe tal cosa como la validez absoluta del modelo, ni
siquiera se desea. De hecho, se supone que un modelo
1 QUÉ ES LA VALIDACIÓN DE MODELOS es una abstracción y una simplificación de la realidad.
Cuanto más tiempo (y por lo tanto dinero) se gaste en el
El uso de un modelo de simulación es un sustituto de la desarrollo del modelo, más válido debería ser el modelo
experimentación con el sistema real (existente o propuesto), que suele en general. Sin embargo, el modelo más válido no es
ser perturbador, no rentable o simplemente imposible. Por lo tanto, necesariamente el más rentable. Por ejemplo, aumentar
si el modelo no es una aproximación “cercana” al sistema real, es la validez del modelo más allá de un cierto nivel puede ser
probable que cualquier conclusión derivada del modelo sea errónea bastante costoso, ya que puede requerirse una recopilación
y resulte en la toma de decisiones costosas. La validación debe y de datos extensa, pero es posible que no conduzca a
puede realizarse para todos los modelos, independientemente de si mejores conocimientos o decisiones significativamente.
el sistema correspondiente existe de alguna forma o si se construirá
en el futuro.
• Siempre se debe desarrollar un modelo de simulación para un
Ahora damos definiciones de validación y credibilidad. conjunto particular de objetivos. De hecho, un modelo que
La validación es el proceso de determinar si un modelo de simulación es válido para un objetivo puede no serlo para otro.
es una representación precisa del sistema, para los objetivos
particulares del estudio. Las siguientes son algunas perspectivas • La validación no es algo que deba intentarse después de que
generales sobre la validación: el modelo de simulación ya se haya desarrollado, y solo
si queda tiempo y dinero.
• Se puede utilizar un modelo “válido” para tomar decisiones Desafortunadamente, nuestra experiencia
similares a las que se tomarían si fuera factible y rentable indica que esta recomendación a menudo no se sigue.
experimentar con el sistema mismo. • La facilidad o
dificultad del
proceso de validación depende de la complejidad del sistema Ejemplo 1: Una organización pagó a una empresa de consultoría
que se está modelando y de si una versión del sistema $500.000 para realizar un “estudio de simulación” que tuvo una
duración de seis meses. Después de que el estudio fue
9781424427086/08/$25.00 ©2008 IEEE 39
Machine Translated by Google
Ley
supuestamente completado, una persona de la organización cliente 1.1 Un enfoque de siete pasos para llevar a cabo un éxito
nos llamó y preguntó: "¿Pueden decirme en cinco minutos por Estudio de simulación exitoso
teléfono cómo validar nuestro modelo?" • Cada vez que se
considera un modelo de simulación para una nueva aplicación, es En la Figura 1 presentamos un enfoque de siete pasos para realizar un
necesario volver a examinar su validez. El propósito actual estudio de simulación exitoso. Tener un enfoque definitivo para realizar
puede ser sustancialmente diferente del propósito original o el un estudio de simulación es fundamental para el éxito del estudio en
paso del tiempo puede haber invalidado ciertos parámetros general y para desarrollar un modelo válido en particular. En la Sección
del modelo. 2 relacionaremos cada una de nuestras técnicas de validación/mejora de
la credibilidad con uno o más de estos pasos. Ahora discutimos actividades
importantes que tienen lugar en cada uno de los siete pasos.
Un modelo de simulación y sus resultados tienen credibilidad si
quien toma las decisiones y otro personal clave del proyecto los aceptan
como “correctos”. Tenga en cuenta que un modelo creíble no es Paso 1. Formular el Problema
necesariamente válido, y viceversa. Las siguientes cosas ayudan a
establecer la credibilidad de un modelo: • El problema de interés lo establece el tomador de decisiones.
• La comprensión y el acuerdo del tomador de decisiones con los Puede que no se establezca con precisión o en términos
supuestos del modelo. cuantitativos.
• Demostración de que el modelo ha sido validado y verificado (es A menudo es necesario un proceso iterativo. • Se
decir, que el programa de computadora del modelo ha sido realiza(n) una(s) reunión(es) inicial(es) para el proyecto de
depurado) simulación, con la asistencia del gerente del proyecto, los
• La propiedad del tomador de decisiones de y en analistas de simulación y los expertos en la materia (SME). En
participación en el proyecto • esta reunión se discuten los siguientes temas: Los objetivos
Reputación de los desarrolladores del modelo • generales del estudio Las
Una animación atractiva preguntas específicas que el estudio debe
responder (sin tal especificidad es imposible determinar el
El Departamento de Defensa de EE. UU. (DoD) es un gran usuario nivel apropiado de detalle del modelo)
de modelos de simulación y, en los últimos años, ha habido un interés
considerable en la verificación, validación y un concepto conocido como
acreditación (VV&A). La acreditación (ver Oficina de Coordinación de Las medidas de rendimiento que se utilizarán para evaluar la
Modelado y Simulación (2008)) es la certificación oficial (por parte del eficacia de las diferentes configuraciones del sistema
patrocinador del proyecto) de que un modelo de simulación es aceptable El alcance del
para un propósito específico. La principal razón por la que la acreditación modelo Las configuraciones del
es obligatoria dentro del Departamento de Defensa es que alguien debe sistema que se modelarán El marco de tiempo para el
asumir la responsabilidad de la decisión de utilizar un modelo para una estudio y los recursos necesarios (personas, computadoras,
aplicación en particular, ya que puede estar en juego una gran cantidad etc.)
de dinero y la vida de las personas.
Paso 2. Recolectar Información/Datos y Construir un Documento de
Tenga en cuenta que muchas de las ideas y ejemplos presentados Supuestos
en este documento se basan en el capítulo "Construir modelos de
simulación válidos, creíbles y adecuadamente detallados" en Law (2007) • Recolectar información sobre el diseño del sistema y los
y también en los cursos cortos de simulación presentados por el autor. procedimientos
Otras referencias sobre validación de modelos son Balci (1998), Banks operativos. • Recopilar datos para especificar los parámetros del
et al. (2005), Carson (1986), Sargent (2007) y Shannon (1975). modelo y las distribuciones de probabilidad (p. ej., para el
tiempo de falla y el tiempo de reparación de una
El resto de este documento está organizado de la siguiente manera. máquina). • Documentar los supuestos del modelo, algoritmos,
En la Sección 1.1 presentamos un enfoque de siete pasos para realizar y resúmenes de datos en un documento escrito de supuestos.
un estudio de simulación exitoso. En la Sección 2 discutimos técnicas
para desarrollar un modelo de simulación más válido y creíble. En la • El nivel de detalle del modelo debe depender de lo siguiente:
Sección 3 se dan pautas para obtener buenos datos del modelo.
Finalmente, la Sección 4 proporciona un resumen de las ideas de Objetivos del proyecto
validación más importantes. Medidas de rendimiento de interés
Disponibilidad de datos
40
Machine Translated by Google
Ley
Paso 4. Programa el Modelo
1 Formula el problema
• Programe el documento de supuestos en un paquete de
software de simulación comercial (Arena, Ex tendSim,
Flexsim, ProModel, etc.) o en un lenguaje de programación
Recolectar
de propósito general (p. ej., C++ o Java). • Verificar
Información/Datos y
2 Construir un
(depurar) el programa de la computadora.
Documento de supuestos
Paso 5. ¿Es válido el modelo programado?
No • Si hay un sistema existente, compare los datos de salida del
¿Es válido el
3 modelo de simulación para el sistema con los datos de
Documento de Supuestos?
salida comparables recopilados del sistema real (consulte
el Paso 2). Esto se llama validación de resultados.
Sí
• Independientemente de si existe un sistema existente, los
4 programar el modelo analistas de la simulación y las PYME deben revisar los
resultados de la simulación para determinar si son razonables.
Si los resultados son consistentes con la forma en que
perciben que debe operar el sistema, entonces se dice que el
¿Es válido el modelo No
modelo de simulación tiene validez aparente.
5 programado?
• Se deben realizar análisis de sensibilidad en el modelo
programado para ver qué factores tienen el mayor impacto
Sí
en las medidas de desempeño y, por lo tanto, se deben
modelar cuidadosamente.
Diseñar, realizar y
6 analizar
Paso 6. Diseñar, realizar y analizar experimentos
Experimentos
• Para cada configuración de sistema de interés, decida
cuestiones tácticas como la duración de la carrera, el
Documentar y presentar los período de calentamiento y el número de réplicas de
modelos
7 resultados de la simulación
independientes. • Analizar los resultados y decidir si se
requieren experimentos adicionales
Figura 1: Un enfoque de siete pasos para realizar una
Estudio de simulación exitoso Paso 7. Documentar y presentar los resultados
Problemas de • La documentación del modelo (y el estudio de simulación asociado)
credibilidad Restricciones debe incluir el documento de supuestos (críticos para la futura
informáticas Opiniones reutilización del modelo), una descripción detallada del programa
de las PYME Restricciones de tiempo de computadora y los resultados del estudio actual.
y dinero • No debe haber una correspondencia uno a uno entre el
modelo y el sistema. • La presentación final del estudio de simulación generalmente debe
incluir una animación y una discusión sobre el proceso de
Paso 3. ¿Es válido el Documento de Supuestos? construcción/validación del modelo para promover la credibilidad
del modelo.
• Realice un recorrido estructurado del documento de supuestos
ante una audiencia que incluya al gerente del proyecto, analistas 2 TÉCNICAS PARA DESARROLLAR VÁLIDA Y
y PyMEs. MODELOS CREIBLES
• Si se descubren errores u omisiones en el documento de
supuestos, que es casi siempre el caso, entonces el documento En esta sección presentamos técnicas prácticas para desarrollar
de supuestos debe actualizarse antes de proceder a la modelos válidos y creíbles. Al final del título de cada subsección,
programación en el Paso 4. indicamos entre corchetes (“[ ]”) en cuál de
41
Machine Translated by Google
Ley
los siete pasos (como mínimo) se debe aplicar la técnica. • El interés y la participación del tomador de decisiones
en el estudio se mantienen.
• El modelo es más creíble porque la decisión
2.1 Formulación precisa del problema [1] fabricante entiende y está de acuerdo con los supuestos
del modelo.
Es fundamental formular el problema de interés de manera precisa.
Esto debe incluir una declaración general del problema a resolver, Ejemplo 2. Un analista militar trabajó en un proyecto de
una lista de las preguntas específicas que el modelo debe responder simulación durante varios meses sin interactuar con el general
y las medidas de rendimiento que se utilizarán para evaluar la que lo solicitó. En la sesión informativa final del Pentágono
eficacia de las configuraciones particulares del sistema. Sin una para el estudio, el general salió después de cinco minutos y
declaración definitiva de las preguntas específicas de interés, es dijo: "Ese no es el problema que me interesa".
imposible decidir sobre un nivel apropiado de detalle del modelo. Las
medidas de desempeño también deben establecerse claramente ya
que diferentes medidas pueden dictar diferentes niveles de detalle 2.4 Uso de técnicas cuantitativas para validar Com
del modelo (ver Law (2007, pp. 687688) para un ejemplo). componentes del Modelo [2]
Cuando el tomador de decisiones inicia por primera vez un El analista de simulación debe usar técnicas cuantitativas siempre
estudio de simulación, el problema exacto a resolver a veces no se que sea posible para probar la validez de varios componentes del
establece con precisión o incluso no se comprende por completo. modelo general. A continuación damos ejemplos de técnicas que se
Así, a medida que avanza el estudio y se obtiene una mejor han utilizado para este propósito.
comprensión, esta información debe ser comunicada al tomador de Si uno ha ajustado una distribución de probabilidad teórica (por
decisiones, quien podrá reformular el problema. ejemplo, exponencial o normal) a un conjunto de datos observados,
entonces la idoneidad de la representación puede evaluarse utilizando
2.2 Entrevistar a expertos en la materia [16] diagramas gráficos y pruebas de bondad de ajuste (ver Law (2007,
capítulo 6 )).
Nunca habrá una sola persona que sepa toda la información Como se discutirá en la Sección 3, es importante usar datos
necesaria para construir un modelo de simulación. Por lo tanto, será apropiados para construir un modelo; sin embargo, es igualmente
necesario que los analistas de simulación hablen con muchas PYME importante tener cuidado al estructurar estos datos. Por ejemplo, si
diferentes para obtener una comprensión completa del sistema que se han observado varios conjuntos de datos para el “mismo”
se va a modelar. Tenga en cuenta que parte de la información fenómeno aleatorio, entonces se puede evaluar si es correcto
proporcionada por las PYME será invariablemente incorrecta; si una fusionar estos conjuntos de datos mediante el uso de la prueba de
determinada parte del sistema es particularmente importante, se homogeneidad de poblaciones de KruskalWallis (ver Law (2007,
debe consultar al menos a dos PYME. Idealmente, una PYME pág. págs. 380381)). Si los conjuntos de datos parecen ser
debería tener algún conocimiento de modelado de simulación, para homogéneos, se pueden fusionar y el conjunto de datos combinado
que pueda proporcionar información relevante. En la Sección 2.6, se puede utilizar para algún propósito en el modelo de simulación.
analizaremos una técnica que ayuda a garantizar que los supuestos
de un modelo sean correctos y completos; esta técnica también es Ejemplo 3. Considere un sistema de fabricación para el cual se
útil para resolver las diferencias de opinión entre las PYME. recopilaron datos de tiempo de falla y tiempo de reparación
para dos máquinas "idénticas" fabricadas por el mismo
proveedor. Sin embargo, la prueba de KruskalWallis mostró
2.3 Interactuar con el tomador de decisiones de manera regular que las dos distribuciones eran, de hecho, diferentes para las
[17] dos máquinas. Por lo tanto, a cada máquina se le dio su propio
tiempo de falla y tiempo de reparación en el modelo de
Una de las ideas más importantes para desarrollar un modelo válido simulación.
y creíble es que el analista interactúe regularmente con el tomador
de decisiones y otros miembros del equipo del proyecto. Este enfoque 2.5 Desarrollo del Documento de Supuestos [23]
tiene los siguientes beneficios clave:
Los errores de comunicación son una de las principales razones por
las que los modelos de simulación a menudo contienen suposiciones
• Ayuda a garantizar que se resuelva el problema correcto. • no válidas. La documentación de todos los conceptos, suposiciones,
Es posible que inicialmente no se conozca la naturaleza exacta algoritmos y resúmenes de datos puede disminuir este problema.
del problema. • También aumentará la credibilidad del modelo. Un documento de
El tomador de decisiones puede cambiar sus objetivos durante supuestos no debe ser una descripción “exacta” de cómo funciona el
el curso del estudio. sistema, sino más bien una descripción de cómo funciona en relación
con los problemas particulares que el modelo debe abordar.
42
Machine Translated by Google
Ley
vestido. Este informe es la documentación principal del modelo y debe debe llevarse a cabo antes del comienzo de la programación en caso
ser legible por analistas, pymes y gerentes técnicos. Las siguientes son de que se descubran problemas importantes en la reunión. El documento
algunas de las cosas que deben incluirse en el documento de supuestos: de supuestos debe enviarse a los participantes antes de la reunión y
solicitar sus comentarios. Sin embargo, no consideramos que esto sea
un sustituto del recorrido estructurado en sí mismo, ya que es posible
• Una sección de descripción general que analiza los objetivos que las personas no tengan el tiempo o la motivación para revisar el
generales del proyecto, los problemas específicos que documento detenidamente por su cuenta.
abordará el modelo y las medidas de desempeño Además, las interacciones que tienen lugar en la reunión real son
invaluables.
relevantes. • Un diagrama de flujo de proceso/diseño del sistema (si corresponde).
priado)
• Descripciones detalladas de cada subsistema (en formato de Ejemplo 4. En un recorrido estructurado de un sistema de
viñetas para facilitar la lectura) y cómo interactúan transporte, las PYME presentes encontraron que un porcentaje
significativo de los supuestos que nos dio nuestro patrocinador
• Qué suposiciones simplificadoras se hicieron y corporativo eran incorrectos. (Debido a las grandes distancias
por geográficas entre las oficinas centrales del patrocinador y las
qué • Limitaciones del modelo • PYMES, no fue posible que las PYMES estuvieran presentes en
la reunión inicial del proyecto). Como resultado, se asignaron
Resúmenes de los datos de entrada del modelo (los análisis
responsabilidades a varias personas para recopilar información
técnicos deben incluirse en los apéndices para promover la
sobre diferentes partes del sistema. La información recopilada se
legibilidad del informe por parte de los
utilizó para actualizar el documento de supuestos y se realizó con
tomadores de decisiones) • Fuentes de información importante o controvertida
ción éxito un segundo recorrido.
El documento de supuestos debe contener suficientes detalles
2.7 Realización de análisis de sensibilidad para determinar factores
para que sea un "modelo" para crear el programa de computadora de
importantes del modelo [5]
simulación (en el Paso 4). En la comunidad de defensa y en otros
lugares, existe un documento con algo en común con el documento
Una técnica importante para determinar qué factores del modelo tienen
de supuestos, que se denomina modelo conceptual. Sin embargo, en
un impacto significativo en las medidas de rendimiento deseadas es el
muchos casos representa los pensamientos iniciales de los
análisis de sensibilidad. Si un factor particular parece ser importante,
desarrolladores del modelo sobre la forma que eventualmente tomará
entonces necesita ser modelado cuidadosamente. Los siguientes son
el modelo.
ejemplos de factores que podrían investigarse mediante un análisis de
sensibilidad:
2.6 Realización de un recorrido estructurado del documento de
supuestos [3]
• El valor de un parámetro (ver Ejemplo 5) • La elección
Como se mencionó anteriormente, el analista de simulación deberá de una distribución de probabilidad • La entidad que
recopilar información del sistema de muchas PYME diferentes. se mueve a través del sistema simulado • El nivel de detalle de
Además, estas personas suelen estar muy ocupadas lidiando con los un subsistema
problemas diarios que ocurren dentro de su organización, lo que a
menudo hace que presten algo menos que toda su atención a las Ejemplo 5. En un estudio de simulación de un nuevo sistema,
preguntas planteadas por el analista de simulación. Como resultado, suponga que el valor de una probabilidad se estima en 0,75 como
resultado de las conversaciones con las PYME. La importancia de
existe un peligro considerable de que el analista no obtenga una
descripción completa y correcta del sistema. Una forma efectiva de obtener el valor de esta probabilidad "exactamente" correcto se
lidiar con este problema potencial es realizar un recorrido estructurado puede determinar ejecutando la simulación con 0,75 y, por ejemplo,
del documento de supuestos ante una audiencia de PYME y tomadores ejecutándola con cada uno de los valores 0,70 y 0,80. Si las tres
ejecuciones de simulación producen aproximadamente los mismos
de decisiones. Usando un dispositivo de proyección, el analista revisa
el documento de supuestos punto por punto, pero no pasa de un punto resultados, entonces la salida no es sensible a la elección de la
al siguiente hasta que todos en la sala estén convencidos de que un probabilidad en el rango de 0,70 a 0,80. De lo contrario, se necesita
punto en particular es correcto y tiene un nivel de detalle apropiado. Un una mejor especificación de la probabilidad. (Estrictamente
recorrido estructurado aumentará tanto la validez como la credibilidad hablando, para determinar el efecto de la probabilidad en los
del modelo de simulación. resultados del modelo, debemos hacer varias réplicas
independientes del modelo utilizando diferentes números aleatorios
para cada uno de los tres casos).
Idealmente, el recorrido estructurado debe llevarse a cabo en un
sitio remoto (por ejemplo, la sala de reuniones de un hotel), para que
las personas presten toda su atención a la reunión. Además,
43
Machine Translated by Google
Ley
Si uno está tratando de determinar la sensibilidad de la política logística existente y obtuvo una disponibilidad
salida de la simulación a los cambios en dos o más factores de modelo de 0,873, que es un 3 por ciento diferente a la
interés, entonces no es correcto, en general, variar un factor a disponibilidad histórica. Esta diferencia se consideró
la vez mientras se establecen los otros factores en algunos aceptable porque una disponibilidad de 0,873 todavía
valores arbitrarios. (Esta práctica peligrosa a veces se denomina permitiría que hubiera suficientes bombarderos disponibles
el enfoque de un factor a la vez). Un enfoque más correcto es para que la Fuerza Aérea cumpliera con los requisitos de su misión.
usar un diseño experimental estadístico, que se analiza en Law
(2007, Capítulo 12) y en Montgomery (2005). El efecto de cada Ejemplo 7. Un fabricante de productos de aluminio tratado
factor se puede estimar formalmente y, si el número de factores térmicamente estaba pensando en reemplazar su horno
no es demasiado grande, también se pueden detectar las discontinuo existente por un nuevo horno continuo para
interacciones entre los factores. aumentar su capacidad de producción (ver (Ley 1991)).
Primero simulamos el sistema existente y descubrimos que
2.8 Validación de la salida del modelo de simulación general el rendimiento mensual del modelo difería del rendimiento
[5] mensual histórico en menos del uno por ciento.
Por lo tanto, parecía que el modelo del sistema existente
La prueba más definitiva de la validez de un modelo de simulación era razonablemente "válido".
es establecer que sus datos de salida se parezcan mucho a los
datos de salida que se observarían en el sistema real. Si ahora Se han sugerido varias pruebas estadísticas (t, Mann
existe un sistema similar al propuesto, entonces se desarrolla un Whitney, etc.) en la literatura de validación para comparar los
modelo de simulación del sistema existente y sus datos de datos de salida de un modelo de simulación con los del sistema
salida se comparan con los del propio sistema existente. Si los del mundo real correspondiente (ver, por ejemplo, Shannon
dos conjuntos de datos se comparan “muy de cerca”, entonces ( 1975, pág. 208)). Sin embargo, la comparación no es tan simple
el modelo del sistema existente se considera “válido”. (La como podría parecer, ya que los procesos de salida de casi todos
precisión requerida del modelo dependerá de su uso previsto y los sistemas y simulaciones del mundo real son no estacionarios
de la función de utilidad del tomador de decisiones). Luego, el (las distribuciones de las observaciones sucesivas cambian con
modelo se modifica para que represente el sistema propuesto. el tiempo) y autocorrelacionados (las observaciones en el proceso
Cuanto mayor sea la similitud entre los sistemas existentes y los están correlacionadas). juntos). Por lo tanto, las pruebas
propuestos, mayor será nuestra confianza en el modelo del estadísticas clásicas basadas en observaciones independientes
sistema propuesto. No existe un enfoque completamente distribuidas de forma idéntica (IID) no son directamente aplicables.
definitivo para validar el modelo del sistema propuesto. Si lo Además, cuestionamos si las pruebas de hipótesis, en
hubiera, entonces podría no haber necesidad de un modelo de comparación con la construcción de intervalos de confianza para
simulación en primer lugar. Si la comparación anterior tiene éxito, las diferencias, son incluso el enfoque estadístico apropiado.
entonces tiene el beneficio adicional de brindar credibilidad para Dado que el modelo es solo una aproximación al sistema real,
el uso de la simulación. La comparación de los datos de salida una hipótesis nula de que el sistema y el modelo son “iguales” es
del modelo y del sistema se puede realizar utilizando estadísticas claramente falsa. Creemos que es más útil preguntar si las
numéricas como la media de la muestra, la varianza de la muestra diferencias entre el modelo y el sistema son lo suficientemente
y la función de correlación de la muestra. También se pueden significativas como para afectar las conclusiones derivadas del
utilizar diagramas gráficos como sus togramas, diagramas de modelo. Para una breve discusión de los procedimientos
puntos, funciones de distribución empírica y diagramas de caja. estadísticos que se pueden usar para comparar los datos de
(Como se indicó anteriormente, la idea de comparar los datos de salida del modelo y del sistema, consulte la Sección 2.10.
salida del modelo y del sistema para el sistema existente se Además de los procedimientos estadísticos, se puede utilizar
denomina validación de resultados). una prueba de Turing (ver Schruben (1980)) para comparar los
datos de salida del modelo con los del sistema. A las personas
Ejemplo 6. Una agencia de pruebas de la Fuerza Aérea de conocedoras del sistema (p. ej., las PYME) se les pide que
EE. UU. realizó un estudio de simulación para un ala bomba examinen uno o más conjuntos de datos del sistema, así como
de bombarderos utilizando el modelo compuesto de uno o más conjuntos de datos del modelo, sin saber qué
logística (LCOM). El objetivo final del estudio fue evaluar el conjuntos de datos son cuáles. Si estas PYMES pueden
efecto de varias políticas logísticas propuestas sobre la diferenciar entre el sistema y los datos del modelo, su explicación
disponibilidad de los bombarderos, es decir, la proporción de cómo pudieron hacerlo se utiliza para mejorar el modelo.
de tiempo que los bombarderos estuvieron disponibles para
volar misiones. Los datos estaban disponibles de las Ejemplo 8. Se usó una versión animada de la prueba de Turing
operaciones reales del ala bomba durante un período de 9 para validar un modelo de simulación de flujo microscópico de
meses e incluían datos de fallas para varios componentes vehículos en una autopista. Una animación del flujo de tráfico de
de la aeronave y una disponibilidad del ala bomba de 0,9. la simulación se mostró simultáneamente en un monitor de
Para validar el modelo, la Fuerza Aérea primero simuló el período de 9pantalla
meses cgon
el con una animación producida a partir de
rande
44
Machine Translated by Google
Ley
datos recopilados de la autopista real. Los datos de la autopista fueron de un modelo de simulación correspondiente (ver Ejemplo 10 a
recopilados por una cámara de video montada en un avión. continuación). Nos gustaría comparar estos conjuntos de datos de
alguna manera para determinar si el modelo es una representación
Ya sea que exista o no un sistema existente, los analistas y las precisa del sistema del mundo real. Sin embargo, la mayoría de los
PYME deben revisar los resultados de la simulación (resultados enfoques estadísticos clásicos, como los intervalos de confianza y las
numéricos y animaciones) para determinar si son razonables. (Se pruebas de hipótesis, asumen que los datos del mundo real y los
debe tener cuidado al realizar este ejercicio, ya que si uno supiera datos del modelo son conjuntos de datos IID, lo que generalmente no
exactamente qué salida esperar, entonces no habría necesidad de un es el caso (consulte la discusión en la Sección 2.8). Por lo tanto, estos
modelo). Si los resultados de la simulación son consistentes con el enfoques estadísticos clásicos no son directamente aplicables a
comportamiento del sistema percibido, entonces, como se indicó nuestro problema de comparación.
anteriormente, el Se dice que el modelo tiene validez aparente.
Ejemplo 10. Considere un sistema de manufactura donde los
Ejemplo 9. La idea anterior se aplicó en el desarrollo de un datos de salida de interés son los tiempos en el sistema de
modelo de simulación de los EE. UU. partes completadas sucesivamente. Estos datos no son
Sistema de mano de obra y personal de la Fuerza Aérea. (Este independientes para el sistema real (ni para un modelo de
modelo fue diseñado para proporcionar a los analistas de simulación correspondiente). Por ejemplo, si el sistema está
políticas de la Fuerza Aérea una visión de todo el sistema de ocupado en un momento determinado, entonces todas las partes
los efectos de varias políticas de personal propuestas). que se procesan tenderán a tener tiempos prolongados en el
fabricantes, quienes posteriormente identificaron algunas sistema (es decir, los tiempos están positivamente
discrepancias entre el modelo y el comportamiento percibido correlacionados).
del sistema. Esta información se usó para mejorar el modelo, y
después de varias evaluaciones y mejoras adicionales, se Law (2007, pp. 265273) analiza los enfoques de inspección,
obtuvo un modelo que parecía aproximarse mucho a la política intervalo de confianza y series de tiempo que posiblemente podrían
actual de la Fuerza Aérea. Este ejercicio mejoró no solo la usarse para comparar los datos de salida del modelo y del sistema.
validez del modelo, sino también su credibilidad.
3 DIRECTRICES PARA OBTENER BUEN
DATOS DEL MODELO
Suponga que se desarrolló otro modelo para el mismo sistema y Un modelo solo es válido para una aplicación en particular si su lógica
con un propósito similar, y que se cree que es una representación es correcta y si usa datos apropiados. En esta sección proporcionamos
"válida". Luego se pueden comparar estadísticas numéricas y algunas sugerencias sobre cómo obtener buenos datos del modelo.
diagramas gráficos para los dos modelos. Cabe señalar que el hecho
de que dos modelos produzcan resultados similares no significa
necesariamente que cualquiera de ellos sea válido, ya que ambos 3.1 Dos principios básicos
modelos podrían contener un error similar. Esta idea parece ser la
más utilizada para aplicaciones de defensa. Si existe un sistema similar al de interés, se deben obtener datos de
él para usarlos en la construcción del modelo.
Estos datos pueden estar disponibles en registros históricos o pueden
2.9 Animación [57] tener que recopilarse durante un estudio de tiempos. Dado que las
personas que proporcionan los datos pueden ser diferentes de los
Una animación es útil para mostrar que un modelo de simulación no analistas de simulación, es importante que se sigan los siguientes dos
es válido y para promover la credibilidad del modelo. También es principios:
valioso para la verificación del programa informático de simulación,
para sugerir procedimientos operativos mejorados y para la formación. • Los analistas deben asegurarse de que los requisitos de los
datos (tipo, formato, cantidad, por qué se necesitan,
condiciones bajo las cuales se deben recopilar, etc.) se
2.10 Técnicas estadísticas para comparar los datos de salida del especifican con precisión a las personas que proporcionan
modelo y del sistema [5] los datos. • Los
analistas deben comprender el proceso que produjo los datos,
En esta sección discutimos el posible uso de procedimientos en lugar de tratar las observaciones como simples números
estadísticos para llevar a cabo la comparación de los datos de salida abstractos. Por ejemplo, suponga que hay datos disponibles
del modelo y del sistema discutidos en la Sección 2.8. sobre el tiempo para cargar un barco, pero hay algunas
Suponga que R1, R2, …, Rk son observaciones de un observaciones que son significativamente más grandes
sistema del mundo real y que M1, M2, …, Ml son datos de salida que el resto ( llamadas
45
Machine Translated by Google
Ley
mentirosos). Sin una buena comprensión del proceso • Interactuar con el tomador de decisiones de manera regular
subyacente, es imposible saber si estas grandes durante todo el proyecto de simulación para garantizar que
observaciones son el resultado de errores de medición o se resuelva el problema correcto y promover la credibilidad
registro, o si son simplemente valores legítimos que ocurren del modelo.
con poca probabilidad. • Usar técnicas cuantitativas para validar los componentes del
modelo • Desarrollar un
3.2 Dificultades comunes
documento de suposiciones por escrito • Realizar un recorrido
estructurado del documento de suposiciones: para un sistema
Las siguientes son cuatro posibles dificultades con los datos: inexistente, esta puede ser la técnica de validación más
importante • Realizar análisis de sensibilidad para determinar
• Los datos no son representativos de lo que uno realmente quiere los factores
modelar.
importantes del modelo • Comparar los resultados del modelo y
del sistema para un
Ejemplo 11. Los datos que se recopilaron durante una prueba de sistema existente (si existe) – esta es, en general, la técnica de
campo militar pueden no ser representativos de las condiciones de validación más definitiva disponible • Usar una prueba de
combate reales debido a las diferencias en el comportamiento de Turing para comparar los datos de salida del modelo y
las tropas y la falta de humo en el campo de batalla.
del sistema • Revisión del modelo resultados y animaciones para
ver si parecen ser
• Los datos no son del tipo o formato apropiado.
razonables • Comparar los datos de salida del modelo con los
datos de salida comparables de otro
Ejemplo 12. Al modelar un sistema de fabricación, la mayor fuente
modelo que se cree que es “válido” • Obtener datos
de aleatoriedad suele ser el tiempo de inactividad aleatorio de una
“representativos” para usar en la construcción
máquina. Idealmente, nos gustaría tener datos sobre el tiempo
hasta la falla (en términos del tiempo real de ocupación de la
máquina) y el tiempo de reparación de una máquina. A veces hay
ing y validando un modelo
datos disponibles sobre averías de la máquina, pero muy a
menudo no están en el formato adecuado. Por ejemplo, los tiempos
Muchas de las ideas anteriores parecerían ser simplemente de
de falla pueden basarse en el tiempo de reloj de pared e incluir
sentido común. Sin embargo, nuestra experiencia indica que muy a
períodos en los que la máquina estuvo inactiva o fuera de turno.
menudo no se aplican, en particular las correspondientes a las viñetas
cinco y seis.
• Los datos pueden contener errores de medición, registro o REFERENCIAS
redondeo.
Balci, O. 1998. Verificación, validación y prueba. En El manual de
Ejemplo 13. Los datos que representan el tiempo para realizar
simulación, ed. J. Banks, Capítulo 10. Nueva York: John Wiley.
alguna tarea a veces se redondean a los 5 o 10 minutos más
cercanos. Esto puede dificultar el ajuste de una distribución de
Banks, J., JS Carson, BL Nelson y DM Nicol.
probabilidad teórica continua a los datos, ya que ahora los datos
2005. Simulación de sistemas de eventos discretos. 4ª ed. Arriba
son discretos.
por Saddle River, Nueva Jersey: PrenticeHall.
Carson, JS 1986. Convencer a los usuarios de la validez del modelo es
• Los datos pueden estar "sesgados" debido al interés propio.
un aspecto desafiante del trabajo del modelador. Ingeniería
Industrial 18: 7485.
Ejemplo 14. El departamento de mantenimiento de una fábrica de
Law, AM 1991. El estudio de simulación pone el calor correcto en Kaiser
automóviles informó que la confiabilidad de ciertas máquinas es
Aluminium. Ingeniería Industrial 23: 16 17.
mayor que la realidad para que se vean bien.
Law, AM 2007. Modelado y análisis de simulación. 4to
edición Nueva York: McGrawHill.
4 RESUMEN
Oficina de Coordinación de Modelado y Simulación. 2008.
Guía de prácticas recomendadas de VV&A. Disponible a través de
Todos los modelos de simulación deben validarse o cualquier decisión
<http://www.msco.mil> [consultado el 17 de septiembre de 2008].
tomada con el modelo puede ser errónea. Las siguientes son las ideas
Alejandría, Virginia.
que creemos que son las más importantes para desarrollar un modelo
Montgomery, DC 2005. Diseño y análisis de experimentos. 6ª ed. Nueva
válido y creíble: • Formular el problema con precisión •
York: John Wiley.
Entrevistar a las PYME apropiadas
Sargent, RG 2007. Verificación y validación de modelos de simulación.
En Actas del invierno de 2007
46
Machine Translated by Google
Ley
Conferencia de Simulación. Washington, DC, 124137.
Schruben, LW 1980. Estableciendo la credibilidad de las simulaciones.
Simulación 34: 101105.
Shannon, RE 1975. Simulación de sistemas: El arte y la ciencia.
Englewood Cliffs, Nueva Jersey: PrenticeHall.
BIOGRAFÍA DEL AUTOR
AVERILL M. LAW es presidente de Averill M. Law & Associates, una
empresa especializada en seminarios de simulación, consultoría y
software. Ha sido consultor de simulación para numerosas organizaciones,
incluidas Accenture, ARCO, Boeing, Defense Modeling and Simulation
Office, HewlettPackard, KimberlyClark, M&M/Mars, Navy Modeling and
Simulation Office, 3M, US Air Force y US Army. . Ha presentado más de
450 cursos cortos de simulación en 18 países. Ha escrito o es coautor de
numerosos artículos y libros sobre simulación, investigación de
operaciones, estadísticas, fabricación y redes de comunicaciones. Esto
incluye el libro Modelado y análisis de simulación, que es ampliamente
considerado como la "biblia" de la industria de la simulación, con más
de 115 000 copias impresas. Desarrolló el software de ajuste de
distribución ExpertFit y también varias cintas de video sobre modelos de
simulación. Ha sido el orador principal en conferencias de simulación en
todo el mundo. Escribió una columna regular sobre simulación para la
revista Industrial Engineering . Ha sido miembro titular de la facultad en
la Universidad de WisconsinMadison y la Universidad de Ari zona. Tiene
un doctorado. en ingeniería industrial e investigación de operaciones de
la Universidad de California en Berkeley.
Su correo electrónico es
<ave rill@simulation.ws> y
DIRECCIÓN
su sitio web es <http://www.averilllaw.com>.
47