Documentos de Académico
Documentos de Profesional
Documentos de Cultura
com
Robert G. Sargent
ABSTRACTO
Se definen la verificación y validación del modelo, y se discute por qué son importantes la verificación y validación del
modelo. Se describen los tres enfoques para decidir la validez del modelo. Se presenta y discute un paradigma gráfico que
muestra cómo la verificación y la validación están relacionadas con el proceso de desarrollo del modelo y un diagrama de
flujo que muestra cómo la verificación y la validación son parte del proceso de desarrollo del modelo. Se proporciona un
procedimiento recomendado para la verificación y validación.
1 INTRODUCCIÓN
En este documento se ofrece una introducción a la verificación y validación de modelos de simulación. La verificación y
validación tienen que ver con determinar si un modelo y sus resultados son "correctos" para un uso o propósito específico.
Formalmente, la verificación del modelo se define como "asegurar que el programa de computadora del modelo
computarizado y su implementación sean correctos" y la validación del modelo se define como la "prueba de que un modelo
computarizado dentro de su dominio de aplicabilidad posee un rango satisfactorio de precisión consistente con el aplicación
prevista del modelo ". Nuestro análisis de la verificación y validación de modelos de simulación se centrará principalmente
en los modelos de simulación que se utilizan para predecir los comportamientos del sistema, como las salidas del sistema.
Dos temas relacionados son la credibilidad del modelo y la usabilidad del modelo. La credibilidad del modelo tiene que ver
con desarrollar en los usuarios (potenciales) la confianza que necesitan para utilizar un modelo y en la información derivada
de ese modelo. La usabilidad del modelo determina que el modelo y sus instrucciones para el usuario sean fáciles de usar.
Es importante que se realice la verificación y validación de un modelo de simulación para cada uso o propósito de un
modelo. Si el propósito de un modelo de simulación es responder una variedad de preguntas, la validez del modelo debe
determinarse con respecto a cada pregunta. Los desarrolladores y usuarios de modelos de simulación, los responsables de
la toma de decisiones que utilizan la información obtenida de los resultados de estos modelos y las personas afectadas por
las decisiones basadas en dichos modelos están muy preocupados por saber si un modelo y sus resultados son "correctos"
para cada pregunta. dirigido.
Por lo general, se requieren numerosos conjuntos de condiciones experimentales para definir el dominio de la
aplicabilidad prevista de un modelo. (Un conjunto de condiciones experimentales contiene un conjunto de valores para el
conjunto de variables que definen el dominio de aplicabilidad). Un modelo puede ser válido para un conjunto de condiciones
experimentales e inválido en otro. Un modelo se considera válido para un conjunto de condiciones experimentales si la
precisión del modelo está dentro de surango aceptable de precisión, que es la precisión requerida del modelo para su
propósito previsto. Por lo general, esto requiere que se identifiquen las variables de salida de interés del modelo (es decir,
las variables del modelo utilizadas para responder a las preguntas para las que se está desarrollando el modelo) y luego se
especifique su rango aceptable de precisión. El rango de precisión aceptable de un modelo debe especificarse antes de
comenzar el desarrollo del modelo o muy temprano en el proceso de desarrollo del modelo. Si las variables de
Uso con licencia autorizado limitado a: UNIVERSIDAD POLITECNICA DE VALENCIA. Descargado el 26 de abril de 2121 a las 23:52:50 UTC de IEEE Xplore. Se aplican restricciones.
Sargent
de interés son las variables aleatorias, entonces las propiedades y funciones de las variables aleatorias, como las medias y
las varianzas, suelen ser lo que es de interés principal y lo que se utiliza para determinar la validez del modelo. Por lo
general, se desarrollan varias versiones de un modelo antes de obtener un modelo válido satisfactorio. La justificación de
que un modelo es válido, es decir, realizar la verificación y validación del modelo, generalmente se considera un proceso y,
por lo general, es parte del proceso de desarrollo (total) del modelo.
El resto del documento está organizado de la siguiente manera: la Sección 2 presenta los tres enfoques de toma de
decisiones para decidir la validez del modelo, la Sección 3 describe cómo la verificación y validación se relacionan con el
proceso de desarrollo del modelo, la Sección 4 brinda un procedimiento de validación recomendado y la Sección 5 contiene
el resumen.
Un mejor enfoque para la toma de decisiones es que los usuarios de un modelo de simulación decidan la validez del
modelo. En este enfoque, los usuarios del modelo de simulación están muy involucrados con el equipo de desarrollo del
modelo cuando el equipo está realizando la verificación y validación del modelo y los usuarios determinan si el modelo es
satisfactorio en cada fase de verificación y validación. Este enfoque se usa generalmente con un equipo de desarrollo de
modelos cuyo tamaño no es grande. Además, este enfoque contribuye a la credibilidad del modelo.
Otro enfoque de toma de decisiones, generalmente llamado "verificación y validación independientes" (IV&V),
utiliza un tercero para decidir si el modelo de simulación es válido. El tercero (el equipo de IV&V) es independiente
tanto del equipo de desarrollo de la simulación como del patrocinador / usuario del modelo. El enfoque IV&V se
utiliza generalmente con el desarrollo de modelos de simulación a gran escala, cuyo desarrollo suele involucrar a
varios equipos. El equipo de IV&V necesita tener unexhaustivo comprensión de los propósitos previstos del modelo
de simulación para llevar a cabo IV&V. Hay dos formas comunes en que el equipo de IV&V lleva a cabo IV&V: (a) IV&V
se lleva a cabo simultáneamente con el desarrollo del modelo de simulación y (b) IV&V se lleva a cabo después de
que se ha desarrollado el modelo de simulación.
En la forma concurrente de realizar IV&V, el equipo de desarrollo del modelo entrega los resultados de las
pruebas de verificación y validación del modelo al equipo de IV&V a medida que se desarrolla el modelo de
simulación. El equipo de IV&V evalúa estos resultados y proporciona retroalimentación al equipo de desarrollo del
modelo con respecto a si la verificación y validación del modelo satisface los requisitos del modelo y, en caso
contrario, cuáles son las dificultades. Al realizar IV&V de esta manera, el desarrollo de un modelo de simulación no
debe avanzar a la siguiente etapa de desarrollo hasta que el modelo haya satisfecho los requisitos de verificación y
validación en su etapa actual. En opinión del autor, esta es la mejor de las dos formas de realizar IV&V.
Cuando la IV&V se lleva a cabo después de que el modelo de simulación se ha desarrollado por completo, la
evaluación realizada por el equipo de IV&V puede ir desde simplemente evaluar la verificación y validación realizada
por el equipo de desarrollo del modelo hasta realizar un esfuerzo de verificación y validación exhaustivo por
separado. Realizar un esfuerzo completo de IV&V después de que el modelo se ha desarrollado por completo suele
ser extremadamente costoso y requiere mucho tiempo. La opinión de este autor es que si la IV&V se va a realizar en
un modelo de simulación completo, generalmente es mejorsolamente evaluar la verificación y validación que ya se
ha realizado.
El enfoque de IV&V también es útil para la credibilidad del modelo. Cuando la verificación y validación es
realizada por una parte independiente (tercera) y concluye que el modelo de simulación es válido, hay una gran
322
Uso con licencia autorizado limitado a: UNIVERSIDAD POLITECNICA DE VALENCIA. Descargado el 26 de abril de 2121 a las 23:52:50 UTC de IEEE Xplore. Se aplican restricciones.
Sargent
Es más probable que otros acepten el modelo como válido y los resultados del modelo como "correcto". Los casos en los
que este enfoque de toma de decisiones es útil son (i) cuando el problema asociado con el modelo tiene un costo elevado o
implica una situación de alto riesgo y (ii) cuando se desea la aceptación pública de los resultados basados en el modelo.
Considere la versión simplificada del proceso de desarrollo del modelo en la Figura 1. El entidad problema
es el sistema (real o propuesto), idea, situación, política o fenómenos a modelar; losmodelo conceptual
es la representación matemática / lógica / gráfica (mímica) de la entidad problema desarrollada para un estudio en
particular; y elmodelo computarizado es el modelo conceptual implementado en una computadora. El modelo conceptual se
desarrolla a través de unfase de análisis y modelado, el modelo computarizado se desarrolla a través de un fase de
programación e implementación de computadoras, y las inferencias sobre la entidad del problema se obtienen mediante la
realización de experimentos por computadora en el modelo computarizado en el fase de experimentación. Ahora
relacionamos la verificación y validación del modelo con esta versión simplificada del proceso de desarrollo del modelo.
(Ver figura 1).Validación del modelo conceptual se define como la determinación de que las teorías y
323
Uso con licencia autorizado limitado a: UNIVERSIDAD POLITECNICA DE VALENCIA. Descargado el 26 de abril de 2121 a las 23:52:50 UTC de IEEE Xplore. Se aplican restricciones.
Sargent
Las suposiciones subyacentes al modelo conceptual son correctas y que la representación del modelo de la entidad
problemática es "razonable" para el propósito previsto del modelo. Verificación del modelo computarizado se define como
asegurar que la programación informática y la implementación del modelo conceptual sean correctas. Validación operativa
se define como la determinación de que el comportamiento de salida del modelo tiene un rango satisfactorio de precisión
para el propósito previsto del modelo sobre el dominio de la aplicabilidad prevista del modelo. Validez de los datos se define
como asegurar que los datos necesarios para la construcción del modelo, la evaluación y prueba del modelo y la realización
de los experimentos del modelo para resolver el problema sean adecuados y correctos.
Se debe desarrollar un modelo para un propósito o uso específico. Además, un modelo debe desarrollarse de manera que
sea un modelo parsimonioso, lo que significa que es lo más simple posible pero que cumple su propósito. Un modelo de
simulación es un modelo estructural, lo que significa que el modelo contiene relaciones lógicas y causales que ocurren en
los sistemas. (Nota: Los modelos empíricos se desarrollan puramente a partir de datos, siendo un ejemplo un modelo de
regresión. Los modelos empíricos y estructurales son dos tipos diferentes de modelos). El desarrollo de un modelo de
simulación válido es un proceso iterativo en el que se desarrollan varias versiones de un modelo antes de obtener un
modelo válido.
324
Uso con licencia autorizado limitado a: UNIVERSIDAD POLITECNICA DE VALENCIA. Descargado el 26 de abril de 2121 a las 23:52:50 UTC de IEEE Xplore. Se aplican restricciones.
Sargent
El proceso de desarrollo del modelo debe incluir la verificación y validación del modelo. Siguiendo el paradigma dado en la Figura 1, el proceso iterativo que se muestra en la
Figura 2 puede usarse para desarrollar un modelo de simulación válido (Sargent 1984). Primero desarrollamos un modelo conceptual analizando la entidad del problema y luego
desarrollando un modelo de la entidad del problema, recordando que se desea un modelo parsimonioso. Luego se realiza la validación del modelo conceptual. Este proceso se
repite hasta que el modelo conceptual sea satisfactorio. A continuación, se desarrolla un modelo computarizado del modelo conceptual (validado) desarrollando un modelo de
simulación del modelo conceptual e implementándolo en una computadora. Luego se realiza la verificación del modelo computarizado. Este proceso se repite hasta que el modelo
computarizado sea satisfactorio. Finalmente, la validación operativa se realiza en el modelo computarizado. Los cambios de modelo requeridos para realizar la validez operativa
pueden estar en el modelo conceptual o en el modelo computarizado. La verificación y validación se deben realizar nuevamente cuando se realiza cualquier cambio de modelo. Este
proceso se repite hasta que se obtiene un modelo de simulación válido. Como se indicó anteriormente, generalmente se desarrollan varias versiones de un modelo antes de obtener
un modelo de simulación válido. (Los detalles para realizar la validación del modelo conceptual, la verificación del modelo computarizado y la validez operativa se discuten en, por
ejemplo, Sargent (1984, 2011, 2013).) Este proceso se repite hasta que se obtiene un modelo de simulación válido. Como se indicó anteriormente, generalmente se desarrollan varias
versiones de un modelo antes de obtener un modelo de simulación válido. (Los detalles para realizar la validación del modelo conceptual, la verificación del modelo computarizado y
la validez operativa se discuten en, por ejemplo, Sargent (1984, 2011, 2013).) Este proceso se repite hasta que se obtiene un modelo de simulación válido. Como se indicó
anteriormente, generalmente se desarrollan varias versiones de un modelo antes de obtener un modelo de simulación válido. (Los detalles para realizar la validación del modelo
conceptual, la verificación del modelo computarizado y la validez operativa se discuten en, por ejemplo, Sargent (1984, 2011, 2013).)
A menudo es demasiado costoso y requiere mucho tiempo determinar que un modelo es absolutamente válido en todo
el dominio de su aplicabilidad prevista. En cambio, se llevan a cabo pruebas y evaluaciones hasta que se obtiene la confianza
suficiente de que un modelo puede considerarse válido para su propósito o uso previsto (Sargent 1982, pág.
1984). Si una prueba determina que un modelo no tiene suficiente precisión para cualquiera de los conjuntos de
condiciones experimentales, entonces el modelo no es válido. Sin embargo, determinar que un modelo tiene
suficiente precisión para numerosos conjuntos de condiciones experimentalesno garantiza que un modelo es válido
en todas partes en su dominio aplicable. La Figura 3 contiene dos curvas de relación con respecto a la confianza de
que un modelo es válido (Confianza en el modelo) en el rango de 0-100 por ciento, como ocurriría en la mayoría de
los casos. (Tenga en cuenta que estas curvas son curvas conceptuales cualitativas y que no se pueden calcular
cuantitativamente). La curva de costos (y una relación similar se mantiene para la cantidad de tiempo) de realizar la
validación del modelo muestra aumentos de costos a un ritmo creciente a medida que la confianza en el modelo
aumenta. La curva de valor muestra que el valor de un modelo para un usuario aumenta a medida que aumenta la
confianza en un modelo, pero a un ritmo decreciente. (En algunos casos, estas curvas pueden tener una forma
diferente para el rango de confianza inferior, pero normalmente serían similares a lo que se muestra en la Figura 3
para el rango de confianza superior.
4 PROCEDIMIENTO RECOMENDADO
Este autor recomienda que se realicen los siguientes ocho pasos en la verificación y validación del modelo:
325
Uso con licencia autorizado limitado a: UNIVERSIDAD POLITECNICA DE VALENCIA. Descargado el 26 de abril de 2121 a las 23:52:50 UTC de IEEE Xplore. Se aplican restricciones.
Sargent
1. Se debe hacer un acuerdo antes de desarrollar el modelo entre (a) el equipo de desarrollo del modelo y (b) los
patrocinadores del modelo y (si es posible) los usuarios que especifique el enfoque de toma de decisiones y un conjunto
mínimo de técnicas de validación específicas a ser utilizado para determinar la validez del modelo.
2. Especifique el rango aceptable de precisión requerido de las variables de salida del modelo de simulación de
interés para la aplicación prevista del modelo antes de comenzar el desarrollo del modelo o muy temprano en el
proceso de desarrollo del modelo.
3. Ponga a prueba, siempre que sea posible, las suposiciones y teorías subyacentes al modelo de simulación.
4. En cada iteración del modelo, realice al menos validez aparente en el modelo conceptual.
5. En cada iteración del modelo, al menos explore el comportamiento del modelo de simulación utilizando el modelo computarizado.
6. En al menos la última iteración del modelo, haga comparaciones, si es posible, entre el modelo de simulación y los datos de
comportamiento del sistema (salida) para al menos unos pocos conjuntos de condiciones experimentales, y preferiblemente para varios
conjuntos.
7. Preparar la documentación de verificación y validación para su inclusión en la documentación del modelo de simulación.
8. Si el modelo de simulación se va a utilizar durante un período de tiempo, desarrolle un programa para la revisión periódica de la
validez del modelo.
Nota: Se pueden encontrar discusiones sobre las diversas técnicas de validación y documentación de modelos en, por ejemplo,
Sargent (1984, 2011, 2013).
Algunos modelos de simulación se desarrollan para uso repetido. Es necesario desarrollar un procedimiento para revisar la
validez de estos modelos a lo largo de sus ciclos de vida, como se especifica en el Paso 8. No se puede dar un procedimiento
general porque cada situación es diferente. Por ejemplo, si no había datos disponibles en el sistema cuando se desarrolló y
validó inicialmente un modelo de simulación, entonces la revalidación del modelo debe tener lugar antes de cada uso del
modelo si se han producido nuevos datos o comprensión del sistema desde la última validación.
5 RESUMEN
La verificación y validación del modelo son fundamentales en el desarrollo de un modelo de simulación porque un modelo y
sus resultados deben ser "correctos". Cada proyecto de simulación presenta un desafío nuevo y único con respecto a la
verificación y validación del modelo. Esta introducción a la verificación y validación presentó qué es, por qué es importante,
quién es el tomador de decisiones, cómo se relaciona con el proceso de desarrollo del modelo mediante el uso de un
paradigma gráfico y un diagrama de flujo, y un procedimiento para realizarlo. Los detalles sobre cómo realizar las pruebas y
evaluaciones de verificación y validación se pueden encontrar en, por ejemplo, Sargent (2011, 2013).
Existe una gran cantidad de literatura sobre verificación y validación de modelos. Hay tutoriales y artículos de
conferencias (p. Ej., Sargent (2011)), artículos de revistas (p. Ej., Gass (1983), Landry, Malouin y Oral (1983), Sargent
(2013)), discusiones en libros de texto (p. Ej., Banks et al. . (2010), Law (2007), Robinson (2004), Zeigler,
BP, H. Praehofer y TG Kim (2000)), informes del gobierno de EE. UU. (P. Ej., DoDI 5000.61 (2009) y
Oficina de Contabilidad General de EE. UU. (1987)) y libros (Knepell y Arangno 1993, Oberkampf y Roy
2010) que se puede utilizar para ampliar sus conocimientos sobre la verificación y validación de modelos.
REFERENCIAS
Banks, J., JS Carson II, BL Nelson y D. Nicol. 2010.Simulación de sistema de eventos discretos. 5ª ed. Englewood
Cliffs, Nueva Jersey: Prentice-Hall.
DoDI. 2009.DoDI 5000.61: Verificación, validación y acreditación de simulación y modelado del Departamento de Defensa.
Departamento de Defensa de Estados Unidos. 9 de diciembre de 2009.
326
Uso con licencia autorizado limitado a: UNIVERSIDAD POLITECNICA DE VALENCIA. Descargado el 26 de abril de 2121 a las 23:52:50 UTC de IEEE Xplore. Se aplican restricciones.
Sargent
Gass, SI 1983. "Modelos de ayuda a la toma de decisiones: validación, evaluación y cuestiones relacionadas para el análisis de políticas".
La investigación de operaciones 31 (4): 601-663. Knepell, PL y DC Arangno. 1993.Validación de simulación: una
metodología de evaluación de la confianza. IEEE Computer Society Press.
Sargent, RG 1981. “Un procedimiento de evaluación y un conjunto de criterios para su uso en la evaluación de
Modelos puterizados y herramientas de modelado basadas en computadora ". Informe técnico final RADC-TR-80-409,
Fuerza Aérea de EE. UU.
327
Uso con licencia autorizado limitado a: UNIVERSIDAD POLITECNICA DE VALENCIA. Descargado el 26 de abril de 2121 a las 23:52:50 UTC de IEEE Xplore. Se aplican restricciones.