Simulacin de Sistemas

Validacin y Verificacin

Marcos Rivas Pea

Objetivos de la Sesin
1. Comprender que significa verificar y validad un modelo de simulacin 2. Identificar la importancia de verificar y validar los modelos de simulacin 3. Adoptar los principios de buena prctica para la V&V

Marcos Rivas Pea

Simulacin de Sistemas Discretos

Tabla de Contenido

1. Defincin de Varificacin y validacin en simulacin 2. Principios para la validacin y verificacin 3. Verificacin y Validacin en Modelos :
Conceptual Lgicos Simulacin

4. Calibracin de los modelos de simulacin 5. Credibilidad de los modelos de simulacin

Marcos Rivas Pea

Proceso de Simulacin como un Proceso de Mejora

Problema Diagnstico Datos de anlisis de problemas

Datos del problema

Conceptualizacin
Modelo Conceptual Especificacin

Encontrando alternativas Modelo to-be

Experimentacin

Datos del Problema

Modelo as-is Verificacin y Validacin

Resultados

Anlisis de resultados Eleccin e implementacin

Anlisis Situacin Actual

Marcos Rivas Pea

Nueva Situacin

Existe correspondencia entre el sistema real y el modelo?

Existe correspondencia entre el sistema real y el modelo? Verificacin: Construccin correcta del modelo. Es el proceso de determinar si la lgica operacional del modelo se corresponde con la lgica del diseo. Existe errores en el programa? Validacin: Construccin de un modelo correcto. Es el proceso de determinar si el modelo, como abstraccin, es una buena representacin del sistema. Calibracin del modelo: Proceso iterativo de comparar el comportamiento del modelo con el del sistema, ajustando el modelo en base a las diferencias que aparezcan. Se repite hasta validar el modelo.

Marcos Rivas Pea

Principios para la validacin y verificacin

1.
2. 3.

4.

5.

Conviene realizar las activiades de V&V durante todo el ciclo de vidad del estudio de simulacin. Un modelo no debe ser considerado intrinsicamente como absolutamente bueno o absolutamente malo. Un estudio que incorpore una V&V efectiva requiere preservar la independencia de sus analistas a fin de evitar prejuicios causados por personas con opinin sesgada. La V&V es dificil, por lo que requiere creatividad y visin para disear las pruebas. No es posible probar por completo el modelo contra todos los inputs posibles, por cuestiones de tiempo, recursos y racionalidad intelectual.
Marcos Rivas Pea

Verificacin y Validacin

Marcos Rivas Pea

Modelos de Simulacin Validos

Sistema Real
Calibracin Y Validacin

Validacin Conceptual

Modelo Conceptual Definir Componentes DDisear estructuras SSuponer parmetros de entradas

Verificacin del Modelo

Modelo Operacional Representacin Computarizada

Marcos Rivas Pea

Validacin Conceptual
Ejemplo Supermercado
Sucesos Llegada del Cliente, Cliente selecciona caja, Cajero empieza, Cajero termina, Empaquetador empieza, Empaquetador termina, Salida del Cliente. Instalaciones Cajeros, Empaquetadores. Variables de estado Nmero de clientes en cada cola, Estado de los cajeros (libre, ocupado), Estado de los empaquetadores (libre, ocupado). Medidas de ejecucin Tiempo de espera de los clientes, Utilizacin de los cajeros, Utilizacin de los empaquetadores. Variables de decisin Nmero de cajeros, Nmero de empaquetadores, Nmero de cajas rpidas, Nmero mximo de productos para poder utilizar una caja rpida. Reglas de operacin Los clientes seleccionan siempre la caja que tenga menos clientes en cola, No existen movimientos de clientes de una cola a otra.
Marcos Rivas Pea

Validacin Conceptual
Ejemplo Supermercado
Aspectos del sistema real que no se han incluido.
Desplazamientos de los clientes de una cola a otra, Qu ocurre cuando no se cumple las reglas de las cajas rpidas, Picos en las llegadas de los clientes, Fallos en los equipos, Absentismo de los cajeros o de los empaquetadores

Marcos Rivas Pea

Verificacin y Validacin del Modelo Lgico

Verificacin y validacin del procesamiento de los sucesos. Validacin
El modelo lgico debe contener todos los sucesos del modelo conceptual.

Verificar:
Conexiones entre sucesos. Todas las variables de estado cambian correctamente ante la ocurrencia del suceso que las afecta.
Marcos Rivas Pea

Verificacin y Validacin del Modelo Lgico

Verificacin de las frmulas y las relaciones. Los elementos matemticos han de estar bien calculados y las relaciones de conservacin han de preservarse.

Marcos Rivas Pea

Verificacin y Validacin del Modelo Lgico

Verificacin de las estadsticas y medidas de ejecucin. Asociando a cada suceso una lista completa de las estadsticas y medidas afectadas por la ocurrencia de dicho suceso, podemos verificar que stas se modifican adecuadamente.
Marcos Rivas Pea

Verificacin del modelo de simulacin

La implementacin debe ser correcta, y no contener errores. Depende del lenguaje de programacin elegido. Responsabilidad del analista.

Aproximaciones:
Mtodos de programacin estructurada. Trazas de simulacin. Pasar tests al programa. Chequear las relaciones lgicas. Comparar con modelos analticos.

Usar representaciones grficas.

Marcos Rivas Pea

Validacin del modelo de simulacin

En el proceso de validacin intervienen el analista y las personas relacionadas con el sistema. Una prueba de la validez del modelo es que los usuarios del sistema confen en el modelo y estn dispuestos a usarlo. Un modelo se desarrolla siempre para un conjunto particular de propsitos. Un modelo determinado puede ser vlido para un propsito y no serlo para otro. La validacin es un proceso que ha de hacerse desde el inicio. Mtodos de validacin:
Comparacin de los resultados de salida del modelo con los del sistema real. Test de Turing.
Marcos Rivas Pea

Validacin del modelo de simulacin

Comparacin de los resultados de salida del modelo con los del sistema real. Caractersticas:
El sistema real debe existir. Se comparan las salidas del modelo con las del sistema, mediante algn mtodo estadstico, p.e., Chi-cuadrado o Kolmogorov-Smirnov. Dado que la mayora de los procesos de salida no son estacionarios y s auto correlacionados, estos tests no son directamente aplicables.
Marcos Rivas Pea

Sistema Real vs Modelo Simulado

Marcos Rivas Pea

Validacin del modelo de simulacin

Test de Turing. A un experto o grupo de expertos se les presentan informes de resultados, tanto del sistema como del modelo, de forma aleatoria. Si los expertos no son capaces de distinguir entre ambos, se puede concluir en que no hay evidencias para considerar inadecuado el modelo. Las diferencias se pueden usar para mejorar el modelo.
Marcos Rivas Pea

Calibracin y validacin del modelo

La calibracin es un proceso iterativo de comparar el modelo con el sistema real, ajustando el primero hasta que resulta una buena aproximacin al segundo. Tests subjetivos: Implican a personas que conocen aspectos del sistema. Tests objetivos: Necesitan datos sobre el comportamiento del sistema para poder compararlos con los datos sobre el comportamiento del modelo. Interesa validar el modelo con un conjunto de datos distinto al que se ha usado para calibrarlo, con el objeto de evitar el caso en el que el modelo es vlido slo para unas entradas en particular.

Marcos Rivas Pea

Calibracin de Modelos
Comparar Modelo con la Realidad
Modelo Inicial Comprara modelo revisado

Revisin
Con la realidad

Sistema Real
Comparar Segunda

Primera Revisin Del modelo

Revisin

Revisin con la realidad

Segunda Revisin Del modelo

Marcos Rivas Pea

Revisin

Credibilidad
Es un aspecto complementario, pero no menos importante, en lo que se refiere a la prctica de la simulacin, sobre todo en modelos de sistemas complejos en situaciones en las que el responsable de la toma de decisiones no es el analista que ha construido el modelo. Los resulatodos del modelo han de ser aceptados por el decisor para ser utilizados en el proceso de toma de decisiones. Los resultados del modelo han de ser creibles para aquellos que los han de utlizar.

Marcos Rivas Pea

Verificacin Validacin - Credibilidad

La validez del modelo de simulacin es slo una condicin Suficiente y no garantiza la credibilidad y aceptabilidad de los Resultados de la simulacin, estos depeden de otros factores.

Marcos Rivas Pea

Conclusiones
1. Las actividades de V&V debe desarrollarse durante todo el ciclo de vida del estudio de simulacin 2. La validez del modelo de simulacin no garantiza la credibilidad y aceptabilidad de los resultados de la simulacin. 3. La acepatacin y utilizacin de los resultados de la simulacin es responsabiliad del analista.
Marcos Rivas Pea