EVALUACIÓN Y VALIDACIÓN

DE MODELOS

Sebastián Helí Giraldo García

 CONTEXTO

• Describir la puesta a prueba de los modelos y los procesos que nos permiten saber cuando
un modelo es apropiado para el propósito requerido.
• La puesta a prueba de un modelo esta designada a descubrir errores para entender el modelo
y mejorarlo, para luego usar el mejor modelo en la toma de decisiones importantes.
• Seguir los procedimientos para probar la estabilidad de un modelo en su propósito y
mejorar la probabilidad de que este sea usado y sea útil.
• Peter Senge propone pruebas objetivas de validez, hace hincapié en que, un modelo es
construido para un propósito y su validez está determinada fundamentalmente por el
grado en que se cumple ese propósito

• Jhon D Sterman, propone un conjunto simple de estadísticas que permiten realizar un

análisis estadístico entre los datos suministrados por el modelo y los datos reales.

• Geoff Coyle, propone que “el modelo debe hacer las mismas cosas que el sistema real y
por las mismas razones”.
LA VALIDACIÓN Y LA VERIFICACIÓN SON IMPOSIBLES

• La palabra “verificar” se deriva del latín verus que significa verdad.

• Websters define “verificar” como “establecer la verdad, veracidad, o realidad de.”
• “Valido” es definida como “tener una conclusión correcta derivada de las premisas o
asunciones… Valido implica ser sustentado por una verdad objetiva”.
Por estas definiciones tenemos que la validación y verificación es imposible. Se usan
palabras mas aptas a lo concerniente a modelos como: “útil”, “brillante”, “convincente” o
“inspirador de confianza”.
 PREGUNTAS QUE LOS USUARIOS DE
MODELOS DEBEN HACER
Estas preguntas son agrupadas en 4 grupos:
1. Propósito, idoneidad y alcance:
• ¿Cuál es el propósito del modelo?
• ¿Cuál es el alcance del modelo?¿Hay variables importantes excluidas porque no hay
datos numéricos para cuantificarlas?
• ¿Cuál es el horizonte de tiempo relevante al problema?
• ¿Es el nivel de agregación consistente con el propósito?
2. Estructura física y de toma de decisiones:
• ¿Es el modelo acorde con las leyes físicas básicas tales como la conservación de la
materia?
• ¿Son las existencias y la estructura de flujo explicitas y consistentes con el propósito del
modelo?
• ¿Son los retardos de tiempo, restricciones y los posibles cuellos de botella tomados en
cuenta apropiadamente?
• ¿Se asume que la gente actúa racionalmente y de manera que optimicen su desempeño?
• ¿La simulación de decisiones esta basada en información que los tomadores de
decisiones reales tienen?
3. Robustez y sensibilidad a declaraciones alternativas:
• ¿Es el modelo robusto de cara a variaciones extremas en las condiciones de entrada o en
las políticas?
• ¿Son las recomendaciones en las políticas sensibles a variaciones razonables en
asunciones?
4. Pragmatismos y políticas del modelo a usar:
• ¿Esta documentado el modelo? Esta la documentación disponible públicamente?
• ¿Qué tipo de datos fueron usados para desarrollar y probar el modelo?
• ¿Cómo describen los modeladores el proceso que usaron para probar y construir
confianza en dicho modelo? ¿Fue revisado por críticos?
• ¿Son los resultados del modelo reproducibles?
• ¿Cuánto cuesta poner a funcionar el modelo?
• ¿Cuánto tiempo toma revisar y actualizar el modelo?
Estas preguntas están diseñadas para evaluar la idoneidad del modelo para
su propósito, su conformidad con los principios de formulación
fundamentales, la sensibilidad de los resultados para incertidumbre en las
declaraciones y la integridad del proceso de modelado.
 PRUEBA DEL MODELO EN PRÁCTICA

Los modeladores han desarrollado una amplia variedad de pruebas especificas para
descubrir fallas y mejorar los modelos:

Evaluación de la estructura, consistencia dimensional, evaluación de parámetros,

condiciones extremas, idoneidad de los limites, error de integración, reproducción de
comportamiento, anomalía en el comportamiento, miembro familiar,
comportamiento sorpresa, análisis de sensibilidad y mejora del sistema.
PRUEBA PARA LA EVALUACIÓN DE LA ESTRUCTURA
Modelo de flujos y niveles, y Desarrollar un sub-modelo más
diagramas de subsistemas detallado

Comparar los modelos

¿El detalle profundo es importante?

No Si

Mantener el modelo Agregar más detalle al

más simple modelo
 CONSISTENCIA DIMENSIONAL

Especificar siempre las unidades de medida para cada una de las variables a medida
que se va construyendo el modelo.

𝐾𝑖𝑙𝑜𝑔𝑟𝑎𝑚𝑜𝑠
 

𝐾𝑖𝑙𝑜𝑔𝑟𝑎𝑚𝑜𝑠
 
𝐷í 𝑎
 EVALUACIÓN DE PARÁMETROS

Antes de decidir como debería ser estimado un parámetro o si su valor es razonable

asegúrese que cada constante (y variable) tiene un significado claro en la vida real.

• Usando la opinión de expertos

Estimar parámetros
• Métodos estadísticos
 PRUEBA DE CONDICIONES EXTREMAS

Los modelos deben ser robustos bajo condiciones extremas.

La robustez bajo condiciones extremas significa que el modelo debe comportarse
de una manera realista sin importar cuan extremas puedan ser las entradas o
políticas impuestas.

Las pruebas de condiciones extremas indagan si un modelo se comporta apropiadamente

cuando las entradas toman valores extremos tales como cero o infinito.
PRUEBA DE COMPORTAMIENTOS ANÓMALOS

Las pruebas de comportamientos anómalos examinan la importancia de estas estructuras

indagando si el comportamiento anómalo surge cuando una relación es erradicada o modificada.
Los comportamientos anómalos generados por el borrado de una relación le proveen alguna
evidencia para su importancia.

Comportamientos anómalos resultantes

Anular la relación
Prueba de knockout de las pruebas de knockout sugieren la
objetivo
importancia del ciclo.
 PRUEBAS DE MIEMBRO FAMILIAR

Las pruebas de miembro familiar indagan si el modelo puede generar el comportamiento de

otros casos del mismo tipo de sistemas para los cuales el modelo fue construido para imitar.

Cambios estructurales Nuevo

Modelo
adecuados Modelo
 PRUEBAS DEL MEJORAMIENTO DEL SISTEMA

Las pruebas de mejoramiento del sistema indagan si el proceso de modelado ayudó a cambiar el
sistema para bien.

El proceso de modelado debe identificar políticas que lleven a mejorar, esas políticas
deben ser implementadas, y el desempeño del sistema debe mejorar.
• Ninguna prueba es adecuada, utilizar un rango amplio de pruebas ayudan a comprender
la robustez y las limitaciones de los modelos en los que este trabajando.
• Es recomendable hacer pruebas a medida que el modelo avanza. La prueba es una parte
integral del proceso iterativo del modelado.
• Un proceso de prueba y evaluaciones cuidadosas, ayudan a los modeladores y sus
clientes a mejorar la habilidad de pensar sistémicamente en cada aspecto de sus vidas y
no solo en un proyecto.
GRACIAS