Está en la página 1de 77

Calibración y Evaluación de

Incertidumbre:
Introducción al PEST
N ILSON G UIGUER , PH.D.

1
Indice de la Presentación
Conceptos básicos de calibración
Evaluación de la calidad de la calibración
Calibración Manual versus Modelación Inversa
Introducción a la calibración no-lineal con PEST
 ¿Qué es PEST?
 Como funciona
PEST en Visual Modflow
Interpretación de Resultados del PEST
Pest con Puntos Pilotos y Regularización
Evaluación de Sensibilidad y de Incertidumbre
 Pest en modo de predicción
Conclusiones

2
Definir Objetivos
El Proceso de Identificar el Dominio
Modelación Recopilar Datos
• Geología
Hidrogeológica: Construir Modelo Conceptual


Hidrología Superficial y subterránea
Contaminación

Pasos Principales Diseñar y Construir el modelo • Malla


• Propiedades
• Condiciones de borde
• Fuentes/sumideros
• Observaciones
Calibrar y Validar el Modelo • Discret. temporal

Evaluar Sensibilidad

Simulación de Escenarios

Evaluación de incertidumbre

Informe

Modificado de Anderson and Woessner, 2014 3


El Proceso de Modelación
Calibración y Validación
Calibración involucra ajustar los parámetros y condiciones de borde hasta
que ambos coincidan lo mejor possible.
 Es una condición necesaria para la realización de predicciones, pero…
 No es una condición suficiente:
 no unicidad: parametrizaciones distintas pueden reproducir las mismas observaciones
Validación (o verificación) conciste en verificar si el mismo modelo puede
reproducir lo que se observa en el dominio, bajo otras condiciones de
estres:
 Ej: com bombeo, sin bombeo; invierno/verano; bombeo transitorio o
estacionario etc
 Nota: algunos autores indican que la verificación se hace con ajustes históricos de
datos (series temporales), pero usando partes distintas de las series. Más
modernamente, se recomienda usar todos los datos para calibrar el modelo, y
luego evaluzar la incerteza de las predicciones (Anderson et al, 2014).

4
Calibración: workflow
Subproceso de Eligir/Ajustar parámetros de Calibración
calibración
Kx,Ky,Kz,S,Sy,b,nef) C. Bordes (Href,C,Rec,ET,Wells…)

Ejecutar el Modelo

Régimen Permanente Régimen Transitorio (ajuste histórico)

Evaluar Resultados y decidir

Calibración aceceptable Calibración no acceptable

Evaluar Resultados

Parámetros Razonables Parámetros Irrealistas

Modificado de Anderson et al (2014) 5


El Proceso de Modelación
Calibración: Cualitativa versus Cuantitativa
 Calibración Cualitativa
 Comparación visual de calculado versus observados (H, C, Q, i)
 Ej: format y tamaño de plumas de contaminación
 Formato y distribución de equipotenciales
 Formato de hidrogramas de niveles en pozos, o de caudales de ríos (history matching –
ajuste histórico)

 Calibración Cuantitativa
 Visa la minimización de residuos de calibración:
 Hcalculado x Hmedido (niveles piezometricos): niveles en piezometros, VWPz, etc
 Qcalculado x Qmedido (Caudales): Flujo de base de rios/lagos/minas
 Ccalculado x Cmedido (Concentraciones): Concentraciones medidas en pozos de monitoreo
 icalculado x imedido (Gradientes hidráulicos)

6
El Proceso de Modelación
Calibración Cualitativa
 Comparación visual de formas y distribución de niveles,
concentraciones o caudales calculados y observados

Observado

Simulado

Fuente: Anderson et al, 2014 Fuente: SWS, 2011 Fuente: SWS, 2009 7
El Proceso de Modelación
Calibración Cuantitativa: estadísticas
Residuo: r = (hmedido-hsimulado)

Error Medio(ME):
en m o pies

Error Medio Absoluto (MAE)


en m o pies

Raíz del error cuadrático medio


(RMSE): en m o pies
RMSE Normalizado (en%): RMSn = RMSE/(hmax-hmin)
Anderson et al. (2014) 8
El Proceso de Modelación
Calibración Cuantitativa: Estadísticas
 Criterios de evaluación del modelo generalmente aceptados con base a
estadísticas communes:
Evaluación del Modelo ME RMSn
‘Bueno’ Cerca a cero <10%
‘Muy Bueno’ Cerca a cero <5%

 OJO:
 Si Hmax-Hmin es muy grande (ej: montañas); o muy pequeño (ej: zonas planas), dichos
criterios pueden ser muy relajados o demasiado estrictos. Use otras evidencias en
dichos casos (gradientes p.ej.).
 Aunque las estadísticas de la calibración sean buenas, los parámetros tienen que ser
razonables (dentro de un rango aceptable para el tipo de material geológico).

9
El Proceso de Modelación
Calibración Cuantitativa: Visualización
Gráficos de dispersión
Calculado

Calculado
Observado Observado
Linea 45o: calculado = observado

Anderson et al. (2014) 10


El Proceso de Modelación
Calibración Cuantitativa: Visualización
Mapas de Residuales (calculado-observado)
Qflujo de base
H

 Residuales deberían
ser distribuídos
aleatoriamente:
 Residuales positivos y
negativos distribuídos
en todo el dominio.

Anderson et al. (2014) 11


El Proceso de Modelación
Calibración Cuantitativa: Visualización
Hidrogramas

Hydro Simulations (2014) 12


El Proceso de Modelación
Calibración: Manual vs Automatizada
 Calibración Manual
 método más usado, conocido
 Ajuste manual de parámetros y c. borde hasta obneter ‘buenas’ estadísticas de calibración
 Parámetros más communes de flujo: K, Ss/Sy, Recarga, conductancias (ríos, lagos…), Qpozos
 Problemas:
 Lento, tedioso
 Dificil evitar sesgos y dificil identificar correlación entre parámetros (mas detalles luego…)
 Calibración Automatizada
 Usa algoritmos inversos para determinar los parámetros, hasta que se minimizen las
diferencias entre observado y calculado (los residuos de la calibración)
 Permiten entender las sensibilidades de los parametrso (las entrañas de la calibración, que
parámetro controla quales puntos de observación)
 Problemas:
 Poco entendido
 Ni siempre rapido; require recursos de computo importantes
 Requiere problemas bien puestos para obtener solución unicast
 A veces resulta en parámetros no realistas

13
El Proceso de Modelación
Calibración: Manual vs Automatizada
Calibración Manual
 Método más usado, conocido
 Ajuste manual de parámetros y c. borde hasta obneter ‘buenas’
estadísticas de calibración
 Parámetros más communes de flujo: K, Ss/Sy, Recarga, conductancias
(ríos, lagos…), Qpozos
 Problemas:
 Lento, tedioso
 Dificil evitar sesgos y dificil identificar problemas más complejos
como la correlación entre parámetros (mas detalles luego…)

14
Calibración Manual
◦ MODFLOW calcula los niveles piezométricos en
parámetros
cada celda con base en los parámetros de de entrada
entrada asignados
◦ Durante la calibración, cambiamos los Ejecución
parámetros y condiciones de borde muchas Modelo
veces hasta que:
¿Buen
◦ Hcalculado ≈ Hobservado ajuste?

◦ Proceso común e intuitivo, pero…


◦ Lento y aburrido
simulaciónes
◦ Es dificil evitar preferencias personales y sesgos
◦ Es dificil entender qué parámetro controla cual observación; o
sea es dificil entender las sensibilidades a cada parámetro.

15
Calibración con Modelos Inversos
 El objetivo de los modelos inversos es determinar cuáles parámetros
son los parámetros(las entradas), con base en las de entrada
observaciones (las salidas)
 Se pueden utilizar en modelos 1D,2D,3D de flujo, Ejecución
Modelo
transporte, en régimen permanente o transitorio.
 PEST es el algoritmo más usado en modelos de agua ¿Buen
ajuste?
subterráneas y el más poderoso

simulaciónes

Anderson et al. (2014) 16


Usos de PEST: ¿cuando?
Calibración Inicial:
 Pest ayuda a rápidamente determinar si hay problemas conceptuales con el modelo
 Pest no consigue calibrar el modelo (RMSN<10%) o/y
 Pest entrega parámetros irrealistas
 Condiciones de borde equivocadas, zonificación de K incorrectas?
Fase Final de la calibración:
 Refinamiento de la calibración (ej.: bajar el RMSN al 5% o menos)
 Esta fase suele ser dificil y demorada
 Pest lo hace bastante rapido
Fase de Evaluación de Incertidumbre de as Predicciones
 Pest evalua cual es em juego de parámetros criticos que mantiene la calibración
 Pest usa NullSpace Monte Carlo para evaluar los efectos de parámetros insensibles a la calibración

17
Usos de PEST:
Ejemplo
Modelo con FEFLOW en
California,
PEST usado para refinar la
calibración en un sitio muy
complejo.

Abbey et al, 2009 18


El Proceso de Modelación
Calibración: Modelos Inversos
 Utiliza Algoritmos avanzados para determinar el jusgo de parámetros optimo que
minimiza los residuos de calibración
 Usa el concepto de la Función Objetivo (Φ , ‘phi’):
r = hcalc –hobs
Φ = Min (Σr 2 ) , donde r = residuales (H,Q y/o C)
 El objetivo de los modelos inversos es minimizar Φ
 Modelos más communes:
 PEST (Doherty, 1994)
 MODFLOWP (M.Andersen, USGS, 1992)
 UCODE (Potter and Hill, 1998)

Anderson et al. (2014) 19


El Proceso de Modelación
Calibración: Modelos Inversos
 Es recommendable usar pesos para:
 enfatizar datos con más confiabilidad
 disminuir otros tipos de sesgos en las observaciones:
 unidades muy distintas,
 densidad de datos diferentes en varias areas del modelo etc.

La Función Objetivo con pesos:


Φ = Min (Σwr 2 ) , donde w es el peso que se aplica a un pozo
 Es importante discutir y justificar criterios para definir los pesos con
el cliente/auditors antes de usarlo!

Anderson et al. (2014) 20


El Proceso de Modelación
Calibración: Pest
Espacio de los
parámetros
K1 19.957
39.25

Contornos de igual Φ
3.35
12.3
37.24
K1calib 35.123

30.005 Mínimo de la
función
Objectivo Φ
R2calib
Recarga zona2
21
El Proceso de Modelación
Calibración: Pest

Mínimo de la
función
Objectivo Φ

Φ y parámetros en el Caso Lineal

Anderson et al. (2014) 22


El Proceso de Modelación
Calibración: Pest

Par1

 El Objetivo de PEST es encontrar el Φ


mínimo.
 El proceso es iterativo, a partir de valores
iniciales
 Entre las iteraciones, PEST define
parámetros nuevos, con base en el cambio
de Φ respeto al cambio de cada
parámetro en cada uno de los puntos de
observación.
Par2
23
Modelos Inversos: complicaciones
Complicaciones:
Pest minimiza Φ de acuerdo al diseño del programa de
inversión y a instrucciones del usuario.
 No hay garantía que resulte en parámetros realistas

Algunos modelos pueden presentar mínimos


localizados de Φ
 Es común que algunos algoritmos no consigan escaparse
de estos mínimos locales
 Pest posee una manera de tartar de contornar este
problema. Veremos esto más adelante, por ahora, veamos
como funciona Pest.

Anderson et al. (2014) 24


El Proceso de Modelación
Calibración: Pest

Contornos de Φ para 2
Contornos de Φ para 2
parámetros - caso no lineal parámetros - caso mal puesto
¿Donde esta el Mínimo?

Doherty (2014) 25
La no unicidad
Datos observados suelen tener:
Rango de errores en las mediciones
Rango de error en los cálculos del modelo
‘ruido’ de fondo en los datos
 Resolución del modelo:

P2 calibrado
 Dimension de celdas v/s dimension del
problema
 Ejemplo: olas en oceano simulados con
celdas de 1Kmx1Km…
Por esto, hay una desviación acceptable del
Φmin
Modelos no lineales suelen tener
varias calibraciónes posibles P1 calibrado
¡Además, algunos parámetros suelen
no ser determinables!

26
El Proceso de Modelación
Calibración: Modelos Inversos
 Flujigrama:

Anderson et al. (2014) 27


Funcionamiento de PEST
Archivos de
PEST trabaja independientemente del Entrada
modelo
PEST
Se puede usar para calibrar modelos de: Lanza
 Aguas subterráneas Calcula nuevos
Executable(s)
 Aguas superficiales parámetros
Evalua: Modflow, Zone Budget,
 Geofísica ΔΦ/Δparámetros MT3DMS
 ….

Pest evalúa como cambió Φ con el cambio


Lee las Salidas
de los parámetros H; Q; C
 Es un tipo de sensibilidad
¿ Φ< Φi-1?
 Veamos para un punto de observación y luego Lee salidas, computa Φ
para muchos…

FIN

28
La Matrix Jacobiana:
Principio básico para 1 punto de observación
K2
H Pendiente de 𝐻 = Sensibilidad
∆𝐻
Sensibilidad K =
Δ𝐾
K2 1

K22

R11 R12 R1

29
La Matrix Jacobiana:
Principio básico para otra observación…
K2

K2 1
H

K22 Parar este punto, la


sensibilidad es
menor.

R11 R12 R1

30
La Matrix Jacobiana:
Calculos de las derivadas
𝑑𝑒𝑟𝑖𝑣𝑎𝑑𝑎𝑠 ℎ𝑎𝑐𝑖𝑎 𝑎𝑑𝑒𝑙𝑎𝑛𝑡𝑒 𝑑𝑒𝑟𝑖𝑣𝑎𝑑𝑎𝑠 𝑐𝑒𝑛𝑡𝑟𝑎𝑑𝑎𝑠
K2 K2
Parámetro anterior

Parámetro actual

Parámetro seguiente

R1 R1
Mas rápido (2 iteraciones) Mejor aproximación de la derivada, pero requiere 3 iteraciones

31
La Matrix Jacobiana:
Parar todos los puntos de observación
𝐶𝑎𝑚𝑏𝑖𝑜 𝑑𝑒 𝑁𝑖𝑣𝑒𝑙 (𝑜 𝑄 𝑜 𝐶)
Sensibilidad =
𝐶𝑎𝑚𝑏𝑖𝑜 𝑑𝑒𝑙 𝑃𝑎𝑟𝑎𝑚𝑒𝑡𝑟𝑜

𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1


𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
……

32
La Matrix Jacobiana:
Parar todos los puntos de observación
Matriz Jacobiana:
𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1 𝜕𝑜𝑏𝑠1
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2 𝜕𝑜𝑏𝑠2
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3 𝜕𝑜𝑏𝑠3
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4 𝜕𝑜𝑏𝑠4
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5 𝜕𝑜𝑏𝑠5
𝜕𝑝𝑎𝑟1 𝜕𝑝𝑎𝑟2 𝜕𝑝𝑎𝑟3 𝜕𝑝𝑎𝑟4 𝜕𝑝𝑎𝑟5
……

Sensibilidad compuesta del modelo a 1 parámetro = Magnitud de la columna


Cuanto más alto el numero, más alta la sensibilidad
Gomes, 2003 33
Cálculo del Nuevo Juego de Parámetros
PEST usa la Matriz Jacobiana para:
Calcular la respuesta del modelo a cambios de los parámetros y
Calcular los vectores de actualización de los parámetros.
Pest tambien usa el parámetro λ de Marquadt para accelerar el proceso y contornar mínimos
localizados de Φ

Parámetros
PEST Parámetros Nuevos
Iniciales Matriz Jacobiana K1i+1,K2i+1,
K1i,K2iRec1i,Rec2i Parámetro λ de Rec1i+1,Rec2i+1
…… Marquadt ……

34
La iteración de Marquadt
Inicio de las iteraciones:
 PEST busca la Maxima Pendiente
 Minimización rapida de Φ

Final de las iteraciones:


 vectores desviados un poco de
la dirección de maxima
pendiente
 Busca desviar de mínimos localizados

35
PEST en Visual Modflow
Funcionalidades de VMOD (Version 2015)
◦ VMOD Clásico permite solamente ajustar zonas de parámetros;
no soporta puntos pilotos y regularización
◦ WINPEST es el componente de VMOD Clásico que permite
entrar datos y visualizar los resultados de PEST en Tiempo Real
◦ VMOD Flex si permite puntos pilotos y regularización
(Tikhonov/SVD-Assist)
Funcionamiento del WINPEST:
◦ Preparación de la simulación: Funciona en pasos lógicos (siga las
pestañas de la izquierda hacia la derecho):
1. Seleccionar parámetros de calibración y detallar sus detalles (valores iniciales,
max, min …)
2. Seleccionar observaciones y definir pesos para calculo de Φ
3. Añadir informaciones anteriores (valores o relaciones entre
parámetros que faciliten la inversion)
4. Elegir los parámetros de operación del Pest (λ, tipo de derivadas,
convergencia …)

36
PEST en VMOD:
Paso 1: Definir los parámetros y sus detalles

37
PEST en VMOD:
Límites Max e Min de los parámetro
Ojo para no limitar demasiado a
PEST Par1
Si PEST no entrega valores
realistas, a lo major hay
problemas conceptuales en el
modelo.
Mejor usar límites más estrictos
al final de la calibración para
refinado final

Par2
38
PEST en VMOD:
Paso 2: Información anterior
Ayuda PEST a tornar la
inversion más unica
Puedes sugerir a Pest
valores preferidos para
algunos parámetros o
indicar relaciones entre
parámetros
Pest va a tartar de
mantener estos valores
aproximadamente
durante la calibración

39
PEST en VMOD:
Paso 3: Definir Φ
H,Q o C
Pesos se pueden
asignar a pozos
individuales, por
capas o a grupos
definidos en el el
modulo de Input

40
PEST en VMOD:
Paso 4: Parámetros del PEST
Evitar cambiar valores por omissión
Si hay dificultades durante las
iteraciones del Pest aumente el valor
de Lambda

41
Ejecución de Pest en VMOD

42
Ejecución de Pest en VMOD
Puedes
acompañar la
ejecución del
Pest en tiempo
real, y hasta
influenciarla

43
Activando y desactivando parámetros
Use Hold Parameter
temporalmente si algun Par1
parámetro es my poco sensible
Despues de algunas iteraciones,
si Pest esta bajando la función
objetivo, se puede otras vez
liberar el parámetro para ver si
su sensibilidad cambió

Par2
44
Resultados de PEST y su Interpretación
Las salidas de PEST permiten, entre otras cosas
 Comprender como el proceso de calibración evolucionó durante las iteraciones de
PEST
 Entender las sensibilidades del modelo a cada parámetro y a cada observación
 Identificar problemas complejos como la correlación entre parámetros
 Optimizar el propio problema inverso identificando parámetros poco sensibles o
parámetros inestimables
 Y mucho mas…

45
Resultados de PEST y su Interpretación
Algunas salidas de PEST
 PEST log: histórico de la ejecución del Pest, parámetros y Φ
 Variaciones de Φ a y contribución de cada grupo de observaciones en cada
iteración
 Evolución de los valores de los parámetros de calibración en cada iteración
 Residuales de calibración a cada iteración y calibración final
 Matriz Jacobiana (Cambio de Observación/Cambio de parámetros)
 Matriz de corelación y Coeficientes de Correlación
 Vectores principales y sus components (Eigen Vectors y Eigen values)
 Sensibilidad Compuesta y Simples

46
Resultados de PEST
Evolución de Φ y de los Parámetros

47
Resultados de PEST
Matriz Jacobiana

48
Resultados de PEST
Sensibilidade Compuesta

49
Resultados de PEST
Correlación entre parámetros
Es común que algunos modelos se calibren a una razón entre 2 o más parámetros
Cualquier combinación de valores de dichos parámetros que mantengan la misma
razon resultara en la misma calibración.
 Muy comun: R/K = constante.

Importancia:
 Modelos con alta correlación de parámetros no tienen un resultado único
 Sus predicciones suelen ser poco conclusivas

50
Correlación entre parámetros:
Ejemplo
El modelo al lado se calibra
para la razon R1/K1
R1
R1 y K1 son totalmente
Carga
correlacionados constante
Si no se conoce Qtajo dicho
modelo se puede calibrar
con cualquier valor que
K1
mantenca dicha razón.

51
Correlación entre parámetros:
Matrix de Coeficientes de Correlación
Parámetros correlacionados poseen
altos coeficientes de correlación
(alta covarianza).
Pest calcula una matriz de
Coeficientes de Correlación para los
varios parámetros en cada iteración
Los parámetros de la diagonal
representan 100% de correlación
(coeficientes = 1)
Valores altos indican alta correlación

52
Correlación entre parámetros con PEST
Formato de la Función Objetivo
Modelos con parámetros sin correlación presentan Φ con un unico mínimo (contornos de Φ
concentricos)
Modelos altamente correlacionados presentan elipsoides

Par1 Par1 Par1

ΦMin

Par2 Par2 Par2

Parámetros no correlacionados Fuerte correlación Positiva Fuerte correlación Negativa


entre parámetros entre parámetros
53
Correlación entre parámetros con PEST
Eigen Vectors y Eigen Values
Eigen Vectors (vectores
principales):
Par1
Describen el formato de Φ en Vector
el espacio de los parámetros dominante
Componentes del
Modelos altamente vector dominante
correlacionados presentan:
 Un vector dominante
 Componentes del vector
dominante com magnitudes
similares

Par2

54
Correlación entre parámetros con PEST
Eigen Vectors y Eigen Values
Ventana superior:
Vector principal
dominante

Ventana inferior:
Componentes del
vector dominante

55
Resultados del PEST – Parámetros Finales
Pest no transfiere sus resultados
automáticamente
Para aceptar los resultados de
PEST:
Menu Run/Optimization/
Parameter Optimization
File/Update from PEST run

56
Trabajando con modelos con parametrización
intensa: Pest con Puntos Pilotos y Regularización
PEST requiere que el número de observaciones sea más
grande que el número de parámetros
En modelos con geología muy compleja, esto suele ser
imposible
Pest utiliza una serie de tecnologías para solucionar este
problema:
 Puntos Pilotos:
 Puntos con valores sugeridos que PEST varia e interpola durante sus iteraciones
 Regularización:
 Maneras de simplificar el problema inverso para simplificarlo y tornarlo más unico
 Null Space Monte Carlo:
 Parámetros no determinables se identifican y varian estocasticamente durante la
evaluacion de sensibilidad

Doherty, 2014 57
Trabajando con modelos con parametrización
intense: Pest con Puntos Pilotos y Regularización
Puntos Pilotos
Puntos con valores iniciales que PEST interpola a cada
iteración y genera campos interpolados con base en Kriging
(diversos modelos)
Regularización es en general cualquier manera de ayudar el
problema inverso a tener una solución más unica. Métodos
usados en PEST:
 Tikhonov: se introducen información previa tales como
relaciones entre parámetros o valores preferidos para los
parámetros, para limitar la inversión
 SVD-Assist (método tipo sub-espacio): Pest saca los parámetros
no determinables de la inversion, usando ‘super-parámetros’
como una aproximación de los parámetros
 Se pueden usar los dos métodos en conjunto
 Consulte la pagina web del PEST para mas detalles:
 http://www.pesthomepage.org/Home.php

58
Trabajando con modelos con parametrización
intense: Pest con Puntos Pilotos y Regularización
Puntos Pilotos y Regularización:
Recomendaciones generales:
 Distribuir puntos pilotos de manera ~ homogenea en el
dominio
 Usar algunos puntos fijos (Pest no los va a alterar) donde se
tiene confianza en los resultados medidos del parámetro
 Usar puntos pilotos en varias capas, sobretodo cuando hay
gradientes verticales importantes.
 Usar pesos de manera práctica (datos mas/menos confiables,
zonas con mas importancia/menos importancia, minimizar
datos con unidades distintas…).

Young et al., 2010 59


Ejemplos de calibración con Puntos Pilotos y
regularización
Pest puede obtener calibraciones impresionantes..
 A veces dificiles de creer..
 El modelo al lado, arriba, produce valores distintos alrededor de los puntos
pilotos y de observación, tratanto de hacer un ajuste casi perfecto a nivel
local
 El modelo de abajo tiene calibración también muy buena, pero parámetros
más distribuidos.
 ¿Cual es el correcto?
Limitaciones de PEST:
Pest no siempre obtiene parámetros razonables
 Problemas conceptuales?
Iteraciones suelen ser demoradas
Para cada parámetro
 1 ejecución del modelo (Modflow/Zbud, MT3D), más 1 extra.
Pest entrega datos sobre sensibilidad compuestas de los parámetros,
que es una manera buena de entender a que parámetros la
calibración es más sensible.
Hay opciones en paralelo y en la nube (BEOPEST), visite:
http://www.pesthomepage.org/BEOPEST.php

Anderson et al. (2014) 60


El Proceso de Modelación
Evaluación de Sensibilidad Manual
Evaluación de Sensibilidad:
La calibración no es unica
Es comun que más de un jugo de parámetros o distintas conceptualizaciones
puedan ser aplicadas con resultados muy similares
La Evaluación de Sensibilidad visa responder a lo seguiente:
 ¿Cual es el rango de respuestas posibles que se pueden derivar del modelo?
Evalúa los efectos de cambios en los parámetros de entrada en:
 La calibración (i.e. cambio en las estadísticas y calidad de la calibración)
 Las conclusiones del modelos (i.e., cambios de H,Q y/o C y como estos alteran las
conclusions de la simulación)
Metodologías communes:
 Evaluación de Sensibilidad Manual
 Evaluación de Sensibilidad Compuesta

61
El Proceso de Modelación
Evaluación de Sensibilidad Manual
métodología ASTM: Matrix de Sensibilidad

62
El Proceso de Modelación
Evaluación de Sensibilidad Manual
Contaminante: Benceno
Limite Ingestión = 5ug/L

K3 C=?

R2: Recarga Pluvial


K2
R1: Recarga desde montañas
K1

63
El Proceso de Modelación
Evaluación de Sensibilidad Manual
Cambios regulares para arriba y
abajo del valor calibrado
Se evaluan los residuos de
calibración (e.j.: RMSN y el
parámetro de interés,
Concentración en este caso)
ASTM Tipo 1:
Sin cambio importante de
calibración;
Sin cambio de conclusion:
Creceptor < Limite Ingestión

64
El Proceso de Modelación
Evaluación de Sensibilidad Manual
ASTM Tipo 4:
Sin cambio importante de
calibración;
Pero hay cambio de
conclusion:
Creceptor > Limite Ingestión
El agua no seria más
potable si la permeabilidad
estuviera en el tope del
rango posible!

65
El Proceso de Modelación
Exemplo de Sensibilidad Manual
Ejemplos:

Jackson (2007): http://eprints.qut.edu.au/18347/1/Joanne_M._Jackson_Thesis.pdf 66


Sensibilidad Compuesta
Modelos inversos calculan la sensibilidad de todos
los parámetros durante cada iteración para reducir
la función objetivo.
Hacen esto a traves del cálculo de la matriz
Jacobiana, que calcula el cambio de niveles para
cada cambio de parámetro durante la calibración,
que es una sensibilidad.
Los algoritmos suelen calcular una sensibilidad
compuesta o normalizada, con base en la
magnitude de cada columna de la Matriz Jacobiana

𝐶𝑎𝑚𝑏𝑖𝑜 𝑑𝑒 𝑁𝑖𝑣𝑒𝑙 (ó 𝑄 ó 𝐶)
Sensibilidad =
𝐶𝑎𝑚𝑏𝑖𝑜 𝑑𝑒𝑙 𝑃𝑎𝑟𝑎𝑚𝑒𝑡𝑟𝑜

Hill y Tiedeman, 2007 67


Simulación de escenarios
Recomendaciones generales:
Ser conservador, pero razonable
 Usar modelos calibrados, con parámetros dentro de rangos razonables
 Usar escenarios de bombeo realistas (ej: Q sostenibles)
 Integrar cambios de clima/uso del suelo a largo plazo
 Las simulaciónes suelen ser más cercanas a la realidad por un plazo similar al tiempo de
observaciones
Usar rangos: mejor caso; pero caso
Recomendar siempre que se monitore el acuífero, y nuevos estudios para disminuir
lacunas de datos
Recomendar siempre actualizar el modelo despues de algunos años (2-5) para
incorporar cambios no anticipados, o para ajustar el model a nuevas observaciones

68
El Proceso de Modelación
Evaluación de Incertidumbre
Ocurre debido a la no unicidad de los modelos
Varias técnicas:
 Eval. Sensibilidad manual
 Usar multiples modelos calibrados
 Técnicas estocásticas:
 Monte Carlo
 NullSpace Monte Carlo
 …
 Pest en modo de predicción

Frecuencia
Caudal al Rajo

Gabora et al, 2014. 69


El Proceso de Modelación
Evaluación de Incertidumbre
Ejemplo de Evaluación de sensibilidad manual:
 caudales de ingreso a una mina

BGC Eng. Inc, 2012 70


Escenrios de major/Peor caso:
Pest en modo de Predicción
Pest se puede usar en modo de predicción
 Pest maximiza o minimiza parámetros que
producen casos críticos (el peor o major caso
possible)
 Pest calcula los parametros que mantengan el
modelo calibrado, que representen los peores
(o mejores) resultados posibles
 Ej: ¿cual es el modelo calibrado de un Sistema de
remediación que resulta el la concentración mas alta en
un receptor aguas abajo?
 ¿Cual es el modelo que resulta en el peor impacto al flujo
de base de un río cera a una mina?
 Se usan los modelos calibrados de pero/major
caso possible despues para las predicciones
 Los resultados se pueden reportar en rangos

Anderson et al. (2014) 71


El Proceso de Modelación
Evaluación de Incertidumbre
Método de Monte Carlo

Null Space Monte Carlo

Water Resources Research


Volume 49, Issue 1, pages 536-553, 29 JAN 2013 DOI: 10.1002/wrcr.20064
http://onlinelibrary.wiley.com/doi/10.1002/wrcr.20064/full#wrcr20064-fig-0002

72
El Proceso de Modelación
Evaluación de Incertidumbre
Ejemplos

Anderson et al. (2014) Zonas de captura con Monte Carlo con Groundwater Vistas (ESI)

73
Conclusiones
La Calibración de un modelo es una condición necesaria pero no suficiente para obtener predicciones
confiables
 La no unicidad es común en modelos naturales en general, en especial si solo se calibran niveles piezométricos
La calibración puede ser hecha de forma manual o con ayuda de algoritmos inversos como el PEST
PEST es un poderoso algoritmo inverso que busca minimizar la función objetivo (suma de residuos
ponderados), de manera iterativa, a partir de valores iniciales de los parámetros de calibración.
PEST se puede utilizar:
 en el principio de la calibración para evaluar inconsistencias en el modelo conceptual
 al final de la calibración, para rapidamente mejorar el ajuste del modelo a las observaciones
pero PEST sirve mucho más para entender el proceso de calibración y las sensibilidades de los varios
parámetros
PEST permite también identificar la correlación entre los parámetros, un problema que puede limitar la
habilidad predictiva del modelo
PEST también se puede utilizar en modo predictivo, para obtener modelos calibrados que resulten en el pero
o major casos posibles.

74
Conclusiones (cont.)
PEST con puntos pilotos y regularización:
 PEST introduce heterogeneidades donde es necesario
 Utiliza interpolación (Kriging) entre los puntos pilotos
 Puntos pilotos pueden tener valores fijos o variables por PEST
 Calibraciones impresionantes
 Regularización (Tikhonov, SVD-Assist): ayudan a tornar el modelo inverso mas ‘único’ y acceleran la
solución del PEST
Limitaciones del PEST:
 PEST puede resultar en parámetros no realistas o no llegar a una solución (problemas mal puestos
 Esto normalmente significa que el modelo puede tener problemas conceptuales
 Algunos modelos posen parámetros que no se pueden determinar inversamente. PEST puede identificarlos e utilizar
Null Space Monte Carlo para evaluar sus efectos en las predicciones, de manera muy eficiente,
 Ejecuciones del PEST pueden demorar bastante, sobretodo en modelos con muchos parámetros. Hay opciones
paralelizadas y simulaciones en la nube (BEOPEST).
Aunque el modelo esté bien calibrado, esto no significa necesariamente que sus predicciones sean realistas.
Hay que hacer evaluación de incertidumbre de las predicciones, debido a la no unicidad, correlación entre
parámetros y parámetros no determinables.

75
Referencias
Abbey, D. et al 2009. Application of singular value decomposition and regularization techniques for optimization of a
highly parameterized FEFLOW model. Presentada en la conferencia de usuarios de DHI-WASY FEFLOW. Berlin, Alemania
Anderson, Woessner y Hunt, 2014. Applied Groundwater Modeling. Simulation of Flow and Advective Transport. 2nd.
Edition, Elsevier.
ASTM (1993) “ASTM D 5490-93. Standard Guide for Comparing Ground-Water Flow Model Simulations to Site-Specific
Information”. American Society for Testing and Materials. West Conshohocken, PA 19428.
Hill, M.C., 1992, A computer program (MODFLOWP) for estimating parameters of a transient, three-dimensional, ground-
water flow model using nonlinear regression: U.S. Geological Survey Open- File Report 91-484, 358 p.
Doherty, J., 1994 . PEST: Model-Independent Parameter Estimation, Watermark Computing, 1994.
Young, S., J. Doherty, T. Budge, N. Deeds, 2010. Application of PEST to Re-Calibrate the Groundwater Availability Model for
the Edwards-Trinity (Plateau) and Pecos Valley Aquifers. Texas Water Development Board.
http://www.twdb.texas.gov/publications/reports/contracted_reports/doc/0804830820_Edwards-Trinity_PecosGAM.pdf
E.O. Frind, M. Sousa, J.P. Jones, and D.L. Rudolph, 2009. Well Vulnerability: A Model Comparison – Issues and Pitfalls. 2nd
International FEFLOW User Conference September 14-18, 2009 Potsdam/Berlin, Germany
Gabora, M., N. Martin, N. Clements 2014 Application of the Null Space Monte Carlo Method in a Groundwater Flow
Model of Mine Pit Dewatering. An Interdisciplinary Response to Mine Water Challenges - Sui, Sun & Wang (eds). China
University of Mining and Technology Press, Xuzhou, ISBN 978-7-5646-2437-8. Download from:
https://www.imwa.info/docs/imwa_2014/IMWA2014_Gabora_14.pdf

76
Referencias (Cont.)
Gomes, D.C., 2003. Preliminary Groundwater Flow Model of Lahore City, Pakistan. Technical Expert Misson Report
prepared for the IAEA. Unpublished Report.
Hernandez,S. y Gomes, D., 2003. Preliminary Groundwater Flow Modeling of the Borde Seco Dam, Venezuela. Final
Report – International Fellowship on Groundwater Modeling. IAEA – Desurca - Edelca. Unpublished Report and
presentation.
Hill,M.C. y C.R. Tiedeman, 2007. Effective Groundwater Model Calibraiton: With Analysis Of Data, Sensitivities,
Predictions, and Uncertainty.Wiley, 455p.
Hydro Similations (2014) Coroona Coal Project: Gateway Application Preliminary Groundwater Assessment, Chapter 3:
Groundwater Simulation Model. (BHP BILLITON). Download from:
http://www.bhpbilliton.com/~/media/bhp/documents/society/regulatory/_coal/nswec/caroona-coal-
project/140430_coal_nswec_caroona_appendixchydrosimulationsgroundwaterasseessmentpart2.pdf?la=en
National Research Council of the National Academies, 2004. Contaminants in the subsurface. Source Zone Assessment
and Remediation. HTTP://WWW.NAP.EDU/READ/11146/CHAPTER/4#38
Reilly, T. and A. Harbaugh, 2004. Guidelines for Evaluating Ground-Water Flow Models. USGS Publication. Download from:
http://pubs.usgs.gov/sir/2004/5038/PDF/SIR20045038part2.pdf

77