Bayesian Physics Informed Neural Networks for

real-world nonlinear dynamical systems

Juan David Carrascal Ibañez

Abril 2023

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Temario

1 Motivación

2 Problema a modelar

3 Modelamiento vı́a redes neuronales

4 Modelamiento vı́a inferencia Bayesiana

5 Conclusiones del artı́culo

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Motivación

Existe una tendencia reciente consistente en introducir

conocimiento previamente obtenido a partir de modelos fı́sicos
en modelos de aprendizaje de máquina.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Motivación

Existe una tendencia reciente consistente en introducir

conocimiento previamente obtenido a partir de modelos fı́sicos
en modelos de aprendizaje de máquina.
Esto es conveniente pues el proceso de entrenamiento es menos
costoso y el modelo obtenido resulta ser más robusto ante la
presencia de datos con presencia de ruido o datos faltantes.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Motivación

Además se integran técnicas de inferencia bayesiana dar una

interpretación a algunos parámetros del modelo obtenido, a
partir de intervalos de credibilidad.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Motivación

Además se integran técnicas de inferencia bayesiana dar una

interpretación a algunos parámetros del modelo obtenido, a
partir de intervalos de credibilidad.
Para ejemplificar el potencial de integrar estas tres técnicas, se
usan datos obtenidos de la pandemia de COVID 19.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Motivación

Además se integran técnicas de inferencia bayesiana dar una

interpretación a algunos parámetros del modelo obtenido, a
partir de intervalos de credibilidad.
Para ejemplificar el potencial de integrar estas tres técnicas, se
usan datos obtenidos de la pandemia de COVID 19.
Esto, teniendo en cuenta que las predicciones hechas con redes
neuronales convencionales solı́an ser acertadas
aproximandamente hasta una brecha de dos semanas.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Motivación

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Situación a modelar

Partimos de una red neuronal con dos capas ocultas, tomando

el tiempo t como el input:

z0 =t
z1 = σ(W1 z0 + b1 )
z2 = σ(W2 z1 + b2 )
z3 = W3 z2 + b3

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Situación a modelar

El modelo fı́sico que introduciremos está dado por la ecuación

que describe a un oscilador armónico amortiguado:

r = ẍ + 2ζω0 ẋ + ω02 x = 0

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Situación a modelar

El modelo fı́sico que introduciremos está dado por la ecuación

que describe a un oscilador armónico amortiguado:

r = ẍ + 2ζω0 ẋ + ω02 x = 0

Aquı́ ζ representa el radio de amortiguamiento y w0 la

frecuencia angular. Adicionalmente consideraremos el
paramétro δ = c/m, siendo c un coeficiente de viscosidad.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Situación a modelar

La solución a esta ecuación viene dada por:

x(t) = 2A0 cos(ωt + ϕ)exp(−δt)

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Situación a modelar

La solución a esta ecuación viene dada por:

x(t) = 2A0 cos(ωt + ϕ)exp(−δt)

p
Donde, A0 es la longitud de onda, ω = w02 − δ 2 es la
frecuencia y ϕ = arctan(−δ/ω) es el angulo de fase.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Situación a modelar

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Situación a modelar

Comportamineto diferentes modelos

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a redes neuronales

El espacio parametral del modelo Θ, está constituido por:

Θ = {θ, ϑ, ϵ} donde θ = {Wk , bk } y ϑ = {c, k, x0 }

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a redes neuronales

El espacio parametral del modelo Θ, está constituido por:

Θ = {θ, ϑ, ϵ} donde θ = {Wk , bk } y ϑ = {c, k, x0 }

Aquı́ θ representa los parámetros de la red neuronal, ϑ los

parámetros del oscilador armónico y ϵ es un peso usado para
equilibrar aportación de cada uno de estos modelos.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a redes neuronales

El espacio parametral del modelo Θ, está constituido por:

Θ = {θ, ϑ, ϵ} donde θ = {Wk , bk } y ϑ = {c, k, x0 }

Aquı́ θ representa los parámetros de la red neuronal, ϑ los

parámetros del oscilador armónico y ϵ es un peso usado para
equilibrar aportación de cada uno de estos modelos.
El objetivo de PINN es aprender θ y ϑ entrenando la red
neuronal y simultáneamente resolviendo la ecuación del
oscilador armónico.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento via redes neuronales

Esto se logra a partir de unificar ambos problemas de

optimización en uno solo mediante la función de pérdida:

L(Θ; t) = (1 − ϵ)Ldata + ϵLphys

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento via redes neuronales

Esto se logra a partir de unificar ambos problemas de

optimización en uno solo mediante la función de pérdida:

L(Θ; t) = (1 − ϵ)Ldata + ϵLphys

Ldata = n1trn ni=1 ||x(ti ) − x̂i ||2 es la función de pérdida de la

P trn
red en el conjunto de entrenamiento.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento via redes neuronales

Esto se logra a partir de unificar ambos problemas de

optimización en uno solo mediante la función de pérdida:

L(Θ; t) = (1 − ϵ)Ldata + ϵLphys

Ldata = n1trn ni=1 ||x(ti ) − x̂i ||2 es la función de pérdida de la

P trn
red en el conjunto de entrenamiento.
1
Pnsmp ¨ c k 2
Lphys = nsmp i=1 ||(ti ) + m ẋ(ti ) + m (x(ti ) − x0 )|| es la
función de pérdida usada en el oscilador armónico.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a redes neuronales

Esquema funcionamiento de una PINN.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a redes neuronales

Comparación diferentes valores de ε

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento via inferencia Bayesiana

El objetivo de usar inferencia bayesiana es estimar la

distribución posterior de un conjunto de parámetros, de
manera que las estadı́sticas de un modelo coincidan con las del
conjunto de entrenamiento, de manera que se maximice la
verosimilitud de la distribución previa dada por:
P(x̂, r |Θ)P(Θ) P(x̂|Θ)P(r |Θ)P(Θ)
P(Θ|x̂, r ) = =
P(x̂)P(r ) P(x̂)P(r )

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana

Aquı́, P(x̂, r |Θ) es la verosimilitud del conjunto de datos x̂ y

P(r |Θ) es la verosimilitud de los parametros del modelo fı́sico
usado r, P(Θ) es la distribución previa; P(x̂) y P(r ) son las
verosimilitudes marginales o también llamadas evidencias.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana

Aquı́, P(x̂, r |Θ) es la verosimilitud del conjunto de datos x̂ y

P(r |Θ) es la verosimilitud de los parametros del modelo fı́sico
usado r, P(Θ) es la distribución previa; P(x̂) y P(r ) son las
verosimilitudes marginales o también llamadas evidencias.
 
n 1 −||x̂−x(ti )||2
P(x̂|Θ) = Πi=0 pi (x̂|Θ) con pi (x̂|Θ) = 2πσ exp
√
2σ 2 .

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana

Aquı́, P(x̂, r |Θ) es la verosimilitud del conjunto de datos x̂ y

P(r |Θ) es la verosimilitud de los parametros del modelo fı́sico
usado r, P(Θ) es la distribución previa; P(x̂) y P(r ) son las
verosimilitudes marginales o también llamadas evidencias.
 
n 1 −||x̂−x(ti )||2
P(x̂|Θ) = Πi=0 pi (x̂|Θ) con pi (x̂|Θ) = 2πσ exp
√
2σ 2 .
 2

1
P(r |Θ) = Πni=0 pi (r |Θ) con pi (r |Θ) = √2πσ exp −||r2σ(t2i )|| .

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana
Usando el mismo espacio parametral del modelo anterior
Θ = {θ, ϑ, ϵ}, estimamos P(Θ), mediante:
P(Θ) = P(c, k, x0 , Wk , bk )

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana
Usando el mismo espacio parametral del modelo anterior
Θ = {θ, ϑ, ϵ}, estimamos P(Θ), mediante:
P(Θ) = P(c, k, x0 , Wk , bk )
Donde
log (c) ∼ N (µ = log (2.2), σ = 0.5)
log (k) ∼ N (µ = log (350), σ = 0.5)
log (x0 ) ∼ N (µ = log (0.56), σ = 0.5)
Wk ∼ N (µ = 0.0, σ = 2.0)
bk ∼ N (µ = 0.0, σ = 2.0)
Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana

Esquema inferencia bayesiana de los paramétros de la red.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Modelamiento vı́a inferencia Bayesiana

Comparación de modelos usando inferencia bayesiana.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Conclusiones del artı́culo

Desempeño diferentes métodos

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Conclusiones del artı́culo

Las redes neuronales por sı́ solas son un método simple y

robusto para interpolar datos de entrenamiento pero tienen un
potencial predictivo muy limitado.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Conclusiones del artı́culo

Las redes neuronales por sı́ solas son un método simple y

robusto para interpolar datos de entrenamiento pero tienen un
potencial predictivo muy limitado.
PINN integran la información de un cojunto de datos y un
modelo fı́sico, obteniendo un buen potencial predictivo.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Conclusiones del artı́culo

Las redes neuronales por sı́ solas son un método simple y

robusto para interpolar datos de entrenamiento pero tienen un
potencial predictivo muy limitado.
PINN integran la información de un cojunto de datos y un
modelo fı́sico, obteniendo un buen potencial predictivo.
La inferencia bayesiana permite ajustar un modelo fı́sico a un
conjunto de datos y proporciona intervalos de credibilidad.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Conclusiones del artı́culo

Las redes neuronales por sı́ solas son un método simple y

robusto para interpolar datos de entrenamiento pero tienen un
potencial predictivo muy limitado.
PINN integran la información de un cojunto de datos y un
modelo fı́sico, obteniendo un buen potencial predictivo.
La inferencia bayesiana permite ajustar un modelo fı́sico a un
conjunto de datos y proporciona intervalos de credibilidad.
BPINN proporcionan un buen ajuste y tienen buena habilidad
predictiva, sin embargo son sensibles a escalamiento.

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst
Gracias

Juan David Carrascal Ibañez Bayesian Physics Informed Neural Networks for real-world nonlinear dynamical syst