Facultad de Ciencias Matemáticas

Physics Informed Deep Leaning:

Data-driven Solutions of Burgers’s
Equation

Pre-grado en matemáticas:
Quispe Ramı́rez, José Antonio
Pre-grado en Computación Cientı́fica:
Meza Ferrer, Cristian

(Actualización: 18 de febrero de 2023)

Índice
1. Introducción 4
1.1. Notas a trabajar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2. Ecuación de Burger como un problema ejemplo de EDP no Linear 4

3. Physics Informed Neural Network Solutions 5

3.1. Notas a trabajar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.2. Conceptos matemáticos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.1. Redes Neuronales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.2. Diferenciación Automática . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2.3. Physics Informed Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.3. A Physics Informed Neural Network Solver? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.3.1. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.3.2. Descripción del proceso de aprendizaje de la Ecuación Ecuación de Burger’s . . . . . . 6

4. Conclusiones 6

2
 Resumen
Trataremos un enfoque diferente mediante el empleo de redes neuronales profundas y aprovechamos su
conocida capacidad como aproximadores universales de funciones. Aprovechamos los desarrollos recientes
en diferenciación automática , una de las técnicas más útiles pero quizás infrautilizadas en computación
cientı́fica, para diferenciar redes neuronales con respecto a sus coordenadas de entrada y parámetros de
modelo para obtener redes neuronales informadas por la fı́sica. Dichas redes neuronales están obligadas
a respetar cualquier principio de simetrı́a,invariancia o conservación que se origine en las leyes fı́sicas
que rigen los datos observados, según lo modelado por ecuaciones diferenciales parciales no lineales y
dependientes del tiempo generales. Esta construcción simple nos permite abordar una amplia gama de
problemas en la ciencia computacional e introduce una tecnologı́a potencialmente, nuevas clases de so-
lucionadores numéricos para ecuaciones diferenciales parciales, como ası́ como nuevos enfoques basados
en datos para la inversión de modelos y la identificación de sistemas.En el presente trabajo, pretende-
mos demostrar cómo las redes neuronales pueden ser utilizadas para inferir la solución de una Ecuación
Diferencial Parcial (EDP), para ello nos apoyaremos del Método Diferenciación automática.

Keywords—Data-driven solutions, Backpropagation, physics-informed neural networks (PINNs), partial differential

equation (PDE), Deep Learning

3
1. Introducción
1.1. Notas a trabajar
1. En el análisis de sistemas fı́sicos

- El costo para obtener datos, es demasiado alto.

- Se ve obligado a tomar decisiones (conclusiones), basadas en datos limitados (información parciales,

por lo primero)

2. Respecto a las técnicas modernas de Machine Leaning

- Modelos como: Deep Neural Networks (DNN), Convolutional Neural Networks (CNN) y Recurrent
Neural Networks (RNN). No aseguran la convergencia.

- Existen problemas al tratar de entrenar “Algoritmos de Aprendisaje Profundo” para identificar con
bastante precisión funciones no lineales, tomando pocos datos de entrada y salida.

- Se han obviado conocimientos previos, como las leyes fı́sicas, como agente regulador.

2. Ecuación de Burger como un problema ejemplo de EDP no Linear

Ecuación Diferencial Parcial

ut + uux = vuxx ; x ∈ [−1, 1], t ∈ [0, 1]

Condición Inicial
u(x, 0) = − sin πx; ∈ [−1, 1]
Condición de Frontera Según Dirichelet
u(1, t) = 0, u(−1, t) = 0; t ∈ [0, 1]

1
Donde el parametro de viscosidad es v :=
100π

4
3. Physics Informed Neural Network Solutions

3.1. Notas a trabajar

1. En Machine Leaning (ML)

- Se está interesado en hacer una predicción o una decisión basada en algunos datos de entrenamiento.
Por lo tanto, muchos métodos dentro del campo del aprendizaje automático son adecuados para
resolver problemas de tipo regresión, es decir, encontrar la relación entre variables dependientes e
independientes (caracterı́sticas y objetivos, respectivamente).

- . En nuestro problema de ejemplo también estamos interesados en encontrar tal relación, es decir, la
función u(x, t). Sin embargo, no se nos proporciona ningún dato de entrenamiento, sino la dinámica
fı́sica subyacente y algunas condiciones iniciales y de contorno.

2. Considerando el Problema de usar ML

- De poder generar algunos datos de entrenamiento y, por lo tanto, considerar el problema de resolver
una EDP como un problema de regresión, no está claro cómo incluir la dinámica fı́sica subyacente de
la ecuación en el modelo. Por lo tanto, debemos ir más allá de los métodos estándar y encontrar una
manera de incluir este conocimiento.

2. Physics Informed Neural Network

- Paso 1: Interpretar el problema de encontrar la solución a una PDE como un problema de regresión
y usar las condiciones iniciales y de contorno para muestrear datos de entrenamiento.

- Paso 2: Resolver el problema de regresión, utilizando una red neuronal.

- Paso 3: Incluir la dinámica subyacente de la PDE a través de un término de regularización en la

función de pérdida al aplicar la diferenciación automática a la salida de la red.

5
3.2. Conceptos matemáticos
3.2.1. Redes Neuronales
3.2.2. Diferenciación Automática
3.2.3. Physics Informed Neural Networks
3.3. A Physics Informed Neural Network Solver?
3.3.1. Resultados
3.3.2. Descripción del proceso de aprendizaje de la Ecuación Ecuación de Burger’s

4. Conclusiones

6
Referencias
[1] C Basdevant, M Deville, P Haldenwang, J.M Lacroix, J Ouazzani, R Peyret, P Orlandi, and A.T Patera.
Spectral and finite difference solutions of the burgers equation. Computers & Fluids, 14(1):23–41, 1986.

[2] Atilim Gunes Baydin, Barak A. Pearlmutter, and Alexey Andreyevich Radul. Automatic differentiation
in machine learning: a survey. CoRR, abs/1502.05767, 2015.

[3] Valéria Iório. EDP: Um Curso de Graduação. Coleção Matemática Universitária. IMPA, 2016.

[4] Maziar Raissi and George Karniadakis. Hidden physics models: Machine learning of nonlinear partial
differential equations. Journal of Computational Physics, 357, 08 2017.

[5] Maziar Raissi, Paris Perdikaris, and George Em Karniadakis. Physics informed deep learning (part i):
Data-driven solutions of nonlinear partial differential equations, 2017.

[6] Maziar Raissi, Paris Perdikaris, and George Em Karniadakis. Numerical gaussian processes for
time-dependent and nonlinear partial differential equations. SIAM Journal on Scientific Computing,
40(1):A172–A198, 2018.

[7] Felipe A.C. Viana, Renato G. Nascimento, Arinan Dourado, and Yigit A. Yucesan. Estimating model
inadequacy in ordinary differential equations with physics-informed neural networks. Computers &
Structures, 245:106458, 2021.

[8] Min Zhu, Handi Zhang, Anran Jiao, George Em Karniadakis, and Lu Lu. Reliable extrapolation of deep
neural operators informed by physics or sparse observations, 2022.