Instituto Tecnológico Metropolitano Algebra Lineal - Regresión para Datos Espaciales

Regresión para Datos Espaciales

En este proyecto se busca que el estudiante solucione algún problema de regresión empleando
datos espaciales reales (por ejemplo: pm2.5, viento, lluvia, radiación solar, etc). Adicionalmente,
el estudiante deberá hacer uso de la descomposición de Cholesky para realizar la regresión de
manera rápida y numericamente estable.

1 Modelo matemático
Por medio de un conjunto de datos, y ∈ RN y X ∈ RN ×D , se quiere predecir el valor de una
función RD → R, empleando la siguiente relación

y(x? ) = Cx? ,X C−1

X,X y, (1)
donde x? ∈ R1×D , X ∈ RN ×D , Cx? ,X ∈ R1×N , CX,X ∈ RN ×N , N es la cantidad de datos
y D son las dimensiones de cada elemento de entrada (D = 2, para ubicación en coordenadas).
Los elementos de las matrices C se calculan empleando funciones de covarianza o kernels. A
continuación se describen dos funciones kernels tipicas.

1.1 kernel Gaussiano:

Los elementos para la fila i y columna j, se calculan con la función:
PD !
2
(xi − xj )(xi − xj )>
 
2 (x
d=1 id − x jd ) 2
cxi ,xj = σ exp = σ exp ,
2l2 2l2

donde σ y l son los hiperparametros. σ controla los niveles de variación de la salida y, y l controla
la suavidad de la función de salida.

1.2 kernel Matern:

Los elementos para la fila i y columna j, se calculan con la función:
√ 2
! √ ! D
5z 5z 5z X
c5/2 (xi , xj ) = σ 2 1 + + 2 exp − , con z = (xid − xjd )2 .
l 3l l d=1

2 Procedimiento
Para poder realizar predicciones con el modelo propuesto, se deben determinar los valores de los
parámetros de los kernels o funciones de covarianza que mejor se ajusten a los datos. Posterior-
mente, se puede hacer la predicción en los puntos espaciales desconocidos [Stein, 1999].
1. Encontrar los parámetros que minimicen la siguiente función:

min y> C−1

X,X y.
θ

Se puede emplear la función minimize de scipy o con grandientes automáticos de jax. También
se puede calcular los gradientes de los parámetros e ingresarlos al optimizador.

C. Guarnizo 1
Instituto Tecnológico Metropolitano Algebra Lineal - Regresión para Datos Espaciales

2. Obervar que sı́ se calcula la descomposición de Cholesky sobre la matriz de covarianza,

entonces CX,X = LL> . Adicionalmente, la inversa se puede escribir como C−1
X,X = L
−> −1
L ,
y la función objetivo
min y> L−> L−1 y.
θ
−1
Asumiendo que a = L y, entonces la función objetivo se reduce a

min a> a.
θ

3. Despues de determinar los valores de los parámetros que mejor describen la base de datos,
se procede a hacer la predicción empleando la ecuación (1).

4. Comparar la predicción del modelo con respecto a la predicción realizada por la interpo-
lación basada en RBF. Esta comparación se puede realizar por medio de inspección visual y
emplenado el error medio cuadrático.

Dentro del Notebook de Python reportar el analisis de resultados e incluir conclusiones.

Referencias
[Stein, 1999] Stein, M. L. (1999). Interpolation of spatial data. Springer Series in Statistics.
Springer-Verlag, New York. Some theory for Kriging.

C. Guarnizo 2