REGRESIN LINEAL MLTIPLE

Una extensin til de la regresin lineal es el caso en el que y es una funcin

lineal de dos o ms variables independientes. Por ejemplo, y podra ser una
funcin lineal de x 1 y x 2 , como en

En particular tal ecuacin es til cuando se ajustan datos experimentales donde

la variable sujeta a estudio es una funcin de otras dos variables. En este caso
bidimensional, la lnea de regresin se convierte en un plano (figura 17.14).

Como en los casos anteriores, los mejores valores para los coeficientes se
determinan
al realizar la suma de los cuadrados de los residuos,

y derivando con respecto a cada uno de los coeficientes desconocidos,

Los coeficientes que dan la suma mnima de los cuadrados de los residuos se
obtienen al igualar a cero las derivadas parciales y expresando el resultado en
forma matricial:

EJEMPLO 17.6 Regresin lineal mltiple

Planteamiento del problema. Los siguientes datos se calcularon con la
ecuacin y =
5 + 4x1 3x2:

Utilice la regresin lineal mltiple para ajustar estos datos.

Solucin. Las sumatorias requeridas para la ecuacin (17.22) se calculan en la
tabla
17.5. El resultado es

que se resuelve mediante un mtodo como el de eliminacin de Gauss,

obtenindose
a0 =5 a1=4 a2=3
que es consistente con la ecuacin original, de la cual se obtienen los datos.

TABLA 17.5 Clculos requeridos para desarrollar las ecuaciones normales

para el ejemplo 17.6.

El caso bidimensional anterior fcilmente se extiende a m dimensiones as

donde el error estndar se formula como

y el coeficiente de determinacin se calcula como en la ecuacin (17.10). En la

figura 17.15 se da un algoritmo para establecer las ecuaciones normales.

FIGURA 17.15
Seudocdigo para establecer los elementos de las ecuaciones normales en la
regresin mltiple. Observe que adems de guardar las variables

independientes en

X 1, i ,

X 2,i , etc., se deben guardar 1 en

X 0,i

para que

funcione este algoritmo.

Aunque puede haber ciertos casos donde una variable est linealmente
relacionada con dos o ms variables, la regresin lineal mltiple tiene adems
utilidad en la obtencin de ecuaciones de potencias de la forma general

Tales ecuaciones son extremadamente tiles cuando se ajustan datos

experimentales.
Para usar regresin lineal mltiple, la ecuacin se transforma al aplicar
logaritmos:

Esta transformacin es similar a la que se us en la seccin 17.1.5 y en el

ejemplo 17.4 para ajustar una ecuacin de potencias cuando y era una funcin
de una sola variable x. La seccin 20.4 muestra un ejemplo de una de estas
aplicaciones para dos variables independientes.

MNIMOS CUADRADOS LINEALES EN GENERAL

Hasta aqu nos hemos concentrado en la mecnica para obtener ajustes por
mnimos cuadrados de algunas funciones sencillas para datos dados. Antes de
ocuparnos de la regresin no lineal, hay varios puntos que nos gustara
analizar para enriquecer nuestra comprensin del material precedente.
Formulacin general de una matriz para mnimos cuadrados lineales
En las pginas anteriores presentamos tres tipos de regresin: lineal simple,
polinomio y lineal mltiple. De hecho, las tres pertenecen al siguiente modelo
lineal general de mnimos cuadrados:

Donde

z0 , z1 , , zm

son m + 1 funciones diferentes. Se observa con facilidad

cmo la regresin lineal simple y mltiple se encuentra dentro de este modelo;

es decir, z 0=1, z 1=x 1 , z 2=x 2 , zm =x m . Adems, la regresin polinomial se
incluye
0

tambin

si

las
2

z 0=x =1, z1 =x , z 2=x , z 2=x , , z m=x

son
m

monomios

simples

como

Observe que la terminologa lineal se refiere slo a la dependencia del

modelo sobre sus parmetros (es decir, las a). Como en el caso de la regresin
polinomial, las mismas funciones llegan a ser altamente no lineales. Por
ejemplo, las z pueden ser senoidales, como en,

Esta forma es la base del anlisis de Fourier que se describe en el captulo 19.
Por otro lado, un modelo de apariencia simple como

Es no lineal porque no es posible llevarlo a la forma de la ecuacin (17.23).

Regresaremos a tales modelos al final de este captulo.
Mientras tanto, la ecuacin (17.23) se expresa en notacin matricial como

Donde [Z] es una matriz de los valores calculados de las funciones z en los
valores medidos de las variables independientes,

Donde m es el nmero de variables en el modelo y n es el nmero de datos.

Como n > m + 1, usted reconocer que, la mayora de las veces, [Z] no es una
matriz cuadrada.
El vector columna {Y} contiene los valores observados de la variable
dependiente

El vector columna {A} contiene los coeficientes desconocidos

Y el vector columna {E} contiene los residuos

Como se dio a lo largo de este captulo, la suma de los cuadrados de los

residuos en este modelo se definen como

Esta cantidad se minimiza tomando las derivadas parciales con respecto a

cada uno de los coeficientes e igualando a cero la ecuacin resultante. El
resultado de este proceso son las ecuaciones normales, que se expresan en
forma matricial como

Es posible mostrar que la ecuacin (17.25) es, de hecho, equivalente a las

ecuaciones normales desarrolladas antes para la regresin lineal simple, la
polinomial y la mltiple.
Nuestra principal motivacin para lo anterior fue ilustrar la unidad entre los tres
procedimientos y mostrar cmo se pueden expresar de manera simple en la
misma notacin matricial. Tambin sienta las bases para el estudio de la
siguiente seccin, donde obtendremos un mejor conocimiento sobre las
estrategias preferidas para resolver la ecuacin (17.25). La notacin matricial
tambin tendr relevancia cuando volvamos a la regresin no lineal en la ltima
seccin del presente captulo.
17.4.2 Tcnicas de solucin
En los anlisis anteriores en este captulo tratamos el asunto de las tcnicas
numricas especficas para resolver las ecuaciones normales. Ahora que
hemos establecido la unidad de los diversos modelos, podemos explorar esta
cuestin con mayor detalle.
Primero, deber quedar claro que el mtodo de Gauss-Seidel no puede
utilizarse aqu debido a que las ecuaciones normales no son diagonalmente
dominantes. De esta manera, nos quedan solamente los mtodos de
eliminacin. Para los propsitos actuales, podemos dividir esas tcnicas en tres
categoras: 1. mtodos de descomposicin LU, incluyendo eliminacin de
Gauss, 2. mtodo de Cholesky y 3. Mtodo de la matriz inversa. En efecto, hay
interrelaciones en esta clasificacin. Por ejemplo, el mtodo de Cholesky es, de
hecho, una descomposicin LU, y todos los procedimientos se pueden formular
de tal manera que generen la matriz inversa. Sin embargo, el mrito de esta
clasificacin es que cada categora ofrece ventajas respecto a la solucin de
ecuaciones normales.
Descomposicin LU. Si usted est interesado slo en aplicar un ajuste por
mnimos cuadrados en un caso donde el modelo adecuado se conoce de
antemano, cualquiera de los procedimientos de descomposicin LU, descritos
en el captulo 9, son perfectamente aceptables. De hecho, tambin es posible
emplear la formulacin de la descomposicin LU de la eliminacin de Gauss.
sta es una tarea de programacin relativamente sencilla para incorporar
cualquiera de estos procedimientos en un algoritmo de mnimos cuadrados
lineales. En realidad, si se ha seguido un enfoque modular, esto resulta casi
trivial. Mtodo de Cholesky. El algoritmo de descomposicin de Cholesky tiene
varias ventajas para la solucin del problema general de regresin lineal.
Primero, est expresamente diseado para resolver matrices simtricas como
las ecuaciones normales. As que es rpido y se requiere de menos espacio de
almacenamiento para resolver tales sistemas. Segundo, es ideal en casos
donde el grado del modelo [es decir, el valor de m en la ecuacin (17.23)] no se
conoce de antemano (vase Ralston y Rabinowitz, 1978).
Uno de estos casos sera la regresin polinomial. En ella, no podemos saber a
priori si un polinomio lineal, cuadrtico, cbico o de grado superior es el mejor
modelo para describir nuestros datos. Debido tanto a la forma en la que se
construyen las ecuaciones normales como a la manera en la que se lleva a

cabo el algoritmo de Cholesky (figura 11.3), podemos desarrollar modelos

sucesivos de grado superior de manera muy eficiente. En cada paso es factible
examinar la suma residual de los cuadrados del error (y unagrfica!), para
examinar si la inclusin de trminos de grado superior mejora el ajuste de
manera significativa.
En la regresin lineal mltiple la situacin anloga se presenta cuando se
agregan, una por una, variables independientes al modelo. Suponga que la
variable dependiente de inters es funcin de varias variables independientes;
por ejemplo, temperatura, contenido de humedad, presin, etc. Primero
realizaramos una regresin lineal con la temperatura y calcularamos un error
residual. En seguida, se podra incluir el contenido de humedad para llevar a
cabo una regresin mltiple de dos variables y observar si la variable adicional
resulta en una mejora del ajuste. El mtodo de Cholesky vuelve
eficiente el proceso, ya que la descomposicin del modelo lineal tan slo se
completar
al incorporar una nueva variable.
Mtodo de la matriz inversa. De la ecuacin (PT3.6), recuerde que la matriz
inversa se emplea para resolver la ecuacin (17.25), como se muestra a
continuacin:
Cada uno de los mtodos de eliminacin se puede utilizar para determinar la
inversa y, as, servir para implementar la ecuacin (17.26). Sin embargo, como
aprendimos en la parte tres, ste es un mtodo ineficiente para resolver un
conjunto de ecuaciones simultneas.
As, si estuviramos solamente interesados en determinar los coeficientes de
regresin, sera preferible utilizar el mtodo de descomposicin LU sin
inversin. No obstante, desde una perspectiva estadstica, existen varias
razones por las cuales estaramos interesados en obtener la inversa y
examinar sus coeficientes. Tales razones se analizarn ms adelante.