REGRESIN LINEAL En estadstica la regresin lineal o ajuste lineal es un mtodo matemtico que modela la relacin entre una variable

dependiente Y, las variables independientes Xi y un trmino aleatorio . Este modelo puede ser expresado como:

: variable dependiente, explicada o regresando. : variables explicativas, independientes o regresores. : parmetros, miden la influencia que las variables explicativas tienen sobre el regresando. donde es la interseccin o trmino "constante", las son los parmetros respectivos a cada variable independiente, y es el nmero de parmetros independientes a tener en cuenta en la regresin. La regresin lineal puede ser contrastada con la regresin no lineal.

Historia

a primera forma de regresiones lineales documentada fue el mtodo de los mnimos cuadrados, el 1 cual fue publicado por Legendre en 1805, y en dnde se inclua una versin del teorema de Gauss-Mrkov.

Etimologa
El trmino regresin se utiliz por primera vez en el estudio de variables antropomtricas: al comparar la estatura de padres e hijos, result que los hijos cuyos padres tenan una estatura muy superior al valor medio tendan a igualarse a ste, mientras que aquellos cuyos padres eran muy bajos tendan a reducir su diferencia respecto a la estatura media; es decir, "regresaban" 2 alpromedio. La constatacin emprica de esta propiedad se vio reforzada ms tarde con la justificacin terica de ese fenmeno. El trmino lineal se emplea para distinguirlo del resto de tcnicas de regresin, que emplean modelos basados en cualquier clase de funcin matemtica. Los modelos lineales son una explicacin simplificada de la realidad, mucho ms gil y con un soporte terico por parte de la matemtica y la estadstica mucho ms extenso. Pero bien, como se ha dicho, podemos usar el trmino lineal para distinguir modelos basados en cualquier clase de aplicacin.

Hiptesis modelo de regresin lineal clsico.

1. Esperanza matemtica nula.

Para cada valor de X la perturbacin tomar distintos valores de forma aleatoria, pero no tomar sistemticamente valores positivos o negativos, sino que se supone que tomar algunos valores mayores que cero y otros menores, de tal forma que su valor esperado sea cero. 2. Homocedasticidad para todo t Todos los trminos de la perturbacin tienen la misma varianza que es desconocida. La dispersin de cada en torno a su valor esperado es siempre la misma. 3. Incorrelacin. con t distinto de s para todo t,s

Las covarianzas entre las distintas pertubaciones son nulas, lo que quiere decir que no estn correlacionadas o autocorrelacionadas. Esto implica que el valor de la perturbacin para cualquier observacin muestral no viene influenciado por los valores de la perturbacin correspondientes a otras observaciones muestrales. 4. Regresores no estocsticos. 5. No existen relaciones lineales exactas entre los regresores. 6. Suponemos que no existen errores de especificacin en el modelo ni errores de medida en las variables explicativas 7. Normalidad de las perturbaciones

Tipos de modelos de regresin lineal

Existen diferentes tipos de regresin lineal que se clasifican de acuerdo a sus parmetros:

Regresin lineal simple[editar editar fuente]

Slo se maneja una variable independiente, por lo que slo cuenta con dos parmetros. Son de la 4 forma: (6) donde que es el error asociado a la medicin del valor y siguen los supuestos de modo y con ).

(media cero, varianza constante e igual a un

Anlisis[editar editar fuente]

Dado el modelo de regresin simple, si se calcula la esperanza (valor esperado) del valor Y, se 5 obtiene: (7)

Derivando respecto a

e igualando a cero, se obtiene:

(9)

(10) Obteniendo dos ecuaciones denominadas ecuaciones normales que generan la 4 siguiente solucin para ambos parmetros:

(11)

(12) La interpretacin del parmetro en es que un incremento en Xi de una unidad, Yi incrementar

Regresin lineal mltiple[editar editar fuente]

La regresion lineal nos permite trabajar con una variable a nivel de intervalo o razn, as tambin se puede comprender la relacin de dos o ms variables y nos permitir relacionar mediante ecuaciones, una variable en relacin a otras variables llamndose Regresin mltiple. Constantemente en la prctica de la investigacin estadstica, se encuentran variables que de alguna manera estn relacionados entre si, por lo que es posible que una de las variables puedan relacionarse matemticamente en funcin de otra u otras variables. Maneja varias variables independientes. Cuenta con varios parmetros. Se expresan de la forma: (13) donde que es el error asociado a la medicin del valor y siguen los supuestos de modo y con ).
6

(media cero, varianza constante e igual a un

Estimacin de mnimos cuadrados

El mtodo de mnimos cuadrados es utilizado para estimar los parmetros en el modelo de regresin lineal mltiple

Suponga que se tienen observaciones. Se asume que y y que los errores son no correlacionados. El mtodo de mnimos cuadrados minimiza la suma de cuadrados del error dada por

con respecto a cada uno de los parmetros del modelo La derivada con respecto a

La derivada con respecto a

es

igualando a cero la derivadas

se tiene

simplificando para

se tiene

simplificando para

se tiene

Luego las ecuaciones normales son :

Observe que hay ecuaciones. Para obtener la solucin es conveniente utilizar notacin matricial. En esta notacin el modelo se expresa como

con

y donde es el vector de observaciones es una matriz es un vector de niveles de lavariable regresora de coeficientes de regresin .

es el vector aleatorio error de orden La suma de cuadrados del error es dada por

y de manera anloga a la presentada en la notacin matricial para regresin simple se obtiene que las ecuaciones normales son

la cual es similar a las obtenidas anteriormente

Para solucionar las ecuaciones normales se requiere que exista la inversa de la matriz . Esta existe siempre que las variables regresoras sean linealmnete es independientes. As, la solucin de mnimos cuadrados de vector parmetrico

Ejemplo
para los datos del ejemplo tratado el vector y la matriz son respectivamente

La matriz

es

y el vector

es

El estimador de mnimos cuadrados de

es

Luego el modelo ajustado por mnimos cuadrados es

Propiedades de los estimadores de mnimos cuadrados

Las propiedades de mnimos cuadrados de los parmetros se enuncian y demuestran a continuacin: 1. es un estimador insesgado de . Esto es,

Demostracin

y como

entonces

2.

La

matriz

de

varianzas

covarianzas

del

vector

es

cov

Demostracin
La demostracin es la misma vista en notacin matricial .para regresin simple

Ejemplo
Para los datos del ejemplo se tiene que la estimacin de la matriz de varianzascovarianzas del vector es

Los errores estndar de cada parmetro es dado en la tabla: Parmetro Error estndar

http://www.virtual.unal.edu.co/cursos/ciencias/2007315/html/un5/cont_03_43.html

http://www.virtual.unal.edu.co/cursos/ciencias/2007315/html/un5/cont_02_42.html