Modelos de regresión lineal simple

Con frecuencia, nos encontramos con modelos en los que el comportamiento de una
variable, Y, se puede explicar a través de una variable X; lo que representamos
mediante:
Y=f(x)
Si consideramos que la relación f, que liga Y con X, es lineal, entonces se puede escribir
así:
Y i=β 0 + β 1 X i

Como quiera que las relaciones del tipo anterior raramente son exactas,
sino que más bien son aproximaciones en las que se han omitido muchas variables
de importancia secundaria, debemos incluir un término de perturbación aleatoria,
ɛ, que refleja todos los factores distintos de X que influyen sobre la variable
endógena, pero que ninguno de ellos es relevante individualmente. Con ello, la
relación quedaría de la siguiente forma:
Y i=β 0 + β 1 X i+ ε

La ecuación se llama modelo de regresión lineal.

Por costumbre se dice que X es la variable independiente y Y la variable dependiente.
En casi todas las aplicaciones de regresión, la ecuación de regresión sólo es una
aproximación a la verdadera relación funcional entre las variables de interés. Esas
relaciones funcionales se basan, con frecuencia, en una teoría física, química o de otra
disciplina científica o técnica; esto es, en el conocimiento del mecanismo básico. En
consecuencia, a esta clase de modelos se le llama con frecuencia modelos mecanísticos;
a su vez, los modelos de regresión se suponen modelos empíricos

Estimación de los parámetros por minimos cuadrados

Los parámetros β 0 y β 1 son desconocidos, y se deben estimar con los datos de la muestra.

ESTIMACION DE β 0 Y β 1

Para estimar β 0 y β 1se usa el método de mínimos cuadrados. Esto es, se estiman β 0 y β 1tales
que la suma de los cuadrados de las diferencias entre las observaciones y iy la línea recta sea
mínima.

 ecuaciones normales de mínimos cuadrados.

Y i=β 0 + β 1 X i
n
1
y= ∑ y i
n i=1
n
1
x= ∑x
n i =1 i
 n n

n ∑ y i∗∑ x i
∑ y i x i− i=1 n
i =1

^β = i=1
1 n

∑ x 2i −¿ ¿ ¿ ¿
i=1

^β = y − ^β x
0 1

O también se puede escribir como:

Y i=β 0 + β 1 X i

n n
S xx =∑ ¿ ¿ S xx =∑ y i ( x i−x ¿)¿
.

i=1 i=1

^β = S xy
1
Sxx

Predicción de nuevas observaciones

Una aplicación importante del modelo de regresión es predecir nuevas observaciones y
que correspondan a un nivel especificado de la variable regresora x.

Si Xo es el valor de interés de la variable regresora, entonces:

Y 0= β 0 + β 1 X 0

Es el estimado puntual del nuevo valor de la respuesta Yo.

Porque la observación futura Yo es independiente de ^y 0 para predecir y 0, entonces el

error estándar y 0− ^y 0 es el estadístico adecuado sobre el cual basar un intervalo de
predicción para una observación futura en x 0 es:

√ √
2 2
1 ( x 0 −x ) 1 ( x 0 −x )
^y 0−t α M S Res (1+ + ¿ )≤ y 0 ≤ ^y 0+t α M S Res (1+ + ¿ )¿ ¿
2
;n−2 n S xx 2
;n−2 n S xx

Coeficiente de determinación

El coeficiente de determinación es la proporción de la varianza total de la variable

explicada por la regresión. Es también denominado R cuadrado y sirve para reflejar la
bondad del ajuste de un modelo a la variable que se pretende explicar.
El coeficiente de determinación puede adquirir resultados que oscilan entre 0 y 1. Así,
cuando adquiere resultados más cercanos a 1, mayor resultará el ajuste del modelo a la
variable que se pretende aplicar para el caso en concreto. Por el contrario, cuando
adquiere resultados que se acercan al valor 0, menor será el ajuste del modelo a la
variable que se pretende aplicar y, justo por eso, resultará dicho modelo menos fiable.

S S Res ∑ ( y i − y )2
^
2 S SR i=1
R= =1− = n
S ST S ST
∑ ( y i − y )2
i=1

Regresion por el origen

Algunos casos de regresión parecen implicar que una recta que pase por el origen debe
ajustarse a los datos. Con frecuencia, parece adecuado un modelo de regresión sin ordenada al
origen.

El modelo sin ordenada al origen es:

y=β 1 x+ ε

La única ecuación normal es

n n
^β 1 ∑ x 2i =∑ y i x i
i=1 i =1

Y el estimador de la pendiente por mínimos cuadrados es

n

∑ yi xi
^β 1= i=1
n
❑
∑ x 2i
i=1

El estimador ^β 1 es insesgado para β 1, y el modelo de regresión ajustado es

^y . = ^β 1 x

El intervalo de predicción de 100(1 - α) por ciento para una observación futura en x = xo, por
ejemplo, Yo, es:

√ √
2 2
x0 x0
^y 0−t α M S Res (1+ n
)≤ y 0 ≤ ^y 0 +t α M S Res (1+ n
)¿ ¿
; n−1 ¿ ;n−1 ¿
2
∑x 2
i
2
∑x 2
i
i=1 i=1

Con la hipótesis de normalidad de los errores, se pueden probar hipótesis y establecer

intervalos de confianza y de predicción para el modelo sin ordenada al origen. El intervalo de
confianza de 100(1 - α) por ciento para β 1 es:
 √ √
^β 1−t α M S Res M S Res
n
≤ β 1 ≤ ^β 1+ t α n
; n−1 ; n−1
2
∑x 2
i
2
∑ x 2i
i =1 i=1

Estimación por maxima verosimilitud

Uno de los procedimientos más estándar en esta situación es el método de máxima

verosimilitud. Los estimadores de máxima verosimilitud tienen propiedades convenientes, y
dan en general resultados razonables siempre y cuando los supuestos sean razonables.

Máxima verosimilitud es un proceso intuitivo, y consiste en aprender o estimar valores de

parámetros desconocidos suponiendo para los datos su explicación más probable. Para esto,
usando supuestos y modelos requeriremos calcular la probabilidad de un conjunto de
observaciones.
^β = y −β x
0 1

n
^β . =∑ y i ( x ¿¿ i−x ¿) ¿ ¿
n

∑ ( x i− x ) 2
i=1

i=1

∑ ( y i−β 0− ^β1 xi )
2

2 i=1
σ =
n

Distribucion normal conjunta

Ahora supongamos que y y x tienen distribución conjunta que sigue la distribución normal
bivariada. Esto es

f ( x , y )=
1
2 π σ 1 σ 2 √1−ρ 2
exp ⁡
{ −1
2(1−ρ2 ) [( ) ( )
y−μ1 2 x−μ2 2
σ1
+
σ2
−2 ρ(
y−μ 1 x−μ 2
σ1
)(
σ2
)
]}
2 2
Donde μ1y σ 1 son la media y la varianza de y, μ2 y σ 2 son la media y varianza de x,y

E ( y −μ 1 )( x−μ2 ) σ 12
ρ= =
σ1 σ2 σ1 σ2

es el coeficiente de correlación entre y y x. El término σ 12 es la covarianza de y y x. La

distribución condicional de y para un valor dado de x es
 [ ( )]
2
1 −1 y−β 0−β 1 x
f ( y|x )= exp
√ 2 π σ 12 2 σ 12

Siendo

σ1
β 0=μ1 −μ 2 ρ
σ2
σ1
β 1= ρ
σ2
2 2 2
σ 12=σ 1 (1− ρ )

^β 2 Sxx β^ S S SR
2 1 1 xy 2
r= = = =R
S ST S ST S ST

hipotesis del Ro