Unidad 2.

Modelo de regresión con dos

variables
 Objetivos
 Definir el modelo de regresión lineal simple.
 Obtener las estimaciones de mínimos cuadrados
ordinarios.
 Analizar la bondad de ajuste del modelo.
 Calcular los coeficientes estimados ante cambio en
las unidades de medición.
 Analizar la forma funcional de la relación entre las
variables.
 Explicar los valores esperados y varianzas de los
estimadores MCO.
 Determinar características de la regresión al origen.
 Modelo de regresión simple.
Y=β 0 + β1 X + u
Terminología.
 La relación entre X y Y se puede nombrar como:

 “Y en función de X”

 “Explicar a Y en términos de X”

 “Explicar cuánto varía Y cuando X varía ”

 Modelo de regresión simple.
Elementos de la regresión simple
Y=β 0 + β1 X + u
 Y: Variable explicada, dependiente, respuesta,
predicha o regresando.
 β 0: Parámetro de Intercepto
 β1 : Parámetro de la Pendiente
 X: Variable explicativa, independiente, de control,
predictora o regresora
 u: Término de error o perturbación representan factores
distintos a X que afectan a Y.
 Modelo de regresión simple.
 Si los demás factores en u permanecen constantes, de
la manera que Δu=0, entonces ΔY= β1 ΔX (Por qué?)
además que β1 =ΔY /ΔX
Demostración
 Suponga que existen dos observaciones Yi y Yj que se
relacionan linealmente:
 Yi= β 0 + β1 Xi+Ui ui=Yi-bo-b1Xi
 Yj= β 0 + β1 Xj+Uj uj=Yj-bo-b1Xj
 Pruebe que si Δu=0, entonces ΔY= β1 ΔX
 Δu=ui-uj=(Yi-bo-b1Xi)-(Yj-bo-b1Xj)=Yi-bo-b1Xi-Yj+bo+b1Xj
 =(Yi-Yj)-b1Xi+b1Xj =(Yi-Yj)-b1(xi-xj)

Si Δu=0(Yi-Yj)-b1(xi-xj)=0(Yi-Yj)=b1(xi-xj)ΔY=b1Δx al
despejar b1=ΔY/ΔX…
 Ante un cambio de x, y se afecta en b1 unidades de
 Ejemplos
Identifique e interprete cada elemento de modelos de
regresión simple.
 Rendimiento de los años de educación sobre el salario.

 V. Dependiente=salario. V. Independiente=educ
 Bo= Valor del salario cuando educ =0
 B1= El efecto sobre Y ante un cambio de x.
 Por cada año adicional de educación recibida, su
salario aumentará $bi adicionales al actual.
 U=otros factores que afectan al salario: horas de
trabajo, situación económica país…
 Consideraciones adicionales de y, x, u
1. X , u son variables aleatorias.
2. Media de residuos
 Media (u)=0
 E(u)=0  Σ ui=0
3. Independencia entre X y u .
 Correlación (x,u)=Cov(X,u)/[desv(x)*desv(u)]
 Cov(X,u)=0
 =E[(X-mediax)(U-mediau)]
 =E[(X-mediax)(U)]
 =E(X*U-Mediax*u)
0
 =E(X*U)-Mediax *E(u)
 =E(X*U)Σ xi*ui=0
 Estimación de parámetros β 0 , β1
 Mínimos Cuadrados Ordinarios (MCO)
 Realiza la estimación de β 0 , β1 minimizando el
término de u. Y=bo+b1X
 Ofrece la mejor recta de regresión lineal.

Y Recta MCO

X
 Estimación parámetros MCO
 Al despejar los parámetros:

2 ( Yi ) 2 SSxy
SSy   Yi 
n Pendiente= b1 
SSx
( X i ) 2 Intercepto = Ybarra-Pendiente*
SSx   X i 
2

n
Xbarra

(  X i )(  Yi )
SSxy   X iYi 
n ESTADISTICA I
 Y=Bo+B1X
Ejemplo

X: Horas 100 Notas

Estudio
Individuo semanal Y: Notas 80
1 2 20 60
2 5 45 (x,y)
3 10 60 40
4 12 78
20
5 15 96
0
0 2 4 6 8 10 12 14 16

Y=Valor real
=Valor estimado o ajustado de Y
=residuo, diferencia entre el valor Y estimado y real
 Suponga que la estimación MCO de los
parámetros fue : =11,36 ; =5,5 entonces:

X: Horas
Individuo Estudio Y: Notas ui=Y–Y^
semanal Y^=11.36+5,5X

1 2 20 =11,36+5,5*
2=22 20-22=-2
2 5 45 =11,36+5,5*
5=39 45-39=6
3 10 60 66 6
4 12 78 77 1
5 15 96 94 2

Sería correcto realizar la siguiente equivalencia Y=Y^+u ?

 Ejercicio
 Utilizando la base de datos CEOSAL1 (información de 209 CEO
en el año 1990)
 Analice las variables Salary y Roe.
 Tipo de variable y unidades:continua salario minimo
 Roe:porcentajes
 Estadísticos principales-Min: max:prom
 Estime el modelo de regresión lineal donde se exprese el efecto del
Roe sobre el salario.
 Salario=b0+b1roe
 Interprete los coeficientes estimados.
 Salary=963+18.5*roe
 Por cada un 1% que incremente roe, el salario aumenta 18.5 miles de
dolares(18500)
Realice la gráfica de variable
estimada vs observada.

salary con respecto a roe, observada y estimada

16000
Observada
Estimada

14000

12000

10000
salary

8000

6000

4000

2000

0
0 10 20 30 40 50
roe
  Analice el comportamiento del residuo
 Estadísticos principales Estadísticos principales, usando las observaciones 1 - 209
para la variable residuos (209 observaciones válidas)
 Gráfico Media Mediana Mínimo Máximo
-9,6824e-014-253,96 -1160,2 13500,
Residuos de la regresión (= salary observada - estimada) Desv. Típica. C.V. Asimetría Exc. de curtosis
14000
1363,3 1,4080e+016 6,9154 58,158
Porc. 5% Porc. 95% Rango IQ Observaciones ausentes
12000
-782,94 918,81 671,68 0
10000

8000
residuo

6000

4000

2000

-2000
0 50 100 150 200
 Ejercicio
 Utilizando la base de datos WAGE1
(información de 526 individuos en el año 1976)
 Analice las variables wage y educ.
 Tipo de variable y unidades: ambas continuas
 Tipo de datos:wage en dolares y educ en años
 Estadísticos principales:
Wage min: 0,53, max: 24.98, prom:5.896
Educ: min: 0,max: 18, prom:12.563
 Estime el modelo de regresión lineal donde se exprese el efecto de la
educación sobre el salario.
 Realice la gráfica de variable estimada vs observada.

wage observada y estimada

25
Observada
Estimada

20

15
wage

10

-5
0 100 200 300 400 500
  Analice el comportamiento del residuo
 Estadísticos principales
 Gráfico
Modelo 1: MCO, usando las observaciones 1-526
Variable dependiente: wage

Residuos de la regresión (= wage observada - estimada) Coeficiente Desv. Típica Estadístico tvalor p
20

const −0,904852 0,684968 −1,321 0,1871

15
educ 0,541359 0,0532480 10,17 <0,0001 ***

10
Media de la vble. dep. 5,896103 D.T. de la vble.
dep. 3,693086
Suma de cuad. residuos 5980,682 D.T. de la
5 regresión 3,378390
R-cuadrado 0,164758 R-cuadrado corregido
0,163164
0 F(1, 524) 103,3627 Valor p (de F) 2,78e-22

Log-verosimilitud −1385,712 Criterio de Akaike

-5
2775,423
Criterio de Schwarz 2783,954 Crit. de Hannan-
Quinn 2778,764
-10
 Bondad de ajuste

 La R-cuadrada de la regresión, también

llamada coeficiente de determinación, es el
cociente de la variación explicada entre la
variación total; por tanto, se interpreta como la
proporción de la variación muestral de y que es
explicada por x.
 El valor de R2 esta siempre entre cero y uno.
 Valores R2

Si R2 es bajo ¿se puede concluir que el

modelo es incorrecto?
 Efectos de los cambios de
unidades de medición
Interprete los coeficientes de la siguiente regresión.
1. Considere que Salary está expresado en miles y Roe
en porcentaje (%)

2. ¿Cuál sería el valor de los coeficientes estimados si

salary se expresa en unidades y Roe en decimales y
no se cuenta con los datos para realizar la regresión?
Salary*(unidades)
 Unidades de medición

Unidades originales Unidades reescaladas

  
Yi  1   2 X i  ui  

1. Determine los factores de escala w1 y w2

Y*=w1Y X*=w2X
2. Calcular los coeficientes reescalados:
 Ejemplo
En la siguiente regresión, Salary está expresado en miles
y Roe en porcentaje (%)

Exprese la regresión de Salary (unidades) y Roe (decimal)

 Utilizando las formulas reescaladas
Salario*(unidades)=w1 Salario (miles)
3000=1000*3
Roe*(decimal)=w2 Roe (%)
0,20 =(0.1)*20

Intercepto*=1000*963.19=963190
Pendiente*=(1000/0.1)*18,50=185000
 Transformando las variables de la base de
datos Ceosal 1 y realizando la regresión.
 Ejercicio
 Si X = gastos en publicidad (cientos de dólares),
Y= ingresos por ventas (miles de dólares) para
una tienda deportiva durante cinco meses, la
regresión resultó.
Ŷ=1.0 + 1.2X
 Exprese la regresión en unidades
 Forma Funcional
Incorporación de no linealidades en la regresión lineal.

 Salario por hora = 0,90+0,54 años de educación.

 Interprete el valor de la pendiente…parece razonable?
 Forma Funcional
Modelos de regresión en
Logaritmos
Los logaritmos convierten
las variaciones en cambios
porcentuales, con amplia
aplicación en el campo
económico.

27
Modelos de regresión en Logaritmos
Caso I Modelo Nivel-Log

 Una variación del 1 % en X está asociada con un

cambio en Y de 0,01*β.
Ejemplo.

28
 Modelos de regresión logaritmica
 Caso II: Modelo Log-Nivel (Y en logaritmos, X no)

 En el modelo log-lineal, un cambio unitario en X (ΔX=1)

está asociado con un cambio de (100*β1) %
Ejemplo.

29
 Modelos de regresión logarítmica
 Caso III: Modelo Log-Log.

 Una variación del 1 % en X está asociada con una

variación en Y de un β1 % .
Ejemplo:

30
¿Cuál de las regresiones tiene mejor ajuste?

31
 Significado de la regresión “lineal”

 Las variables dependiente e independiente pueden

estar expresadas en logaritmos (no lineales).
 Para desarrollar la estimación por MCO se debe
garantizar la linealidad de los coeficientes no
necesariamente de las variables.
 Por ejemplo Y=1/ (Bo+B1X) no seria un modelo de
regresión lineal porque los betas no son lineales.
 Propiedades de metodología
MCO

 El modelo Y=Bo+B1x+u presenta linealidad en

los parámetros.
 Se cuenta con una muestra aleatoria que sigue
el modelo poblacional de la ecuación.
 No todos los valores de Xi son iguales.
 Para todo valor de la variable explicativa, el
valor esperado de u es cer. E(u/x)=0
 Los estimadores de MCO son insesgados, es
decir:
 Propiedades de los estimadores
MCO

 Homocedasticidad: El error u tiene la misma

varianza para cualquier valor de la variable
explicativa. Var(u/x)=σ2
Varianza de los estimadores MCO


var( 1 ) 
X i
2

2

var(  2 ) 
2
n * SSx SSx
 Regresión a través del origen
 
Yi   2 X i  ui
 Existen ocasiones en que se impone una
restricción que cuando x=0, y=0.
 Se denomina regresión al origen porque la
recta pasa a través del punto x=0, y=0.
 Para obtener la estimación del parámetro se
emplea MCO.
 No suele usarse en la practica porque
elestimador de la pendiente es sesgado.
 Diferencias
Y=β 1 + β2 X
 Para estimar
parámetros se utilizan
sumas cuadráticas SSX,
SSy, SSXY.
 Grados de libertad=n-2.
 Σ ui=0
 r2 no negativo
Y=β2 X
 Para estimar
parámetros se utilizan
sumas de cuadrados
simples Σx2, Σy2 , Σxy.
 Grados de libertad=n-1
 No siempre Σ ui=0
 r2 puede resultar
negativo y por tanto
incorrecto.