Regresión Lineal Simple

Unidad 1. Regresión Lineal

(Clase Teórica 1)

Maritza Márquez
maritza.marquez@uv.cl

Universidad de Valparaı́so
Facultad de Ingenierı́a Civil Matemática
Valparaı́so, Chile

Agosto 2022
Motivación
 Motivación Motivación Regresión Lineal Simple Estimación

Motivación

Sistema
Es una fuente de datos que describe el comportamiento de al-
guna parte del mundo real. Formado por elementos que inter-
actúan para lograr un objetivo.

Modelo
Es una representación formal de un sistema real (representación
simplificada de la realidad) mediante ecuaciones, funciones,
sı́mbolos y relaciones lógico - matemáticas.

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 1/15

 Motivación Motivación Regresión Lineal Simple Estimación

Motivación
Vibración de una viga

∂4 y ∂2 y
EI + ρ A = f (x , t ) (1)
∂x 4 ∂t 2

modela la propagación de ondas elásticas que producen defor-

maciones en un medio continuo (viga).

Modelo Lineal

Y = β0 + β1 X1 + · · · + βn Xn (2)

modela la relación de dependencia entre la variable respuesta

Y , y las variables independientes Xi .
Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 2/15
 Motivación Motivación Regresión Lineal Simple Estimación

Motivación
Modelos Matemáticos

Figure 1: Implementación de modelos matemáticos. Tomado y modificado de Juan M. Gracia

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 3/15

 Motivación Motivación Regresión Lineal Simple Estimación

Motivación

Modelo Estadı́stico

Y = β0 + β1 X1 + · · · + βn Xn + ε (3)

modelo de regresión lineal.

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 4/15

Regresión Lineal Simple
Regresión Lineal Simple Motivación Regresión Lineal Simple Estimación

Regresión lineal simple

Análisis de regresión
Se utiliza para predicción o descripción. Su objetivo principal
consiste en desarrollar una ecuación matemática que se pueda
usar para predecir los valores de una variable dependiente a par-
tir de una o más variables independientes.

(1) ”Predecir las ventas de un nuevo producto a partir del precio.”

(2) ”Estudiar la relación entre el consumo y los niveles de ingreso.”

Regresión lineal simple

Y = β0 + β1 X1 + ε (4)

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 5/15

Regresión Lineal Simple Motivación Regresión Lineal Simple Estimación

Regresión lineal simple

Como se desea determinar el valor aproximado de Y dados los
valores de Xi para algún i, el interés es obtener,
Recta de regresión poblacional
µY |Xi = E (Y |Xi ) = β0 + β1 Xi (5)

β0 , β1 son llamados coeficientes de regresión.

q β0 : es la ordenada en el origen.
q β1 : es la pendiente de regresión lineal.

A menudo, se necesita obtener información particular de Y dado

un valor de X . Esto lo denotamos por Yi .

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 6/15

Regresión Lineal Simple Motivación Regresión Lineal Simple Estimación

Regresión lineal simple

La diferencia entre Yi y valor medio µY |Xi es lo que suele llamarse
error aleatorio (o perturbación aleatoria). Es decir:

εi = Yi − µY |Xi
(6)
εi = Yi − (β0 + β1 Xi )

Despejando Yi de la expresión (6) se obtine:

Modelo de regresión lineal simple (MRLS)

Yi = β0 + β1 Xi + εi , i = 1, . . . , n. (7)

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 7/15

Regresión Lineal Simple Motivación Regresión Lineal Simple Estimación

Modelo de regresión lineal simple (MRLS)

Figure 2: Representación gráfica de un MRLS.

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 8/15

Regresión Lineal Simple Motivación Regresión Lineal Simple Estimación

Modelo de regresión lineal simple (MRLS)

Observaciones
q La palabra “simple” indica que existe una variable predictora para la vari-
able respuesta.
q Lineal porque el modelo es lineal en β0 y β1 .
q El error aleatorio (εi ) se puede justificar de la siguiente manera:
Variable que incluye variables que por una razón u otra no se incluyeron en el
modelo.
Existen componentes aleatorias que tal vez no pueden ser explicadas con la in-
clusión de más variables predictoras (errores de observación, de medida, defectos
en los instrumentos de medición o por percepción del analista).

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 9/15

Regresión Lineal Simple Motivación Regresión Lineal Simple Estimación

Supuestos del modelo de regresión

Supuesto 1
E (εi ) = 0 ⇔ E (Yi ) = β0 + β1 Xi , ∀i = 1, . . . , n

Supuesto 2
Var (εi ) = σ2 ⇔ Var (Yi ) = σ2 , ∀i = 1, . . . , n

Supuesto 3
Cov (εi , εj ) = 0 ⇔ Cov (Yi , Yj ) = 0, ∀i , j

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 10/15

Estimación
 Estimación Motivación Regresión Lineal Simple Estimación

Estimación de parámetros
La recta de regresión muestral:

Ŷi = β̂0 + β̂1 Xi (8)

donde, β̂0 , β̂1 son los estimadores puntuales de β0 y β1 respec-

tivamente. Y la diferencia entre Yi y Ŷi representa el residuo,
denotado por ε̂i .

ε̂i = Yi − Ŷi , i = 1, . . . , n. (9)

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 11/15

 Estimación Motivación Regresión Lineal Simple Estimación

Estimación de parámetros
Estimación por el método de mı́nimos cuadrados (MMC)
El MMC consiste en obtener los valores β̂0 y β̂1 minimizando la
diferencia Yi − Ŷi en (9). Determinamos los parámetros que min-
imizan la suma de cuadrados de los residuos.

Figure 3: Representación gráfica de los valores estimados y los residuos en el MRL.

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 12/15
 Estimación Motivación Regresión Lineal Simple Estimación

Estimación de parámetros
Suma de los cuadrados de los residuos
n
X n 
X 2 X n  
ε̂ ε̂ =
0
ε̂i =
2
Yi − Ŷi = Yi − β̂0 − β̂1 Xi (10)
i =1 i =1 i =1

Para encontrar β̂0 y β̂1 minimizamos ε̂0 ε̂ en (10).

n 
∂ε̂0 ε̂ X 
= −2 Yi − β̂0 − β̂1 Xi = 0 (11)
∂β̂0 i =1

n 
∂ε̂0 ε̂ X 
= −2 Yi − β̂0 − β̂1 Xi Xi = 0 (12)
∂β̂1 i =1

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 13/15

 Estimación Motivación Regresión Lineal Simple Estimación

Estimación de parámetros

n 
X 
Yi − β̂0 − β̂1 Xi = 0 (13)
i =1

n 
X 
Yi Xi − β̂0 Xi − β̂1 Xi2 = 0 (14)
i =1

Estimador de β0
β̂0 = Ȳ − β̂1 X̄ (15)

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 14/15

 Estimación Motivación Regresión Lineal Simple Estimación

Estimación de parámetros

n
X n
X n
X n
X
β̂1 Xi2 − β̂1 X̄ Xi = Xi Yi − Ȳ Xi (16)
i =1 i =1 i =1 i =1

Pn Pn
i =1 Xi Yi − Ȳ i =1 Xi
β̂1 = Pn 2
P n
(17)
i =1 Xi − X̄ i =1 Xi

Estimador de β1

Pn   
Pn
Xi Yi − nȲ X̄ i =1 Xi − X̄ Yi − Ȳ
β̂1 = Pi =n1 2 2
ó β̂1 = 2 (18)
i =1 Xi − n X̄
Pn 
i =1 Xi − X̄

Prof. Maritza Márquez Métodos Estadı́sticos I UV - ICM 15/15