REGRESIÓN LINEAL SIMPLE (RLS)

Introducción
En el presente capitulo veremos la RLS, y lo veremos en dos momentos. En un primer
momento veremos la regresión lineal como una función:
Y f ( X ) ,

𝒀 = 𝒂 + 𝒃𝑿

y en un segundo momento como un modelo, el cual incluye el análisis de varianza del modelo,

Yi 1  2 X i ….. + ϵi

La regresión lineal se define como la relación de dependencia entre X y Y, donde X es la variable

independiente y Y la variable independiente o variable respuesta.
La expresión Yi  1  2 X i +ϵ i refleja una relación lineal, y en ella sólo figura una única
variable explicativa X, recibiendo el nombre de relación lineal simple. El calificativo de simple se
debe a que solamente hay una variable independiente o explicativa.

Relación de “dependiente” entre 1 o más variables

Yi = f(X)

Y variable dependiente X variable Independiente

Pendiente positiva Pendiente Negativa

Como podemos graficar?

a) Graficas de dispersión
b) Análisis de regresión
Consideremos lo siguiente:

Un investigar desea conocer cuál es la “respuesta esperada” al adicionar cantidades crecientes de

fertilizantes a parcelas experimentales sembradas con una variedad de trigo. El ensayo puede
constar de tres dosisi o niveles de fosforos ( P2 O5) a razón de X1, X2, X3 Kg /Ha agregados a quince
parcelas , de tal forma que cada una de ellas recibiran la misma dosis al terminar el ciclo vegetativo
se procede a cosechar y a pesar cada parcela , tabulandose los resultados

Cantidades de Fertilizante Respuesta esperada

La representación gráfica de los valores observados pueden resultar de bastante ayuda en la

interpretación del fenomeno en estudio.

Como es la tendencia??:
Es evidente que “la tendencia” de la representación (Kg/ha) es creciente; a medida que el factor
fertilizante crece en la cantidad adicionada al menos dentro del marco del ensayo en estudio.

Frente a este hecho cabria la formulación de las siguientes preguntas

- ¿Cuál es la función matemática que representa el rendimiento en función del fertilizante?

- ¿Conocida la forma funcional, supongamos y= f(x), ¿será posible estimarla utilizando la
información del ensayo?
- ¿Se podrá predecir el rendimiento para una dosis dada de fertilizante, acompañada está
(la predicción) con alguna medida del error probable que se pueda cometer ?

El análisis de regresión, como parte de la teoría general de hipótesis lineales, permite responder
estas preguntas a través del manejo estadístico de los datos provenientes de ensayos previamente
diseñados para tal fin.

La Regresión lineal de Y con respecto a X

En la regresión lineal, los valores de Y se obtienen de varias poblaciones, cada una diferenciada
por un valor correspondiente de X. Para que la teoría probabilística sea aplicable, en esencial que
“Y” sea aleatoria. Así mismo, se supone que las poblaciones Y son normales y tienen una varianza
común.

La variable “Y” se llama variable dependiente, pues todo valor de “Y” depende de la población
muestreada. La variable “X” se llama variable independiente o argumento.

Peso 𝑥̅ de 50 gallinas

Peso del cuerpo ____

𝑥 𝑥𝑖 − 𝑥̅ 𝑦 𝑦𝑖 − 𝑦̅ 𝑥𝑖 𝑦𝑖 ∑(𝑥𝑖 − ̅̅̅
𝑥) (𝑦𝑖 − ̅̅̅
𝑦) 𝑥̅ : 0.98
0.6 -0.38 7.1 -6.46 4.26 2.455
1.1 0.12 13.1 -0.46 14.41 -0.055 𝑦̅: 13.56

Σ(𝑥 − ̅̅̅
𝑥)2 = 1.536

Σ(𝑦 − ̅̅̅
𝑦)2 = 135.60
 0.8 -0.18 9.8 -3.76 7.84 0.079
0.4 -0.58 11.4 -2.16 4.56 1.253
1.9 0.92 19.5 5.94 37.05 5.465
0.7 -0.28 12.1 -1.46 8.47 0.408
1.1 0.12 15.5 1.94 17.05 0.233
1.2 0.22 19.3 5.74 23.16 1.263
0.9 0.08 13.4 -0.16 12.06 0.013
1.1 0.12 14.4 0.84 15.84 0.101
9.8 135.6 144.70 11.812

La ecuación de una recta puede escribirse

𝑌 = 𝑎 + 𝑏𝑋

Todo punto (𝑥, 𝑦) de esta recta tiene una coordenada 𝑋 o abscisa y una coordenada 𝑌 u ordenada,
cuyos valores satisfacen a la ecuación. Cuando 𝑿 = 𝒐, 𝒀 = 𝒂, así que "𝑎" es el punto donde la recta
corta el eje de los "𝑌", esto es 𝑎 en el intercepto de 𝑌. Cuando 𝒂 es 0, la recta pasa por el origen.

Una unidad de variación de X produce una variación de ”b” unidades en Y, así que “b” es una medida
de la pendiente de la recta. Cuando b es positivo, ambas variables aumentan o disminuyen juntas;
si b es negativo una variable aumenta cuando la otra disminuye. Cuando se va ajustar una recta, se
elige la recta que mejor se ajuste a los datos, esto es, aquella que corresponda al mejor promedio
móvil. El método de los MINIMOS CUADRADOS, es una buena alternativa para dicho ajuste, en el
cual exige que la suma de los cuadrados de las dos variaciones de los puntos observados (x, y) con
respecto al promedio móvil de la línea recta para un mismo valor “X” sea minima. En tal recta
ajustada, b se llama coeficiente de regresión, la recta se llama recta de regresión y su ecuación se
denomina Ecuación de Represión.

𝛴(𝑥 − 𝑥̅ )(𝑦 − 𝑦̅)

𝑏=
𝛴 (𝑥 − 𝑥̅ ) 2
 PC = 𝛴(𝑥𝑖 − 𝑥̅ )(𝑦𝑖 − 𝑦̅) (Definición)
𝛴 𝑥𝑖 𝛴𝑌𝑖
= 𝛴 Xi Yi - (Para Calculos)
𝜂

Para el ejemplo
(9.8)(135.6)
𝑃𝐶 = 144.70 - = 11.812
10

Otra forma
̅̅̅(𝑦𝑖 − 𝑦)
∑(𝑥𝑖 − 𝑥) ̅̅̅ = ∑ 𝑥𝑖 (𝑦𝑖 − 𝑦)
̅̅̅ = ∑(𝑥𝑖 − 𝑥)
̅̅̅𝑦𝑖
̅̅̅(𝑦−𝑦)
∑(𝑥 −𝑥) ̅̅̅
𝑏= ∑(𝑥−𝑥)̅̅̅ 2

11.812
= 1.536 = 7.69 libras de alimento por libra de gallina

𝑦̂ = 𝑦̅ + 𝑏 (𝑥 − 𝑥̅ ) 𝑜𝑡𝑟𝑎 𝑓𝑜𝑟𝑚𝑎 = 𝑦̂ − 𝑦 = 𝑏 (𝑥 − 𝑥̅ )
El intercepto de 𝑌, 𝒂, es igual a:
𝑎 = 𝑦̅ − 𝑏 𝑥̅ = 13.56 − 7.6 (0.98)
𝑎 = 6.11
Nota: El coeficiente de regresión lineal de 𝒀 en 𝑿, (𝜷𝟏) es una medida del cambio que
sufre la variable dependiente por un cambio unitario en la variable independiente.
 MODELO DE REGRESIÓN LINEAL SIMPLE

Yi = βo + βi Xi + ϵi
Rpta Y independiente Error
βo y βi = PARAMETROS DEL MODELO
ϵi = ERROR ALEATORIO
Y = f (x) + ϵ
Se asume que ϵi es una variable aleatoria con µ = O minimiza O2
De la ecuación 1 -)
-
ϵi = Yi – βo – β1 Xi (elevado al cuadrado)
-
ϵi2 = (Yi – βo – β1 Xi) 2
- ∑𝑛𝑡:1 𝜖𝑖2 = ∑𝑛𝑡:1 𝜖𝑖 (Yi – βo – β1 Xi) 2
Estimación de β
i) Mínimos cuadrados: Estimación de βo y β1 de tal forma que minimice Q
ii) Para minimizar derivando Q con respecto de βo
𝜕Q
= -2 ∑𝑛𝑖:1( Yi – βo – β1 Xi)
𝜕𝛽𝑂

𝜂
𝜕𝑄
= −2 ∑ 𝑥𝑖 (𝑦𝑖 − 𝛽𝑜 − 𝛽1 𝑥𝑖)
𝜕𝛽1
𝑡=1

iii) supongamos a= 0 para encontrar los estimadores

𝜂
̂ − 𝛽𝑖
−2 ∑(𝑦𝑖 − 𝛽𝑜 ̂ 𝑥𝑖) = 0
𝑖=1
𝜂
̂ − 𝛽𝑖
−2 ∑ 𝑥𝑖 (𝑦𝑖 − 𝛽𝑜 ̂ 𝑥𝑖) = 0
𝑖=1

iv) Elimina los -2 ya que igualamos las 2 ecuaciones a 0

𝜼 ̂ ∑𝜂 𝑥𝑖 = 0
̂ − 𝛽1
1) ∑𝒊=𝟏 𝒚𝒊 − 𝜂𝛽𝑜 𝑡=1

2) ∑𝜂𝑖=1 𝑥𝑖 𝑦𝑖 − 𝛽𝑜
̂ ∑𝜂 𝑥𝑖 − 𝛽1
𝑡=1
̂ ∑𝜂 𝑥𝑖2 = 0
𝑡=1

Pasando los (-) al otro lado de la ecuación

 𝜂 ̂ + 𝛽1 ∑𝜂 𝑥𝑖
1) ∑𝑖=1 𝑦𝑖 = 𝜂 𝛽𝑜 𝑡=1

Ecuaciones normales
𝜂 ̂ ∑𝜂 𝑥𝑖 + 𝛽1 ∑𝜂 𝑥𝑖 2
2) ∑𝑖=1 𝑥𝑖 𝑦𝑖 = 𝛽𝑜 𝑡=1 𝑡=1

̂ 𝑦 𝛽1
Despejando 𝛽𝑜 ̂

De 1) despejamos 𝛽𝑜 y reemplazamos en 2)
𝜂
∑𝑖=1 𝑦𝑖 ∑𝜂
𝑡=1 𝑥𝑖
̂ =
𝛽𝑜 -𝛽1 ̂ = 𝒚
𝜷𝒐 ̂𝒙
̅ − 𝜷𝟏 ̅
𝜂 𝜂

Reemplazando en 2)

∑𝜂𝑖=1 𝑥𝑖 𝑦𝑖 = (𝑦̅ − 𝛽1
̂ 𝑥̅ ) ∑𝜂 𝑥𝑖 + 𝛽1
𝑖=1
̂ ∑𝜂 𝑥𝑖 2
𝑖=1 Ordenado

∑𝜂𝑖=1 𝑥𝑖 𝑦𝑖 = 𝑦̅ ∑𝜂𝑖=1 𝑥𝑖 − 𝛽1
̂ 𝑥̅ ∑𝜂 𝑥𝑖 + 𝛽1
𝑖=1
̂ ∑𝜂 𝑥𝑖
𝑖=1 ̅
2
Factorizando
̂ [∑𝑛𝑟=1 𝑥𝑖 2 − 𝑥̅ ∑𝑛𝑟=1 𝑥𝑖 ]
∑𝑛𝑟=1 𝑥𝑖 𝑦𝑖 = 𝑌̅ ∑𝑛𝑟=1 𝑥𝑖 + 𝛽1

∑𝑛𝑡=1 𝑥𝑖 𝑦𝑖 − 𝑦̅ ∑ 𝑥𝑖
̂
𝛽1
∑𝑛𝑟=1 𝑥𝑖 2 − 𝑥̅ ∑𝑛𝑟=1 𝑥𝑖
𝑥𝑖
𝑆𝑖 𝑛. 𝑥̅ = ∑
𝑛

∑ 𝑥𝑖 𝑦𝑖− 𝑥̅ 𝑦̅
= ∑ 𝑥𝑖 2 − 𝑛𝑥̅ 2

∑(𝒙𝒊 − 𝒙
̅)(𝒚𝒊 − 𝒚
̅)
̂
𝜷𝟏
̅)𝟐
∑(𝒙𝒊 − 𝒙