REGRESIÓN LINEAL

MÚLTIPLE
Arístides Choquehuanca Tintaya
 REGRESIÓN
REGRESIÓN LINEAL:

Regresión lineal simple

Regresión lineal múltiple

REGRESIÓN NO LINEAL

Regresión polinómica
Regresión potencial
Regresión no lineal propiamente dicha
USOS DE REGRESIÓN LINEAL SIMPLE

Relación

USOS

Forma de Predicción
relación
LAS VARIABLES EN REGRESIÓN

VARIABLES X: Predicción

Y: Respuesta
MODELO DE REGRESIÓN LINEAL SIMPLE

y
* *
*
*
* *
*
*
*
0 X
MODELO DE REGRESIÓN LINEAL SIMPLE
𝑌 = 𝛽0 + 𝛽1 𝑋

Donde: 𝛽𝑜 = valor de y cuando X toma el valor cero

𝛽1 = es la pendiente de la recta

0 X
 MODELO DE REGRESIÓN LINEAL SIMPLE
𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝜀𝑖
Donde:
Y
𝛽0 =representa el intercepto * * 𝑌𝑖 = 𝜇𝑌/𝑋 + 𝜀𝑖
𝛽1 =es el coeficiente de regresión ** *
*
𝑋𝑖 =valor de la variable de predicción * *
*
*
𝜀𝑖 =es el error aleatorio no observable *
𝑌𝑖 =es la i-ésima observación de la
variable respuesta 0 X
 REGRESIÓN LINEAL MÚLTIPLE
La regresión lineal múltiple es una extensión de la regresión
lineal simple.

Pueden emplearse para:

Predecir el valor de la variable dependiente

Evaluar la influencia que tienen los predictores sobre la

variable dependiente.
 REGRESIÓN LINEAL MÚLTIPLE
Sea 𝑋1 , 𝑋2 , … , 𝑋𝑘 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒𝑠 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒𝑠 𝑜 𝑟𝑒𝑔𝑟𝑒𝑠𝑜𝑟𝑎𝑠,
Sea 𝑌 𝑢𝑛𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑑𝑒 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎.

Entonces,
𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖1 + 𝛽2 𝑋𝑖2 + … + 𝛽𝑘 𝑋𝑖𝑘 + 𝜀𝑖
Donde:
𝛽0 : 𝑙𝑎 𝑜𝑟𝑑𝑒𝑛𝑎𝑑𝑎 𝑎𝑙 𝑜𝑟𝑖𝑔𝑒𝑛
𝛽𝑗 : 𝑒𝑓𝑒𝑐𝑡𝑜 𝑝𝑟𝑜𝑚𝑒𝑑𝑖𝑜 𝑑𝑒𝑙 𝑖𝑛𝑐𝑟𝑒𝑚𝑒𝑛𝑡𝑜 𝑒𝑛 𝑢𝑛𝑎 𝑢𝑛𝑖𝑑𝑎𝑑 𝑑𝑒 𝑙𝑎
𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑜𝑟𝑎 𝑋𝑗 𝑠𝑜𝑏𝑟𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑑𝑒𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒 𝑌.
𝜀𝑖 : 𝑑𝑖𝑓𝑒𝑟𝑒𝑛𝑐𝑖𝑎 𝑒𝑛𝑡𝑟𝑒 𝑒𝑙 𝑣𝑎𝑙𝑜𝑟 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑑𝑜 𝑦 𝑒𝑙 𝑒𝑠𝑡𝑖𝑚𝑎𝑑𝑜 𝑝𝑜𝑟
𝑒𝑙 𝑚𝑜𝑑𝑒𝑙𝑜.
 DESCRIPCIÓN DE DATOS Y EL MODELO
Sea n observaciones de la variable Y y K variables independientes
𝑿𝟏 , 𝑿𝟐 , … , 𝑿𝒌
Las observaciones son presentadas de la siguiente manera:
𝑦1 , 𝑦2 , … , 𝑦𝑛 ; en los puntos de observación
𝑥11 , 𝑥21 , … , 𝑥𝑛1 , 𝑥12 , 𝑥22 , … , 𝑥𝑛2 , … , 𝑥1𝑘 , 𝑥2𝑘 , … , 𝑥𝑛𝑘
En base al modelo lineal se tiene las siguientes ecuaciones:
𝑦1 = 𝛽0 + 𝛽1 𝑥11 + 𝛽2 𝑥12 + … + 𝛽𝑘 𝑥1𝑘 + 𝜀1
𝑦2 = 𝛽0 + 𝛽1 𝑥21 + 𝛽2 𝑥22 + … + 𝛽𝑘 𝑥2𝑘 + 𝜀2
𝑦3 = 𝛽0 + 𝛽1 𝑥31 + 𝛽2 𝑥32 + … + 𝛽𝑘 𝑥3𝑘 + 𝜀3
⋮ ⋮ ⋮
𝑦𝑛 = 𝛽0 + 𝛽1 𝑥𝑛1 + 𝛽2 𝑥𝑛2 + … + 𝛽𝑘 𝑥𝑛𝑘 + 𝜀𝑛
DESCRIPCIÓN DE DATOS Y EL MODELO
Considerando los datos, el modelo de regresión lineal múltiple
𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + … + 𝛽𝑘 𝑥𝑖𝑘 + 𝜀𝑖

𝑦𝑖 = 𝛽0 + σ𝑘𝑗=1 𝛽𝑗 𝑥𝑖𝑗 + 𝜀𝑖 ; 𝑖 = 1, 2, … , 𝑛
Donde:
𝛽0 = 𝑖𝑛𝑡𝑒𝑟𝑐𝑒𝑝𝑡𝑜
𝛽𝑗 = 𝛽1 𝑎 𝛽𝑘 = 𝑐𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒𝑠 𝑝𝑒𝑛𝑑𝑖𝑒𝑛𝑡𝑒𝑠 𝑝𝑎𝑟𝑐𝑖𝑎𝑙𝑒𝑠
𝜀𝑖 = 𝑝𝑒𝑟𝑡𝑢𝑟𝑏𝑎𝑐𝑖ó𝑛 𝑒𝑠𝑡𝑜𝑐𝑎𝑠𝑡𝑖𝑐𝑎
𝑖 = 1, 2, … , 𝑛; 𝑗 = 1, 2, … , 𝑘
 DESCRIPCIÓN DE DATOS Y EL MODELO
Consideremos las n ecuaciones simultaneas:
𝑦1 = 𝛽0 + 𝛽1 𝑥11 + 𝛽2 𝑥12 + … + 𝛽𝑘 𝑥1𝑘 + 𝜀1
𝑦2 = 𝛽0 + 𝛽1 𝑥21 + 𝛽2 𝑥22 + … + 𝛽𝑘 𝑥2𝑘 + 𝜀2
𝑦3 = 𝛽0 + 𝛽1 𝑥31 + 𝛽2 𝑥32 + … + 𝛽𝑘 𝑥3𝑘 + 𝜀3
⋮ ⋮ ⋮
𝑦𝑛 = 𝛽0 + 𝛽1 𝑥𝑛1 + 𝛽2 𝑥𝑛2 + … + 𝛽𝑘 𝑥𝑛𝑘 + 𝜀𝑛

La forma alterna del sistema de ecuaciones es:

𝑦1 1 𝑥11 𝑥12 ⋯ 𝑥1𝑘 𝛽0 𝜀1
𝑦2 1 𝑥21 𝑥22 ⋯ 𝑥2𝑘 𝛽1 𝜀2
= +
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮
𝑦𝑛 1 𝑥𝑛1 𝑥𝑛2 ⋯ 𝑥𝑛𝑘 𝛽𝑘 𝜀𝑛
 DESCRIPCIÓN DE DATOS Y EL MODELO
El sistema de ecuaciones:

𝑦1 1 𝑥11 𝑥12 ⋯ 𝑥1𝑘 𝛽0 𝜀1

𝑦2 1 𝑥21 𝑥22 ⋯ 𝑥2𝑘 𝛽1 𝜀2
= +
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮
𝑦𝑛 1 𝑥𝑛1 𝑥𝑛2 ⋯ 𝑥𝑛𝑘 𝛽𝑘 𝜀𝑛

𝑌 = 𝑋 𝛽 + 𝜀
nx1 nxk kx1 nx1

donde: Y = vector columna n x 1 de observaciones de la variable dependiente Y

X = matriz n x k que da las n observaciones de las k variables independientes
β = vector columna k x 1 de los parámetros desconocidos 𝛽0 , 𝛽1 , … , 𝛽𝑘
ℇ = vector columna n x 1 de las n perturbaciones 𝜀𝑖
DESCRIPCIÓN DE DATOS Y EL MODELO
El sistema se conoce como la representación matricial del MODELO DE
REGRESIÓN LINEAL GENERAL de k variables. Se puede escribir como:

𝑌 =𝑋 β + 𝜀
Entonces 𝜀 es un vector de variables aleatorias normales tal que:

𝐸 𝜀 =0
𝑉𝑎𝑟 𝜀 = 𝜎 2 𝐼
donde: 𝜎 2 𝑒𝑠 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑛𝑧𝑎 𝑑𝑒𝑙 𝑒𝑟𝑟𝑜𝑟, 𝑐𝑜𝑚ú𝑛 𝑎 𝑡𝑜𝑑𝑜𝑠 𝑒𝑙𝑙𝑜𝑠

𝐼 𝑒𝑠 𝑙𝑎 𝑚𝑎𝑡𝑟𝑖𝑧 𝑑𝑒 𝑖𝑑𝑒𝑛𝑡𝑖𝑑𝑎𝑑 𝑐𝑜𝑟𝑟𝑒𝑠𝑝𝑜𝑛𝑑𝑖𝑒𝑛𝑡𝑒

ESTIMACIÓN DE PARÁMETROS DE REGRESIÓN
Para hallar el estimador de β escribimos la regresión muestral:
𝑦𝑖 = 𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + … + 𝛽መ𝑘 𝑥𝑖𝑘 + 𝑒𝑖
En notación matricial como:
෡ +𝒆
𝒀 = 𝑿𝜷
En forma de matrices como:
𝑦1 1 𝑥11 𝑥12 ⋯ 𝑥1𝑘 𝛽መ0 𝑒1
𝑦2
= 1
𝑥21 𝑥22 ⋯ 𝑥2𝑘 𝛽መ1 + 𝑒2
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮
𝑦𝑛 1 𝑥𝑛1 𝑥𝑛2 ⋯ 𝑥𝑛𝑘 𝑒𝑛
𝛽መ𝑘
donde: 𝛽መ 𝑣𝑒𝑐𝑡𝑜𝑟 𝑐𝑜𝑙𝑢𝑚𝑛𝑎 𝑑𝑒 𝑘 𝑒𝑙𝑒𝑚𝑒𝑛𝑡𝑜𝑠; 𝑒𝑠𝑡𝑖𝑚𝑎𝑑𝑜𝑟𝑒𝑠 𝑑𝑒 𝑙𝑜𝑠 𝛽𝑗
𝑒 𝑣𝑒𝑐𝑡𝑜𝑟 𝑐𝑜𝑙𝑢𝑚𝑛𝑎 𝑑𝑒 𝑙𝑜𝑠 𝑒𝑟𝑟𝑜𝑟𝑒𝑠 𝑜 𝑟𝑒𝑠𝑖𝑑𝑢𝑜𝑠
 ESTIMACIÓN DE PARÁMETROS DE
REGRESIÓN
Los estimadores, mínimo cuadrados ordinarios, se obtienen minimizando:
𝑦𝑖 = 𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + … + 𝛽መ𝑘 𝑥𝑖𝑘 + 𝑒𝑖
𝑒𝑖 = 𝑦𝑖 − (𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + … + 𝛽መ𝑘 𝑥𝑖𝑘 )
ahora: Σ𝑒𝑖 2 = Σ(𝑦𝑖 −𝛽መ0 − 𝛽መ1 𝑥𝑖1 − 𝛽መ2 𝑥𝑖2 − … − 𝛽መ𝑘 𝑥𝑖𝑘 ) 2

Entonces: Σ𝑒𝑖2 es la suma de cuadrados residual

En notación matricial, equivale a minimizar 𝑒 ′ 𝑒 dado que:
𝑒1
𝑒2 ⋯ 𝑒2
𝑒 ′ 𝑒 = 𝑒1 𝑒𝑛 = 𝑒12 + 𝑒22 + … + 𝑒𝑛2 = Σ𝑒𝑖2
⋮
𝑒𝑛
 ESTIMACIÓN DE PARÁMETROS DE
REGRESIÓN
Sí 𝑌 = 𝑋 𝛽መ + 𝑒
Entonces: 𝑒 = 𝑌 − 𝑋 𝛽መ
′
Luego: 𝑒′𝑒 = 𝑌 − 𝑋𝛽መ 𝑌 − 𝑋𝛽መ
𝑒 ′ 𝑒 = 𝑌 ′ 𝑌 − 𝛽መ ′ 𝑋 ′ 𝑌 − 𝑌 ′ 𝑋𝛽መ + 𝛽መ ′ 𝑋 ′ 𝑋𝛽መ
𝑒 ′ 𝑒 = 𝑌 ′ 𝑌 − 2𝛽መ ′ 𝑋 ′ 𝑌 + 𝛽መ ′ 𝑋 ′ 𝑋𝛽መ
Usando las reglas de derivación matricial

𝜕 𝑒′𝑒
= − 2𝑋 ′ 𝑌 + 2 𝑋 ′ 𝑋 𝛽መ
𝜕𝛽መ
 ESTIMACIÓN DE PARÁMETROS DE
REGRESIÓN
Igualando la ecuación anterior a cero, entonces:
𝑋 ′ 𝑋 𝛽መ = 𝑋 ′ 𝑌
Usando algebra matricial , y, si la inversa de 𝑋 ′ 𝑋 existe; tenemos:

𝑋 ′ 𝑋 −1 𝑋 ′ 𝑋 𝛽መ = 𝑋 ′ 𝑋 −1 𝑋 ′ 𝑌

dado que: 𝑋 ′ 𝑋 −1 𝑋 ′ 𝑋 = 𝐼
entonces: 𝐼 𝛽መ = 𝑋 ′ 𝑋 −1 ′
𝑋𝑌
Por tanto: ෡ = 𝑿′ 𝑿
𝜷 −𝟏 𝑿′ 𝒀

kx1 kxk kxn nx1

El modelo ajustado es: 𝑌෠ = 𝑋 𝛽መ

 PRUEBAS DE HIPÓTESIS EN REGRESIÓN
LINEAL MÚLTIPLE
Las hipótesis sobre los parámetros del modelo son equivalentes a las
realizadas en regresión lineal simple.
Las pruebas de hipótesis son más necesarias en regresión múltiple por
que tiene más parámetros en el modelo.
Por tanto: es necesario evaluar su verdadera contribución a la
explicación de la respuesta.
Es necesario recordar que los errores se distribuyen en forma normal,
independientes, con media cero y varianza σ2 .
Como consecuencia de esta suposición, las observaciones yi son
NID β0 + Σβj xij , σ2 .
 ANÁLISIS DE VARIANZA
La hipótesis más importante en un modelo de regresión múltiple es, si la regresión es
significativa.
𝐻𝑜: 𝛽1 = 𝛽2 = ⋯ = 𝛽𝑘 = 0
𝐻𝑎: 𝛽𝑗 ≠ 0 𝑝𝑎𝑟𝑎 𝑎𝑙 𝑚𝑒𝑛𝑜𝑠 𝑢𝑛 𝑗 = 1, 2, … , 𝑘
Aceptar 𝐻𝑜 significa que ninguna variable en el modelo tiene una
contribución significativa a la variable respuesta Y.
Rechazar la 𝐻𝑜 implica que por lo menos un término en el modelo
contribuye significativamente al ajuste.

El procedimiento para probar esta hipótesis: se descompone la suma de cuadrados total

en suma de cuadrados de regresión y en la suma de cuadrados del error.
𝑺𝑪 𝑻𝑶𝑻𝑨𝑳 = 𝑺𝑪 𝑹𝑬𝑮𝑹𝑬𝑺𝑰Ó𝑵 + 𝑺𝑪 𝑬𝑹𝑹𝑶𝑹
 ANÁLISIS DE VARIANZA EN REGRESIÓN
𝑆𝐶 𝐸𝑟𝑟𝑜𝑟 = Σ 𝑦𝑖 − 𝑦ො𝑖 2
Consideremos:
= Σ𝑒𝑖2
= 𝑒 ′𝑒
𝑆í 𝑌 = 𝑋𝛽መ + 𝑒 entonces: 𝑒 = 𝑌 − 𝑋 𝛽መ
′
Por tanto: 𝑆𝐶 𝐸 = 𝑒 ′ 𝑒 = 𝑌 − 𝑋𝛽መ 𝑌 − 𝑋𝛽መ = 𝑌 ′ − 𝑋 ′ 𝛽መ ′ 𝑌 − 𝑋𝛽መ
= 𝑌 ′ 𝑌 − 𝛽መ ′ 𝑋 ′ 𝑌 − 𝑌 ′ 𝑋𝛽መ + 𝛽መ ′ 𝑋 ′ 𝑋𝛽መ
= 𝑌 ′ 𝑌 − 2𝛽መ ′ 𝑋 ′ 𝑌 + 𝛽መ ′ 𝑋 ′ 𝑋 𝛽መ
si 𝑋 ′ 𝑋𝛽መ = 𝑋 ′ 𝑌
= 𝑌 ′ 𝑌 − 2𝛽መ ′ 𝑋 ′ 𝑌 + 𝛽መ ′ 𝑋 ′ 𝑌

෡ ′ 𝑿′ 𝒀
𝑺𝑪 𝑬 = 𝒆′ 𝒆 = 𝒀′ 𝒀 − 𝜷
 ANÁLISIS DE VARIANZA EN REGRESIÓN
Σ𝑦𝑖 2
A la 𝑆𝐶 𝐸 sumamos y restamos , entonces se tiene:
𝑛

2 Σ𝑦𝑖 2
Σ𝑦𝑖 መ ′ ′
𝑒 ′𝑒 = 𝑌′𝑌 − − 𝛽 𝑋 𝑌− 𝑛
𝑛
𝑆𝐶 𝐸 = 𝑆𝐶 𝑌 − 𝑆𝐶 𝑅𝑒𝑔
2 2
Σ𝑦𝑖 Σ𝑦𝑖
′
𝑌 𝑌− = መ ′ ′
𝛽 𝑋 𝑌− + 𝑒′𝑒
𝑛 𝑛
𝟐
′
𝜮𝒚𝒊
𝑺𝑪 𝑻𝑶𝑻𝑨𝑳 = 𝒀 𝒀 −
𝒏
𝜮𝒚𝒊 𝟐
෡ 𝑿 𝒀−
𝑺𝑪 𝑹𝒆𝒈𝒓𝒆𝒔𝒊ó𝒏 = 𝜷′ ′ ෡ ′ 𝑿′ 𝒀
𝑺𝑪 𝑬𝒓𝒓𝒐𝒓 = 𝒀′ 𝒀 − 𝜷
𝒏
 ANÁLISIS DE VARIANZA EN REGRESIÓN
ANÁLISIS DE VARIANZA
F de V GL SC CM Fc
Regresión k SC Regresión CM Regresión
Error n-k-1 SC Error CM Error
TOTAL n-1 SC TOTAL
 VARIANZA DE LOS ESTIMADORES
VARIANZA DE 𝒃𝟏
(x,y) 𝑏1

(X,Y) (x,y)
𝑏2

(x,y) 𝑏𝑘
2
2 𝑆𝑦/𝑥
𝑆𝑏1 =
Σ 𝑥𝑖 −𝑥ҧ 2
 𝟐
ESTIMACIÓN DE 𝝈
Las varianzas de los 𝛽መ se expresan en términos de los elementos de la
inversa de la matriz 𝑋 ′ 𝑋.
Los elementos de la diagonal de 𝑋 ′ 𝑋 −1 multiplicado por la
constante 𝜎 2 son las varianzas de 𝛽መ0 , 𝛽መ1 , … , 𝛽መ𝑘
Si se tiene k=2 regresores, entonces :
𝑐00 𝑐01 𝑐02
𝐶 = 𝑋′𝑋 −1
= 𝑐10 𝑐11 𝑐12
𝑐20 𝑐21 𝑐22

Por lo que: 𝑉 𝛽መ𝑗 = 𝜎 2 𝑐𝑗𝑗 , 𝑗 = 0, 1, 2 𝜎𝛽෡𝑗 𝑜 𝑆𝛽෡𝑗 = 𝜎ො 2 𝑐𝑗𝑗

PRUEBAS DE HIPÓTESIS DE LOS COEFICIENTES
DE REGRESIÓN
las hipótesis para la prueba de significación de cualquier coeficiente de regresión
individual es:
𝑯𝒐 ∶ 𝜷𝒋 = 𝟎
𝑯𝒂 ∶ 𝜷𝒋 ≠ 𝟎
𝑆𝑖 𝑛𝑜 𝑠𝑒 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝑙𝑎 𝐻𝑜, 𝑖𝑛𝑑𝑖𝑐𝑎 𝑞𝑢𝑒 𝑒𝑙 𝑟𝑒𝑔𝑟𝑒𝑠𝑜𝑟 𝑋𝑗 𝑝𝑢𝑒𝑑𝑒 𝑒𝑙𝑒𝑚𝑖𝑛𝑎𝑟𝑠𝑒 𝑑𝑒𝑙 𝑚𝑜𝑑𝑒𝑙𝑜.
El estadístico de prueba es: ෡𝒋
𝜷
𝒕𝒄 =
ෝ 𝟐 𝒄𝒋𝒋
𝝈

𝑆𝑖 𝑠𝑒 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝑙𝑎 𝐻0 , 𝑠𝑒 𝑐𝑜𝑛𝑐𝑙𝑢𝑦𝑒 𝑞𝑢𝑒 𝑙𝑎 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑋𝑗 𝑡𝑖𝑒𝑛𝑒 𝑢𝑛𝑎 𝑐𝑜𝑛𝑡𝑟𝑖𝑏𝑢𝑐𝑖ó𝑛

𝑖𝑚𝑝𝑜𝑟𝑡𝑎𝑛𝑡𝑒 𝑒𝑛 𝑒𝑙 𝑚𝑜𝑑𝑒𝑙𝑜.
 APLICACIÓN DE REGRESIÓN MÚLTIPLE
X1: temperatura en oC X2: tiempo en minutos Y: contenido de vitamina C

X1 X2 Y 80

70 27 56 70

Contenido de vitamina C
90 33 67 60

77 20 57 50

84 40 65 40

93 44 70 30
68 18 53 20
65 25 54 10
88 22 62 0
81 29 60 0 10 20 30 40 50 60 70 80 90 100

72 38 58 X1 X2

𝑦𝑖 = 𝑏0 + 𝑏1 𝑥𝑖1 + 𝑏2 𝑥𝑖2 + 𝑒𝑖 𝑌 = 𝑋𝑏 + 𝑒
 CÁLCULO DE LOS ESTIMADORES DE PARÁMETROS
𝑏 = 𝑋′𝑋 −1 𝑋 ′ 𝑌

1 70 27
1 90 33 1 1 1 ⋯ 1
𝑋= 1 77 20 𝑋 ′ = 70 90 77 ⋯ 72
⋮ ⋮ ⋮ 27 33 20 ⋯ 38
1 72 38 3 x 10
10 x 3
1 70 27
1 1 1 ⋯ 1 1 90 33 10 788 296
𝑋′𝑋 = 70 90 77 ⋯ 72 1 77 20 𝑋 ′ 𝑋 = 788 62972 23722
27 33 20 ⋯ 38 ⋮ ⋮ ⋮ 296 23722 9472
1 72 38
3x3
3 x 10 10 x 3
 INVERSA DE LA MATRIZ 3 x 3
𝑏 = 𝑋 ′ 𝑋 −1 𝑋 ′ 𝑌
1 ′
′
𝑋𝑋 −1
= 𝑋 ′ 𝑋 𝑎𝑑𝑗 𝑋 𝑋

10 788 296
𝑋 ′ 𝑋 = 788 62972 23722
296 23722 9472

62972 23722 788 23722 788 62972

𝑋 ′ 𝑋 = 10 − 788 + 296
23722 9472 296 9472 156 23722

= 337375000 − 348472512 15754304

= 4656792
 INVERSA DE LA MATRIZ 3 x 3
′ −1
1
𝑋𝑋 = ′ 𝑎𝑑𝑗 𝑋 ′ 𝑋
𝑋𝑋 10 788 296
𝑎𝑑𝑗 𝑋 ′ 𝑋 = 𝑐𝑜𝑓 𝑋 ′ 𝑋 ′
= 𝐶′ 𝑋 ′ 𝑋 = 788 62972 23722
296 23722 9472
62972 23722 788 23722 788 62972
−
23722 9472 296 9472 296 23722
788 296 10 296 10 788
𝐶= − −
23722 9472 296 9472 296 23722
788 296 10 296 10 788
−
62972 23722 788 23722 788 62972

33737500 −442224 53224

= −442224 7104 −3872
53224 −3972 8776
 INVERSA DE LA MATRIZ 3 x 3
1
′
𝑋𝑋 −1
= ′ 𝑎𝑑𝑗 𝑋 ′ 𝑋 𝑋 ′ 𝑋 = 4656792
𝑋𝑋
33737500 −442224 53224
𝑎𝑑𝑗 𝑋 ′ 𝑋 = 𝐶 ′ = −442224 7104 −3872
53224 −3972 8776

1 33737500 −442224 53224

𝑋′𝑋 −1 = 4656792 −442224 7104 −3872
53224 −3972 8776

7.2447943 −0.0949632 0.0114293

𝑋′𝑋 −1
= −0.0949632 0.0015255 −0.0008529
0.0114293 −0.0008529 0.0018846
 CÁLCULO DE LOS COEFICIENTES DE REGRESIÓN
𝑏 = 𝑋′𝑋 −1
𝑋′𝑌
56
1 1 1 ⋯ 1 67
𝑋′ = 70 90 77 ⋯ 72 𝑌= 57
27 33 20 ⋯ 38 ⋮
58
56
1 1 1 ⋯ 1 67 602 𝑏0
𝑋 ′ 𝑌 = 70 90 77 ⋯ 72 57 = 47915 𝑏1
27 33 20 ⋯ 38 ⋮ 18155
58
7.2447943 −0.0949632 0.0114293 602 18.702523
𝑏 = 𝑋 ′ 𝑋 −1 𝑋 ′ 𝑌 = −0.0949632 0.0015255 −0.0008529 47915 = 0.4418604
0.0114293 −0.0008529 0.0018846 18155 0.2256377
𝑦ො = 18.702523 + 0.4418604𝑥1 + 0.2256377 𝑥2 𝑏2
 PRUEBA DE INDEPENDENCIA
𝐻0 ∶ 𝛽1 = 𝛽2 = 0 𝜎12 𝐶𝑀 𝑅𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛
𝐹= 2 𝐹𝑐 =
𝐻𝑎 ∶ 𝛽1 ≠ 𝛽2 ≠ 0 𝜎2 𝐶𝑀 𝐸𝑟𝑟𝑜𝑟
ANÁLISIS DE VARIANZA DE REGRESIÓN
𝑆𝐶 𝑇𝑜𝑡𝑎𝑙 = 𝑆𝐶 𝑅𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛 + 𝑆𝐶 𝐸𝑟𝑟𝑜𝑟
Σ𝑦 2 2
𝑖 Σ𝑦𝑖 ′ ′ ′
𝑌′𝑌 − = 𝑏′ 𝑋 ′𝑌 − + 𝑌𝑌 − 𝑏 𝑋𝑌
𝑛 𝑛
56
67
𝑌 = 57 𝑌′ = 56 67 57 ⋯ 58 Σ𝑦𝑖 = 602
⋮
58 56
67 6022
𝑆𝐶 𝑇𝑜𝑡. = 56 67 57 ⋯ 58 57 − = 36532 − 36240.4 = 291.6
⋮ 10
58
 PRUEBA DE INDEPENDENCIA
602
𝑏 ′ = 18.702523 0.4418604 0.2256377 𝑋 ′ 𝑌 = 47915 Σ𝑦𝑖 = 602
18155
602
6022
𝑆𝐶 𝑅𝑒𝑔. = 18.702523 0.4418604 0.2256377 47915 −
18155 10
= 36527.113 − 36240.4 = 286.71331

𝐴𝑁Á𝐿𝐼𝑆𝐼𝑆 𝐷𝐸 𝑉𝐴𝑅𝐼𝐴𝑁𝑍𝐴
F de V GL SC CM Fc F
Regresión 2 286.71331 143.35666 214.1167 4.737 9.546
Error 7 4.68669 0.6695271
TOTAL 9 291.4
PRUEBA DE HIPÓTESIS DE LOS 𝛽𝑗
𝐻𝑜 ∶ 𝛽1 = 0
𝐻𝑎 ∶ 𝛽1 ≠ 0
𝑆𝑒 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝑙𝑎 𝐻𝑜 𝑠𝑖 𝑡𝑐 > 2.365
𝑏1
𝑡𝑐 =
𝑆 2 𝑐11

𝑏1 = 0.44186 𝑆 2 = 0.669527 𝑐11 = 0.0015255

0.44186
𝑡𝑐 =
0,669527 0.0015255

= 13.826
PRUEBA DE HIPÓTESIS DE LOS 𝛽𝑗
𝐻𝑜 ∶ 𝛽2 = 0
𝐻𝑎 ∶ 𝛽2 ≠ 0
𝑆𝑒 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝑙𝑎 𝐻𝑜 𝑠𝑖 𝑡𝑐 > 2.365
𝑏2
𝑡𝑐 =
𝑆 2 𝑐22
𝑏2 = 0.2256377 𝑆 2 = 0.669527 𝑐22 = 0.0018846

0.2256377
𝑡𝑐 =
0.669527 0.0018846

= 6.352

𝑦ො = 18.702523 + 0.4418604𝑥1 + 0.2256377 𝑥2

 APLICACIÓN DE REGRESIÓN MÚLTIPLE
X: temperatura en oC Y: contenido de vitamina C

X X2 Y 80

Contenido de vitamina C
70
75 5625 66
60
84 7056 69 50
67 4489 56 40
81 6561 71 30
90 8100 61 20

69 4761 58 10
0
87 7569 64 0 20 40 60 80 100
78 6084 72 Temperatura
65 4225 52
𝑦𝑖 = 𝑏0 + 𝑏1 𝑥𝑖 + 𝑏11 𝑥𝑖2 + 𝑒𝑖
73 5329 64
𝑏11 = 𝑏2 𝑥𝑖2 = 𝑥𝑖2
𝑦𝑖 = 𝑏0 + 𝑏1 𝑥𝑖1 + 𝑏2 𝑥𝑖2 + 𝑒𝑖 𝑌 = 𝑋𝑏 + 𝑒
 CÁLCULO DE LOS ESTIMADORES DE PARÁMETROS
𝑏 = 𝑋′𝑋 −1 𝑋 ′ 𝑌

1 75 5625
1 84 7056 1 1 1 ⋯ 1
𝑋= 1 67 4489 𝑋 ′ = 75 84 67 ⋯ 73
⋮ ⋮ ⋮ 5625 7056 4489 ⋯ 6561
1 73 6561 3 x 10
10 x 3
1 75 5625
1 1 1 ⋯ 1 1 84 7056 10 769 59799
𝑋 ′ 𝑋 = 75 84 67 ⋯ 73 1 67 4489 𝑋 ′ 𝑋 = 769 59799 4700989
5625 7056 4489 ⋯ 6561 ⋮ ⋮ ⋮ 59799 4700989 373456407
1 73 6561
3x3
3 x 10 10 x 3
 INVERSA DE LA MATRIZ 3 x 3
𝑏 = 𝑋 ′ 𝑋 −1 𝑋 ′ 𝑌
1 ′
′
𝑋𝑋 −1
= 𝑋 ′ 𝑋 𝑎𝑑𝑗 𝑋 𝑋

10 769 59799
𝑋 ′ 𝑋 = 769 59799 4700989
59799 4700989 373456407

59799 4700989 769 4700989 769 59799

𝑋 ′ 𝑋 = 10 − 769 + 59799
4700989 373456407 59799 373456407 59799 4700989

= 233022000000 − 467050000000 234054000000

= 213263912
 INVERSA DE LA MATRIZ 3 x 3
′ −1
1
𝑋𝑋 = ′ 𝑎𝑑𝑗 𝑋 ′ 𝑋
𝑋𝑋
10 769 59799
𝑎𝑑𝑗 𝑋 ′ 𝑋 = 𝑐𝑜𝑓 𝑋 ′ 𝑋 ′
= 𝐶′ 𝑋 ′ 𝑋 = 769 59799 4700989
59799 4700989 373456407
59799 4700989 769 4700989 769 62972
−
4700899 373456407 59799 373456407 59799 4700989
769 59799 10 59799 10 769
𝐶= − −
4700989 373456407 59799 373456407 59799 4700989
769 59799 10 59799 10 769
−
59799 4700989 769 4700989 769 59799
23302200000 −6073535772 39140140
= −6073535772 158643669 −1024459
39140140 −1024459 6629
 INVERSA DE LA MATRIZ 3 x 3
1
′
𝑋𝑋 −1
= ′ 𝑎𝑑𝑗 𝑋 ′ 𝑋 𝑋 ′ 𝑋 = 213263912
𝑋𝑋
23302200000 −6073535772 39140140
𝑎𝑑𝑗 𝑋 ′ 𝑋 = 𝐶 ′ = −6073535772 158643669 −1024459
39140140 −1024459 6629

1 23302200000 −6073535772 39140140

𝑋′𝑋 −1
= 213263912 −6073535772 158643669 −1024459
39140140 −1024459 6629

1092.6467 −28.478966 0.183529129

𝑋′𝑋 −1
= −28.478966 0.7438843 −0.00480371
0.183529129 −0.00480371 0.0000310836
 CÁLCULO DE LOS COEFICIENTES DE REGRESIÓN
𝑏 = 𝑋′𝑋 −1
𝑋′𝑌
66
1 1 1 ⋯ 1 69
𝑋′ = 75 84 67 ⋯ 73 𝑌= 56
5625 7056 4489 ⋯ 6561 ⋮
64
66
1 1 1 ⋯ 1 69 633 𝑏0
𝑋 ′ 𝑌 = 75 84 67 ⋯ 73 56 = 48977 𝑏1
5625 7056 4489 ⋯ 6561 ⋮ 3828787
64
1092.6467 −28.478966 0.183529129 633 −475.0472
𝑏 = 𝑋 ′ 𝑋 −1 𝑋 ′ 𝑌 = −28.478966 0.7438843 −0.00480371 48977 = 13.633491
0.183529129 −0.00480371 0.0000310836 3828787 −0.085297

𝑦ො = −475.0472 + 13 − 633491𝑥 −0.085297 𝑥 2 𝑏2

 PRUEBA DE INDEPENDENCIA
𝐻0 ∶ 𝛽1 = 𝛽2 = 0 𝜎12 𝐶𝑀 𝑅𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛
𝐹= 2 𝐹𝑐 =
𝐻𝑎 ∶ 𝛽1 ≠ 𝛽2 ≠ 0 𝜎2 𝐶𝑀 𝐸𝑟𝑟𝑜𝑟
ANÁLISIS DE VARIANZA DE REGRESIÓN
𝑆𝐶 𝑇𝑜𝑡𝑎𝑙 = 𝑆𝐶 𝑅𝑒𝑔𝑟𝑒𝑠𝑖ó𝑛 + 𝑆𝐶 𝐸𝑟𝑟𝑜𝑟
Σ𝑦 2 2
𝑖 Σ𝑦𝑖 ′ ′ ′
𝑌′𝑌 − = 𝑏′ 𝑋 ′𝑌 − + 𝑌𝑌 − 𝑏 𝑋𝑌
𝑛 𝑛
66
69
𝑌 = 56 𝑌 ′ = 66 69 56 ⋯ 64 Σ𝑦𝑖 = 633
⋮
64 66
69 6332
𝑆𝐶 𝑇𝑜𝑡. = 66 69 56 ⋯ 64 56 − = 40459 − 40058.9 = 390.1
⋮ 10
64
 PRUEBA DE INDEPENDENCIA
633
𝑏 ′ = −475.04717 13,633491 −0.08529713 𝑋 ′ 𝑌 = 48977 Σ𝑦𝑖 = 633
3828787
633 6332
𝑆𝐶 𝑅𝑒𝑔. = −475.04717 13,633491 −0.08529713 48977 −
3828787 10

= 40438.10018 − 40068.9 = 369.2001755

𝐴𝑁Á𝐿𝐼𝑆𝐼𝑆 𝐷𝐸 𝑉𝐴𝑅𝐼𝐴𝑁𝑍𝐴
F de V GL SC CM Fc F
Regresión 2 369.200175 184.600088 61.828 4.737 9.546
Error 7 20.899824 2.985689
TOTAL 9 390.1
PRUEBA DE HIPÓTESIS DE LOS 𝛽𝑗
𝐻𝑜 ∶ 𝛽1 = 0
𝐻𝑎 ∶ 𝛽1 ≠ 0
𝑆𝑒 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝑙𝑎 𝐻𝑜 𝑠𝑖 𝑡𝑐 > 2.365
𝑏1
𝑡𝑐 =
𝑆 2 𝑐11

𝑏1 = 13.63349 𝑆 2 = 2.985689 𝑐11 = 0.7438843

13.63349
𝑡𝑐 =
2.985689 0.7438843

= 9.148
PRUEBA DE HIPÓTESIS DE LOS 𝛽𝑗
𝐻𝑜 ∶ 𝛽2 = 0
𝐻𝑎 ∶ 𝛽2 ≠ 0
𝑆𝑒 𝑟𝑒𝑐ℎ𝑎𝑧𝑎 𝑙𝑎 𝐻𝑜 𝑠𝑖 𝑡𝑐 > 2.365
𝑏2
𝑡𝑐 =
𝑆 2 𝑐22
𝑏2 = −0.085297 𝑆 2 = 2.985689 𝑐22 = 0.000031084

−0.085297
𝑡𝑐 =
2.985689 0.000031084

= −8.854

𝑦ො = −475.0472 + 13.63349𝑥 −0.085297 𝑥 2