Está en la página 1de 18

REGRESIÓN LINEAL MÚLTIPLE

La regresión lineal múltiple se presenta cuando la variable dependiente Y es función de varias


variables independientes xi’s. Un modelo de regresión se llama se llama modelo de regresión
lineal múltiple cuando es lineal en los coeficientes.

Para el caso de k variables independientes, x1, x2, …, xk, la media de Yx1, x2, …, xk está
dada por el modelo de regresión lineal múltiple

𝑌𝑥1, 𝑥2, …, 𝑥𝑘
= 0 + 1 𝑥1 + ⋯ + 𝑘 𝑥𝑘

Cuya respuesta estimada se obtiene a partir de la ecuación de regresión muestral

𝑦̂ = 𝑏0 + 𝑏1 𝑥1 + 𝑏2 𝑥2 + ⋯ + 𝑏𝑘 𝑥𝑘 ,

donde cada coeficiente i es estimado por bi de los datos muestrales usando el método de
mínimos cuadrados.

Hay algunos casos especiales del modelo de regresión lineal múltiple cuando el modelo lineal
incluye, por ejemplo, potencias y productos de las variables independientes. En el primer
caso se habla de un modelo de regresión polinomial, en el cual las variables independientes
son potencias de una sola variable. El modelo polinomial de grado r es

𝑌𝑥 = 0 + 1 𝑥 + 2 𝑥 2 + ⋯ + 𝑟 𝑥 𝑟

Y la respuesta estimada se obtiene de ecuación de regresión polinomial

𝑦̂ = 𝑏0 + 𝑏1 𝑥 + 𝑏2 𝑥 2 + ⋯ + 𝑏𝑟 𝑥 𝑟 .

Los modelos de regresión múltiple también se pueden hacer con potencias de diversas
variables. Por ejemplo, un modelo de regresión polinomial de grado 2, también llamado
modelo cuadrático, en dos variables x1 y x2 está dado por:

𝑌𝑥1 , 𝑥2 = 0 + 1 𝑥1 + 2 𝑥2 + 3 𝑥1 𝑥2 + 4 𝑥12 + 5 𝑥22 .

Una variable producto de las otras dos variables se llama interacción. En el último modelo la
variable x1x2 es la interacción entre x1 y x2.
La razón de que estos dos últimos modelos sean considerados lineales es por que son lineales
en los coeficientes i.

Estimación de los coeficientes


En cualquier modelo de regresión lineal múltiple, los estimadores b0, b1, …, bk se pueden
obtener por el método de mínimos cuadrados, exactamente en la misma forma que en
regresión lineal simple. Ahora se trata de ajustar el modelo de regresión lineal múltiple

𝑌𝑥1, 𝑥2, …, 𝑥𝑘
= 0 + 1 𝑥1 + 2 𝑥2 + ⋯ + 𝑘 𝑥𝑘

A los puntos de la muestra {(x1i, x2i, …, xki, yi), con i = 1, 2, …, n  n > k}, donde yi es la
respuesta observada a los valores x1i, x2i, …, xki de las k variables independientes x1, x2, …,
xk. Se supone que cada observación (x1i, x2i, …, xki, yi) satisface la siguiente ecuación

𝑦𝑖 = 0 + 1 𝑥1𝑖 + 2 𝑥2𝑖 + ⋯ + 𝑘 𝑥𝑘𝑖 + 𝑖 ,

O bien,

𝑦𝑖 = 𝑦̂𝑖 + 𝑒𝑖 = 𝑏0 + 𝑏1 𝑥1𝑖 + 𝑏2 𝑥2𝑖 + ⋯ + 𝑏𝑘 𝑥𝑘𝑖 + 𝑒𝑖 ,

Donde i y ei son los errores aleatorio y residual, respectivamente, asociados con la respuesta
yi y con el valor ajustado 𝑦̂𝑖 .
Se supone que los i son independientes y están distribuidos en forma normal con media cero
y varianza común 2.

MÉTODO DE MÍNIMOS CUADRADOS PARA REGRESIÓN LINEAL MÚLTIPLE

Para obtener los estimadores b0, b1, …, bk, se minimiza la expresión:


𝑛 𝑛

𝑆𝑆𝐸 = ∑ 𝑒𝑖2 = ∑(𝑦𝑖 − 𝑏0 − 𝑏1 𝑥1𝑖 − 𝑏2 𝑥2𝑖 − ⋯ − 𝑏𝑘 𝑥𝑘𝑖 )2.


𝑖=1 𝑖=1

Derivando parcialmente con respecto a b0, b1, …, bk, igualando a cero y reordenando
términos se genera el conjunto de k + 1 ecuaciones normales de estimación para regresión
lineal múltiple:
𝑛 𝑛 𝑛 𝑛

𝑛𝑏0 + 𝑏1 ∑ 𝑥1𝑖 + 𝑏2 ∑ 𝑥2𝑖 + … + 𝑏𝑘 ∑ 𝑥1𝑖 𝑥𝑘𝑖 = ∑ 𝑥1𝑖 𝑦𝑖


1=1 𝑖=1 𝑖=1 𝑖=1

𝑛 𝑛 𝑛 𝑛 𝑛
2
𝑏0 ∑ 𝑥1𝑖 + 𝑏1 ∑ 𝑥1𝑖 + 𝑏2 ∑ 𝑥1𝑖 𝑥2𝑖 + ⋯ + 𝑏𝑘 ∑ 𝑥1𝑖 𝑥𝑘𝑖 = ∑ 𝑥1𝑖 𝑦𝑖
𝑖=1 1=1 𝑖=1 𝑖=1 𝑖=1

𝑛 𝑛 𝑛 𝑛 𝑛
2 2
𝑏0 ∑ 𝑥2𝑖 + 𝑏1 ∑ 𝑥2𝑖 𝑥1𝑖 + 𝑏2 ∑ 𝑥2𝑖 + ⋯ + 𝑏𝑘 ∑ 𝑥2𝑖 𝑥𝑘𝑖 = ∑ 𝑥2𝑖 𝑦𝑖
𝑖=1 1=1 𝑖=1 𝑖=1 𝑖=1

𝑛 𝑛 𝑛 𝑛 𝑛
2 2
𝑏0 ∑ 𝑥𝑘𝑖 + 𝑏1 ∑ 𝑥𝑘𝑖 𝑥1𝑖 + 𝑏2 ∑ 𝑥𝑘𝑖 𝑥2𝑖 +⋯+ 𝑏𝑘 ∑ 𝑥𝑘𝑖 = ∑ 𝑥𝑘𝑖 𝑦𝑖
𝑖=1 1=1 𝑖=1 𝑖=1 𝑖=1

Sistema que puede resolverse para b0, b1, …, bk por cualquier método de solución de sistemas
de ecuaciones lineales.

EJEMPLO
Ajuste un modelo de la forma
𝑌𝑥1 , 𝑥2 , 𝑥3 = 0 + 1 𝑥1 + 2 𝑥2 + 3 𝑥3
para el siguiente caso:
Considere un estudio diseñado para examinar el papel que juega la televisión en la vida de
un grupo preseleccionado de personas de 65 años o más. El propósito de dicho estudio es
proporcionar información que permita hacer una programación adecuada a las necesidades
de este grupo. Una muestra de 25 personas de estas edades fue seleccionada y a cada persona
le fue solicitada la siguiente información:
y = Número promedio de horas al día que ve la televisión.
x1 = Estado civil (x1 = 1 si vive con su cónyuge, x1 = 0 si no)
x2 = Edad
x3 = Escolaridad (número de años que asistió a la escuela).

Persona x1 x2 x3 y
1 1 73 14 0.5
2 1 66 16 0.5
3 0 65 15 0.7
4 0 65 16 0.8
5 1 68 9 0.8
6 1 69 10 0.9
7 1 82 12 1.1
8 1 83 12 1.6
9 1 81 12 1.6
10 0 72 10 2.0
11 1 69 8 2.5
12 0 71 16 2.8
13 0 71 12 2.8
14 0 80 9 3.0
15 0 73 6 3.0
16 0 75 6 3.0
17 0 76 10 3.2
18 0 78 6 3.2
19 1 79 6 3.3
20 0 79 4 3.3
21 1 78 6 3.4
22 0 76 9 3.5
23 0 65 12 3.6
24 0 72 12 3.7
25 0 80 6 3.7
10 1846 254 58.5
SOLUCIÓN

∑25 25 2 25
𝑖=1 𝑥1𝑖 = 10, ∑𝑖=1 𝑥1𝑖 = 10, ∑𝑖=1 𝑥2𝑖 = 1846, ∑25 2
𝑖=1 𝑥2𝑖 = 137086

∑25 25 2
𝑖=1 𝑥3𝑖 = 254, ∑𝑖=1 𝑥3𝑖 = 2892, ∑25 25
𝑖=1 𝑥1𝑖 𝑥2𝑖 = ∑𝑖=1 𝑥2𝑖 𝑥1𝑖 = 748

∑25 25 25 25
𝑖=1 𝑥1𝑖 𝑥3𝑖 = ∑𝑖=1 𝑥3𝑖 𝑥1𝑖 = 105, ∑𝑖=1 𝑥2𝑖 𝑥3𝑖 = ∑𝑖=1 𝑥3𝑖 𝑥2𝑖 = 18509

∑25 25
𝑖=1 𝑦𝑖 = 58.5, ∑𝑖=𝑖 𝑥1𝑖 𝑦𝑖 = 16.2, ∑25 25
𝑖=1 𝑥2𝑖 𝑦𝑖 = 4376, ∑𝑖=1 𝑥3𝑖 𝑦𝑖 = 533.4

∑25 2
𝑖=1 𝑦𝑖 = 168.75.

Por lo que el sistema de ecuaciones normales de mínimos cuadrados es:

25b0 + 10b1 + 1846b2 + 254b3 + = 58.5


10b0 + 10b1 + 748b2 + 105b3 + = 16.2
1846b0 + 748 b1 + 137086b2 + 18509b3 + = 4376
254b0 + 105b1 + 18509b2 + 2892b3 + = 533.4

Cuya solución obtenida con calculadora es:

b0 = 1.495261149
b1 = -1.175728207
b2 = 0.03876179608
b3 = -0.1522776466

Solución con el método de la matriz inversa:

b0 = 1.495261037
b1 = -1.175728183
b2 = 0.03876176528
b3 = -0.1522776594

 EL modelo ajustado es:

𝐲̂ = 𝟏. 𝟒𝟗𝟓𝟐 − 𝟏. 𝟏𝟕𝟓𝟕𝐱 𝟏 + 𝟎. 𝟎𝟑𝟖𝟕𝟓𝐱 𝟐 − 𝟎. 𝟏𝟓𝟐𝟑𝐱 𝟑

AJUSTE DEL MODELO LINEAL MEDIANTE MATRICES

Suponiendo que se tienen k variables independientes x1, x2, …, xk y n observaciones y1, y2,
…, yn, cada una de las cuales puede expresarse con la ecuación
𝑦̂𝑖 = 𝑏0 + 𝑏1 𝑥1𝑖 + 𝑏2 𝑥2𝑖 + ⋯ + 𝑏𝑘 𝑥𝑘𝑖 + 𝑒𝑖

con i = 1, 2 … n.
Para utilizar la teoría de matrices, se recurrirá a la siguiente notación:

𝑦1 𝑏0 1 𝑥11 𝑥21 . . . 𝑥𝑘1


𝑦2 𝑏1 1 𝑥12 𝑥22 . . . 𝑥𝑘2
. . .
𝑌= . ; 𝑏= ;𝑋= .
. .
. . .
(𝑦𝑘 ) (𝑏𝑘 ) (1 𝑥1𝑛 𝑥2𝑛 . . . 𝑥𝑘𝑛 )

Donde Y es una matriz de n X 1 que consta de los valores observados de la variable


dependiente y, b es una matriz de (k + 1) X 1 consistente en las estimaciones de mínimos
cuadrados de los coeficientes de regresión, y X es una matriz de n X (k + 1) que consta de
los valores dados de las x’s, con la columna de unos anexada para dar cabida al tamaño de la
muestra. Haciendo

1 1 1 . . . 1 1 𝑥11 𝑥21 . . . 𝑥𝑘1


𝑥11 𝑥12 𝑥13 . . . 𝑥1𝑛 1 𝑥12 𝑥22 . . . 𝑥𝑘2
. .
𝐴 = 𝑋𝑡 𝑋 =
. .
. .
( 𝑥𝑘1 𝑥𝑘2 𝑥𝑘3 . . . 𝑥𝑘𝑛 ) ( 1 𝑥1𝑛 𝑥2𝑛 . . . 𝑥𝑘𝑛 )

𝑛
𝑛 𝑛
𝑛 ∑ 𝑥1𝑖 ∑ 𝑥2𝑖 . . . ∑ 𝑥𝑘𝑖
𝑖=1 𝑖=1
𝑖=1
𝑛 𝑛 𝑛 𝑛
2
∑ 𝑥1𝑖 ∑ 𝑥1𝑖 ∑ 𝑥1𝑖 𝑥2𝑖 . . . ∑ 𝑥1𝑖 𝑥𝑘𝑖
𝑡
𝐴= 𝑋 𝑋 = 𝑖=1 𝑖=1 𝑖=1
. 𝑖=1

.
.
𝑛 𝑛 𝑛 𝑛
2
∑ 𝑥𝑘𝑖 ∑ 𝑥𝑘𝑖 𝑥1𝑖 ∑ 𝑥𝑘𝑖 𝑥2𝑖 . . . ∑ 𝑥𝑘𝑖
( 𝑖=1 𝑖=1 𝑖=1 𝑖=1 )
𝑛

∑ 𝑦𝑖
𝑖=1
𝑛

∑ 𝑥1𝑖 𝑦𝑖
𝑡
𝑔= 𝑋 𝑌= 𝑖=1
.
.
.
𝑛

∑ 𝑥𝑘𝑖 𝑦𝑖
( 𝑖=1 )

Entonces el sistema de ecuaciones normales puede escribirse en forma matricial como:

𝐴𝑏 = 𝑔

Cuya solución para b es:

𝑏 = 𝐴−1 𝑔 = (𝑋 𝑡 𝑋)−1 (𝑋 𝑡 𝑌)

EJEMPLO

El dueño de una distribuidora de automóviles piensa que la relación entre el número de autos
nuevos vendidos por él en un mes dado y, y el número x de anuncios en el diario local durante
ese mes está dada por el modelo

𝑦 = 0 + 1 𝑥1 + 2 𝑥2 + 

En donde x1 = x y x2 = x2, los datos de los últimos 6 meses son como siguen:

Mes
1 2 3 4 5 6
Ventas, y 10 10 15 20 30 40
Anuncios, x 0 1 2 2 3 4

Ajuste el modelo resolviendo las ecuaciones de mínimos cuadrados para así obtener los
estimadores b0, b1 y b2. Utilice matrices.

SOLUCIÓN
1 0 0
1 1 1
1 1 1 1 1 1
1 2 4
𝑋= ; 𝑋 𝑡 = (0 1 2 2 3 4)
1 2 4
0 1 4 4 9 16
1 3 9
(1 4 16)
𝟔 𝟏𝟐 𝟑𝟒
 𝑨 = 𝑿 𝑿 = ( 𝟏𝟐
𝒕
𝟑𝟒 𝟏𝟎𝟖 )
𝟑𝟒 𝟏𝟎𝟖 𝟑𝟕𝟎
10 10
10 10
1 1 1 1 1 1
15 15
𝑌=  𝑔 = 𝑋 𝑌 = (0
𝑡
1 2 2 3 4)
20 20
0 1 4 4 9 16
30 30
(40) (40)

𝟏𝟐𝟓
𝒈 = ( 𝟑𝟑𝟎 )
𝟏𝟎𝟔𝟎

6 12 34 𝑏0 125
𝐴𝑏 = ( 12 34 108 ) ( 1 ) = ( 330 ) = 𝑋 𝑡 𝑌 = 𝑔 =
𝑏
34 108 370 𝑏2 1060

Cofactores

𝐶𝑜𝑓𝐴𝑖𝑗 = (−1)𝑖+𝑗 |𝑀𝑖𝑗 |

34 108 12 108
𝐴11 = (−1)2 | | = 916, 𝐴12 = (−1)3 | | = −(768) = −768
108 370 34 370
12 34 6 34
𝐴13 = (−1)4 | | = 140, …, 𝐴22 = (−1)4 | | = 1064
34 108 34 370
6 12 6 12
𝐴23 = (−1)5 | | = −(240) = −240, …𝐴33 = (−1)6 | | = 60
34 108 12 34
916 − 768 140
(
Matriz de cofactores de 𝐴 = −768 1064 − 240) = 𝐵
140 − 240 60
916 − 768 140
𝐴𝑑𝑗 𝐴 = 𝐵𝑡 = (−768 1064 − 240)
140 − 240 60

𝑑𝑒𝑡𝐴 = |𝐴| = 𝐴11 𝑎11 + 𝐴12 𝑎12 + 𝐴13 𝑎13 = 1040


Inversa de A:

1
𝐴−1 = 𝑎𝑑𝑗𝐴
𝑑𝑒𝑡𝐴
229 48 7

260 65 52
1 916 − 768 140 48 133 3
−1 (
𝐴 = −768 1064 − 240) = − −
1040 65 130 13
140 − 240 60
7 3 3
( 52 −
13 52 )

𝑏0
 𝑏 = (𝑏1 ) = 𝐴−1 𝑔
𝑏2

229 48 7

260 65 52
48 133 3 125
𝑏= − − ( 330 )
65 130 13 1060
7 3 3
( 52 −
13 52 )

473⁄
𝑏0 52
𝑏 = (𝑏1 ) = 9⁄
13
𝑏2 95⁄
( 52 )

𝟒𝟕𝟑 𝟗 𝟗𝟓 𝟒𝟕𝟑 𝟗 𝟗𝟓
 𝒚
̂= + 𝒙𝟏 + 𝒙𝟐 = + 𝒙+ 𝒙𝟐
𝟓𝟐 𝟏𝟑 𝟓𝟐 𝟓𝟐 𝟏𝟑 𝟓𝟐

En este ejemplo es relativamente fácil (dado que se tienen pocos datos) calcular directamente
SSE con la expresión:
𝑛

𝑆𝑆𝐸 = ∑(𝑦𝑖 − 𝑦̂𝑖 )2


𝑖=1
𝒙𝒊 0 1 2 2 3 4
𝒚𝒊 10 10 15 30 30 40
473 151 925 925 359 2137
̂𝒊
𝒚
52 13 52 52 13 52
47 21 145 115 31 57
𝒆𝒊 − − −
52 13 52 52 13 52
𝟏𝟏𝟗𝟓
 𝑺𝑺𝑬 = ∑𝒏𝒊=𝟏 𝒆𝟐𝒊 = = 𝟐𝟐. 𝟗𝟖𝟎𝟕𝟔𝟗𝟐𝟑
𝟓𝟐

De manera analítica SSE de puede calcular de la siguiente manera:

𝑺𝑺𝑬 = 𝒀𝒕 𝒀 − 𝒃𝒕 𝒙𝒕 𝒀 = 𝒀𝒕 𝒀 − 𝒃𝒕 𝒈

O bien:

𝒌
(∑𝒏𝒊=𝟏 𝒚𝒊 )𝟐
𝑺𝑺𝑬 = 𝑺𝒚𝒚 − [∑ 𝒃𝒋 𝒈𝒋 − ]
𝒏
𝒋=𝟎

Recordando que 𝑆𝑦𝑦 = 𝑆𝑆𝑇  𝑆𝑆𝑇 = 𝑆𝑆𝑅 + 𝑆𝑆𝐸, se tiene entonces que

𝒌
(∑𝒏𝒊=𝟏 𝒚𝒊 )𝟐
𝑺𝑺𝑹 = ∑ 𝒃𝒋 𝒈𝒋 −
𝒏
𝒋=𝟎

SST = Syy se calcula igual que en regresión lineal simple.

PROPIEDADES DE LOS ESTIMADORES DE MÍNIMOS CUADRADOS EN


REGRESIÓN LINEAL MÚLTIPLE

Las medias y varianzas de los estimadores b0, b1, …, bk se obtienen en forma análoga a como
se hizo en el caso de regresión lineal simple y se utilizan los elementos de la diagonal
principal de la matriz A˗1 para obtener expresiones para las varianzas de las 𝛽𝑖′𝑠 . Entonces se
puede escribir:

𝜎𝐵2𝑖 = 𝑐𝑖𝑖 𝜎 2 , con i = 0, 1, 2, …, k.

La matriz 𝐴−1 se denotará de la siguiente manera:

𝑐00 𝑐01 … 𝑐0𝑘


𝑐10 𝑐11 … 𝑐1𝑘
. . … .
𝐴−1 = . . … .
. . … .
(𝑐𝑘0 𝑐𝑘1 …. 𝑐𝑘𝑘 )
Donde 𝑐𝑖𝑖 son los elementos de la diagonal principal de la matriz 𝐴−1

Teorema. Para la ecuación de regresión lineal múltiple

𝑦𝑖 = 0 + 1 𝑥1𝑖 + 2 𝑥2𝑖 + ⋯ + 𝑘 𝑥𝑘𝑖 + 𝑖

Un estimador insesgado de 2 está dado por la media cuadrática del error (o residual):
𝑆𝑆𝐸
𝑆2 = , donde
𝑛−𝑘−1

𝑆𝑆𝐸 = ∑𝑛𝑖=1 𝑒𝑖2 = ∑𝑛𝑖=1(𝑦𝑖 − 𝑦̂𝑖 )2

k es el número de variables independientes.

Teorema. Para la ecuación de regresión lineal múltiple

𝑦̂𝑖 = 𝑏0 + 𝑏1 𝑥1𝑖 + 𝑏2 𝑥2𝑖 + ⋯ + 𝑏𝑘 𝑥𝑘𝑖 + 𝑒𝑖

Con i = 1, 2, …, n, la suma de cuadrados del error se puede escribir como:

SSE = SST – SSR

Donde:

𝑛 2
𝑛 1
𝑆𝑆𝑇 = 𝑆𝑦𝑦 = ∑ 𝑦𝑖2 − (∑ 𝑦𝑖 )
𝑖=1 𝑛
𝑖=1

𝑘 𝑛 2 𝑛 2
1 1
𝑆𝑆𝑅 = ∑ 𝑏𝑗 𝑔𝑗 − (∑ 𝑦𝑖 ) = 𝑏𝑡 (𝑋 𝑡 𝑌) − (∑ 𝑦𝑖 )
𝑛 𝑛
𝑗=1 𝑖=1 𝑖=1

INFERENCIAS ACERCA DE LOS PARÁMETROS 𝛽𝑗 (𝑗 = 0, 1, 2 … , 𝑘).

En general, para cualquier modelo lineal de regresión el error aleatorio tiene una distribución
normal, entonces, bj es un estimador insesgado de j que tiene distribución normal con
varianza 𝜎𝛽2𝑗 = 𝑐𝑗𝑗 𝜎 2 . Con esta información se puede construir una prueba de hipótesis donde
H0: j = 𝛽𝑗0 siendo 𝛽𝑗0 un valor específico de j y utilizar el estadístico de prueba

𝑏𝑗 − 𝛽𝑗0
𝑡= , con  = n – k – 1 grados de libertad y j = 0, 1, 2, …, k.
𝑆 √𝑐𝑗𝑗

EJEMPLO
Probar la hipótesis H0: 1 = 0 (es decir, la y no depende de x1) en contra de la alternativa H1:
1  (la y depende de x1). También pruebe la hipótesis H0’: 2 = 0 (la y no depende de x2) en
contra de H1’: 2  0 (la y depende de x2) con los datos del ejemplo anterior. Usar una
significancia de  = 0.05.

Primera prueba para j = 1:

1) H0: 1 = 0
2) H1: 1  0
3) Nivel de significancia:  = 0.05
4) Estadístico de prueba:

𝑏𝑗 − 𝛽𝑗0
𝑡=
𝑆 √𝑐𝑗𝑗

Región crítica:
t > t0.05( = 3 grados de libertad) = 3.182
t < −t0.05( = 3 grados de libertad) = −3.182
5) Cálculos:

1195
𝑆𝑆𝐸 =
52

1 4325
𝑆𝑆𝑇 = 3325 − (125)2 = = 720.8333
6 6

𝑆𝑆𝑅 = 697.8526

1195
2
𝑆𝑆𝐸 52 = 1195 = 7.6603
𝑆 = =
𝑛−𝑘−1 3 156
9
−0
 𝑡𝑐𝑎𝑙𝑐. = 13
133 1195
= 0.2473
√ √
130 156

6) Decisión: no se rechaza H0, por lo tanto, no existe evidencia de que y dependa de x1 o


bien, x1 no contribuye significativamente a la regresión.

Prueba de hipótesis para j = 2:

PARA USTEDES

INTERVALOS DE CONFIANZA
Basándose en el estadístico t ya mencionado se puede llegar a la siguiente expresión para el
intervalo de confianza para j:

𝑏𝑖 − 𝑡𝛼⁄2 𝑆√𝑐𝑗𝑗 < 𝛽𝑗 < 𝑏𝑖 + 𝑡𝛼⁄2 𝑆√𝑐𝑗𝑗

Además, sea 𝑋0𝑡 = [1, 𝑥10 , 𝑥20 , … , 𝑥𝑘0 ] una matriz que contiene valores particulares de las
variables independientes (se adiciona el 1 para uso de notación matricial), se tiene:

Intervalo de confianza para 𝝁𝒀𝒙𝟏𝟎,𝒙𝟐𝟎,…,𝒙 . Un intervalo de confianza de (1 - )100% para


𝒌𝟎
la respuesta media 𝜇𝑌𝑥10, 𝑥20,…,𝑥 es :
𝑘0

̂𝟎 − 𝒕𝜶⁄ 𝑺√𝒙𝒕𝟎 (𝑿𝒕 𝑿)−𝟏 𝒙𝟎 < 𝝁𝒀𝒙𝟏𝟎, 𝒙𝟐𝟎,…,𝒙


𝒚 ̂𝟎 + 𝒕𝜶⁄ 𝑺√𝒙𝒕𝟎 (𝑿𝒕 𝑿)−𝟏 𝒙𝟎 .
<𝒚
𝟐 𝒌𝟎 𝟐

Donde 𝑡𝛼⁄2 es un valor de la distribución t con n – k – 1 grados de libertad que deja un área
/2 a su derecha.
Con frecuencia la cantidad 𝑆√𝑥0𝑡 (𝑋𝑡 𝑋)−1 𝑥0 se llama error estándar de la predicción.

Intervalo de predicción para y0. Un intervalo de predicción de (1 - )100% para una sola
respuesta y0 está dado por:

̂𝟎 − 𝒕𝜶⁄ 𝑺√𝟏 + 𝒙𝒕𝟎 (𝑿𝒕 𝑿)−𝟏 𝒙𝟎 < 𝒚𝟎 < 𝒚


𝒚 ̂𝟎 + 𝒕𝜶⁄ 𝑺√𝟏 + 𝒙𝒕𝟎 (𝑿𝒕 𝑿)−𝟏 𝒙𝟎 .
𝟐 𝟐

Donde 𝑡𝛼⁄2 es un valor de la distribución t con n – k – 1 grados de libertad que deja un área
/2 a su derecha.

ANÁLISIS DE VARIANZA EN REGRESIÓN LINEAL MÚLTIPLE


La prueba de hipótesis de interés que se probará es:

H0: 1= 2 = … = k = 0
H1: al menos una de las i’s  0.

Se rechaza la hipótesis nula si:

fcalc. > f(k, n – k – 1)

Rechazar H0 significa que la variable y si depende al menos de una de las variables


independientes xi’s. El estadístico de prueba es:

𝑆𝑆𝑅
𝑆𝑆𝑅
𝑓 = 𝑘2 =
𝑆 𝑘𝑆 2
Los cálculos se resumen en una tabla de análisis de varianza para regresión lineal múltiple
como la siguiente:

Fuente de Suma de Grados de Cuadrados f


variación cuadrados libertad medios calculada
𝑆𝑆𝑅 𝑆12 𝑆𝑆𝑅
Regresión SSR k 𝑆12 = =
𝑘 𝑆 2 𝑘𝑆 2
𝑆𝑆𝐸
Error SSE n–k–1 𝑆2 =
𝑛−𝑘−1
Total SST n–1

EJEMPLO

En la siguiente tabla se presentan los datos de tiempo de compra “y” relacionados con los
artículos comprados x1 y el precio promedio por artículo x2.

Tiempo de compra, y x1 x2
22.20 6 80
23.18 7 20
57.68 18 118
55.17 17 102
45.93 16 58
47.64 16 50
35.98 11 108
11.35 2 117
70.05 21 120
18.94 5 80
22.70 5 41
12.71 3 72
43.00 13 100
38.05 12 80
18.13 5 82.4
28.55 9 60
25.40 10 20
10.65 3 10.4
15.43 2 75
26.07 9 59
36.05 11 110
32.80 12 24
17.91 5 40
25.50 9 22
11.00 3 10
752.07 231 1658.8

a) Utilice un procedimiento de análisis de varianza para probar la hipótesis de la existencia


de regresión. Considere una significancia de 0.05.
b) Analizar por separado si existe contribución a la regresión de las variables x1 y x2. Utilice
una significancia de 0.05.
c) Determine un intervalo de confianza del 95% para el valor esperado del tiempo de compra
si x1 = 9 y x2 = 68.
d) Determine el intervalo de predicción para una sola respuesta y0 del 95%, si x1 = 9 y x2 =
68.

SOLUCIÓN

Antes de dar respuesta a lo que se pide, es necesario realiza algunos cálculos previos:

1 6 80
1 7 20
1 1 1 … 1 1 18 118
𝐴 = (𝑋 𝑡 𝑋 ) = ( 6 7 18 … 3) . . .
80 20 118 … 10 . . .
. . .
(1 3 10 )

25 231 1658.80
𝐴 = ( 231 2833 17094.20 )
1658.80 17094.20 141273.92

752.07
𝑔 = (𝑋 𝑡 𝑌) = ( 8976.84 )
56705.082
La matriz de cofactores de A es:

108017341.7 − 4278416.56 − 750620.2


𝐵 = (−4278416.56 780230.56 − 44172.2)
−750620.2 − 44172.2 17464

 |𝐴| = 466990529.4 y la matriz inversa de A es:

0.2313052083 − 0.009161677359 − 0.001607356365


−1
𝐴 = ( −0.009161677359 0.001670763133 − 0.00009458907027 )
−0.001607356365 − 0.00009458907027 0.00003739690401

La solución del sistema es:

𝑏0 0.56952174230
𝑏 = (𝑏1 ) = 𝐴−1 𝑔 = (2.71442696450)
𝑏2 0.06263905745

 La ecuación de regresión lineal múltiple es:

𝑦̂ = 0.569522 + 2.7443𝑥1 + 0.06264𝑥2


a) Prueba de hipótesis usando análisis de varianza:
1) H0: 1 = 2 = 0
2) H1: al menos una de las i’s es diferente de cero.
3) Nivel de significancia:  = 0.05
4) Estadístico de prueba:

𝑆12 𝑆𝑆𝑅
𝑓= 2= 2
𝑆 𝑘𝑆
Región crítica:

𝑓𝑐𝑎𝑙𝑐 > 𝑓0.05(2, 22) = 3.44 (Ver Tabla A-6)

5) Cálculos:
𝑛
1
𝑆𝑆𝑇 = 𝑆𝑦𝑦 = ∑ 𝑦𝑖2 − (𝑦𝑖 )2 = 28730.3161 − 22624.3714 = 6105.944704
𝑛
𝑖=1

𝑆𝑆𝐸 = ∑(𝑦𝑖 − 𝑦̂𝑖 )2 = 𝑌 𝑡 𝑌 − 𝑏𝑡 (𝑋 𝑡 𝑌 = 28730.3161 − 28615.14257 = 115.17348


𝑖=1

𝑛 𝑛 𝑛 2
1
𝑆𝑆𝑅 = ∑(𝑦̂𝑖 − 𝑦̅)2 = ∑ 𝑏𝑗 𝑔𝑗 − (∑ 𝑦𝑖 ) = 28615.14257 − 22624.3714 = 5990.77122
𝑛
𝑖=1 𝑖=1 𝑖=1

𝑆𝑆𝑅 5990.77122
𝑆12 = = = 2995.38561
𝑘 2

𝑆𝑆𝐸 115.17348
𝑆2 = = = 5.235158182
𝑛−𝑘−1 22
𝑆12 2995.38561
𝑓𝑐𝑎𝑙𝑐 = = = 572.167164
𝑆2 5.235158182

6) Decisión: se rechaza H0, la regresión si es significativa (al menos una de las i’s no es igual
a cero).

Tabla de análisis de varianza:

Fuente de Suma de Grados de Cuadrados f


variación cuadrados libertad medios calculada
2
Regresión SSR = 5990.77122 k =2 𝑆1 = 2995.38561 572.167164
Error SSE =115.17348 n – k – 1 = 22 𝑆 2 = 5.235158182
Total SST = 6105.9447 n – 1 = 24

b) prueba de hipótesis para j = 1:


1) H0: 1 = 0
2) H1: 1 0
3) Nivel de significancia:  = 0.05
4) Estadístico de prueba:

𝑏𝑗 − 𝛽𝑗0
𝑡𝑐𝑎𝑙𝑐 =
𝑆 √𝑐𝑗𝑗
Región crítica:

𝑡𝑐𝑎𝑙𝑐 > 𝑡0.025(22) = 2.074 (Ver Tabla A-4)


y
𝑡𝑐𝑎𝑙𝑐 < −𝑡0.025(22) = −2.074

5) Cálculos:
2.7443 − 0
𝑡𝑐𝑎𝑙𝑐 = = 29.34
√5.2352√0.0016707633133

6) Decisión: se rechaza la hipótesis nula, por lo tanto, la variable x1 si contribuye


significativamente a la regresión.

Prueba de hipótesis para j = 2. PARA USTEDES

1) H0′ : 2 = 0
2) H1′ : 2 0
3) Nivel de significancia:  = 0.05
4) Estadístico de prueba:

𝑏𝑗 − 𝛽𝑗0
𝑡𝑐𝑎𝑙𝑐 =
𝑆 √𝑐𝑗𝑗
Región crítica:

𝑡𝑐𝑎𝑙𝑐 > 𝑡0.025(22) = 2.074 (Ver Tabla A-4)


y
𝑡𝑐𝑎𝑙𝑐 < −𝑡0.025(22) = −2.074

5) Cálculos:
0.06264 − 0
𝑡𝑐𝑎𝑙𝑐 = = 4.477
√5.2352√0.00003739690401

6) Decisión: se rechaza la hipótesis nula, por lo tanto, la variable x2 si contribuye


significativamente a la regresión.
c) Intervalo de confianza del 95% para el valor esperado del tiempo de compra si x 1 = 9 y x2
= 68. Este intervalo se calcula con la expresión:

̂𝟎 − 𝒕𝜶⁄ 𝑺√𝒙𝒕𝟎 (𝑿𝒕 𝑿)−𝟏 𝒙𝟎 < 𝝁𝒀𝒙𝟏𝟎, 𝒙𝟐𝟎,…,𝒙


𝒚 ̂𝟎 + 𝒕𝜶⁄ 𝑺√𝒙𝒕𝟎 (𝑿𝒕 𝑿)−𝟏 𝒙𝟎
<𝒚
𝟐 𝒌𝟎 𝟐

En donde:
𝑦̂0 = 0.569522 + 2.7443(9) + 0.06264(68) = 29.527742

𝑥0𝑡 = (1 9 68)

0.2313052083 − 0.009161677359 − 0.001607356365


𝐴−1 = (𝑿𝒕 𝑿)−𝟏 = ( −0.009161677359 0.001670763133 − 0.00009458907027 )
−0.001607356365 − 0.00009458907027 0.00003739690401

1
𝑥0 = ( 9 )
68

 𝑥0𝑡 (𝑋 𝑡 𝑋)−1 = (0.03954987925 − 5.568659404 × 10−4 8.433147525 × 10−5 )

𝑥0𝑡 (𝑋 𝑡 𝑋)−1 𝑥0 = 0.0402726261

𝑡0.025(22) = 2.074

𝑆 = √5.235158182

Entonces, sustituyendo valores el intervalo pedido es:

29.527742 − 2.074√5.235158182 √0.0402726261 < 𝝁𝒀𝒙𝟏𝟎,𝒙𝟐𝟎,


< 29.527742 + 2.074√5.235158182 √0.0402726261

𝟐𝟖. 𝟓𝟕𝟓 < 𝝁𝒀𝒙𝟏𝟎,𝒙𝟐𝟎, < 𝟑𝟎. 𝟒𝟖𝟎

d) Intervalo de predicción para una sola respuesta y0 del 95%, si x1 = 9 y x2 = 68. PARA
USTEDES

EJERCICIO

Se realizó un experimento sobre un modelo nuevo de una marca de automóvil específi ca


para determinar la distancia de frenado a distintas velocidades. Se registraron los siguientes
datos.
Velocidad, v (km/h) 35 50 65 80 95 110
Distancia de frenado, d (m) 16 26 41 62 88 119

a) Ajuste una curva de regresión múltiple de la forma μD |v = β0 + β1 v + β2v2 .


b) Estime la distancia de frenado cuando el carro viaje a 70 kilómetros por hora.

PRUEBAS DE COEFICIDENTES INDIVIDUALES Y SUBCONJUNTOS DE


COEFICIENTES

Se puede evaluar la contribución de una variable independiente xi en el modelo de regresión


lineal múltiple
𝑌𝑥 𝑥
1, 𝑥
= 0 + 1 𝑥1 + ⋯ + 𝑘 𝑥𝑘 ,
2, … , 𝑘

Al observar la cantidad de regresión atribuida a xi con respecto a la atribuida a las otras


variables. Ésta se calcula al restar la suma de cuadrados de la regresión para un modelo con
xi eliminada de la suma de cuadrados de la regresión (SSR) del modelo original.

Si x1 es la variable por evaluar suponiendo que se tienen 3 variables independientes:

𝑅(𝛽1 𝛽2 , 𝛽3 ) = 𝑆𝑆𝑅 − 𝑅(𝛽2 , 𝛽3 ),

donde 𝑅(𝛽2 , 𝛽2 ) es la suma de cuadrados de la regresión eliminando el término 𝛽1 𝑥1 del


modelo. Para probar la hipótesis𝐻0 : 𝛽1 = 0 contra 𝐻1 : 𝛽1 ≠ 0, se calcula

𝑅(𝛽1 𝛽2 , 𝛽3 )
𝑓=
𝑆2

Y se compara con 𝑓𝛼(1,𝑛−𝑘−1) , 𝑆 2 es la que se obtiene con el modelo original.

PRUEBAS DE SUBCONJUNTOS DE COEFICIENTES

Para analizar la aportación de un subconjunto de variables, por ejemplo, para analizar


simultáneamente x1 y x2 se prueba la hipótesis 𝐻0 : 𝛽1 = 𝛽2 = 0, contra la alternativa
𝐻1 : 𝛽1  𝛽2 no son ambas cero, se calcula el estadístico de prueba

(𝛽1 , 𝛽2 𝛽3 , 𝛽4 , … , 𝛽𝑘 ) [𝑆𝑆𝑅 − 𝑅 (𝛽3 , 𝛽4 , … , 𝛽𝐾 )]


𝑓= 2 = 2
𝑆2 𝑆2

y se compara con 𝑓𝛼(2,𝑛−𝑘−1) . El número de grados de libertad del numerador, en este caso
2, es igual al número de variables en el conjunto que se investiga.

También podría gustarte