Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Anlisis de Regresin
Multicolinealidad
Dos predictores X1 y X2 son exactamente colineales si
existe una relacin lineal tal que c1X1+c2X2=c0 para
algunas constantes c1, c2 y c0.
Un conjunto de predictoras X1, X2,.Xp son
colineales si para constantes co,c1,..cp, la ecuacin
X k (co c j X j ) / ck
j k
Regresin Ridge
~
El error cuadrtico medio del estimador se define como
~
~
~
~
MSE( ) = E( -) = Var( ) + [E( -)]
~
~
~
MSE( ) = Var( ) + [sesgo en ]
La pequea varianza
del
estimador
sesgado
implica
~
tambin que es un estimador ms estable de que
el estimador insesgado .
Regresin Ridge
~
La idea en regresin Ridge es encontrar un estimador que
aunque sea sesgado sea ms corto que
El estimador mnimo cuadrtico ser escogido hacia el origen.
Hoerl y Kennard (1970 ) propusieron el siguiente estimador
~
( X ' X kI ) 1 X ' Y
Regresin Ridge
~
~
~
~
MSE( ) = E( -) = Var( ) + [E( -)]
~
+ k (XX + kI)
Traza Ridge
Hay varias propuestas acerca de la eleccin de k, pero lo que ms
se recomienda consiste en hacer un plot de los coeficientes del
modelo para varios valores de k (generalmente entre 0 y 1) este
plot es llamado la Traza Ridge .
Para elegir k hay que considerar los siguientes aspectos
1. Que los valores de los coeficientes de regresin se estabilizen.
2. Que los coefcientes de regresin que tenan un valor
demasiado grande comienzen a tener valores razonables.
3. Que los coeficientes de regresin que inicialmente tenan el
signo equivocado cambien de signo.
k ptimo
Es un estimado de la razn entre la varianza poblacional 2
y la varianza del estimador ridge.
k opt
ps 2
p
*2
b
i (0)
i 1
tienden a cero.
Eliminar las variables con coeficientes inestables.
Anlisis de Regresin
10
y
27
29.9
29.8
30.8
31.2
33.3
35.6
36.4
36.7
38.4
40.4
40.3
41.8
40.4
40.7
40.1
42.7
44.1
66.7
50.6
50.1
51.7
72.9
x2
397.5
413.3
439.2
459.7
492.9
528.6
560.3
624.6
666.4
717.8
768.2
843.3
911.6
931.1
1021.5
1165.9
1349.6
1449.4
2575.5
1759.1
1994.2
2258.1
2478.7
x3
42.2
38.1
40.3
35.9
37.3
38.1
39.3
37.8
38.4
40.1
38.6
39.8
39.7
52.1
48.9
58.3
57.9
56.5
63.7
61.6
58.9
66.4
80.4
x4
50.7
52
54
55.3
54.7
63.7
69.8
65.9
64.5
70
73.2
67.8
79.1
95.4
94.2
123.5
129.9
117.6
130.9
129.8
128
141
168.2
x5
78.3
79.2
79.2
79.2
77.4
80.2
80.4
83.9
85.5
93.7
106.1
104.8
114
124.1
127.6
142.9
143.6
139.2
165.5
203.3
219.6
221.6
232.6
x6
65.8
66.9
67.8
69.6
58.7
73.6
76.3
77.2
78.1
84.7
93.3
89.7
100.7
113.5
115.3
136.7
139.2
132
132.1
154.4
174.9
180.8
189.4
11
1960.00
1961.00
1962.00
1963.00
1964.00
1965.00
1966.00
1967.00
1968.00
1969.00
1970.00
1971.00
1972.00
1973.00
1974.00
1975.00
1976.00
1977.00
1978.00
1979.00
1980.00
1981.00
1982.00
27.00
29.90
29.80
30.80
31.20
33.30
35.60
36.40
36.70
38.40
40.40
40.30
41.80
40.40
40.70
40.10
42.70
44.10
66.70
50.60
50.10
51.70
72.90
78.30
79.20
79.20
79.20
77.40
80.20
80.40
83.90
85.50
93.70
106.10
104.80
114.00
124.10
127.60
142.90
143.60
139.20
165.50
203.30
219.60
221.60
232.60
65.80
66.90
67.80
69.60
58.70
73.60
76.30
77.20
78.10
84.70
93.30
89.70
100.70
113.50
115.30
136.70
139.20
132.00
132.10
154.40
174.90
180.80
189.40
12
13
14
15
16