Está en la página 1de 15

REGRESION

RIDGE
GENERALIZADA
Universidad del Valle
Modelos Lineales II
Angela Cadena Ramrez
Cristian Garca Bermdez
Beatriz Elena Jaramillo
Hoerl y Kennard [1970] propusieron una extensin del
procedimiento ordinario de regresin ridge, que permite
tener parmetros separados de sesgo para cada regresor.
A este procedimiento se le llama regresin ridge
generalizada.

La descripcin de este mtodo se simplifica un poco si
se transforman los datos al espacio de los regresores
ortogonales.
Regresin Ridge Generalizada
Recordemos que:

es una matriz pxp diagonal cuyos elementos de la
diagonal son los eigenvalores

, ,

de

es una matriz ortogonal correspondiente de
eigenvectores

Regresin Ridge Generalizada
Tenemos entonces:

() =
Si se definen
= T (1)
= (2)
El modelo se transforma en:

= +
= +
= + (3)


Regresin Ridge Generalizada
El estimador de por mnimos cuadrados es la
solucin a:
=

=

=



De la ecuacin (2) tenemos que:

=

Regresin Ridge Generalizada
Con frecuencia se dice que la ecuacin (1) es la forma
cannica del modelo. La solucin en trminos de la
forma cannica el estimador ridge generalizado es:

+

=
K es ortogonal.
Los coeficientes ridge generalizados en trminos del
modelo original son:


Regresin Ridge Generalizada
Error cuadrtico medio:

= [

)]

= [

)]

=
2

)
2

=1
+

2
(

)
2

=1


Regresin Ridge Generalizada
Se minimiza el error cuadrtico medio eligiendo:

2
, = 1,2, ,

Hoerl y Kennard [1970] sugieren un mtodo
iterativo para determinar las

. A partir de la
solucin de mnimos cuadrados se obtiene un
estimado inicial de las

; por ejemplo:

0
=

2
, = 1,2, ,
Regresin Ridge Generalizada
Los

se usan para calcular los estimadores ridge


generalizados iniciales a partir de:


Donde
0
=
1
0
,
2
0
, ,

0
.

A continuacin se usan los estimados iniciales

0

para revisar los estimados de las

.



Regresin Ridge Generalizada

0
= +
0

1

1
0 2
.

( )
j
GR j
k
o
o
=
J=1,2,.P
Estos nuevos valores de

1
se pueden usar para
corregir los estimados del

El proceso iterativo debe continuar hasta que se
obtengan estimados estables de parmetro.






Por lo que se puede decir que no es necesaria realizar el
proceso iterativo
Regresin Ridge Generalizada
2 2 2
2
2 2
1
1 1

(1/ ) ( / )
h
P P p
j
j
j j
j j
P P P P P
k k
k
o o o
o o | |
o
o o =
= =
= = = = = =


Hemmerle [1975] demostr que el proceso iterativo
de Hoerl Y Kennard puede generalizarse de la
siguiente manera:

=
Donde es el estimador de mnimos cuadrados y B es
una matriz diagonal de elementos no negativos.
Hocking . Speed Y Lynn [1976] demostraron que los
resultados de Hemmerle son seleccionar:
Regresin Ridge Generalizada
{
2 2
0
0.5 [0.25 (1/ )]
j
j
b
t +
=
2
2
4
4
j
j
si
si
t
t
<
>
Donde

2
=

2
;

es el estadstico t asociado con el


j-simo regresor, por tanto se tiene que si t es
pequeo el coeficiente ridge generalizado es 0
mientras que si es grande se asocia una fraccin


del coeficiente de mnimos cuadrados.




A esta solucin se le llamara solucin ridge
generalizada y totalmente iterada.

Regresin Ridge Generalizada
{
2 2
0
0.5 [0.25 (1/ )]
j
j
b
t +
=
2
2
4
4
j
j
si
si
t
t
<
>
La solucin ridge generalizada totalmente iterada
introduce demasiado sesgo por lo que su utilizacin
debe realizarse con cuidado y bajo casos especficos
donde el investigador lo considere pertinente.
Regresin Ridge Generalizada
Hemmerle propuso una tcnica para evitarlo, con base en
restringir a la suma de cuadrados residuales para evitar un
aumento importante no deseado. Recomend establecer un
lmite para la prdida total de
2
y que se reparta esa prdida
en forma proporcional a los regresores individuales.


Regresin Ridge Generalizada
*
1 (1 )
j j
m
b b
=
en donde m es la relacin de la perdida admisible de
2

entre la perdida de
2
si se usa
*
j b
No hay una eleccin optima definida de las

para
Regresin Ridge Generalizada por lo que en la
practica suele funcionar bien restringir el aumento
mximo de la SSR de 1 a 20%.

Sin embargo se necesita trabajar mucho para
desarrollar mejores lineamientos de eleccin de los
parmetros

y controlar la cantidad de contraccin.


Regresin Ridge Generalizada

También podría gustarte