P. 1
Regresion Ridge Generalizada (Copia Conflictiva de Angela Cadena 2012-11-26)

Regresion Ridge Generalizada (Copia Conflictiva de Angela Cadena 2012-11-26)

|Views: 13|Likes:
Publicado porDavid Wilson

More info:

Published by: David Wilson on Oct 11, 2013
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

07/01/2014

pdf

text

original

REGRESION

RIDGE
GENERALIZADA
Universidad del Valle
Modelos Lineales II
Angela Cadena Ramírez
Cristian García Bermúdez
Beatriz Elena Jaramillo
 Hoerl y Kennard [1970] propusieron una extensión del
procedimiento ordinario de regresión ridge, que permite
tener parámetros separados de sesgo para cada regresor.
A este procedimiento se le llama regresión ridge
generalizada.

 La descripción de este método se simplifica un poco si
se transforman los datos al espacio de los regresores
ortogonales.
Regresión Ridge Generalizada
Recordemos que:

 es una matriz pxp diagonal cuyos elementos de la
diagonal son los eigenvalores

,

, …,

de ′

 es una matriz ortogonal correspondiente de
eigenvectores

Regresión Ridge Generalizada
Tenemos entonces:

′(′) =
Si se definen
= T (1)
= ′ (2)
El modelo se transforma en:

= +
= ′ +
= + (3)


Regresión Ridge Generalizada
El estimador de por mínimos cuadrados es la
solución a:
′ = ′

Λ = ′

=



De la ecuación (2) tenemos que:

=

Regresión Ridge Generalizada
Con frecuencia se dice que la ecuación (1) es la forma
canónica del modelo. La solución en términos de la
forma canónica el estimador ridge generalizado es:

Λ +

= ′
K es ortogonal.
Los coeficientes ridge generalizados en términos del
modelo original son:

=

Regresión Ridge Generalizada
Error cuadrático medio:

= [

− ′(

− )]

= [

− ′(

−)]

=
2

(

+

)
2

=1
+

2

2
(

+

)
2

=1


Regresión Ridge Generalizada
Se minimiza el error cuadrático medio eligiendo:

=

2

2
, = 1,2, …,

 Hoerl y Kennard [1970] sugieren un método
iterativo para determinar las

. A partir de la
solución de mínimos cuadrados se obtiene un
estimado inicial de las

; por ejemplo:

0
=

2

2
, = 1,2, …,
Regresión Ridge Generalizada
Los

se usan para calcular los estimadores ridge
generalizados iniciales a partir de:


Donde
0
=
1
0
,
2
0
, … ,

0
.

A continuación se usan los estimados iniciales

0

para revisar los estimados de las

.



Regresión Ridge Generalizada

0
= +
0

−1

1
0 2
.
ˆ
,
ˆ
( )
j
GR j
k
o
o
=
J=1,2,…….P
Estos nuevos valores de

1
se pueden usar para
corregir los estimados del

El proceso iterativo debe continuar hasta que se
obtengan estimados estables de parámetro.






Por lo que se puede decir que no es necesaria realizar el
proceso iterativo
Regresión Ridge Generalizada
2 2 2
2
2 2
1
1 1
´ ´
(1/ ) ( / )
h
P P p
j
j
j j
j j
P P P P P
k k
k
o o o
o o | |
o
o o =
= =
= = = = = =
¿
¿ ¿
 Hemmerle [1975] demostró que el proceso iterativo
de Hoerl Y Kennard puede generalizarse de la
siguiente manera:

=
Donde es el estimador de mínimos cuadrados y B es
una matriz diagonal de elementos no negativos.
 Hocking . Speed Y Lynn [1976] demostraron que los
resultados de Hemmerle son seleccionar:
Regresión Ridge Generalizada
{
2 2
0
0.5 [0.25 (1/ )]
j
j
b
t + ÷
=
2
2
4
4
j
j
si
si
t
t
<
>
Donde

2
=

2

2
;

es el estadístico t asociado con el
j-ésimo regresor, por tanto se tiene que si t es
“pequeño” el coeficiente ridge generalizado es 0
mientras que si es “grande” se asocia una fracción

del coeficiente de mínimos cuadrados.




A esta solución se le llamara solución ridge
generalizada y totalmente iterada.

Regresión Ridge Generalizada
{
2 2
0
0.5 [0.25 (1/ )]
j
j
b
t + ÷
=
2
2
4
4
j
j
si
si
t
t
<
>
La solución ridge generalizada totalmente iterada
introduce demasiado sesgo por lo que su utilización
debe realizarse con cuidado y bajo casos específicos
donde el investigador lo considere pertinente.
Regresión Ridge Generalizada
Hemmerle propuso una técnica para evitarlo, con base en
restringir a la suma de cuadrados residuales para evitar un
aumento importante no deseado. Recomendó establecer un
límite para la pérdida total de
2
y que se reparta esa pérdida
en forma proporcional a los regresores individuales.


Regresión Ridge Generalizada
*
1 (1 )
j j
m
b b
= ÷ ÷
en donde m es la relación de la perdida admisible de
2

entre la perdida de
2
si se usa
*
j b
No hay una elección optima definida de las

para
Regresión Ridge Generalizada por lo que en la
practica suele funcionar bien restringir el aumento
máximo de la SSR de 1 a 20%.

Sin embargo se necesita trabajar mucho para
desarrollar mejores lineamientos de elección de los
parámetros

y controlar la cantidad de contracción.
Regresión Ridge Generalizada

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->