Ker

Maximo Camacho Estimacin no-paramtrica 1
Estimacin no-paramtrica
Mximo Camacho Alonso
Universidad de Murcia
www.um.es/econometria/tecpre
mcamacho@um.es
Contenido del tema
Introduccin: ventajas e inconvenientes
Estimacin funcin de densidad
Algunos tipos de estimacin
Propiedades asintticas
El papel del kernel
El papel de la ventana
Estimacin de funciones
Nadaraya-Watson
Prediccin
1. Introduccin
Estimacin paramtrica
Estimacin no-paramtrica
Ventajas
Inconvenientes
Supongamos que
Disponemos de n observaciones de y, x.
Pensamos
y
t
= m(x
t
) + e
t
Deseamos estimar
Funcin de densidad de y
La funcin m
1. Introduccin
1. Introduccin
Supuesto 1: m es lineal
Supuesto 2:
Implica
Estimamos a, b,
t t t
e bx a y + +
) , 0 ( N e
2

1.1. Estimacin paramtrica
) , ( /
2
t t t
bx a N x y +
)
( /
t t t
x b a N x y +
No exigimos a priori que
la densidad de y
la funcin m
pertenezcan a una familia paramtrica
Trataremos de estimarlas dejando que los
datos hablen por s mismos
1. Introduccin
1.2. Estimacin no-paramtrica
Principio de parquedad
Mtodo flexible
Qu mtodo paramtrico?
Fcil de implementar
Evitamos el error al elegir
funciones de densidad errneas
m errnea
1. Introduccin
1.3. Ventajas
Muestras grandes
Existen varios no-paramtricos
Qu mtodo usar?
Resultados menos intuitivos
Inferencia
1. Introduccin
1.4. Inconvenientes
2. Funciones de densidad
Introduccin
Tipos de estimacin no-paramtrica
Histograma
Kernel
Kernel adaptativa
Vecino ms cercano
Estimacin kernel
Propiedades
Datos multivariantes
Densidad univariante
Ejemplo
Copas y Fryer (1980)
y
t
duracin 86 pacientes tras suicidio
Ntese:
y > 0
y suele ser pequea
2. Estimacin funciones densidad
2.1. Introduccin
Histograma
Kernel: Rosenblatt (1956)
Vecino ms cercano: Loftsgaarcen y Quesenberry
(1965)
Kernel variable: Breiman, Meisel y Purcell (1977)
2.2. Tipos de estimacin no-paramtrica
Sean:
Un punto de partida y
0
Un radio h
Para cada natural m se define
La bola [ y
0
+mh, y
0
+(m+1)h ), m = 0,1,2,...
1. Histograma
nh
B #
) y ( f
i
i

0
0,001
0,002
0,003
0,004
0,005
0,006
0,007
0,008
0,009
-
5
0
1
0
7
0
1
3
0
1
9
0
2
5
0
3
1
0
3
7
0
4
3
0
4
9
0
5
5
0
6
1
0
6
7
0
7
3
0
7
9
0
1. Histograma
y
0
= -50
h = 30
1. Histograma
Ventajas
Fcil aplicacin
Inconvenientes
Depende de y
0
Discontinuidades:
no derivadas
Mltiples
explicativas
2. Estimacin kernel: definiciones
Una funcin de densidad f(y) satisface:
1.
2. f (y) 0
Una funcin kernel K(y) slo satisface 1

1 dy ) y ( f
2. Estimacin kernel: estimador
Definimos estimador kernel:
Simplificamos: K es la normal
estandarizada
(
,
\
,
(
j

n
i
i
h
y y
K
nh
y f
1
1
) (

2. Estimacin kernel: intuicin
n
1 i
i
)
h
y y
( K
nh
1
) y ( f
y
F(y )
x
x x x x x x
2. Estimacin kernel: el papel de h
y
F(y )
x x x x x
n
1 i
i
)
h
y y
( K
nh
1
) y ( f

2. Estimacin kernel: kernel a examen
Ventajas: ciertos K
funcin densidad
continua
diferenciable
) y ( f
) y ( f
) y ( f
Inconvenientes
Eleccin de K, h
h fija: problemas en
distribiciones
asimtricas
h=15
-200 -50 100 250 400 550 700 850
h=60
-200 -50 100 250 400 550 700 850
3. Estimacin kernel adaptativa
Definimos

i
adapta la ventana a cada observacin: resta peso
a observaciones aisladas
n
1 i
i
i
i
)
h
y y
( K
h
1
n
1
) y ( f

3. Estimacin kernel adaptativa
-200 -50 100 250 400 550 700 850
4. Estimacin vecino ms cercano
Consideremos: d (x,y) = | x - y |
Ordenamos: d
1
(y) d
2
(y) ... d
n
(y)
d
n
( y ) = distancia entre ( observacin ms lejana a y, y )
Definimos
Ventana grande (curva suave) en obs. atpicas
(
(
,
\
,
,
(
j

n
1 i
k
i
k
) y ( d
y y
K
) y ( nd
1
) y ( f
k ~ n ^ (1/2)
4. Estimacin vecino ms cercano
-200 -50 100 250 400 550 700 850
2.3. Estimacin Kernel
1. Supuestos adicionales
K simtrica
1 dt ) t ( K
0 dt ) t ( tK
0 k dt ) t ( K t
2
2
f derivadas
continuas de
cualquier orden
2. Error Cuadrtico Medio: definicin
( ) dy ) y ( f
) y ( f E ECM
2
dy ) y ( f
E ) y ( f
2

+ dy ) y ( f
E ) y ( f
E
2
! !! ! (varianza) dy
! !! !(sesgo)
2
dy
2. Error Cuadrtico Medio: sesgo
! !! !(sesgo)
2
dy
Aplicar propiedades de K
Expansin de Taylor
( )

dy ) y ( ' ' f k h
4
1
2
2
2
4
(Aumenta con h)
2. Error Cuadrtico Medio: varianza
! !! !varianza

dy
Aplicar propiedades de K
Expansin de Taylor
dy ) y ( K
nh
1
2
(Disminuye con h)
3. El papel de la ventana
h: aumenta sesgo y diminuye varianza
.
minimiza el ECM
pequea para
n grande
densidades fluctuacin rpida
h
Nopt
= 1.06 n
-1/5
( ) ( ) ( )
5 / 1
5 / 1
2
5 / 1
2
5 / 2
2 opt
n dy ) y ( ' ' f dt ) y ( K k h


4. El papel del Kernel
Es mnimo para Epanechnikov (Ke)
Compararemos ECM de otras Kernel con
Ke para analizar eficiencia relativa
ECM
opt
=
( )
dy ) y ( K , ' ' f , n g
2
4. El papel del Kernel
Epanechnikov
Gausiana
Rectangular
<
(
,
\
,
(
j
resto 0
5 | y | 5 / y
5
1
1
4
3
2
) y ) 2 / 1 exp(( 2 / 1
2
1/2 para |y | < 1, y 0 resto

Kernel
K(t)
Eficiencia
1
0.95
0.93
4. Eleccin de h
Validacin cruzada mximo verosmil
h tal que maximiza
Buscando entre ( 1/4 h
Nopt
,

3/2 h
Nopt
)

n
i
i i
y f
n
h VCMV
1
) (
log
1
) (
5. Propiedades asintticas
Consistencia puntual. Bajo f continua y:
! |K(y)| dy < , !K(y)dy = 1
| y K(y) | 0 si | y |
h
n
0 y nh
n
si n
entonces
) y ( f ) y ( f

p
5. Propiedades asintticas
Consistencia funcional.
Bajo los supuestos anteriores
K no negativa
entonces, con probabilidad 1:
0 | ) ( ) (
dy y f y f
6. Datos multivariantes
Suponemos Y
i
vector d-dimensional
Definicin
Ejemplo: si el Kernel es gausiano
( )
(
,
\
,
(
j

n
1 i
i
d
Y Y
h
1
K
nh
1
) Y ( f
( ) ) Y ' Y 2 / 1 exp( 2 ) Y ( K
2 / d


6. Datos multivariantes: consideraciones
Gran importancia de las colas
n grande. Ej.: para asegurar ECM (y = 0) < 0.1
d = 3.............n > 67
d = 5.............n > 770
d = 10............n > 850.000
3. Estimacin de funciones
Introduccin
Nadaraya-Watson
Estimacin
Propiedades asintticas
Vecino ms cercano
Muchas variables explicativas
Prediccin
3.1. Introduccin
Disponemos {y
t
, x
t
} i=1,...,n
Suponemos y
t
= m(x
t
) + e
t
Tratamos de estimar m (x) sin hacer ningn
supuesto previo sobre la naturaleza de m
3.2. Nadaraya-Watson : estimador
Si E (e / x) = 0
m (x) = E (y / x) = ! !! ! y f (y / x) dy
= ! !! ! y f (y , x) / f (x) dy
El estimador natural de
f (x) es K (x)
f (y , x) = K (y , x)
3. 2. Nadaraya-Watson: estimador
Bajo los supuestos K
Media 0: ! !! ! y K (y , x) dy = 0
Marginalizable: ! !! ! K (y , x) dy = K (x)
Nadaraya y Watson (1964)
i i
i
i
i
y ) x ( w
h
x x
K
y
h
x x
K
) x ( m
(
,
\
,
(
j

(
,
\
,
(
j


3. 2. Nadaraya-Watson: propiedades asintticas
Si K satiface
! !! ! | K (u) | du <
lim u K(u) = 0 , cuando |u |
m(x), f(x),
2
(x) continuas en x
f(x) > 0
entonces
) x ( m ) x ( m
p

n
nh
0 h
si
3. 2. Nadaraya-Watson: ECM
( ) dy ) x ( m
) x ( m E ECM
2

= ! !! !(sesgo)
2
dy + ! !! !varianza

dy
= h
4
B
2
(x) + n
-1
h
-1
V(x)
donde B
2
(x) y V(x) dependen de:
m, f y var(x)
3. 2. Nadaraya-Watson: papel de h
Serie: tasa crecimiento US GDP 1947.2-2000.3
Serie real
Serie estimada
h = 0.01
3. 2. Nadaraya-Watson: papel de h
Serie: tasa crecimiento US GDP 1947.2-2000.3
h = 2
Serie estimada
Serie real
3. 2. Nadaraya-Watson: eleccin de h
Hrdle y Vieu (1990)
Para series temporales: validacin cruzada
h que minimiza
j i
j j i i
) x ( w y
1 n
1
) x ( m
con
( )

n
1 i
2
i i i
) x ( m
y
n
1
) h ( CV
3. 3. Estimacin vecino ms cercano
donde w
ki
(x) = n / k si x
i
es una de las k
observaciones ms cercanas a x (0 en otro caso)
Efectos de k
k >= n serie estimada = media de y
k = 1 serie estimada = serie real
i ki
1
y ) x ( w n ) x ( m

3. 3. Estimacin vecino ms cercano
Ejemplo. Queremos m(4) con k = 3 en:
m(4) = (5+5+6)/3
x
y
1 2 3 4 5
2 4 5 5 6
w
0 0 1/3 1/3 1/3
3. Estimacin funciones
3.4. Datos multivariantes
variables explicativas n
Reduccin de la dimensin d d"5
Proyection Pursuit
(eliminar las que ms disminuyan la varianza)
Anlisis de componentes informativos
(eliminar las que menos aumentan el sesgo)
Ver comentarios de prediccin en STAR
Slo a ttulo orientativo, supongamos
y
1
, y
2
, ... , y
n
y
t
= m( y
t-1
) + e
t
Para predecir:
Estimamos m con informacin hasta n
Predecimos :
)... y
( m
) y ( m
y
) y ( m
y
2 n 3 n
1 n 2 n
n 1 n
+ +
+ +
+
3. Estimacin funciones
3.5. Prediccin

Ker

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Ker

Cargado por

Copyright:

Formatos disponibles

Maximo Camacho Estimacin no-paramtrica 1

Maximo Camacho Estimacin no-paramtrica 17

Maximo Camacho Estimacin no-paramtrica 19

Maximo Camacho Estimacin no-paramtrica 31

1/2 para |y | < 1, y 0 resto

Maximo Camacho Estimacin no-paramtrica 37

Maximo Camacho Estimacin no-paramtrica 42

Maximo Camacho Estimacin no-paramtrica 48

También podría gustarte