FUNCIN DE DENSIDAD.

Mtodos de estimacin de la funcin de densidad

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.

Mtodos de estimacin de la funcin de densidad

Los mtodos de estimacin de la funcin de densidad se utilizan cuando no se
puede asumir una forma funcional para la P ( Xwi ) , y se debe estimar la
distribucin a partir de un conjunto de prototipos.
Entre los mtodos se consideran los siguientes:

Estimadores de Parzen
Este mtodo recopila informacin de cada uno de los prototipos y la misma es
representada en mediante una funcin ncleo. Esta, es una funcin centrada en el
m
punto Z i
que alcanza un mximo en l y que decrece montonamente
conforme la distancia
Un estimador de

( X , Z mi )

P ( Xwi )

se incrementa.

usando ncleos es de la forma:

Ni

1
^
P ( Xwi )= ( X , Zim )
N i m =1
El estimador es la media de las aportaciones individuales obtenidas al evaluar la
funcin ncleo sobre los N i prototipos de esa clase.
La funciones ncleo a ser utilizadas son:
Ncleo Gaussiano
Para el caso unidimensional se utiliza la siguiente funcin:
^
P ( Xwi )=

1
Ni (2 )

Donde

Z mi j

Ni

[ (

m
1 X jZ i
exp
1
2

2 m=1

)]
2

es la componente j-sima del prototipo m-simo de la clase

.cada componente se pondera por separad tomando el ancho particular

cada dimensin.

( )

wi
de

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.

Ncleo hipercbico
Es un estimador constante por tramos de la funcin de densidad y para
el caso unidimensional se utiliza la siguiente funcin:

[ ]

1
1
^
P ( Xwi )=
c
Ni 2
Donde

es el nmero de prototipos que estn dentro del intervalo de radio

. Esto es, los prototipos

Z mi

que verifican que

X Zim X +

K vecinos ms prximos
Los K vecinos ms cercanos de un prototipo
crculo o hiperesfera con centro en

(X)

estarn localizados en un

La vecindad no se establece con base en un parmetro fijado de antemano sino

que depende del patrn considerado. Por lo que, si el patrn se encuentra en una
regin muy poblada, la vecindad a considerar tendr un radio menor y viceversa.
Es de notar que mientras la estimacin la densidad de probabilidad por ncleos de
Parzen utiliza un ancho fijo, la estimacin por los vecinos ms cercanos se hace
mediante un ncleo de ancho variable que depende de la densidad de los
prototipos en el espacio de representacin.
K (X)
^
P ( Xwi )= i
Ni V ( X )
Donde

es la longitud del intervalo que contiene a los prototipos y ser el

doble de la distancia de x al tercer vecino ms cercano.

Experimentos
Se estim la densidad de probabilidad para el siguiente conjunto de patrones
dispuestos en dos clases
Figura 1 Prototipos unidimensionales

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.

Ejemplo 1
Ncleo hipercbico con ancho

=5

comn a las dos clases.

En la siguiente figura se muestra el resultado de la estimacin efectuada para

X ={10,9,8,7,6, , 26,27, 28, 29,30 }
Figura 2 Ejemplo 1

Ejemplo 2
Ncleo gaussiano con ancho

=3

comn a las dos clases.

Figura 3 Ejemplo 2

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.

Y comparando las dos estimaciones realizadas hasta ahora, se obtiene la

siguiente figura
Figura 4 Comparacin: Ejemplo 1 vs. Ejemplo 2

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.

Ejemplo 3
Se realiz la estimacin de la densidad de probabilidad de un conjunto de
patrones bidimensionales empleando un conjunto de aprendizaje con 100
prototipos de una nica clase.
Para este ejemplo se emple el ncleo hiperresfrico con ancho

=20

y se

gener un conjunto de prototipos a partir de una distribucin de densidad de

probabilidad normal con

[ ]

100
100

256 179,2
179,2 256

Figura 5 Prototipos ejemplo 3

A continuacin se muestra la distribucin obtenida con el histograma y las curvas

de nivel
Figura 6 Curvas del ejemplo 3

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.

Ejemplo 4
Ncleo gaussiano y ncleo hipercbico con ancho

=1

Figura 7 Ejemplo 4 Ncleo Hipercbico

Figura 8 Ejemplo 4 Ncleo gaussiano

=7 .

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.

Ejemplo 5
Comparacin entre el ncleo de Parzen y los K vecinos ms cercanos. Para este
caso se calcul la funcin de densidad con K=3 , K=5 y K=7 , comn
para las dos clases de prototipos unidimensionales.
En este caso, dado un patrn cualquiera

( X ) , una vez que se han calculado

cules son sus tres vecinos ms cercanos, se calcul:

1.

K i (X ) , el nmero de prototipos de cada clase que estn en el intervalo

considerado.
2. La longitud del intervalo que los contiene. Ser el doble de la distancia de
X al tercer vecino ms cercano (depende de X ).
3. Se divide entre el producto
densidad de probabilidad de

N i V ( X ) . El resultado es una estimacin de la

X

para cada clase.

Maestra Investigacin de operaciones.

Materia: Anlisis y Procesamiento de Patrones.
Figura 9 Ejemplo5 K=3

Figura 10 Ejemplo 5 - K=5

Figura 11 Ejemplo 5 - K=7