Deep-FS: A feature selection algorithm for Deep Boltzmann Machines

1. Introducción

El Deep learning ha tenido grandes impactos en áreas como el reconocimiento

de imágenes, reconocimiento de voz, bioinformática y muchas otras aplicaciones

donde se tienen grandes volúmenes de datos. Existen otros métodos más

comunes de aprendizaje automático pero que tienen muchas limitaciones. Por

ejemplo, el Deep learning a diferencia de los métodos comunes de aprendizaje

es que este integra la extracción de características y el proceso de aprendizaje.

La extracción de características tiene la tarea de eliminar características que

aportan con información redundante o poco significativa, al hacer esto se puede

reducir la cantidad de datos y por ende mejorar la velocidad de procesamiento de

los datos. Existen otras maneras de aprendizaje automático como las redes

neuronales profundas, estas DNN cuando poseen una gran cantidad de

características irrelevantes son modeladas pero este modelado actúa como ruido

que afecta al conocimiento que adquiere la red sobre la distribución de datos y el

tiempo de cálculo.

Existen las Deep Belief Networks (DBN) propuestas por Hinton y

Salakhutdinov, y las Deep Boltzmann Machines (DBMs) presentadas por

Srivastava y Salakhutdinov et al. Que son DNN, estas usan máquinas de

Boltzmann restringidas densamente conectadas (RBM), que son modelos de

redes neuronales profundas formadas por múltiples capas de líneas de red. En

estas DBN la gran cantidad de datos por procesar y conexiones que aumentan el

costo computacional y el tiempo de capacitación de las RBM, pero cuando se

reducen las características de entrada se reduce el costo computacional de

ejecutar métodos de aprendizaje profundo. Debido a esto se propone un nuevo

 algoritmo llamado Deep-Feature Selection (Deep-FS), que integra las

capacidades de selección DBM para que las características irrelevantes se

eliminen de los datos en bruto de esta manera se reducen el número de entradas

que se modelan durante el proceso de aprendizaje.

2. Propósito

En este artículo se muestra una novedosa técnica de selección de características

para ello se describen las máquinas de Boltzmann, las propiedades matemáticas

de las máquinas de Boltzmann restringidas, que es el Deep Learning, la

selección de características. Se detalla en si cuales son los pasos de este

algoritmo llamado Deep-Feature Selection y finalmente se muestran los

resultados experimentales al usar este algoritmo de selección.

3. Objetivo

Deep-FS utiliza Deep Boltzmann Machines, este algoritmo utiliza el

conocimiento que se adquiere durante el entrenamiento de DBM para eliminar

características al inicio del proceso de aprendizaje, hay que recalcar que es

importante eliminar las características irrelevantes porque de esta manera se

impide que la red aprenda sobre estas características que no aportan nada y así se

evita impactos negativos en el conocimiento adquirido en la red. Existen dos

versiones para el método de selección de características propuesto, en la primera

versión del algoritmo el RBM no está capacitado durante la selección de

características. Pero, en la segunda versión, el RBM se entrena durante el

procedimiento de selección de características.

La versión de Deep-Feature Selection escogida es aquella en la que el RBM no

se entrena durante la selección de características.

 Train RBM on the training data.
Calculate the initial reconstruction error ei by the trained RBM
using (17) for all i.
Nv = ‘number of visible features’
i = 1
While i < Nv:
Select Ne features for evaluation.
Ns = Ne
Set vk = 0 for k ∈ {Ne selected features} (elimination of the
Ne features).
Calculate the reconstruction error ek’ for each eliminated
feature using (17).
for k ∈ {Ne eliminated features}:
if ek’<ek then:
Remove the kth visible unit.
Nv = Nv – 1
Ns = Ns – 1
else:
Reset vk from 0 to its original value, and add it
to selected features.
i = i + Ns

Tabla1. Seudocódigo Deep-FS

2 2
𝑒𝑖 ∝ ([𝑣̃𝑖 ℎ𝑗 ] − [𝑣𝑖 ℎ𝑗 ]) = ((𝑣̃𝑖 − 𝑣𝑖 )ℎ𝑗 )

𝑒𝑖 = 𝐸𝑚𝑜𝑑𝑒𝑙 [(𝑣̃𝑖 − 𝑣𝑖 )2 ] (17)

Entrada: Serie de características para evaluarse.

Salida: Serie de características relevantes con reconstrucción de características

eliminadas.

Descripción:

El algoritmo Deep-FS adopta la propiedad generativa de RBM para definir un método

para la selección de características. Esta propiedad genera la probabilidad del valor de

una unidad visible dados los estados de unidades ocultas. El algoritmo Deep-FS

encuentra características con información útil y para esto utiliza la propiedad de RBM

para eliminar la información inútil. La información seleccionada al final tendrá menos

características que reducirá la complejidad de la red. El algoritmo se puede expresar en

tres pasos.

a. Entrenamiento inicial: Los datos de entrenamiento ingresan en una RMB y los

pesos de RBM se ajustan calculando la diferencia 𝐸𝑑𝑎𝑡𝑎 [𝑣𝑖 ℎ𝑗 ] − 𝐸𝑚𝑜𝑑𝑒𝑙 [𝑣̃𝑖 ℎ𝑗 ]

b. Eliminación de características: Se eliminan las características innecesarias. El

algoritmo propuesto puede eliminar una característica única o si se desea un

grupo de características en cada evaluación. El algoritmo comienza con un

conjunto de características de entrada y las evalúa con la RMB entrenada. El

RMB minimiza el error de red. Durante este proceso se reduce el valor absoluto

del error y el proceso de aprendizaje se detiene cuando el error llega a cero o

cuando se alcance un numero predefinido.

c. Capacitación Principal: se capacita la DBM con la RBM previamente entrenada

en los datos de capacitación que son las características seleccionadas

4. Referencias

Taherkhani, A., Cosma, G. and McGinnity, T. (2018). Deep-FS: A

feature selection algorithm for Deep Boltzmann Machines. Neurocomputing, 322,

pp.22-37.