UNIVERSIDAD AUTONOMA DEL ESTADO DE MXICO

FACULTAD DE INGENIERA

ANTEPROYECTO DE TESIS DE:

DOCTORADO EN CIENCIAS DE LA INGENIERA

Anlisis de las Redes de Funcin de Base Radial (RBF)

con distribucin de datos no balanceados y modificacin
de los datos con opcin de rechazo

QUE PRESENTA:
Juan Alberto Antonio Velzquez

DIRECTORES DE TESIS:
Dra. Rosa Mara Valdovinos Rosas
Dr. Roberto Alejo Eleuterio

Toluca Estado de Mxico, Noviembre de 2015.

INDICE
1.1 Introduccin........................................................................................................................................... 3
1.2 Antecedentes ......................................................................................................................................... 4
1.3 Objetivos.................................................................................................................................................. 5
1.3.1Objetivos Particulares ................................................................................................................... 5
1.4 Alcances ................................................................................................................................................... 6
1.5 Aspectos metodolgicos ................................................................................................................... 7

NDICE DE FIGURAS

Fig 1 La red de funcin de base radial tradicional. Cada uno de n componentes del vector
de entrada X se alimenta hacia adelante a funciones de base m cuyos resultados se
combinan linealmente con los pesos en la salida de la red f (x). .......................................... 4

1.1

Introduccin

Actualmente, las redes neuronales artificiales son de gran popularidad entre tericos
y especialistas en el rea del aprendizaje automtico, minera de datos y
reconocimiento de patrones.
En particular, en este proyecto se mencionan las redes de Funciones de Base
Radial (Radial Basis Function, RBF). Dichas redes han sido utilizadas en tareas de
clasificacin, aproximacin de funciones, modelado y problemas de control [1]. Esta
red, es considerada de propagacin hacia adelante (feedforward) y comparte varias
caractersticas [2]. Por ejemplo, es un aproximador universal [3], utiliza modelos con
capas no lineales [4] o puede ser entrenada con mtodos similares de descenso por
gradiente [5].
El principal funcionamiento de las redes RBF est en la funcin de activacin de
los nodos ocultos [1]. En RBF depende de la distancia entre los vectores de entrada y
los centros de la red.
En las redes RBF han sido estudiadas desde diferentes enfoques. Se ha propuesto la
construccin de redes RBF a partir de otros modelos, como por ejemplo el SVM
(Support Vector Machine, mquinas de vectores soporte) [6] o los rboles de decisin
[7]. En [8] las redes RBF son presentadas como casos especiales del modelo
Alternative mixture of experts (ME) [8] y los parmetros de la capa oculta y la de salida
son obtenidos por el algoritmo expectation-maximization (EM) [9], [10]. Otra
tendencia, es la utilizacin de algoritmos genticos para la determinacin del nmero
de centros, as como su localizacin y varianzas, o la obtencin de todos los
parmetros de la red [11]. En [12], se estudia la relacin entre el rendimiento de la
red y la forma en cmo se establecen los centros de la misma.
No obstante, an se conoce poco de este modelo, lo que se traduce en debilidades
tales como la lentitud en el aprendizaje y la pobre capacidad de generalizacin que se
observa en un nmero importante de aplicaciones prcticas.
Una de las principales razones que contribuye al bajo rendimiento de una red
neuronal, es la falta de representatividad de los datos de entrenamiento. Por ejemplo,
cuando existen considerables desproporciones en el nmero de patrones de las
distintas clases [13], solapamiento entre clases [14], ruido 1 en los datos de
entrenamiento, patrones atpicos [15], muestras de entrenamiento incompletas, es
decir, cuando alguna de las clases existentes no ha sido representadas suficientemente
por patrones de entrenamiento [16].

Datos con errores, originados en su medicin o registro.

1.2

Antecedentes

Recientemente, el problema del desequilibrio en el nmero de patrones entre

distintas clases de la muestra de entrenamiento, se ha reconocido como un problema
fundamental en el aprendizaje automtico y minera de datos [17]. Este problema, se
ha encontrado en un gran nmero de aplicaciones [18]. Por ejemplo, en la deteccin
de fraudes en llamadas telefnicas [19], o en transacciones con tarjeta de crdito. Las
funciones radiales son una clase especial de funcin, en principio, podran emplearse
en cualquier tipo de modelo (lineal o no lineal) y cualquier tipo de red (de una sola
capa o multicapa). Sin embargo, desde Broomhead y de Lowe [11] en su artculo
mencionan por primera vez a las Funciones de Base Radial (redes RBF) han sido
tradicionalmente asociadas con funciones radiales en una red de una sola capa, como
muestran en la siguiente figura.

Fig 1 La red de funcin de base radial tradicional. Cada uno de n componentes del vector de entrada X se
alimenta hacia adelante a funciones de base m cuyos resultados se combinan linealmente con los
pesos en la salida de la red f (x).

Una red RBF es no lineal si la funcin de base se puede mover o cambiar el tamao o
si hay ms de una capa oculta. Generalmente se trabaja con redes de una sola capa
teniendo la funcin del cambio en su posicin y tamao.

Por otra parte, ha resurgido el inters por examinar la calidad de los datos de
entrenamiento y la validez de sus elementos [15]. Se ha afirmado que todo conjunto
de datos contiene casi siempre valores atpicos [20] y se ha discutido el problema de
las situaciones imperfectamente supervisadas 2 o la presencia de ruido en los datos.
Durante mucho tiempo ha prevalecido el criterio de que la tarea bsica en ese
procesamiento consiste en la seleccin y/o transformacin de las variables o atributos
(reduccin de la dimensin) y que eso era suficiente para tener un modelo
supervisado ptimo. No obstante, en la actualidad est tomando auge la idea de que
es necesario prestar mucha ms atencin a la calidad de la muestra de entrenamiento,
entendindose por esto la preocupacin por la representatividad de sus elementos y
por el grado de confianza en sus etiquetas. Esto reviste mayor importancia cuando se
trabaja con mtodos como la regla NN, las redes RBF. Ocurre con este mtodo que,
precisamente por apoyarse principalmente en la informacin suministrada por la
muestra de entrenamiento, son sensibles a cualquier deficiencia en la calidad y
confiabilidad de sta.
Se ha planteado la posibilidad de mejorar el rendimiento del clasificador a partir
del rechazo de algunos patrones que perjudiquen la precisin del clasificador. En [20]
se propone mejorar el rendimiento de la red a travs de una interpretacin ms
adecuada de las salidas del clasificador. En [21] se evala la conveniencia de rechazar
patrones con alto riesgo de ser clasificados incorrectamente.

1.3

Objetivos

El presente proyecto de tesis doctoral, se enmarca dentro de lo que se conoce como

Reconocimiento Estadstico de Patrones y, ms concretamente, en el uso de redes
neuronales del tipo RBF. Dentro de este enfoque de clasificacin, se presentan una
serie de aspectos que afectan de forma clara la capacidad de generalizacin del
clasificador.
El objetivo de este trabajo es desarrollar una serie de estrategias para acelerar el
entrenamiento e incrementar la capacidad de generalizacin de la red RBF.

1.3.1 Objetivos Particulares

En este trabajo, se presentan distintas propuestas para mejorar el desempeo de la
red RBF, desarrollando las siguientes actividades.
1. Obtener informacin acerca de la naturaleza de los datos a la hora de realizar el
proceso de entrenamiento, es decir, cuales son las caractersticas de las
distribuciones de las clases (desbalance, solapamiento o dimensionalidad).
2. Analizar los beneficios que se generan sobre la red cuando se realiza un
preprocesamiento previo de las muestras de entrenamiento. En este sentido la
reduccin del tamao de la muestra mediante tcnicas de reduccin de
prototipos que mantengan la distribucin de las clases puede hacer factible el
2

Situaciones donde los patrones de entrenamiento son identificados o etiquetados incorrectamente.

uso de redes neuronales aplicadas a grandes volmenes de datos. Por otro lado,
la aplicacin de tcnicas basadas en distancias o en medidas de disimilaridad,
pueden aumentar la precisin y eficiencia del clasificador. Un aspecto poco
tratado es el preprocesamiento de las muestras de entrenamiento cuando las
clases estn desbalanceadas. El objetivo de estas estrategias ser aumentar la
precisin de las clases minoritarias al tiempo que la precisin de las clases
mayoritarias no se vea afectada.
3. Se propone el uso de algoritmos para la determinacin del valor del umbral de
rechazo para redes neuronales. As, los patrones de la muestra influirn de
forma decisiva en el nivel de rechazos correctos. Por otro lado, el nmero de
elementos rechazados incorrectamente puede ser considerable. Otro aspecto
que influye en el rendimiento de la opcin de rechazo es el grado de
solapamiento que se d entre las clases. As, un anlisis de la similitud entre los
valores de las neuronas de salida puede ser de inters a la hora de encontrar
una solucin a este problema.
4. Las SVM son un tipo de mquinas de aprendizaje basados en la teora estadstica
del aprendizaje que cuenta con clasificadores polinmicos, redes neuronales, y
redes RBF como un caso especial. As, en este trabajo se tiene el inters de
analizar la capacidad de aprendizaje de diferentes reglas de clasificacin: SVM,
redes RBF, clasificacin bayesiana con mixturas de gaussianas, entre otras, con
el objetivo de analizar su comportamiento ante diferentes situaciones de las
distribuciones de puntos en el espacio de caractersticas.
5. En algunos trabajos, se ha demostrado empricamente como las reglas de
clasificacin clsicas (la regla del Vecino ms prximo (Nearest Neighbour, NN),
las redes neuronales, etc.,) generan un error mayor que las SVM a medida que
la dimensin del espacio de caractersticas disminuye. De ah concluyen que las
SVM son robustas al nmero de dimensiones del espacio. En otros casos las SVM
se han demostrado resistentes ante la presencia de ruido o prototipos mal
clasificados. Un objetivo que buscamos en este trabajo es estudiar el
comportamiento de diferentes reglas de clasificacin en funcin del grado de
complejidad de los datos

1.4

Alcances

En resumen, se pretende analizar el comportamiento del error que se genera en redes

neuronales ante diferentes situaciones, con el objetivo de mejorar esta clase de
clasificadores. En aquellas situaciones en que esto no sea posible, se analizarn otras
posibles reglas de decisin que mejoren la solucin de nuestro problema. Para ello,
diferentes problemas reales y bases de datos se sometern a prueba.
A partir de los objetivos descritos y las lneas de investigacin propuestas se
cubrirn las siguientes tareas bsicas:
1. Estudio de la arquitectura de redes neuronales y funciones de activacin de la
neurona.
2. Anlisis de la precisin y eficiencia de la red RBF con diferentes mtodos de
entrenamiento.

3.
4.
5.
6.

Estudio de tcnicas de reduccin de prototipos: edicin y condensado.

Estudio de estrategias de aprendizaje en el caso de muestras no balanceadas.
Diseo de algoritmos con opcin de rechazo.
Conocimiento y manejo de mquinas de soporte vectorial y otros mtodos
basados en tcnicas kernel.
7. Diseo de medidas de complejidad para los datos de las muestras de
entrenamiento.

1.5

Aspectos metodolgicos

Para evaluar las posibilidades, de las diferentes estrategias propuestas para acelerar
y mejorar capacidad de generalizacin del clasificador, se desarrollarn diversos
experimentos tanto con datos artificiales como con reales. Los efectos de las
estrategias propuestas en situaciones controladas (existencia de patrones atpicos,
situaciones imperfectamente supervisadas, solapamiento entre clases o desbalance
en los datos) se estudiarn con bases de datos artificiales de dos clases con
distribuciones normales y uniformes. Lo bases de datos reales sern extradas del UCI
Database Repository [22].
Se ha demostrado que para la mayora de los problemas bastar con una capa
oculta [14]. La red RBF, fue programada como una versin del algoritmo
backpropagation que aparece en [23]. La razn de aprendizaje (learning rate) y el
factor momentum sern establecidas segn los criterios de experimentacin. Se
incluir el uso de la herramienta WEKA [24] con fines comparativos. WEKA es un
conjunto de algoritmos de aprendizaje automtico para el desarrollo de tareas de
minera de datos.
Se propone implementar las siguientes tcnicas de preprocesado de datos: edicin
de Wilson [19], edicin Generalizada [19], Subconjunto Selectivo, Subconjunto
Selectivo Modificado [25], y algunas variantes de stas.

Referencias
[1] S. Q. Ding y C. Xiang, From Multilayer perceptrons to radial basis function
networks: a comparative study., IEEE Conference on Cybernetics and
Intelligent Systems, pp. 69-74, 2004.
[2] E. Luiz Silva, Mtodos de Reduccin, Granada: Universidad de Granada, 2007.
[3] D. Kriesel, A Brief Introduction to Neural Networks, Bonn, Germany: ZETA2 ,
2005.
[4] C. Looney, Pattern Recognition Using Neuronal Networks- theory and algorihms
for engineers and scientist, 1 edn. ed., New York: Oxford University Press,
1997.
[5] F. Schwenker, H. Kestler y G. Palm, Three learning phases for radial-basisfunction networks., Neural Networks, vol. 4, pp. 439-458, 2001.
[6] F. J. Ribadas Pena, SVM - Support Vector Machines (Mquinas de Vectores
Soporte),
17
abril
2012.
[En
lnea].
Available:
http://ccia.ei.uvigo.es/docencia/MRA/1213/transparencias/Tema6.pdf.
[ltimo acceso: octubre 2015].
[7] C. Zuniga y N. Abgar, BREVE APROXIMACIN A LA TCNICA DE RBOL DE
DECISIONES,
Febrero
2011.
[En
lnea].
Available:
https://niefcz.files.wordpress.com/2011/07/breve-aproximacion-a-latecnica-de-arbol-de-decisiones.pdf. [ltimo acceso: Octubre 2015].
[8] C. M. Bishop y M. Svensn, Bayesian Hierarchical Mixtures of Experts, To
appear in: Uncertainty in Artificial Intelligence: Proceedings of the
Nineteenth Conference, pp. 1-8, 2003.
[9] W. Eugene, Expectation-Maximation Algorithm and Applications, 14 Nov
2006. [En lnea]. [ltimo acceso: Octubre 2015].
[10] L. Xu, M. Jordan y G. Hinton, An alternative model for mixtures of experts.,
Advances in Neural Information Processing systems, vol. 7, pp. 633-640,
1995.
[11] C. Harpman, W. Dawson y R. Brown, A review of genetic algorithms applied to
traing radial basis function network., Neural Computational, n 13, pp.
193-201, 2004.
[12] Z. Uykan, C. Guzelis, M. E. Celebi y H. N. Koivo, Analysis of input-output
clustering for determing centers of RBFN, Neural Networks, vol. 11, n 4,
pp. 851-858, 2002.
[13] Y. Murphey, H. Guo y L. Feldkamp, Neural learning from unbalanced data.,
Applied Intelligence, 2004.
[14] R. Alejo, V. Garca, J. Sotoca, R. Mollineda y J. Snchez, Improving the
classification accuracy of RBF and MLP neural networks trained with

imbalanced samples. In:, Intelligent Data Engineering and Automated

Learning- IDEAL, pp. 464-471, 2006.
[15] R. Barandela, E. Gasca y R. Alejo, Correcting the training data. Combinatorial,
Dordrecht, 2002.
[16] R. Barandela, E. Gasca y R. Alejo, CORRECCION DE LA MUESTRA PARA EL
APRENDIZAJE DEL PERCEPTRON MULTICAPA., Asociacin Espaola para
la Inteligencia Artificial, vol. 5, n 13, pp. 2-9, 2001.
[17] Z. H. Zhou y X. Y. Liu, Training cost-sensitive neural networks with methods
addressing the class imbalance problem., IEEE Transactions on Knowledge
and Data Engineering, pp. 63-67, 2006.
[18] N. Japkowicz y S. Stephen, The class imbalance problem: a systematic study.,
Intelligent Data Analysis, pp. 429-449, 2002.
[19] V. R. R. Mara, Tcnicas de Submuestreo, Toma de Decisiones y Anlisis de
Diversidad en Aprendizaje Supervisado con Sistemas Mltiples de
Clasificacin, Castell de la Plana: Universitat Jaume I, 2006.
[20] Y. Li, M. Pont y N. Jones, Improving the performance of radial basis funtion
classifiers in condition monitoring and fault diagnosis applications where
'unknown' faults may ocur, Pattern Recognition, pp. 569-577, 2002.
[21] De Estefano, C. Sansone y V. M. C, To reject or not to reject: that is the question
an ANWSER IN CESOF NEURAL CLASSIFIERS, Systems, Man and
Cybernetics society, pp. 84-94, 2002.
[22] C. f. M. L. a. I. Systems, UCI Machine Learning Repository, 2013. [En lnea].
Available: http://archive.ics.uci.edu/ml/. [ltimo acceso: 10 2015].
[23] R. Alejo, J. M. Sotoca, V. Garca y R. M. Valdovinos, Back propagation with
balanced MSE cost function and nearest neighbor editing for handling class
overlap and class imbalance, Proceedings of the 11th international
conference on Artificial neural networks conference on Advances in
computational intelligence, vol. 1, pp. 196-206, 2011.
[24] P. Toribio Luna, R. Alejo Eleuterio, R. M. Valdovinos Rosas y B. G. Rodrguez
Mndez, Training Optimization for Artificial Neural Networks, Ciencia
Ergo Sum, pp. 313-317, 2010.
[25] M. Tello, H. J. Eslava Blanco y L. Tobias, ANLISIS Y EVALUACIN DEL NIVEL
DE RIESGO EN EL OTORGAMIENTO DE CRDITOS FINANCIEROS
UTILIZANDO TCNICAS DE MINERA DE DATOS, Vision electronica algo
mas que un estado solido, vol. 7, n 1, 2013.