75.

71 Seminario de Ingenierı́a en
Informática I
Monografı́a: Aplicaciones de redes
neuronales en Data Mining
Ottavianoni Natan, Padron Nro. 86249
natan85@gmail.com

1er. Cuatrimestre de 2012

Facultad de Ingenierı́a, Universidad de Buenos Aires
Seminario de Data Mining - Docente: Dr Ale
1. Introducción
Data mining o también conocido como Knowledge Discovery in Databases
(KDD), consiste en un conjunto de técnicas empleadas para extraer de grandes
volúmenes de datos, información implı́cita, no trivial, previamente desconocida
y útil. Las redes neuronales, si bien pueden presentar varias dificultades a prima
facie, pueden ser una buena herramienta para colaborar en este proceso, sobre
todo en escenarios ruidosos y donde se requiere una gran precisión. El objetivo
de esta monografı́a es abordar la temática relacionada a las aplicaciones de redes
neuronales en data mining. Para ello se utiliza como disparador el paper [1]

Figura 1:

2. Tareas de data mining

2.1. Clasificación
Consiste en agrupar los datos en clases pre definidas. Por ej un programa de
email necesita clasificar los correos entrantes, en correos legı́timos y spam.

Figura 2:

2
 Al clasificador se lo puede interpretar como una función que mapea cada
atributo X en una clase Y, predefinida. Los métodos mas comunes para llevar
adelante esta tarea son:

Decision Tree Learning

Nearest neighbor
naive Bayesian classification

Neural network
Support vector machines

Figura 3:

El proceso de clasificación consiste en emplear un conjunto de entrenamiento

para educar al clasificador y luego ponerlo a prueba con un conjunto de testeo
para evaluar su perfomance, teniendo en cuenta los siguiente criterios.

accuracy
predicciones correctas
accuracy =
total de predicciones
error rate
predicciones incorrectas
errorrate =
total de predicciones

3
2.2. Clustering
Es como Clasificación pero los grupos no están definidos de antemano, por
ello también se conoce con el nombre de clasificación no supervisada. Es muy útil
en etapas tempranas del análisis para sumarizar data por ej, cuando no se tiene
conocimientos de las caracterı́sticas de los datos con los que se está trabajando.

Figura 4: Diferentes formas de clustering para el mismo conjunto de puntos

Esta figura ilustra que la definición de cluster es imprecisa y depende de la

naturaleza de los datos y de los resultados buscados Las técnicas tradicionales
de clustering son las siguientes:

K-means
Agglomerative Hierarchical Clustering
DBSCAN
Existen diferentes tipos de Clusters:

Well-Separated
Prototype-Based
Graph-Based

Density-Based
Shared-Property (Conceptual Clusters

2.3. Regresión
Su objetivo es encontrar una función que permita modelar los datos con un
error mı́nimo

4
2.4. Reglas de asociación
Dado un conjunto de transacciones, hallar reglas que permitan predecir la
ocurrencia de un item basado en la ocurrencia de otros items en la transacción.
Es una implicación de la forma X → Y , donde X e Y son itemsets (conjunto de
items).
Support count: es la frecuencia de ocurrencia de un itemset.

Support :fracción de transacciones que contienen las transacciones X e Y.

Confidence: mide cuán frecuentemente los items Y aparecen en transac-
ciones que contienen X
Itemset Frecuente, es un itemset cuyo support es mayor o igual que un
umbral de support mı́nimo, minsup

Dado un conjunto de transacciones T, la meta del mining de reglas de aso-

ciación es hallar todas las reglas que tienen
Support ≥ minsup
Conf idence ≥ minconf

Principio de Apriori: Es muy usado en el algoritmo del mismo nombre y

establece lo siguiente: si un itemset es frecuente, luego todos sus subconjuntos
deben también ser frecuentes El Principio de Apriori se satisface debido a la
siguiente propiedad del soporte:
El support de un itemset nunca excede el support de sus subconjuntos Esto
se conoce como la propiedad de anti-monotonı́a del support
Nota: en el trabajo de contribución se discutió con mayor profundidad el
problema de hallar reglas de asociación.

3. Redes neuronales
A grandes rasgos hay dos tipos de modelos de redes neuronales: las super-
visadas como el perceptron multi capa y las no supervisadas como la red de
Kohonen. Una red supervisada usa un data de entrenamiento para armar el
modelo, se va comparando la salida con el valor esperado, si difieren se ajustan
los pesos w del sistema. Este proceso continúa hasta que se alcance el punto de
salida determinado por el algoritmo de entrenamiento. Las redes supervisadas
sirven en procesos de clasificación y predicción mientras que redes no supervi-
sadas son buenas en clustering. Las redes neuronales tienen cierta plausibilidad
biológica pero no son una copia totalmente fehaciente de las neuronas biológicas.
En esta monografı́a no se tratará el paralelismo entre las neuronas artificiales
y las biológicas y siempre que se refiera a redes neuronales se tratará de las
primeras.

5
Figura 5: En la figura se observa un modelo de comportamiento muy usado, la
neurona posee una serie de entradas producto de la interconexión con las otras
neuronas del sistema, ella suma todas las entradas y si da un valor que supera
el umbral dispara.Este modelo es de naturaleza estocástica y no lineal.

4. Ventajas de las redes neuronales en data mi-

ning
Precisión: sirven para aproximar problemas no lineales

Tolerancia a ruido: son muy flexibles en entornos ruidosos o de data in-

completa
Independiente de concepciones previas:las redes neuronales pueden ser ac-
tualizadas permanentemente lo que las hace óptimas en escenarios cam-
biantes

Paralelismo: cada neurona funciona en paralelo con el resto, esta carac-

terı́stica puede constituir una ventaja frente a métodos secuenciales si el
problema que se esta abordando es paralelizable
Aprendizaje dinámico e interno: el conocimiento que va adquiriendo el
sistema se almacena de manera distribuida en las interconexiones entre
las neuronas y se puede actualizar de manera dinámica
Razonamiento inductivo: la red neuronal comienza a construir conocimien-
to con la información inicial y a medida que avanza el procesamiento con-
verge, en la mayorı́a de los casos al resultado final

5. Limitaciones de las redes neuronales

Para determinados problemas pueden no converger a la solución o produz-
can resultados difı́ciles de entender.
Requieren un tiempo de entrenamiento que puede ser amplio y consume
recursos, sobre todo las topologı́as multi capas.

6
6. Aplicaciones a data mining
6.1. Self-Organizing Maps (SOM)
Esta red fue introducida por Teuvo Kohonen y sus aplicaciones incluyen
varios campos de la ciencia y la tecnologı́a como procesos industriales, sistemas
de telecomunicaciones, reconocimiento de imágenes etc etc,

Figura 6:

Como se muestra en la figura, luego del procesamiento del SOM se extrae

información cualitativa y cuantitativa. Los módulos de clustering y visualization
nos dan información cualitativa mientras que modeling y monitoring entregan
información cuantitativa, sirviendo esto para tener un conocimiento mas pro-
fundo de la conducta del sistema en estudio.

6.2. Adaptive Resonance Theory (ART)

El análisis de cluster es un tópico muy importante en el proceso de data
mining, las redes ART son de aprendizaje no supervisado y proporcionan un
método efectivo para realizar clustering,

7
6.3. feed forward

Figura 7:

La red neuronal de la figura consiste en uno de los modelos de feed forward

mas simples de tres capas con un método de aprendizaje supervisado, la capa de
input, la capa hidden y la capa output. En cada capa hay uno o varias elementos
de procesos (PE), que reciben estı́mulos del entorno exterior o de la capa anterior
según corresponda Las conexiones entre los PE tienen pesos que dependen de
los valores ajustados en el entrenamiento para priorizar algunos. En esta red la
información solo viaja hacia adelante y no hay loops de retro alimentación, el
algoritmo mas usado para su entrenamiento es el de Back Propagation (BP).
Algunas situaciones donde usar BP es una buena idea:
Cuando se tiene un volumen de input/output data pero no se sabe como
vincular ambos.

8
 En problemas con una gran complejidad aparente pero que claramente
convergen a un tipo de solución.

Cuando se requiere resultados no numéricos.

6.4. Neuro-Fuzzy
Una red Neuro Fuzzy puede ser un interpretada como un sistema feed for-
ward de 3 etapas.

Figura 8:

Las redes neuronales logran una gran precisión en la clasificación, predicción.

En la figura se muestra el proceso de data mining basado en un sistema neuro-
fuzzy. La primer etapa es construir un modelo de predicción, el segundo paso
consiste en extraer reglas de las NN (neural networks) entrenadas y en la tercer
etapa se forma la DNN (descriptive neural network) con las reglas aprendidas
previamente, en esta etapa se extraen reglas de asociación del estilo if-then.

9
7. Conclusiones
Esta monografı́a pretendió ser una introducción a las aplicaciones de redes
neuronales en data mining, para ello se menciono brevemente las distintas etapas
del procesos de minar datos y luego se presento a las redes neuronales desde una
visión cualitativa, detallando en que tipo de escenarios son mas apropiadas.

Referencias
[1] Ms.Smita.Nirkh, Potential use of Artificial Neural Network in Data Mining.

[2] John Hertz, Anders Krogh, and Richard Palmer, Introduction to the
Theory of Neural Computation, Addison Wesley, 1991.
[3] Efraim Turban, Ramesh Sharda, Jay E. Aronson,David King..:Business In-
telligence: a Managerial Approach, Prentice Hall, 2007

10