UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

TÉCNICAS DE EXTRACCIÓN DE REGLAS

ING: Eder Nicanor

Figueroa Piscoya. INTEGRANTES:
León Balladares Estefany.
Gutiérrez Sánchez Yeyson Andy.
Villa Velarde Leysa.

1
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

INDICE
RESUMEN:................................................................................................................................3
TÉCNICAS DE EXTRACCIÓN DE REGLAS........................................................................................4
TÉCNICAS DE EXTRACCIÓN DE REGLAS A PARTIR DE MODELOS DE CAJA NEGRA....................5
TÉCNICAS DE EXTRACCIÓN DE REGLAS SOBRE REDES NEURONALES.......................................5
MÉTODOS GLOBALES...............................................................................................................6
MÉTODOS LOCALES..................................................................................................................6
TÉCNICAS DE EXTRACCIÓN DE REGLAS SOBRE OTROS PARADIGMAS......................................7
TÉCNICAS DE EXTRACCIÓN DE REGLAS BORROSAS..................................................................7
TÉCNICAS DE EXTRACCIÓN DIRECTA (CAJA NEGRA).................................................................8
SISTEMAS NEUROBORROSOS (NEURO-FUZZY).........................................................................8
ARQUITECTURA NEURO-FUZZY................................................................................................8
CONCLUSION............................................................................................................................9
BIBLIOGRAFIA...........................................................................................................................9

2
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

RESUMEN:
En estos capítulos veremos una serie de técnicas que, desde diferentes ámbitos, intentan
convertir un modelo preexistente, pero no explícito o incomprensible, en un modelo en
forma de reglas. En primer lugar hemos comentado que la representación en forma de
reglas no es la única representación comprensible para los seres humanos ni asegura
dicha comprensibilidad si el conjunto de reglas es muy grande, pero sí es una
representación muy común y fácil de manejar. También, veremos la aproximación más
general de extracción de reglas en base a un entrenamiento de un nuevo modelo,
utilizando el modelo original como oráculo para etiquetar un conjunto de datos. Esta
forma de extracción de reglas se ha denominado método mimético y goza de gran
flexibilidad (al poderse aplicar a cualquier tipo de modelo), facilidad de implementación
y adaptación según las aplicación. Respecto a las técnicas específicas, hemos dedicado
una sección a la extracción de reglas sobre redes neuronales, técnicas que datan desde
los mismos inicios del éxito de las redes neuronales, ya que los detractores de las redes
neuronales siempre han utilizado el problema de la incomprensibilidad como arma
arrojadiza. Del mismo modo, otras técnicas específicas de extracción de reglas se han
visto a continuación. En el último punto, se han estudiado un tipo de reglas más
expresivas, basadas en los conjuntos borrosos. Los trabajos que hibridan los conjuntos
de reglas borrosos, las redes neuronales y, frecuentemente, la computación evolutiva,
han dado lugar a diferentes técnicas, dentro del área de “soft computing” y
“computational intelligence” [Duch y otros, 2004; Mitra y otros, 2002], que permiten
convertir modelos existentes en conjuntos de reglas borrosos. En general, las diferentes
técnicas introducidas en estos breves capítulos, aunque todas ellas con una base en el
aprendizaje automático, pueden ser aplicadas a diferentes ámbitos donde la IA requiere
de conocimiento que sea interpretable y procesable por los humanos y también por
herramientas semiautomáticas de Ingeniería del Conocimiento.

3
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

TÉCNICAS DE EXTRACCIÓN DE REGLAS

Es un proceso de extracción de reglas puede permitir representar el sistema complejo
como una serie de reglas que relacionan explícita y comprensiblemente las entradas con
la salida. Por tanto, las técnicas que extraen reglas suelen buscar un compromiso entre
fidelidad y comprensibilidad. La comprensibilidad de un modelo está generalmente
ligada a la simplicidad del mismo, aunque es importante destacar que no son conceptos
equivalentes. El grado de comprensibilidad de un modelo es un factor subjetivo, ya que
depende en gran medida de la experiencia y conocimiento de los usuarios. Si nos
restringimos a los modelos basados en reglas y buscando medidas objetivas, se suele
tener exclusivamente en cuenta el tamaño de los modelos, determinado por las
características del conjunto de reglas; por ejemplo, el número de reglas, la cantidad de
condiciones por regla y el número total de condiciones (C) según la siguiente fórmula:
Complejidad = 2 · R + C
Es decir, el número de reglas pesa el doble que el total de condiciones. Algunas de estas
métricas se combinan con la medida de acierto, fidelidad, ajuste o precisión para tener
una métrica conjunta de optimalidad, que evalúe el compromiso que hemos comentado
anteriormente.
Ejemplo:
Sorprendentemente para los tiempos que corren, el servicio público de salud de Utópica
del Norte decide incluir las operaciones de cirugía ocular para la corrección de la miopía
y el astigmatismo dentro de las prestaciones básicas para la población. Se dispone de
dos modelos, uno consensuado a partir de distintos expertos y otro obtenido por técnicas
de aprendizaje automático.
MODELO 1:
SI Astig.=No Y 25 < Edad <50 Y 1.5<Miopía < 10 ENTONCES Operación=Sí
SI Astig.=Sí Y 25<Edad<50 Y Miopía<6 ENTONCES Operación=Sí
EN OTRO CASO Operación= NO
MODELO 2:
SI Edad < 30 ENTONCES Operación=NO
SI Edad > 55 ENTONCES Operación=NO
SI Miopía > 12 ENTONCES Operación=NO
SI 30 < Edad ≤ 55 y Astig. = Si y Miopía > 8 ENTONCES Operación=NO
EN OTRO CASO Operación= Sí
Solución:
La función de [Lu y otros, 1995] mide la complejidad simplemente como Complejidad
=2·R+C, es decir, el número de reglas pesa el doble que el total de condiciones. El
modelo 1 tiene 3 reglas y 9 condiciones (nótese que las condiciones del estilo 25 < edad
< 50

4
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

representan en realidad dos condiciones, 25 < edad ∧ edad < 50. Así, su complejidad es
2 · 3 + 9 = 15. El modelo 2 tiene 5 reglas y 7 condiciones. Por tanto, su complejidad es
2 5 + 7 = 17. Por tanto, el modelo 1 es más simple, según esta función de complejidad.

TÉCNICAS DE EXTRACCIÓN DE REGLAS A PARTIR DE MODELOS

DE CAJA NEGRA
Las técnicas de extracción de reglas de caja negra pueden funcionar independientemente
del tipo de modelo original. Dicho de otra manera, las técnicas de extracción de reglas
de caja negra sólo necesitan la semántica del modelo original, generalmente en forma de
casos o conjuntos de ejemplos de entradas y salidas, y no de su sintaxis o de su
funcionamiento interno. Las técnicas de extracción de reglas a partir de modelos de caja
negra se desarrollaron inicialmente para la adquisición de conocimiento en sistemas
expertos. Si la adquisición de conocimiento se realiza manualmente, muchos expertos
no pueden expresar su conocimiento en forma de reglas claras e inequívocas. Los
expertos emplean generalmente reglas explícitas, reglas “a ojo” y “reglas instintivas con
parte subconsciente”. Incluso en el caso de que el experto pueda escribir todo su
conocimiento, esto representa un alto esfuerzo, puede ser un proceso donde se
desperdicia mucho tiempo, es difícil de mantener y el resultado es, a veces, un modelo
trascrito que no se puede aplicar de una forma completamente automatizada puesto que
todavía hay una cierta ambigüedad.
Este tipo de técnicas de extracción de reglas a partir de modelos de caja negra también
se desarrollaron para la extracción de reglas a partir de redes neuronales, aunque las
técnicas fueron analizadas de manera independiente. En el contexto de las redes
neuronales, se denominan generalmente “técnicas pedagógicas”, en contraposición a
otras técnicas que sí que indagan en la estructura del sistema. Ambas técnicas se
estudiarán en la siguiente sección.

TÉCNICAS DE EXTRACCIÓN DE REGLAS SOBRE REDES

NEURONALES
Las redes neuronales, son una técnica de aprendizaje ampliamente utilizada en áreas tan
diversas como el comercio, la industria o la medicina. Parte de su éxito se debe a que es
un método robusto que puede trabajar con ruido en los datos (algo habitual en
aplicaciones reales) y que es capaz de compactar la información o 770 Técnicas de
extracción de reglas sobre redes neuronales conocimiento adquirido (el cual queda
implícitamente almacenado en la red), siendo al mismo tiempo fácil y rápido el usarlo
luego. Sin embargo, también existen algunos inconvenientes que pueden limitar la
aplicabilidad de esta técnica.
También las redes neuronales plantean problemas a la hora de utilizarlas para descubrir
relaciones o dependencias en los datos, ya que en última instancia, éstas son
incomprensibles (y por lo tanto poco útiles) expresándose como un vector de pesos.
La forma más directa de dotar de comprensibilidad a una red neuronal ya entrenada es
convertirla en un conjunto de reglas proposicionales, lo que comúnmente se conoce

5
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

como rule extraction. Éste ha sido un tema de investigación muy activo durante la
última década, dando lugar a diferentes propuestas y sistemas de extracción de reglas.
Los más habituales son:
La potencia expresiva de las reglas extraídas, es decir, el tipo de reglas.
La calidad de las reglas extraídas, en términos de precisión, fidelidad a la red
subyacente, comprensibilidad y consistencia de las reglas.
Si el método de extracción es local (analiza los nodos de la red uno a uno) o
global (se analiza la red como un todo).
La complejidad algorítmica del método.
La generalidad del método, en el sentido de si se puede aplicar a cualquier tipo
de red o, por contra, si impone alguna restricción a la arquitectura de la red o a
su entrenamiento.
El tipo de variables soportadas: booleanas, discretas o continuas.
La escalabilidad, es decir, su capacidad para trabajar con redes con un gran
número de entradas, de nodos y conexiones.

La globalidad del método, nos permite distinguir entre dos esquemas generales de
extracción de reglas desde una red neuronal: la aproximación en la que se extrae un
conjunto de reglas globales que caracterizan las salidas (clases) directamente a partir de
las entradas, y la aproximación en la que se extraen reglas locales descomponiendo la
red neuronal multicapa en una colección de redes de una sola capa, tal que una
combinación de las reglas que describen las redes individuales permite describir la red
completa.
MÉTODOS GLOBALES
Uno de los primeros métodos pedagógicos o globales fue propuesto por Saito y Nakano.
En [Saito y Nakano, 1988] los autores usan un proceso de búsqueda primero en
amplitud para construir las reglas. Para limitar la explosión combinatoria proponen dos
heurísticas. La primera limita el número de literales positivos y negativos en el
antecedente de las reglas, así como la profundidad del proceso de búsqueda. La
segunda, propone considerar como válidas únicamente aquellas reglas cuyos
antecedentes involucran literales presentes en el conjunto de entrenamiento.
MÉTODOS LOCALES
Los métodos locales o descomposicionales analizan fragmentos de la red (generalmente
los nodos ocultos y las salidas de forma individual) para extraer reglas. Estas redes se
basan generalmente en funciones sigmoidales o en funciones localizadas. En cualquier
caso, la salida de cada neurona debe poder expresare como un valor binario (sí/no) que
constituye el consecuente de la regla. Así, cada unidad de salida u oculta se interpreta
como una regla booleana, lo que reduce el problema de extraer las reglas a un problema
de determinar las situaciones bajo las cuales la regla es cierta.
Estas reglas podrían reemplazarse por:
Si 3 de {B, C, D, no(E)} entonces A
Que expresa mucho más claramente las condiciones sobre A. Para ello, el algoritmo M-
of-N procede de la siguiente forma:

6
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

Para cada nodo interno y salida se hacen grupos de entradas con pesos similares.
Se calcula el peso medio de cada grupo y se asigna como peso a todos los
miembros del grupo.
Se eliminan los grupos que no afectan a la activación o no del nodo o salida.
Dejando los pesos de los enlaces constantes, se optimizan los umbrales de los
nodos y salidas usando el algoritmo de propagación hacia atrás (esto producirá
una red con menos entradas independientes y, por consiguiente, más fácil de
analizar).
Se crea una regla por cada nodo oculto y salida, la cual constará de un umbral en
función de los umbrales y pesos de los enlaces que hayan quedado. 6. Se
simplifican las reglas cuando sea posible.

TÉCNICAS DE EXTRACCIÓN DE REGLAS SOBRE OTROS

PARADIGMAS
Se refiere a métodos para extraer reglas proposicionales desde redes neuronales,
también se han hecho algunas propuestas para convertir otro tipo de modelos en un
conjunto de reglas. Uno de estos modelos es el producido por las máquinas de vectores
soporte (Support Vector Machines, SVM). Esta técnica se ha vuelto muy popular, ya
que permite abordar problemas cuyos datos tienen una alta dimensionalidad. Las
técnicas de extracción de reglas a partir de redes neuronales se agrupan en pedagógicas
(o basadas en el aprendizaje) y descomposicionales. Esta distinción sigue siendo válida
para las SVM, en las que las aproximaciones descomposicionales se basan en el análisis
de los vectores soporte generado por la SVM, mientras que las aproximaciones globales
aprenden lo que ha aprendido la SVM.
TÉCNICAS DE EXTRACCIÓN DE REGLAS BORROSAS
Las reglas borrosas permiten representar conocimiento aproximado o impreciso de una
manera más adecuada que las reglas no borrosas. Esta ventaja es claramente
aprovechable para el problema de adquisición de conocimiento a partir de expertos, ya
que éstos suelen tener un conocimiento aproximado o impreciso sobre el cual basan sus
decisiones. Lo mismo se puede decir de los casos en los que queremos extraer reglas a
partir de modelos complejos, como por ejemplo las redes neuronales. Generalmente, las

7
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

reglas simples (no borrosas) no son capaces de capturar fielmente el modelo, a no ser
que utilicen un número muy alto de reglas. Aun así, sufren el problema del sobreajuste,
al tratar de fijar de manera precisa aquello que no lo es en origen.
Por tanto, las técnicas de extracción de sistemas de reglas borrosas son muy apropiadas
para las aplicaciones que hemos comentado en este capítulo. Como existen numerosas
técnicas de extracción de este tipo de reglas, nos centraremos en analizar un ejemplo
representativo de métodos de extracción de sistemas de reglas independientemente del
modelo original (como un problema de aprendizaje, a partir de ejemplos), que
denominaremos de “caja negra” y un ejemplo de técnica de las denominadas “neuro-
fuzzy”, que permiten extraer reglas borrosas de un tipo específico de sistema de origen,
en particular una red neuronal.

TÉCNICAS DE EXTRACCIÓN DIRECTA (CAJA NEGRA)

Un GFS es un sistema de aprendizaje basado en un algoritmo genético que obtiene o
refina un conjunto de reglas borrosas. Los algoritmos genéticos, son algoritmos
inspirados en la genética, que permiten adaptarse y obtener soluciones en problemas
complejos y, especialmente, donde se tiene que optimizar un conjunto o una
combinación de indicadores. Existen muchas variantes de algoritmos genéticos,
dependiendo de los operadores de cruce y de mutación, del criterio de selección, del
tamaño de las poblaciones y, muy especialmente, de la codificación.
SISTEMAS NEUROBORROSOS (NEURO-FUZZY)
Otro de los paradigmas de extracción de reglas borrosas que, por su importancia,
requiere una mención especial es lo que se denomina conjuntamente “técnicas
neuroborrosas”. Un sistema neuroborroso incorpora el razonamiento de los sistemas
borrosos mediante conjuntos borrosos y un modelo lingüístico basado en reglas SI-
ENTONCES. La potencia de esta aproximación es que tiene un modelo interno
universal (como el que proporcionan las redes neuronales) pero con la capacidad de
representarse en forma de reglas. Lógicamente, la fidelidad del conjunto de reglas
borrosas extraído suele ir en detrimento de la comprensibilidad de las mismas. Es decir,
si queremos un modelo borroso fiel a la red neuronal original obtendremos
generalmente muchas reglas y categorías. Si queremos un modelo borroso más simple,
habremos de sacrificar algo de fidelidad.
ARQUITECTURA NEURO-FUZZY
Dos formas de hibridación principal:
Redes neuronales difusas (FNN):
Red neuronal + información difusa
Sistemas Neuro-Fuzzy (NFS)
Sistema borroso + Red neuronal (flexibilidad, adaptabilidad y velocidad).
Retropropagación:
Identificar reglas borrosas.
Aprender funciones de pertenencia (Razonamiento difuso).

8
UNIVERSIDAD NACIONAL TORIBIO RODRIGUEZ DE MENDOZA

Arquitectura NFS general:

o Capa de borrosificación: Función de pertenencia.

o Capa de reglas difusas: Función lineal, certeza de la regla.

o Capa de desborrosificación: Evaluar las reglas, función de pertenencia.

CONCLUSION
Las técnicas de extracción de reglas relacionales, permiten extraer modelos
comprensibles a partir de datos y son, por tanto, útiles para la extracción de reglas en
aplicaciones que requieren representaciones complejas: bioquímica y genética,
medicina, redes, web, multimedia, lenguaje natural, etc.
BIBLIOGRAFIA
http://jummp.wordpress.com/2011/09/06/desarrollo-de-software-testing-
modelo-en-v/
http://www.sistedes.es/TJISBD/Vol-3/No-4/articles/pris-09-calvo-cmmidev.pdf

http://www.fceia.unr.edu.ar/ingsoft/testing-intro-a.pdf