Está en la página 1de 269

Universidad de Granada

ETS Ingenieras Informtica y de Telecomunicacin


Departamento de Arquitectura y Tecnologa de los
Computadores.

Tesis Doctoral
Anlisis Estadstico de Distintas Tcnicas de
Inteligencia Artificial en Deteccin de Intrusos
Hind Tribak
Directores de Tesis:
Dr. Ignacio Rojas
Dr. Olga Valenzuela
Dr. Hctor Pomares

Febrero 2012.

Editor: Editorial de la Universidad de Granada


Autor: Hind Tribak
D.L.: GR 1901-2012
ISBN: 978-84-9028-099-7

Agradecimientos
Me gustara dar las gracias a todas las personas que saben el trabajo que me ha costado
llevar a cabo esta tesis.

A mi director de Tesis D. Ignacio Rojas por su apoyo, nimos y por haberme guiado
por un largo camino, as como a Hctor. Por ltimo a la Dra. Olga Cansino por su
asesoramiento, trabajo, soporte y apoyo en la parte estadstica, a todos ellos muchas
gracias.

A Buenaventura por tu apoyo moral y nimos en los buenos momentos y en los de


bajn.

A mi familia, especialmente a mis padres y hermanos por haberme aguantado y


soportado, gracias! A mi madre por estar siempre ah a cambio de nada.
A ti pap gracias por haberme animado a continuar, por tus constantes nimos, por ser
una inspiracin para m, por haberme enseado a luchar y a levantarme despus de una
batalla. Eres el espejo en el que me quiero reflejar y mi orgullo y por muchas gracias
que pueda darte jams llegar a poder agradecerte tu gran sacrificio por el cual hoy me
encuentro donde estoy.
Y por ltimo a mi abuelo que se fue antes de poder ver este momento.

Gracias a todos.

Resumen
Hoy por hoy la seguridad en redes informticas es de vital importancia debido al gran
volumen de datos que se manejan. Una de las herramientas de seguridad de las que
disponen las grandes compaas son los llamados Sistemas de Deteccin de Intrusos o
IDS.

Se han llevado a cabo varias implementaciones de IDS y las que ms han triunfado hoy
en da son los llamados IDS basados en uso indebido un ejemplo de ello son los
antivirus. El otro tipo basado en anomalas, los cuales construyen un modelo del sistema
basado en tcnicas de Inteligencia Artificial para la deteccin de un ataque, no han
corrido la misma suerte debido a que los fabricantes todava no se fan de su
comportamiento debido a la alta tasa de falsos positivos. Los sistemas basados en
anomalas su estudio, se limita al mbito acadmico aunque ofrecen un potencial mucho
ms grande y fuerte que los sistemas basados en uso indebido.

Para ello en esta tesis se pretende realizar un estudio estadstico de las diferentes
tcnicas de clasificacin basadas en Inteligencia Artificial aplicadas a la deteccin de
intrusos, bajo distintas perspectivas tales como son la discretizacin de datos y la
seleccin de caractersticas, tcnicas de reduccin de datos que cada da van tomando
ms fuerza.

CONTENIDO
Captulo 1 Introduccin ................................................................................................. 7
1.1.

Objetivos y Organizacin de la Tesis ................................................................ 8

Captulo 2 - Seguridad Informtica ................................................................................ 11


2.1

Definicin ........................................................................................................ 11

2.2

Elementos de la Seguridad Informtica ........................................................... 11

2.3

Amenazas ......................................................................................................... 14

2.4

Clasificacin de los Ataques Informticos ...................................................... 17

Captulo 3 - Sistemas de deteccin de intrusos .............................................................. 21


3.1

Introduccin ..................................................................................................... 21

3.2 Clasificacin de los IDS ....................................................................................... 22


3.3 Estrategia de Anlisis de los IDS ......................................................................... 23
3.1.1 Estrategia de Anlisis: Uso Indebido............................................................. 24
3.1.2 Anomala ....................................................................................................... 25
Captulo 4 - Data Mining ................................................................................................ 27
4.1

Introduccin ..................................................................................................... 27

4.2

Funciones de los Modelos................................................................................ 28

4.3

Aprendizaje Automtico: Aprendizaje Supervisado ........................................ 29

4.4

Vecino ms Cercano ........................................................................................ 31

4.4.1
4.5

Vecino ms cercano e IDS........................................................................ 33

Clasificadores Bayesianos ............................................................................... 33

4.5.1

Naive Bayes .............................................................................................. 34

4.5.2

Redes Bayesianas ..................................................................................... 35

4.5.3

Clasificadores Bayesianos e IDS .............................................................. 37

4.6

rboles de Decisin ......................................................................................... 38

4.6.1

Algoritmo ID3 .......................................................................................... 39


1

4.6.2

Algoritmo C4.5 ......................................................................................... 41

4.6.3

Algoritmo CART ...................................................................................... 43

4.6.4

Random Forest.......................................................................................... 44

4.6.5

Algoritmo Naive Bayes Tree .................................................................... 45

4.6.6

rboles de Decisin e IDS ....................................................................... 46

4.7

Induccin de Reglas ......................................................................................... 47

4.7.1

Algoritmo RIPPER Repeated Incremental Pruning to Produce Error

Reduction .............................................................................................................. 48
4.7.2

Algoritmo PARTIAL Decision Tree : PART ....................................... 48

4.7.3

Induccin de Reglas e IDS ....................................................................... 51

4.8

Lgica Difusa ................................................................................................... 51

4.8.1

Algoritmo Fuzzy Unordered Rule Induction Algorithm .......................... 52

4.8.2

Lgica Difusa e IDS ................................................................................. 53

4.9

Algoritmos Genticos ...................................................................................... 54

4.9.1
4.10

Algoritmos Genticos e IDS ..................................................................... 56


Sistema Inmune Artificial ............................................................................ 57

4.10.1 Principio de Seleccin Clonal................................................................... 57


4.10.2 Algoritmo de Seleccin Clonal :Clonalg .................................................. 58
4.10.3 Sistema Inmune Artificial e IDS. ............................................................. 61
4.11

Mquinas de Soporte de Vectores SVM................................................... 62

4.11.1 Normalizacin. ......................................................................................... 66


4.11.2 SMO Mnima Secuencia de Optimizacin. ............................................ 66
4.11.3 C-SVC. ..................................................................................................... 66
4.11.4 SVM e IDS .............................................................................................. 67
4.12

Redes Neuronales ......................................................................................... 68

4.12.1 Arquitecturas de redes neuronales ............................................................ 68


4.12.2 Perceptrn Multicapa................................................................................ 69

4.12.3 Redes de funcin de Base Radial ............................................................. 72


4.12.4 Redes Neuronales e IDS ........................................................................... 74
4.13

Modelos Ocultos de Markov ........................................................................ 75

4.13.1 Arquitectura HMM. .................................................................................. 76


4.13.2 Modelos Ocultos de Markov discretos ..................................................... 77
4.13.3 Modelos de Markov e IDS. ...................................................................... 82
4.14

Discretizacin ............................................................................................... 82

4.15

Seleccin de Atributos ................................................................................. 86

4.15.1 Seleccin por Correlation Based Filter CFS ........................................ 88


4.15.2 Seleccin Por Consistency Based Filter CNS ....................................... 89
Captulo 5 - Estudio Experimental ................................................................................. 91
5.1

Primer estudio a nivel 2 Categoras: Normal y Ataque ............................ 98

5.2

Primer estudio a nivel de 5 Categoras: Dos, Probe, R2L y U2R. .... 100

5.3

Tercer Estudio: A Nivel de Ataque. ............................................................... 103

5.4

Construccin de Modelos. ............................................................................. 105

Captulo 6 - Anlisis estadstico ANOVA .................................................................... 109


6.1

Estudio estadstico de factores en deteccin de intrusos. .............................. 109

6.2

Experimentos donde slo existen dos categoras en la variable de salida de

clasificacin: Ataque y Normal ................................................................................ 111


6.2.1

Anlisis estadstico del error global con dos categoras en la variable de

salida

111

6.2.2

Anlisis estadstico del tiempo de computacin con dos categoras en la

variable de salida .................................................................................................. 117


6.3

Experimentos donde existen cinco categoras en la variable de clasificacin.


122

6.3.1

Anlisis estadstico del error global con cinco categoras en la variable de

salida

122

6.3.2

Anlisis estadstico del tiempo de computacin con cinco categoras en la

variable de salida .................................................................................................. 128


6.4

Experimentos donde existen veinte categoras en la variable de saluda de

clasificacin. Estudio a nivel de ataque. ................................................................... 133


6.4.1

Anlisis Estadstico del error global con 20 categoras en la variable de

salida

133

6.4.2

Anlisis estadstico del tiempo de computacin con 20 categoras en la

variable de salida. ................................................................................................. 137


6.5

Anlisis de hiptesis ...................................................................................... 141

6.6

Conclusin ..................................................................................................... 144

6.7 Trabajo Futuro .................................................................................................... 150


Referencias ................................................................................................................... 151
Artculos ....................................................................................................................... 167
Apndice A
Apndice B

Figuras presentadas en el documento

Figura 1 Grfica que muestra n incidentes reportados al CERT. .................................. 16


Figura 2 Sofisticacin de los ataques vs. conocimiento tcnico del intruso................... 17
Figura 3 Clasificacin de los IDS ................................................................................... 23
Figura 4 Esquema general de un Sistema de Deteccin de Intrusiones. ........................ 23
Figura 5 IDS basado en anomalas ................................................................................. 25
Figura 6 Estructura de un Clasificador Naive Bayes ...................................................... 35
Figura 7 Estructura TAN ................................................................................................ 37
Figura 8 NBTree con un nodo de decisin (X2) y 2 clasificadores NB como hojas...... 45
Figura 9 Ejemplo Algoritmo Part ................................................................................... 50
Figura 10 Algoritmo Gentico........................................................................................ 56
Figura 11 Seleccin Clonal.- Algoritmo Clonalg ........................................................... 59
Figura 12 Clasificacin de un conjunto de datos con SVM lineal ................................. 62
Figura 13 Clase linealmente Separable.
Figura 14 Clase no linealmente Separable.....69
Figura 15 Perceptrn con una capa oculta ...................................................................... 70
Figura 16 Arquitectura tpica de una RBF ..................................................................... 72
Figura 17 Modelo de Urna ............................................................................................. 75
Figura 18 Estructura HMM Ergdico............................................................................. 77
Figura 19 Ataques/categora/N de registros en la Base de datos. ................................. 95
Figura 20 Atributos Seleccionados por los distintos mtodos
Figura 21Seleccin Atributos Filtro CFS
Figura 22 Atributos Filtro CNS
Figura 23 Atributos Wrapper C4.5
Figura 24 Atributos Wrapper Naive Bayes .................................................................... 98
Figura 25 Conjunto balanceado con 2 Categoras .......................................................... 99
Figura 26 Conjunto Sin Discretizar ............................................................................... 99
Figura 27 Discretizacion Fayyad & Irani ..................................................................... 100
Figura 28 Discretizacion Intervalo Igual de Frecuencias (n =100) .............................. 100
Figura 29 Presencia de ataques en el conjunto de datos ............................................... 101
Figura 30 Presencia de ataques en el conjunto de datos por categoras ....................... 101
Figura 31 Conjunto de datos Sin Discretizar ................................................................ 102
5

Figura 32 Conjunto de datos Discretizacion Fayyad & Irani ....................................... 102


Figura 33 Conjunto de datos Discretizacion Intervalo Igual de Frecuencias (n =100) 102
Figura 34 Eleccin del Umbral httptunnel = 133 ......................................................... 103
Figura 35 Conjunto de ataques balanceado .................................................................. 103
Figura 36 Fayyad
Figura 37 Intervalo Igual Frec. ..................................................................................... 104
Figura 38 Representacin grfica del resultado tras aplicar Discretizacin de Fayyad &
Irani............................................................................................................................... 104
Figura 39 Representacin grfica del resultado tras aplicar Discretizacin Igual
Intervalo de Frec. .......................................................................................................... 105
Figura 40 Sin Discretizar
Figura 41 Fayyad
Figura 42 Intervalo Igual Frec. ..................................................................................... 105
Figura 43 Algoritmos aplicados. .................................................................................. 106

CAPTULO 1 INTRODUCCIN

Desde su invencin hasta nuestros das, el nmero de ordenadores ha ido


creciendo hasta consolidarse como un instrumento casi imprescindible en la vida
cotidiana del hombre. Su versatilidad, potencia de clculo y cada vez ms fcil manejo
hacen de ellos una herramienta muy importante en gran variedad de actividades, desde
la cientfica a la ldica. Con la posibilidad de interconectar mltiples ordenadores
formando redes, surgieron nuevos retos y aplicaciones.
La red ARPANET, creada por el gobierno estadounidense en 1969 para
actividades de desarrollo y defensa, sera la precursora de la que hoy conocemos como
Internet. En aquel entorno, la seguridad era mnima. Se trataba de una red compuesta
por una pequea comunidad cuyos miembros eran de confianza. La mayora de los
datos que se intercambiaban no eran confidenciales, y muchos usuarios se conocan. La
ARPANET original evolucion hacia Internet. Internet se bas en la idea de que habra
mltiples redes independientes, de diseo casi arbitrario, empezando por ARPANET
como la red pionera de conmutacin de paquetes, pero que pronto incluira redes de
paquetes por satlite, redes de paquetes por radio y otros tipos de red. Internet como
ahora la conocemos encierra una idea tcnica clave, la de arquitectura abierta de trabajo
en red.
Internet ha supuesto una revolucin sin precedentes en el mundo de la informtica y
de las comunicaciones. Es difcil imaginarse hoy algn banco, hospital, o gran
superficie comercial en un pas desarrollado, que no mantenga los datos de sus clientes
o hagan sus transacciones de forma electrnica. Hoy en da los bancos hacen uso de
redes para efectuar sus operaciones financieras, los hospitales tienen los historiales de
sus pacientes en bases de datos, y muchos comercios estn presentes en Internet, de
forma que cualquier usuario del planeta puede tanto escoger el producto que desea
como pagarlo a travs de la red. Los datos que manejan este tipo de empresas deben
mantenerse a salvo de cualquier intruso a toda costa. La seguridad en este tipo de
empresas tiene una importancia crtica. La informacin es el activo ms importante en
los negocios actuales, de hecho los ciber-ataques a las grandes compaas siguen siendo
un gran problema en el mundo empresarial, ya que llegan a causarles gastos de millones
7

de dlares al ao para luchar contra las amenazas de la red. As pues hoy en da


salvaguardar la informacin en la red y tener una buena poltica de seguridad se vuelve
primordial y de suma importancia teniendo en cuenta que los ataques son difciles de
prevenir con los cortafuegos, las polticas de seguridad, u otros mecanismos, porque el
software de aplicacin est cambiando a un ritmo rpido, y este rpido ritmo a menudo
conduce a un software que contiene fallos desconocidos o errores.

1.1. Objetivos y Organizacin de la Tesis


La seguridad informtica consiste en asegurar que los recursos tales como las
metodologas,

planes,

polticas,

documentos,

programas o dispositivos fsicos,

encaminados a lograr que los recursos de cmputo disponibles en una organizacin o


ambiente dado, sean accedidos nica y exclusivamente por quienes tienen la
autorizacin para hacerlo y dentro de los lmites de su autorizacin. Para ello
disponemos de varias herramientas que nos ayudan a mantener la seguridad de una
organizacin red o recurso cualquiera, entre estas herramientas estn los llamados
sistemas de deteccin de intrusos. Los sistemas de intrusos basados en red, los cuales
monitorizan el trfico de una red, se clasifican dependiendo del tipo de anlisis que
lleven a cabo en dos tipos. Por un lado estn los de uso indebido que requieren de un
sistema de apoyo, como es una base de datos, stos necesitan de un mantenimiento
regular, como son las actualizaciones peridicas, ejemplo de ello son los antivirus. Por
otra parte nos encontramos con los llamados sistemas basados en anomalas los cuales
no cuentan con ningn soporte, puesto que aprenden a modelar, gracias a un algoritmo
de inteligencia artificial, el comportamiento normal del sistema. stos algoritmos les
permiten aprender y por ello perfilar una conducta de actividad normal y todo lo que se
desve de esa conducta es reportado como una anomala o intrusin.
Los sistemas de deteccin de intrusos basados en anomalas no estn tan
desarrollados por los fabricantes debido a su baja fiabilidad frente a los sistemas de
deteccin basados en el uso indebido.
En esta tesis se pretende realizar una comparativa estadstica global de distintos
algoritmos de Inteligencia Artificial que se aplican en deteccin de intrusos y establecer
qu algoritmo es ms ventajoso en determinadas condiciones frente a otros, siendo
estas condiciones el tipo de discretizacin, y la seleccin de atributos. Bsicamente
8

analizaremos estas condiciones, las cuales sern factores que influirn en el acierto o
error de clasificacin del modelo y en su tiempo de construccin.
El criterio que se ha seguido para seleccionar los distintos algoritmos de
aprendizaje es el buen resultado que han dado en otros mbitos de estudio.
Estos algoritmos se entrenaran y se evaluarn utilizando el conjunto de datos
NSL [NSL09], el cual es una base de datos con miles de patrones de firmas de ataques
as como de conexiones normales, y a la vez es una mejora de los datos del concurso
KDD cup99[Kdd99]. En KDD-99 se utilizo una versin reducida de la amplia variedad
de intrusiones militares simuladas en un entorno de red, proporcionadas por DARPA
Intrusion Detection Program Evaluation en 1998. En este conjunto de datos cada
registro de conexin est compuesto de 42 atributos, lo que supone unos 100 bytes por
registro.
Para llevar a cabo este estudio se ha utilizado la seleccin de atributos, proceso
que consiste en seleccionar a partir de los datos de entrada un subconjunto ptimo de
caractersticas de una base de datos para reducir su dimensionalidad, eliminar ruido y
mejorar el desempeo de un algoritmo de aprendizaje. Sera muy interesante el estudiar
si un modelo sigue siendo bueno o desmejora si se entrena y evala con pocos atributos
reduciendo as la dimensionalidad del problema y manteniendo las prestaciones del
algoritmo. Para ello someteremos a los datos a diferentes tcnicas de seleccin de
atributos que se tratarn ms adelante.
Adems de la seleccin de atributos se ha utilizado la discretizacin que es de
especial importancia en Inteligencia Artificial, pues permite que muchos algoritmos de
aprendizaje ideados para funcionar con atributos

nominales o categricos puedan

tambin utilizarse con conjuntos de datos que incluyen valores numricos, algo esencial
en la resolucin de problemas reales. Nuestro conjunto de datos como se ver ms
adelante cuenta con que la mayora de los atributos es de tipo continuo, y algunos
algoritmos de aprendizaje operan exclusivamente con espacios discretos. Se llevar a
cabo dos tipos de discretizaciones distintas, una supervisada y otra no supervisada que
sern explicadas ms adelante. Como pasaba con la seleccin de atributos gracias a la
discretizacin estudiaremos si las prestaciones de un clasificador mejoran o desmejoran
as como cual de ambos mtodos de discretizacin resulta ser mejor que otro.

Tomando la discretizacin, el filtro y el tipo de algoritmo como factores que


influyen en el desempeo de un modelo basado en anomalas, analizaremos el
comportamiento de este modelo, acierto en clasificacin y tiempo de construccin,
desde tres puntos de vista distintos: sistema de clasificacin binaria (ataque/no-ataque),
sistema de clasificacin en 5 categoras (DoS, Probe, R2L, U2R), sistema de
clasificacin a nivel de ataque (veinte ataques diferentes).
Esta tesis se va a organizar de la siguiente manera, en el captulo 2 se estudiar
la seguridad informtica, los elementos que la componen as como las amenazas y
clasificacin de los ataques informticos. En el captulo 3 se tratarn los sistemas de
deteccin de intrusos y se expondr los tipos que existen y nos centraremos en la
estrategia de anlisis en las que se basan. En el captulo 4 se expondrn los algoritmos
de aprendizaje inteligente ms usuales y frecuentes, utilizados y referenciados en la
bibliografa. Se explicarn las diferentes tcnicas o algoritmos que se aplicarn en
nuestro estudio experimental

como son los clasificadores bayesianos, modelos de

Markov, mquinas de soporte vectorial, lgica difusa, rboles de decisin etc..y al final
de cada apartado se comentar un breve estado del arte de la tcnica en cuestin y su
aplicacin a los sistemas de deteccin de intrusos. Los dos ltimos apartados de este
captulo tratarn sobre las diferentes tcnicas de discretizacin y de seleccin de
atributos escogidas para el procedimiento experimental. En el captulo 5 se explicar el
procedimiento experimental que se ha llevado a cabo, as como el conjunto de datos
utilizado y los 3 casos o perspectivas de estudio a las que se ha sido sometido este
conjunto de datos as como los algoritmos y sus variantes que se utilizarn para su
evaluacin.
Por ltimo en el captulo 6 partiendo de las tablas que se construirn en la fase
experimental se realizar el estudio estadstico ANOVA y se ofrecern las conclusiones
obtenidas.
En los apndices de esta tesis se podr encontrar las matrices de confusin de
cada clasificador as como las tablas obtenidas con los resultados como son, el tiempo
de construccin del modelo y el acierto global del clasificador as como otros aciertos
dependiendo del caso de estudio.

10

CAPTULO 2 - SEGURIDAD INFORMTICA


2.1

Definicin

La seguridad informtica consiste en asegurar que los recursos del sistema de


informacin (material informtico o programas) de una organizacin, sean utilizados de
la manera que se decidi y que el acceso a la informacin all contenida, as como su
modificacin, slo sea posible a las personas que se encuentren acreditadas y dentro de
los lmites de su autorizacin.
Podemos definir la Seguridad Informtica como

el cumplimiento de

confidencialidad, integridad y disponibilidad en un sistema informtico [Rus91]. La


confidencialidad requiere que la informacin sea accesible nicamente por aquellos que
estn autorizados, la integridad que la informacin se mantenga inalterada ante
accidentes o intentos maliciosos, es decir la informacin slo puede ser modificada por
quien est autorizado y de manera controlada y la disponibilidad significa que el sistema
informtico se mantenga trabajando sin sufrir ninguna degradacin en cuanto a accesos
y provea los recursos que requieran los usuarios autorizados cuando stos los necesiten.

2.2

Elementos de la Seguridad Informtica

Polticas de Seguridad:- En cualquier entorno en el que tengamos datos o


informacin que hay que proteger no slo son importantes las herramientas de las que
disponemos para proteger dicha informacin sino tambin el disponer de una buena
poltica de Seguridad.
Las polticas de seguridad informtica surgen como una herramienta organizacional
para concienciar a los colaboradores de la organizacin sobre la importancia y
sensibilidad de la informacin y servicios crticos que permiten a la empresa crecer y
mantenerse competitiva.

No se puede considerar que una poltica de seguridad

informtica es una descripcin tcnica de mecanismos, ni una expresin legal que


involucre sanciones a conductas de los empleados, es ms bien una descripcin de lo
que deseamos proteger y l por qu de ello y cmo lograrlo, pues cada poltica de
seguridad es una invitacin a cada uno de sus miembros a reconocer la informacin

11

como uno de sus principales activos as como, un motor de intercambio y desarrollo en


el mbito de sus negocios.
Las Polticas de Seguridad Informtica deben considerar principalmente los
siguientes elementos:

Alcance de las polticas, incluyendo facilidades, sistemas y personal sobre la


cual aplica.

Objetivos de la poltica y descripcin clara de los elementos involucrados en


su definicin.

Responsabilidades por cada uno de los servicios y recursos informticos


aplicado a todos los niveles de la organizacin.

Requerimientos mnimos para configuracin de la seguridad de los sistemas


que abarca el alcance de la poltica.

Definicin de violaciones y sanciones por no cumplir con las polticas.

Responsabilidades de los usuarios con respecto a la informacin a la que


tiene acceso.

Las polticas de seguridad informtica, tambin deben ofrecer explicaciones


comprensibles sobre por qu deben tomarse ciertas decisiones y explicar la
importancia de los recursos. Igualmente, debern establecer las expectativas
de la organizacin en relacin con la seguridad y especificar la autoridad
responsable de aplicar los correctivos o sanciones.

Otro punto importante, es que las polticas de seguridad deben redactarse en


un lenguaje sencillo y entendible, libre de tecnicismos y trminos ambiguos
que impidan una comprensin clara de las mismas, claro est sin sacrificar su
precisin.

Por ltimo, y no menos importante, el que las polticas de seguridad, deben


seguir un proceso de actualizacin peridica.

El cifrado es el ms antiguo de entre los mecanismos de proteccin. Un sistema


secreto se define como un conjunto de transformaciones de un espacio a otro espacio,
donde cada transformacin en particular corresponde a un cifrado con una llave
particular [Sha49]. La criptografa es el estudio de sistemas matemticos que involucra
a dos problemas de seguridad: privacidad y autenticacin [Dif76]. La Criptografa es
12

una rama de las matemticas que, al orientarse al mundo de los mensajes digitales,
proporciona las herramientas idneas para solucionar los problemas relacionados con la
autenticidad y la confiabilidad. El problema de la confidencialidad se vincula
comnmente con tcnicas denominadas de "encriptacin" y la autenticidad con tcnicas
denominadas "firma digital", aunque la solucin de ambos, en realidad, se reduce a la
aplicacin de procedimientos criptogrficos de encriptacin y desencriptacin.
Por otro lado, la mayora de los sistemas de ordenadores proveen mecanismos de
control de accesos en su primera lnea de defensa [Lam71]. Este mecanismo
nicamente limita el acceso a un objeto en el sistema, pero no modela ni restringe qu
es lo que un sujeto puede hacer con el objeto en el caso de que tenga acceso a su
manipulacin [Den82].
El flujo de informacin se puede controlar para incrementar la seguridad
mediante la aplicacin de modelos como el de Bell y LaPadula [Bel73] para proveer
confidencialidad, o el modelo Biba [Bib77] para proveer integridad. Ambos modelos
son conservadores y restringen operaciones de lectura y escritura para asegurar que no
se pueda comprometer la integridad y la confidencialidad de los datos de un sistema.
Por ello, un sistema completamente seguro no sera de gran utilidad ya que sera
demasiado restrictivo [Kum95].
Los controles de acceso y modelos de proteccin no son tiles ante amenazas
internas. Si una contrasea es dbil y se compromete, las medidas de control de acceso
no pueden prevenir la prdida o corrupcin de la informacin a la que el usuario estaba
autorizado a acceder. En general, los mtodos estticos de aseguramiento de
propiedades de seguridad en un sistema o son insuficientes, o pueden resultar
demasiado restrictivos para los propios usuarios.
Por otro lado tambin podemos encontrar mecanismos de identificacin y
autenticacin (I&A). Estos mecanismos posibilitan la identificacin adecuada de los
sujetos y objetos del sistema. La identificacin es la declaracin de quin es el usuario
(conocido a nivel global), mientras que autenticacin es la prueba o confirmacin de
esa identificacin [NSA89]. Existen tres tipos de identificacin: la declaracin de
identidad, identidad colectiva y habilidad. Asimismo, esas identidades de los usuarios se
verifican mediante tres mtodos genricos: Lo que saben (contraseas, PIN,), lo que

13

tienen (tarjetas magnticas, claves electrnicas,) y finalmente lo que son


(autenticacin biomtrica como iris, huellas dactilares,).
Por ltimo, hay otra serie de mecanismos con el objetivo de velar por la
disponibilidad de un sistema. Algunos de ellos actan a modo de filtros, dejando pasar
aquella informacin que est autorizada, en el caso de routers (con listas de acceso o
ACL) y cortafuegos. Y por ltimo los que de alguna manera detectan amenazas, como
antivirus y sistemas de deteccin de intrusos. stos ltimos forman la ltima lnea de
defensa en el esquema general de proteccin de un sistema informtico, y no slo son
tiles para detectar incidentes de seguridad, sino tambin intentos de romper la
seguridad.

2.3

Amenazas

El uso creciente de los sistemas de ordenadores ha exacerbado el problema de


accesos no autorizados y la manipulacin de datos. El alto nivel de conectividad en el
que nos encontramos no slo proporciona acceso a gran cantidad y variedad de fuentes
de datos ms rpido que nunca antes, sino que lo provee desde cualquier lugar en la red
[Pow95]. Desde

el

ataque del gusano Internet de 1988 [Spa89], ha habido una

innumerable cantidad de intrusiones de red que se han saltado los mecanismos


establecidos para la proteccin de los sistemas. Hay muchas amenazas que ya existan y
las nuevas tecnologas han provocado que aparezcan nuevas, por ejemplo los mviles o
los ataques a la web. Las nuevas tecnologas y plataformas ayudan a que salgan nuevos
ataques. Las amenazas han existido siempre pero tal vez ahora la gente las comunica
ms. Los delitos en la red en estos momentos estn ingresando ms dinero que delitos
de trfico de drogas o de armas.
Los ataques informticos online se han convertido en una constante. La evolucin
de la tecnologa y la organizacin de grupos de 'hackers' han hecho que las amenazas de
seguridad aumenten y que las autoridades tengan que actualizarse constantemente para
poder hacer frente a la mltiple variedad de ataques, por ejemplo para intentar facilitar
herramientas de colaboracin entre cuerpos de polica de todo el mundo, Symantec ha
fundado el Instituto de seguridad Norton.

14

Pginas web gubernamentales, financieras y empresariales de todo el mundo


conocen al movimiento 'Anonymous' ya que son el blanco de sus objetivos, este grupo
de hackers llevan a cabo un ataque de denegacin de servicio colapsando las webs.
Grandes empresas son el objetivo de los delincuentes, ejemplo de ello en 2011
Google Inc. sufri un importante ataque a Gmail, los atacantes intentaban hacerse con
las cuentas de correos de usuarios de entre ellos estaras gente del gobierno, periodistas
etc. Facebook es una de las mayores redes sociales que existen en la actualidad
superando los 100 millones de usuarios registrados en 2008 y posteriormente en 2010
fue vctima de un ataque informtico por el mtodo conocido como phising, en el que
los delincuentes imitan la apariencia de esta pgina web para robar los datos de registro
de los usuarios. En 2011 grandes compaas como son Sony revel el coste asociado
con la reparacin de la brecha masiva de seguridad que expuso la informacin personal
de ms de 100 millones de usuarios de los servicios PlayStation Network y Qriocity:
que le cost mnimo 171 millones de dlares.

La compaa japonesa SEGA, ha

reconocido haber sufrido un ataque informtico a su base de datos. Se produjo el acceso


no autorizado a los datos de 1,3 millones de clientes de su canal de juegos Sega Play. El
episodio fue un recordatorio de los retos de cun importante es la seguridad de los datos
y un indicador de que muchas organizaciones no se estn protegiendo lo
suficientemente bien. Cuando se trata de todos estos problemas de seguridad,

las

empresas no estn invirtiendo por avanzado, pero despus tienen que gastar mucho
dinero para arreglar las cosas.
El Instituto Nacional de Tecnologas de la Comunicacin (Inteco)[Int], centro
estatal especializado en seguridad en la Red y ubicado en Len, a travs de su Centro de
Respuesta a Incidentes de Seguridad de la Informacin, Inteco-CERT, ha superado la
cifra de 10.000 virus analizados y catalogados en su base de datos. Esta informacin es
importante para que usuarios particulares y empresas conozcan a qu amenazas se
enfrentan en internet. Cada semana, el Inteco-CERT localiza y clasifica una media de
12 cdigos maliciosos, con la finalidad de conseguir una mayor seguridad en internet y
de asesorar a los usuarios sobre el modo de protegerse de las diferentes amenazas que
van surgiendo en la Red. El estudio de los virus identificados por el instituto refleja la
evolucin de la tecnologa y el hecho de que los virus permanecen en el tiempo y
evolucionan, adaptndose a los nuevos sistemas operativos y ampliando su campo de
accin a nuevas plataformas. As, los tcnicos del Inteco han observado que cada vez
15

hay ms virus documentados que afectan a dispositivos mviles como iPad, iPhone,
Android o Symbian, entre otros, que se unen a los que atacan a sistemas operativos
distintos de Windows, como Mac OS o Linux.

Figura 1 Grfica que muestra n incidentes reportados al CERT.

Otro aspecto a tener en cuenta es la dificultad que conlleva la realizacin de


software, ya que ste es cada vez ms complejo y el ciclo de vida del software se est
reduciendo significativamente debido al aumento de la competitividad del mercado.
Este hecho acarrea la consecuencia de realizar diseos pobres, testeo inadecuado, y por
lo tanto errores en el software que se manifiestan como vulnerabilidades de seguridad.
Antes, los intrusos necesitaban de un conocimiento ms profundo de las redes y
las computadoras para poder lanzar sus ataques. Desgraciadamente, gracias al
incremento del conocimiento sobre el funcionamiento de los sistemas, los intrusos estn
cada vez ms preparados y lo que antes estaba accesible para slo unos pocos
(expertos), hoy en da cualquiera tiene herramientas accesibles con las que poder
determinar las debilidades de los sistemas y explotarlas con el fin de obtener los
privilegios necesarios para realizar cualquier accin daina. Esto puede observarse en
la siguiente grfica:

16

Figura 2 Sofisticacin de los ataques vs. conocimiento tcnico del intruso

2.4

Clasificacin de los Ataques Informticos

El propsito de una clasificacin o taxonoma es proporcionar un medio til y


coherente de clasificar los ataques. Actualmente, los ataques a menudo se describen de
forma diferente por diferentes organizaciones, dando lugar a confusin a los que en
realidad es un ataque en particular. Por ejemplo, una organizacin puede clasificar como
un ataque a un virus mientras que otra lo clasifica como un gusano. Una taxonoma
permite tener un conocimiento previo que se aplicar a nuevos ataques as como
proporciona una forma estructurada para el estudio de estos ataques. Se pueden
encontrar multitud de trabajos referentes a la categorizacin y clasificacin de ataques
informticos e intrusiones [Asl95][Kum95b][Lan94][Lou01][Shan04].
Uno de los primeros trabajos dedicados a categorizar diferentes aspectos de la
seguridad informtica, se centraba en la debilidad de los sistemas informticos y
defectos de diseo

en sistemas operativos [Att76], as como en vulnerabilidades

funcionales y mtodos de abusos informticos [Par75]. Varias de las taxonomas


desarrolladas ms tarde se enfocaban principalmente en dos aspectos: categorizacin de
uso indebido de computadoras, y categorizacin de la gente que intentaba obtener
acceso no autorizado a ordenadores.
17

En un intento anterior de describir tipos de ataques informticos, Neumann y Parker


desarrollaron el SRI Computer Abuse Methods Model [Neu89a][Neu89b][Neu95], el
cual describe aproximadamente 3000 ataques y usos indebidos recogidos durante unos
veinte aos, y los clasifica en un rbol de nueve categoras de ataques. Lindqvist y
Jonson extendieron este modelo expandiendo las categoras 5, 6 y 7 del rbol original
[Lind97]. Jayaram y Morse [Jay97] tambin desarrollaron una clasificacin de
amenazas de seguridad en redes, en la que proveen cinco clases de amenazas de
seguridad y dos clases de mecanismos de seguridad. Otro trabajo significativo en
taxonomas de ataques fue realizado por el grupo CERIAS de Purdue University
[Asl95][Kum95b][Krs98]. Inicialmente, Sandeep Kumar realiz una clasificacin de
intrusiones en sistemas de ordenadores UNIX basado en logs del sistema y redes de
Petri coloreadas. Aslam extendi dicho estudio aadiendo una taxonoma de fallos de
seguridad en sistemas UNIX. Finalmente, Ivn Krsul reorganiz las dos taxonomas
anteriores y proporcion una taxonoma ms compleja de ataques informticos
organizados en cuatro grupos (diseo, supuestos ambientales, fallos de codificacin y
errores de configuracin). Richardson [Ric99][Ric01] extendi estas clasificaciones
desarrollando una base de datos de vulnerabilidades para ayudar en el estudio del
problema de ataques de denegacin de servicio (DoS). La base de datos se pobl con
630 ataques de sitios populares donde se reportaban incidentes informticos. Estos
ataques se clasificaron dentro de las categoras correspondientes a las extensiones de la
taxonoma de fallas de seguridad de Aslam y de la taxonoma de Krsul. Dentro del
proyecto de evaluacin de deteccin de intrusos DARPA DARPA intrusion detection
evaluation data sets) [DAR04], Kendall [Ken98] desarroll una base de datos de ataques
similar, que se puede encontrar en los conjuntos de datos de evaluacin de deteccin de
intrusos DARPA. En esta base de datos, utilizada actualmente como elemento evaluador
y comparativo de los sistemas de deteccin desarrollados por los investigadores, los
ataques se clasifican en cuatro grupos principales, utilizando como criterio el tipo de
ataque:
Denegacin de Servicio (DoS): Estos ataques tratan de detener el funcionamiento
de una red, mquina o proceso; o si no denegar el uso de los recursos o servicios a
usuarios autorizados [Mar01]. Hay dos tipos de ataques DoS; por un lado ataques de
sistema operativo, los cuales tratan de explotar los fallos en determinados sistemas
operativos y pueden evitarse aplicando los respectivos parches; y ataques de red, que
18

explotan limitaciones inherentes de los protocolos e infraestructuras de red. Hay varios


tipos de denegacin de servicio (DOS) [Ken98], algunos ataques como "mailbomb,
Neptune o smurf" abusan de los dispositivos legtimos. Otros como "teardrop, crean
paquetes malformados que confunden a los protocolos TCP / IP en la mquina objetivo,
y sta ltima intentar la reconstruccin de los paquetes. Y otros "apache2 back"
sacan provecho de los errores en la red.
Indagacin o exploracin (probing): Este tipo de ataques escanean las redes
tratando de identificar direcciones IP vlidas y recoger informacin acerca de ellas
(servicios que ofrecen, sistemas operativos que usan). A menudo, esta informacin
provee al atacante una lista de vulnerabilidades potenciales que podran ser utilizadas
para llevar a cabo ataques a los servicios y a las mquinas escogidas. Estos ataques son
los ms frecuentes, y a menudo son precursores de otros ataques. Un atacante con un
mapa de las mquinas y servicios disponibles en una red puede utilizar esta informacin
para encontrar todos los puntos dbiles de esta ltima. Algunas de estas herramientas de
anlisis "satan, saint, mscan permiten que incluso un hacker principiante, pueda revisar
rpidamente cientos o miles de mquinas en una red.
R2L (Remote to Local): cuando un atacante que no dispone de cuenta alguna en
una mquina, logra acceder (tanto como usuario o como root) a dicha mquina. En la
mayora de los ataques R2L, el atacante entra en el sistema informtico a travs de
Internet. Hay varias maneras en que un atacante puede lograr su objetivo [Kendall, 99].
Algunos ataques explotan el desbordamiento de bfer causado por el software de
servidor de red imap, named, sendmail". Los ataques de " ftp_write, xsnoop y guest
tratan de explotar la debilidad o la mala configuracin de las polticas de seguridad del
sistema. El ataque "xlock" utiliza ingeniera social para tener xito, el atacante debe
suplantar a los operadores humanos que proporcionan sus contraseas de los protectores
de pantalla que en realidad son caballos de Troya.
U2R (User to Root): Este tipo de ataque se da cuando un atacante que dispone de
una cuenta en un sistema informtico es capaz de elevar sus privilegios explotando
vulnerabilidades en los mismos, un agujero en el sistema operativo o en un programa
instalado en el sistema. Hay varios tipos de ataques U2R [Ken98] La ms comn es el
ataque "buffer_overflow" que se produce cuando un programa copia una gran cantidad
de datos en un bfer de memoria esttica sin comprobar si el tamao de esta ltima es
19

suficiente, lo que provocar un desbordamiento. Los datos desbordados se almacenan


en la pila de sobrecarga del sistema, cubriendo as las siguientes instrucciones para ser
ejecutadas. Mediante la manipulacin cuidadosa de los datos almacenados en la pila, un
atacante puede provocar la ejecucin de cdigo en el sistema operativo que le ayudar a
conseguir lo que quiere. Otra clase de ataques U2R explotan los

programas que

proporcionan informacin sobre el medio en el que se ejecutan, un buen ejemplo de este


tipo de ataque es el ataque "lodamodule". Otra clase de ataques U2R explotan los
programas que tienen una mala gestin de los archivos temporales. Algunos ataques
U2R explotan la vulnerabilidad debido a las condiciones competitivas explotables
durante la ejecucin de un solo programa, dos o ms programas se ejecutan
simultneamente [Gar96]. A pesar de que una programacin controlada podra eliminar
todas estas vulnerabilidades, tales errores estn presentes en todas las versiones de
UNIX y Windows de Microsoft disponibles hoy en da.

20

CAPTULO 3 - SISTEMAS DE DETECCIN DE


INTRUSOS
3.1

Introduccin

Las primeras investigaciones sobre deteccin de intrusos comienzan en 1980 en un


trabajo de consultora realizado para el gobierno norteamericano por James P. Anderson
[And80], quien trat de mejorar la complejidad de la auditora y la habilidad para la
vigilancia de sistemas informticos. Anderson present la idea de que el
comportamiento normal de un usuario podra caracterizarse mediante el anlisis de su
actividad en los registros de auditora. De ese modo, los intentos de abusos podran
descubrirse detectando actividades anmalas que se desviaran significativamente de ese
comportamiento normal.
Se puede definir intrusin como la violacin de la poltica de seguridad de un
sistema, o como la materializacin de una amenaza. Heady et al. [Hea90] definen
intrusin como cualquier conjunto de acciones que tratan de comprometer la
integridad, confidencialidad o disponibilidad de un recurso. Una de las definiciones
ms populares de intrusin es: fallo operacional maligno, inducido externamente
[Powe01], aunque es bien sabido que muchas de las intrusiones proceden del interior
del sistema de informacin. Finalmente, el NIST (Nacional Institute of Standards and
Technology) define deteccin de intrusos como el proceso de monitorizacin de eventos
que suceden en un sistema informtico o red y anlisis de dichos eventos en busca de
signos de intrusiones.
El primer modelo de deteccin de anomalas fue el propuesto por Dorothy
Denning, con la idea bsica de monitorizar las operaciones estndares de un sistema
objetivo, observando desviaciones en su uso [Den87]. Su artculo provee un marco
metodolgico que ms tarde inspirara a muchos investigadores.
Entre 1988 y 1990 el Instituto de Investigacin SRI International desarrolla la
propuesta de Denning. De ese modo surge IDES (Intrusion Detection Expert System),
un sistema experto que detecta las desviaciones a partir del comportamiento de
diferentes sujetos [Lun88][Lun90]. IDES fue el primer sistema de deteccin de
anomalas en host.
21

En 1988, simultneamente,

en los laboratorios Lawrence Livermore de

University of California en Davis, se realiza el proyecto Haystack para las fuerzas


areas de EE.UU. Haystack era el primer IDS que analizaba los datos de auditora y los
comparaba con patrones de ataque predefinidos [Sma88]. De este modo naca el primer
sistema de deteccin de usos indebidos basado en firmas, el tipo de IDS ms extendido
en el mercado actual.
En 1990, surgen los primeros proyectos de IDS basados en red. Todd Heberlein
introduce tal idea y desarrolla NSM (Network Security Monitor) en University of
California at Davis [Heb90]. En esa misma fecha, en Los Alamos National Laboratory
de EEUU realizan un prototipo de un sistema experto que monitoriza la actividad de
red. Su nombre es NADIR (Network Anomaly Detector and Intrusion Reporter)
[Jac90].
A partir de este momento, comienzan una gran variedad de proyectos de
investigacin que hacen uso de diferentes tcnicas y algoritmos para el anlisis del
comportamiento de un sistema informtico.

3.2 Clasificacin de los IDS


La clasificacin o taxonoma de los sistemas de deteccin de intrusos ha sido tratada
en numerosos trabajos, de los que destacan los de Herv Debar [Deb99] y Stefan
Axelsson [Axe00] de Chalmers University of Technology en Suecia. La clasificacin
ms comn se realiza en base a tres caractersticas funcionales de los IDS:
Fuentes de informacin. Se refiere al origen de los datos que se usan para
determinar si una intrusin se ha llevado a cabo. Bsicamente existen 2 tipos
aquellos que obtienen sus datos de una mquina o host, y aquellos que los
obtienen a partir de la monitorizacin de una red.
Anlisis. Se trata del mtodo de deteccin utilizado. La informacin recogida en
el paso anterior puede ser analizada mediante dos estrategias diferentes, una
basada en uso indebido y la otra basada en anomalas.
Respuestas. Una vez que se ha determinado si ha sucedido alguna intrusin, los
IDS pueden o bien responder de forma activa ante la misma, o bien registrar la
deteccin y no realizar accin alguna.
22

Figura 3 Clasificacin de los IDS

3.3 Estrategia de Anlisis de los IDS


Despus del proceso de recopilacin de informacin, se lleva a cabo el proceso de
anlisis. Los dos tipos principales de anlisis son:

Deteccin de usos indebidos ("misuse detection"): Para encontrar usos


indebidos se comparan firmas (patrones de ataques conocidos) con la
informacin recogida en busca de coincidencias.

Deteccin de anomalas: Para la deteccin de anomalas se manejan


tcnicas estadsticas que definen de forma aproximada lo que es el
comportamiento usual o normal.

La siguiente figura muestra un esquema general de detector de intrusiones de usos


indebidos (mediante comparacin de patrones) y de anomalas.

Figura 4 Esquema general de un Sistema de Deteccin de Intrusiones.

23

Nos vamos a centrar en la estrategia de anlisis de los IDS, pasaremos a


describir las dos estrategias bsicas en las que un IDS se basa para detectar si se est
llevando a cabo o no un ataque.

3.1.1 Estrategia de Anlisis: Uso Indebido


Un IDS basado en deteccin de uso indebido monitoriza las actividades que ocurren
en un

sistema y las compara con firmas de ataques, las cuales se encuentran

almacenadas en una base de datos. Cuando las actividades monitorizadas coinciden con
las firmas, genera una alarma. La deteccin de intrusos basada en uso indebido se atiene
al conocimiento a priori de las secuencias y actividades que forman un ataque. Con este
mtodo se detectan las tentativas de explotacin de vulnerabilidades conocidas o
patrones de ataque tpicos. Esta estrategia es la ms utilizada en los IDS comerciales y
por la que apuestan los fabricantes.
Tpicamente, un sistema de deteccin de uso indebido contiene dos componentes
principales [Kum94]:

Un lenguaje o modelo para describir o representar las tcnicas utilizadas por los
atacantes.

Programas de monitorizacin para detectar la presencia de un ataque basado en


las representaciones o descripciones dadas.

La ventaja de los IDS basados en uso indebido es la fidedigna deteccin de patrones


de ataques conocidos. Al igual que un software antivirus, el comportamiento malvolo
puede identificarse con una precisin aceptable. Como desventaja, cabe mencionar el
hecho de que el patrn del ataque ha de ser conocido con anterioridad, lo que hace que
nuevas intrusiones pasen desapercibidas ante el detector, o que el sistema pueda ser
fcilmente engaado con pequeas variantes de los patrones de ataques conocidos. Otra
desventaja es que hay que adaptar manualmente el IDS al sistema en el que se implanta
si no queremos que se dispare el nmero de falsos positivos -una intrusin anmala, la
actividad es no intrusiva, pero como es anmala el sistema decide que es intrusiva. Se
denominan falsos positivos, porque el sistema errneamente indica la existencia de
intrusin-.

24

3.1.2 Anomala
Consiste en la elaboracin de perfiles estadsticos de comportamiento a lo largo
del tiempo. Estos perfiles se construyen mediante determinados algoritmos, capaces de
detectar cambios graduales en los patrones de conducta de los usuarios o anomalas.
Una anomala se puede definir como la discrepancia de una regla o de un uso
[Rae04]. De ese modo, el primer paso de un sistema de deteccin de anomalas
comienza por establecer lo que se considera comportamiento normal de un sistema
(usuarios, redes, registros de auditora, llamadas del sistema de los procesos, etc.). Una
vez definido esto, clasificar como sospechosas o intrusivas aquellas desviaciones que
pueda detectar sobre el comportamiento normal. La deteccin de anomalas depende
mucho de la suposicin de que los usuarios y las redes se comportan de un modo
suficientemente regular, de forma que cualquier desviacin significante pueda ser
considerada como evidencia de una intrusin.

Figura 5 IDS basado en anomalas

La gran ventaja de la deteccin de anomalas es que el sistema es capaz de


aprender el comportamiento normal del objeto de estudio, y a partir de ah detectar
desviaciones del mismo, clasificndolas como intrusiones. De este modo, se demuestra
que es capaz de detectar tipos de ataques hasta el momento desconocidos.
Como desventaja, por definicin nicamente seala comportamientos inusuales,
pero stos no tienen necesariamente por qu ser ilcitos. Por ello, destaca el problema de
su alta tasa de falsos positivos. Otra desventaja de este proceso es la falta de claridad.
Un intruso podra actuar lentamente y realizar sus acciones cuidadosamente para
modificar el perfil de los usuarios de modo que sus actividades seran aceptadas como
legales cuando en realidad deberan lanzar una alarma (falsos negativos). Otras veces,
no es o debera ser suficiente el hecho de simplemente avisar de un comportamiento
anmalo sin explicar los posibles orgenes. Se hacen uso de mecanismos heursticos y
25

estadsticos para adaptarse a los cambios en el comportamiento del objeto a estudio as


como para detectar cambios imprevistos. Bsicamente los sistemas basados en
deteccin de anomalas se clasifican en, sistemas basados en conocimiento por ejemplo
sistemas expertos, sistemas basados en mtodos estadsticos y sistemas basados en
aprendizaje automtico.

26

CAPTULO 4 - DATA MINING


4.1

Introduccin

De un tiempo a esta parte, muchas de las tcnicas desarrolladas en la Estadstica


Clsica, as como en la Inteligencia Artificial han sido puestas en prctica en un intento
de construir modelos de prediccin de comportamientos de forma automtica y bajo
una base estadstica bien fundamentada.
La bsqueda de patrones tiles en datos se conoce con diferentes trminos
(incluyendo data mining) en diferentes comunidades (extraccin de conocimiento,
descubrimiento de informacin, procesamiento de patrones de datos,). El trmino que
ms fuerza ha tomado es el llamado KDD (Knowledge Discovery in Databases) que se
refiere al proceso no trivial de identificar patrones vlidos, nuevos, potencialmente
tiles, y comprensibles a partir de datos [Fay96].
En las ltimas dcadas, ambas comunidades cientficas, la Estadstica Clsica con el
reconocimiento de patrones y la Inteligencia Artificial con el Aprendizaje automtico
han extendido sus reas de aplicacin de forma notoria, aumentando la capacidad de
extraer de las grandes bases de datos, informacin de distintos tipos desarrollando
multitud de modelos predictivos/explicativos [Hon97]. Alrededor del ao 1990, ambas
disciplinas aunaron esfuerzos y crearon un nuevo campo interdisciplinario que es
conocido en la comunidad internacional como Data Mining (Minera de Datos). Data
mining es la aplicacin de algoritmos especficos para la extraccin de patrones
(modelos) de los datos. El data mining es un paso particular del proceso de KDD.
La mayora de los algoritmos de data mining se pueden ver como una combinacin
de unas pocas tcnicas y principios. En particular, los algoritmos de data mining
consisten mayormente en una mezcla especfica de tres componentes:

El modelo. El componente principal. Tiene dos factores relevantes: su funcin


(como la de clasificar, agrupar, resumir,), y el modo de representar el
conocimiento (como una funcin lineal de mltiples variables, en modo de
rbol, de reglas, una red,). Un modelo contiene ciertos parmetros que deben
determinarse a partir de los datos.

27

El criterio de preferencia. Es la base para escoger un modelo o un conjunto de


parmetros sobre otros. El criterio suele ser la funcin que hace que el modelo se
ajuste ms apropiadamente a los datos que se disponen.

El algoritmo de bsqueda. La especificacin de un algoritmo para obtener


modelos particulares y parmetros, los datos, el modelo (o familia de modelos),
y un criterio de preferencia.

4.2

Funciones de los Modelos

Las funciones de los modelos ms comunes en data mining incluyen:


Clasificacin: Un clasificador es una funcin que asigna a una muestra no
etiquetada una etiqueta o clase. Todos los clasificadores poseen una estructura de datos
interna para realizar la asignacin de una etiqueta a un ejemplo. Se clasifica un caso
entre varias clases o categoras predefinidas. Los modelos de clasificacin se pueden
construir utilizando una gran variedad de algoritmos. Henery [Hen94] cataloga los
algoritmos de clasificacin en tres tipos:

Extensiones

de

discriminacin

lineal

(como

perceptrn

multicapa,

discriminacin lgica)

rboles de decisin y mtodos basados en reglas (como C4.5, AQ, CART),


y

Estimadores de densidad (Nave Bayes, k-nearest neighbor, LVQ).

Regresin: clasifica un caso a una variable de prediccin de valor-real. En la


regresin se persigue la obtencin de un modelo que permita predecir el valor numrico
de alguna variable.
Clustering (agrupamiento): clasifica un caso en una de las clases o agrupaciones
en las que las clases se deben determinar a partir de los propios datos. Los clusters se
definen buscando agrupaciones naturales de los datos basado en modelos de medidas
de similaridad, densidad de probabilidad o distancia.
Summarization (resumen): provee una descripcin compacta de un subconjunto
de datos de entrada (media y desviacin estndar para todos los campos, o reglas de
resumen,

tcnicas de visualizacin multivariadas, relaciones funcionales entre

variables).
28

Modelado de dependencias: describe las dependencias significantes entre


variables. Existen modelos de dependencias a dos niveles: el estructurado y el
cuantitativo. El modelo estructurado de dependencias especifica (a menudo en modo
grfico) qu variables son localmente dependientes; el modelo cuantitativo especifica la
fortaleza de las dependencias usando una escala numrica. El anlisis de relaciones
(como reglas de asociacin), que determina relaciones existentes entre elementos de
una base de datos, podra considerarse un caso particular de modelado de dependencias.
Link analysis (anlisis de conexiones): determina las relaciones o vnculos entre
campos de la base de datos. El objetivo es el de deducir correlaciones entre campos
satisfaciendo el umbral de confianza.
Anlisis de secuencias: modela patrones secuenciales (como datos con
dependencia del tiempo). El objetivo es modelar los estados del proceso generando la
secuencia, o extraer y describir desviaciones y tendencias sobre el tiempo.
En el caso de la deteccin de intrusiones, las funciones ms utilizadas son la
clasificacin

(de un caso, en intrusin o no intrusin; o clasificar entre tipos de

intrusin), clustering (los casos lejanos a las agrupaciones naturales se consideran


anomalas), modelado de dependencias, o anlisis de secuencias.

4.3

Aprendizaje Automtico: Aprendizaje Supervisado


Una caracterstica principal dentro del data mining es el paradigma de

aprendizaje de los sistemas. Existen diversas definiciones de aprendizaje automtico


entre ellas: Aprendizaje denota cambios en el sistema que son adaptativos en el
sentido de que permiten al sistema realizar la misma tarea, o una tomada de la misma
poblacin, la prxima vez de una forma ms eficiente y efectiva." [Sim83]. Segn
Carbonnell [Car89] Se puede definir operacionalmente como la habilidad para
realizar nuevas tareas que no podr realizar anteriormente o realizar anteriores tareas
mejor ms rpidas, ms exactas, etc. Como resultado de los cambios producidos por el
proceso de aprendizaje". [For89] especific El aprendizaje es un fenmeno que se
muestra cuando un sistema mejora su rendimiento en una determinada tarea sin
necesidad de ser reprogramado." En 1991 Weiss y Kulikowski [Wei91] lo explicaron
como Un sistema que aprende es un programa de computador que toma decisiones en
base a la experiencia acumulada contenida en casos resueltos satisfactoriamente. A
29

diferencia de los sistemas expertos, que resuelven los problemas utilizando un modelo
por computador del razonamiento del experto humano, un sistema de aprendizaje puro
puede utilizar muchas tcnicas diferentes para explotar el potencial computacional del
computador, sin importar su relacin con el proceso cognitivo humano." Segn Anzai,
[Anz92]: Cuando un sistema genera automticamente una nueva estructura de datos o
programa a partir de una existente y de esta forma irreversible cambia con algn
propsito por un determinado tiempo, es lo que llamamos aprendizaje automtico"
Langley, 1996 [Lan96]: Aprendizaje es la mejora en el rendimiento en ciertos
entornos por medio de la adquisicin de conocimiento como resultado de la experiencia
en dicho entorno". Por ltimo Mitchell [Mit97] como Un programa de ordenador se
dice que aprende de la experiencia E con respecto a una clase de tareas T y a la
medida de rendimiento P, si su rendimiento en las tareas que pertenecen a T medido
segn P, se incrementa con la experiencia E"
Aunque el despegue del Aprendizaje Automtico se produce en los aos
ochenta, de ah que las primeras definiciones mostradas anteriormente daten de esos
aos, la bsqueda de sistemas con capacidad de aprender se remonta a los primeros das
de los computadores.
La adquisicin del conocimiento por parte de los sistemas de Aprendizaje
Automtico se puede realizar de diferentes formas, igual que ocurre en los humanos que
no tienen una nica forma de aprender, aunque todos los paradigmas de aprendizaje se
pueden encuadrar en las definiciones antes enunciadas, ya que todos tienen como
objetivo comn el incremento del rendimiento del sistema que adquiere el
conocimiento.
Dentro del paradigma automtico, nos encontramos con el aprendizaje
supervisado, el cual genera hiptesis utilizando ejemplos con etiqueta (clase) conocida;
a su vez dichas hiptesis servirn para hacer predicciones ante nuevos ejemplos con
etiqueta desconocida [Bou04]. Dentro de un marco ms operativo, el objetivo del
aprendizaje supervisado (tanto binario como multiclase) es dividir el espacio de
instancias (ejemplos) en regiones en donde la mayora de los casos estn etiquetados
con la misma clase; dicha particin es la que servir para predecir la clase de nuevos
ejemplos. Al sistema se le proporciona un conjunto de hechos etiquetados y el sistema
debe obtener el conjunto de reglas que expliquen estos hechos.

30

4.4

Vecino ms Cercano
El mtodo del vecino ms cercano y sus variantes estn basados en la idea

intuitiva de que objetos parecidos pertenecen a la misma clase, de manera que la clase a
la que pertenece un objeto puede ser inferida a partir de la clase a la que pertenecen los
objetos (o el objeto) de la muestra de aprendizaje que ms se le parecen. La idea de
parecido es reflejada formalmente en el concepto de distancia.

Los fundamentos de la clasificacin por vecindad fueron establecidos por


[Fix51]

[Fix52] a principio de los aos 50. Sin embargo, no fue hasta 1967 cuando

[Cov67] enuncian formalmente la regla del vecino ms cercano y la desarrollan como


herramienta de clasificacin de patrones. Desde entonces, este algoritmo se ha
convertido en uno de los mtodos de clasificacin ms usados [Cos93].
En este clasificador no se asume ninguna funcin implcita sino que la clasificacin se
realiza para cada nueva muestra, mediante la asignacin de dicha muestra a la clase que
es mayoritaria en las k muestras ms prximas del conjunto de aprendizaje, siendo el
caso ms sencillo cuando se asigna a la clase de la muestra ms cercana. Una familia de
clasificadores basados en este modelo son los IB propuestos por [Aha91].

Un elemento importante que define el resultado de este tipo de mtodos es la


funcin de distancia as, un ejemplo es etiquetado con la clase de su vecino ms cercano
segn la mtrica definida por la distancia d. Normalmente se utiliza la distancia eucldea
para el caso de los atributos continuos o la distancia de Hamming si se trata de atributos
nominales, aunque se han propuesto otro tipo de distancias:

Eucldea
de(e1, e2) =

Manhattan
dm(e1, e2) =

Bsicamente el algoritmo acta de la siguiente manera, dado un ejemplo

31

Si tenemos m instancias {e1, . . . ,em} en nuestra base de datos, entonces para clasificar
un nuevo ejemplo e :

1.

cmin = clase(e1)

2.

dmin = d(e1, e)

3.

para i=2 hasta m hacer


d = d(ei, e)
si (d < dmin)
entonces cmin = clase(ei), dmin = d

4.

Devolver cmin como clasificacin de e

donde d( , ) es una funcin de distancia.

La regla NN puede generalizarse calculando los k vecinos ms cercanos y


asignando la clase mayoritaria entre esos vecinos. Tal generalizacin se denomina k
NN. Este algoritmo necesita la especificacin a priori de k, que determina el nmero de
vecinos que se tendrn en cuenta para la prediccin. Al igual que la mtrica, la seleccin
de un k adecuado es un aspecto determinante.

El algoritmo kNN se engloba dentro de las denominadas tcnicas de aprendizaje


perezoso (lazy learning), ya que no genera una estructura de conocimiento que modele
la informacin inherente del conjunto de entrenamiento, sino que el propio conjunto de
datos representa el modelo, es decir no se construye ningn modelo, el modelo es la
propia base de datos o conjunto de entrenamiento. Cada vez que se necesita clasificar
un nuevo ejemplo, el algoritmo recorre el conjunto de entrenamiento para obtener los k
vecinos y predecir su clase. El parmetro k es un parmetro clave puesto que si se elige
un k muy bajo, el sistema es sensible al ruido, en cambio si se elige un k muy alto las
zonas densas pueden acaparar a las menos densas. En general es robusto al ruido cuando
se usan valores de k moderados (k > 1). Su complejidad temporal (para evaluar un
ejemplo) es O(dn2) siendo O(d) la complejidad de la distancia usada.

32

4.4.1 Vecino ms cercano e IDS


Lane realiz un IDS basado en host para la deteccin de anomalas basndose en
IBL [Lane99]. Tom como entradas comandos del shell de UNIX con el fin de mapear
datos temporales sobre el espacio, y bas la medida de similaridad en la regla de
clasificacin 1-NN.
Ejemplos de utilizacin del clasificador k-NN son Portnoy y Eskin (del grupo de
Stolfo en Columbia) [Port01] [Esk02] o Chan et al. [Cha03], que se basa en los dos
anteriores. Chan realiza un trabajo comparativo entre k-NN, SVM (Support Vector
Machines) y un algoritmo de clustering basado tambin en distancia. Yeung y Chow
utilizan una estimacin para la funcin de densidad, basndose en la ventana de Parzen
[Yeu02] para la deteccin de trfico anmalo. Apuntan que su estimacin es muy
parecida al mtodo de k-NN. Ertoz y Steinbach utilizaron la tcnica del vecino ms
cercano compartido (SNN: Shared Nearest Neighbour) que es particularmente
apropiado para encontrar clusters o agrupaciones de diferentes tamaos, densidades y
formas en los datos, principalmente en datos con gran cantidad de ruido [Ert03b].

4.5

Clasificadores Bayesianos

Los clasificadores Bayesianos estn basados en la formulacin del Teorema de Bayes en


1763 [Bay63].

donde:

p(A) es conocido como la probabilidad a priori de que el suceso A sea cierto.

p(A|B) es conocido como la probabilidad a posteriori, o, la probabilidad de que


el suceso A sea cierto tras considerar B.

p(B|A) es conocido como verosimilitud o likelihood, e indica la probabilidad de


que el suceso B sea cierto, asumiendo que A lo es.

p(B) es la probabilidad a priori de que el suceso B sea cierto. Acta de


coeficiente normalizador o estandarizador en la fraccin.

33

Este teorema no slo puede ser aplicado a sucesos, sino tambin a variables
aleatorias, tanto unidimensionales como multidimensionales. Su formulacin general es:

p(Y = y| X =x ) =

Aplicado al problema de clasificacin supervisada, tenemos que Y = C es una


variable unidimensional; mientras que X = (X1, X2,Xn) es una variable n-dimensional.
X ser la variable predictora, e Y la variable a predecir (la clase predicha por el
modelo).

Asumiendo una funcin de error 0/1, un clasificador Bayesiano

x) asigna la

clase con mayor probabilidad a posteriori dada una determinada instancia, es decir,

x) = argmax p(c | x1, x2, , xn)


c
donde c representa la variable clase, y x1, x2,,xn son los valores de las variables
predictoras. Podemos expresar la probabilidad a posteriori de la clase de la siguiente
manera:
p(c | x1, x2,, xn

p(c) p(x1, x2,, xn | c)

Asumiendo diferentes factorizaciones para p(x1, x2,, xn | c) se puede obtener una


jerarqua de modelos de creciente complejidad dentro de los clasificadores Bayesianos,
hasta ordenes exponenciales de 2mxn siendo m y n el nmero de dimensiones de las dos
variables aleatorias.

4.5.1 Naive Bayes


Nave Bayes es una tcnica de clasificacin descriptiva y predictiva basada en la
teora de la probabilidad del anlisis de T. Bayes. Esta teora supone un tamao de la
muestra

asintticamente

infinito

independencia

estadstica

entre

variables

independientes, refirindose en nuestro caso a los atributos, no a la clase. Con estas


condiciones, se puede calcular las distribuciones de probabilidad de cada clase para
establecer la relacin entre los atributos (variables independientes) y la clase (variable
dependiente). Concretamente, dado el ejemplo x = (x1,, xn), donde xi es el valor
34

observado para el i-simo atributo, la probabilidad a posteriori de que ocurra la clase


ym teniendo k valores posibles (y1,, yk), viene dada por la regla de Bayes:

P(ym| x1,xn) =

(1.1)

donde P(ym) es la proporcin de la clase ym en el conjunto de datos; e igualmente,


P(

i)

se estima a partir de la proporcin de ejemplos con valor xi cuya clase es ym.

Como podemos deducir, el clculo de P(

i)

obliga a que los valores xi sean discretos,

por lo que si existe algn atributo continuo, ste debe ser discretizado previamente.
Aplicando (1.1), la clasificacin de un nuevo ejemplo x se lleva a cabo calculando las
probabilidades condicionadas de cada clase y escogiendo aquella con mayor
probabilidad. Formalmente, si Y = (y1,,yk) es el conjunto de clases existentes, el
ejemplo e ser clasificado con aquella clase ym que satisface la expresin:

El clasificador bayesiano es un mtodo sencillo y rpido. Sin embargo, para


estimar el trmino P(ym| x1,xn) es decir, las veces en que para cada categora aparecen
los valores del ejemplo x, se debe recorrer todo el conjunto de entrenamiento. Este
clculo resulta impracticable para un nmero suficientemente grande de ejemplos por lo
que se hace necesario simplificar la expresin. Para ello se recurre a la hiptesis de
independencia condicional con el objeto de poder factorizar la probabilidad.
La suposicin de independencia estadstica de las variables es una limitacin
importante, ya que este hecho es relativamente infrecuente.

Figura 6 Estructura de un Clasificador Naive Bayes

4.5.2 Redes Bayesianas


Una red bayesiana es un grafo acclico dirigido y anotado que describe la
distribucin de probabilidad conjunta que gobierna un conjunto de variables aleatorias.
35

Sea X = {X1, X2,..., Xn} un conjunto de variables aleatorias.


Formalmente, una red Bayesiana para X es un par B = <G, T> en el que:

G es un grafo acclico dirigido en el que cada nodo representa una de las


variables X1, X2,..., Xn, y cada arco representa relaciones de dependencia directas
entre las variables. La direccin de los arcos indica que la variable apuntada
por el arco depende de la variable situada en su origen.

T es un conjunto de parmetros que cuantifica la red. Contiene las


probabilidades PB(xi |
posible valor

de

), para cada posible valor xi de cada variable Xi y cada


, donde ste ltimo denota al conjunto de padres de Xi en

G. As, una red bayesiana B define una distribucin de probabilidad conjunta


nica sobre X dada por [Fri97]
PB(X1, X2... Xn) =
o lo que es lo mismo la distribucin conjunta de los valores del nodo puede ser escrita
como el producto de las distribuciones locales de cada nodo y sus padres. Si el nodo Xi
no tiene padres, su distribucin local de probabilidad se toma como incondicional, en
otro caso se considera condicional.

La topologa o estructura de la red no slo proporciona informacin sobre las


dependencias probabilsticas entre las variables, sino tambin sobre las independencias
condicionales de una variable o conjunto de ellas dada otra u otras variables. Cada
variable es independiente de las variables que no son descendientes suyas en el grafo,
dado el estado de sus variables padre. La inclusin de las relaciones de independencia
en la propia estructura del grafo hace de las redes bayesianas una buena herramienta
para representar conocimiento de forma compacta se reduce el nmero de parmetros
necesarios-. Adems, proporcionan mtodos flexibles de razonamiento basados en la
propagacin de las probabilidades a lo largo de la red de acuerdo con las leyes de la
teora de la probabilidad.

Para utilizar una red bayesiana como clasificador, un algoritmo de bsqueda


determinado encuentra una red B, PB(A1,A2,,An; C), que mejor ajusta a un conjunto de
entrenamiento D de acuerdo a alguna funcin de evaluacin [Fri97] [Coo92]. Una vez
que se determina la red, B selecciona la etiqueta c que maximiza la probabilidad
posterior PB(c| a1,, an) [Fri97] [Coo92].
36

4.5.2.1

Tree Augmented Naive Bayes TAN

El modelo Nave Bayes no es capaz de tratar con dependencias entre las


variables predictoras. En dominios donde la independencia condicional entre las
variables predictoras dada la clase no se cumple, el rendimiento de un modelo nave
Bayes puede limitarse en gran manera. El modelo bayesiano TAN o tree augmented
nave Bayes [Fri97], construye un clasificador donde existe una estructura de
dependencias arborescente entre las variables predictoras. Basndose en un modelo de
dependencias semejante al del nave Bayes, aade dependencias condicionales entre los
nodos, formando un rbol entre ellas. La mezcla de ambas estrategias hace posible la
relajacin de independencia entre las variables predictoras, en la Fig7. se muestra un
ejemplo de modelo TAN.
Este modelo, propuesto por Friedman [Fri97], est basado en el clculo de la
informacin mutua condicionada entre pares de variables,
I(Xi, Xj |C) =
y fuerza a construir una estructura conexa de rbol con todas las variables del dominio
del problema.

Figura 7 Estructura TAN

4.5.3 Clasificadores Bayesianos e IDS


Naive Bayes es un tipo simple de redes Bayesianas particularmente eficientes en
tareas de inferencia.
Axelsson public un artculo que utilizaba la regla Bayesiana de probabilidad
condicional para apuntar las implicaciones de la falsedad de la tasa bsica (base-rate
fallacy) en deteccin de intrusos [Axe99b].

El grupo de investigacin del SRI

desarroll un mdulo para su IDS EMERALD llamado eBayes TCP que utilizaba
tecnologa de redes Bayesianas para analizar, lo que ellos llaman, explosiones de
37

trfico. Las categoras de ataques se representan como hiptesis de modelos, las cuales
se van reforzando de forma adaptativa [Val00]. Ms adelante, en [Val01] presentaron un
trabajo en el que tambin incorporaban elementos de la inferencia de Bayes, pero para
la realizacin de correlacin de alertas.
Daniel Barbar et al. tambin hacen uso de la teora Bayesiana para su sistema
ADAM (Audit. Data Analysis and Mining) [Bar01]. En dicho trabajo, proponen el uso
de estimadores pseudo-Bayes para afinar la capacidad detectar anomalas, reduciendo a
su vez el nmero de falsas alarmas. ADAM hace uso de reglas de asociacin para la
deteccin de anomalas, pero dicho clasificador reconoce nicamente los ataques que
aparecen en el conjunto de datos de entrenamiento. Con la tcnica pseudo-Bayes, no es
necesario el conocimiento previo sobre los ataques, ya que las probabilidades anteriores
y posteriores estimadas de los ataques nuevos se derivan de la informacin de las
instancias normales y los ataques conocidos. Tras aplicar la tcnica de pseudo-Bayes,
construyen un clasificador naive Bayes para clasificar los ejemplos en normales, ataques
conocidos y ataques nuevos. Sebyala tambin utiliza una red naive Bayes para realizar
deteccin de intrusos sobre eventos de red [Seby02].
En [Put02] se utilizan tcnicas Bayesianas para obtener parmetros con
probabilidades mximas a posteriori para IDS basados en anomalas. Goldman present
un modelo que simulaba un atacante de forma inteligente usando tcnicas Bayesianas
para as crear un plan de acciones en base a objetivos [Gol02].
En 2003, Kruegel et al. utilizaron redes Bayesianas para clasificar eventos
basados en las salidas de los diferentes modelos utilizados para la deteccin de
anomalas y en informacin adicional extrada del mismo entorno [Kru03]. El trabajo
publicado por Ben Amor compara el rendimiento de redes naive Bayes con los rboles
de decisin y, ms concretamente, con los resultados que se obtuvieron en el
campeonato KDD 99 [Amo04].

4.6

rboles de Decisin

Los mtodos de aprendizaje supervisado basados en rboles de decisin son uno de


los mtodos ms populares dentro del rea de la Inteligencia Artificial para tratar el
problema de la clasificacin [Qui86]. Un rbol de clasificacin est formado por nodos,
ramas y hojas. Cada nodo representa una decisin sobre los valores de un atributo
38

concreto. El primer nodo del rbol es conocido como el nodo raz. Finalmente estn los
nodos terminales u hojas en los que se toma una decisin acerca de la clase a asignar.
As, a la hora de clasificar un nuevo caso, tendrn que compararse los valores de los
atributos con las decisiones que se toman en los nodos, siguiendo la rama que coincida
con dichos valores en cada test o decisin. Finalmente se llega a un nodo terminal u
hoja que predice la clase para el caso tratado. Un rbol de decisin tambin se puede ver
como un conjunto de reglas si-entonces.
Dentro de los sistemas basados en rboles de decisin, habitualmente
denominados TDIDT (Top Down Induction of Decision Trees), se pueden destacar dos
familias o grupos: la familia ID3, cuyos mximos representantes son el propio algoritmo
ID3 propuesto por [Qui86]y el sistema CLS de [Hun66]; y la familia de rboles de
regresin, cuyo exponente ms significativo es Cart, desarrollado por [Bre84].
Los TDIDT se caracterizan por utilizar una estrategia de divide y vencers
descendente, es decir, partiendo de los descriptores hacia los ejemplos, dividen el
conjunto de datos en subconjuntos siguiendo un determinado criterio de divisin. A
medida que el algoritmo avanza, el rbol crece y los subconjuntos de ejemplos son
menos numerosos. ID3 puede considerarse como una versin preliminar de C4.5, el
cual resuelve algunos inconvenientes de su antecesor sobre el uso de atributos
continuos, el tratamiento de valores ausentes y el proceso de poda.

4.6.1 Algoritmo ID3


Cada nodo interno del rbol contiene una decisin sobre uno de los atributos, de
cuyo valor depender el camino a seguir para clasificar un ejemplo, y cada hoja
contiene una etiqueta de clase. As, la clasificacin de un ejemplo se lleva a cabo
recorriendo el rbol desde la raz hasta una de las hojas que determinar la clase del
mismo. Inicialmente, el algoritmo toma todo el conjunto de datos D. Si todos los
ejemplos pertenecen a una misma clase, el proceso finaliza, insertando un nodo hoja con
dicha clase. En caso contrario, se selecciona aquel atributo Ai que mejor divide el
conjunto de datos y se inserta un nodo con dicho atributo para establecer una decisin.
Una vez creado el nodo, para cada valor distinto Aiv del atributo Ai, se traza un arco y se
invoca recursivamente al algoritmo para generar el subrbol que clasifica los ejemplos
de D que cumplen que Ai = Aiv. Esta llamada es realizada sin tener en cuenta el atributo
39

Ai y substrayendo del conjunto de datos D todos aquellos ejemplos donde Ai Aiv. El


proceso se detiene cuando todas las instancias de un conjunto pertenecen a la misma
clase.
El algoritmo ID3, para elegir la raz del rbol y los posteriores atributos-nodos
donde se toma una decisin, utiliza la ganancia de informacin. La ganancia de la
informacin es simplemente la reduccin esperada en la entropa causada al particionar
los ejemplos de acuerdo a un atributo. As, el atributo Ai seleccionado para determinar la
divisin ser aquel que mayor ganancia obtenga respecto al conjunto D,
Ganancia (D, Ai) = Ent(D)
donde | Ai |es el nmero de valores distintos de del atributo Ai.. E(Aiv) es el subconjunto
de D para el cual Ai = Aiv, siendo |D(Aiv)| su cardinal; |D| es el nmero total de ejemplos;
y Ent( ) es la entropa.
La entropa puede ser considerada como la cantidad de informacin contenida
en el resultado de un experimento. Dicha informacin, depender sobre el conocimiento
previo que se tiene sobre los resultados del experimento. Cuanto menos se conoce ms
informacin se obtiene (o ms se aprende). Si un experimento puede tener m resultados
distintos v1,.., vm que pueden ocurrir con probabilidades P(v1 ),, P(vm), la cantidad de
informacin I que se obtiene al conocer el resultado real del experimento es:
I(P(v1),P(vm))

Para ejemplificar esta idea, consideremos el experimento de arrojar una


moneda, el cual tiene como resultados posible cara y cruz. Si conocemos de antemano
que la moneda fue alterada para que siempre caiga cara, la entropa (informacin) I
del resultado del experimento ser:
I(P(cara),P(cruz)) = I(1,0) = -1 log2 1- 0 log2 0 = 0
Este resultado significa que, dado que ya sabemos que la moneda caer cara, la
informacin que obtengamos al conocer el resultado del experimento ser nula. Si en
cambio utilizamos una moneda totalmente balanceada, que produce cualquiera de los
dos resultados en forma equiprobable, tendremos que:
I(
Como podemos observar la entropa tiene su valor ms bajo (0) cuando existe total
certeza en el resultado del experimento, mientras que el mayor valor de entropa es
alcanzado en el caso de mayor incertidumbre (eventos equiprobables).
Pseudocdigo
40

ID3 (Instancias)
SI todas las instancias son de la misma clase C ENTONCES
devolver Hoja(C)
SINO SI el conjunto de instancias est vaco ENTONCES
devolver Hoja (Clase_por_defecto)
SINO SI el conjunto de instancias no contiene ningn atributo
ENTONCES devolver Hoja (Clase_mayoritaria)
SINO
Elegir atributo A con mayor ganancia de informacin
Crear nodo con el atributo seleccionado
Para cada valor V del atributo A Crear una rama con el valor V
Seleccionar las instancias con el valor V del atributo A
Eliminar el atributo A de este conjunto de instancias Cv
Asigna a la rama el rbol devuelto por ID3(Cv)
Devolver nodo

Pese a su simplicidad y bajo coste computacional, ID3 presenta inconvenientes


importantes, algunos de los cuales son corregidos por su sucesor C4.5. Los ms
evidentes son la incapacidad para trabajar con atributos continuos y tratar valores
ausentes. Sin embargo, presenta una serie de problemas que afectan directamente a la
precisin del rbol generado. En primer lugar, la heurstica usada para establecer los test
es propensa a seleccionar aquellos atributos con mayor nmero de valores distintos, ya
que a mayor nmero de particiones, la entropa de cada subconjunto tiende a ser menor.
En segundo lugar, ID3 resulta muy vulnerable a la presencia de ruido e inconsistencia
en los datos, lo cual ocasiona la generacin de hojas muertas que clasifican ejemplos de
ms de una clase.

4.6.2 Algoritmo C4.5


El algoritmo C4.5 fue desarrollado por Quinlan en 1993 [Qui93], como una
extensin (mejora) del algoritmo ID3 que desarroll en 1986. Este algoritmo introduce
las siguientes mejoras:

Permite trabajar con valores continuos para los atributos, separando los posibles
resultados en 2 ramas Ai<=N y Ai >N.

Los rboles son menos frondosos, ya que cada hoja cubre una distribucin de
clases no una clase en particular.

Utiliza el mtodo "divide y vencers" para generar el rbol de decisin inicial a


partir de un conjunto de datos de entrenamiento.

41

Se basa en la utilizacin del criterio de proporcin de ganancia (gain ratio), de


esta manera se consigue evitar que las variables con mayor nmero de posibles
valores salgan beneficiadas en la seleccin.

C4.5 produce un rbol de decisin similar al de ID3, con la salvedad de que puede
incluir condiciones sobre atributos continuos. As, los nodos internos pueden contener
dos tipos de decisin segn el dominio del atributo seleccionado para la particin. Si el
atributo Ai es discreto, la representacin es similar a la de ID3, presentando una decisin
con una condicin de salida (rama Ai = Aiv) por cada valor Aiv diferente del atributo.
Por contra, si el atributo Ai es continuo, el test presenta dos nicas salidas, Ai
Ai

que comparan el valor de Ai con el umbral N. Para calcular N, se aplica un

mtodo similar al usado en [Bre84], el cual ordena el conjunto de t valores distintos del
atributo Ai presentes en el conjunto de entrenamiento, obteniendo el conjunto de valores
{ai1, ai2,, ait}.
Cada par de valores consecutivos aporta un posible umbral:

teniendo en total t-1 umbrales, donde t es como mucho igual al nmero de ejemplos.
Una vez calculados los umbrales, C4.5 selecciona aquel que maximiza el criterio de
separacin. Como se mencion

anteriormente, el criterio de maximizacin de la

ganancia de informacin usado en ID3 produce un sesgo hacia los atributos que
presentan muchos valores distintos. C4.5 resuelve este problema usando la razn de
ganancia (gain ratio) como criterio de separacin a la hora de tomar una decisin.
Esta medida tiene en cuenta tanto la ganancia de informacin como las probabilidades
de los distintos valores del atributo. Dichas probabilidades son recogidas mediante la
denominada informacin de separacin (split information), que no es ms que la
entropa del conjunto de datos D respecto a los valores del atributo Ai en consideracin,
siendo calculada como:
I (D, Ai ) =

donde |Ai| es el nmero de valores distintos del atributo Ai, D(Aiv) es el subconjunto de
D para el cual Ai = Aiv siendo |D(Aiv) | su cardinal; y |D| es el nmero total de ejemplos.
La informacin de separacin simboliza la informacin potencial que representa dividir
el conjunto de datos, y es usada para compensar la menor ganancia de aquellas
42

decisiones con pocas salidas. Con ello la razn de ganancia es calculada como el
cociente entre la ganancia de informacin y la informacin de separacin. Tal cociente
expresa la proporcin de informacin til generada por la divisin.
RazonDeGanancia(D, Ai) =
C4.5 maximiza este criterio de separacin, premiando as a aquellos atributos que, aun
teniendo una ganancia de informacin menor, disponen tambin de menor nmero de
valores para llevar a cabo la clasificacin. Sin embargo, si el atributo incluye pocos
valores, la informacin de separacin puede ser cercana a cero, y por tanto el cociente
sera inestable. Para evitar tal situacin, el criterio selecciona un valor de atributo que
maximice la razn de ganancia pero obligando a que la ganancia del mismo sea al
menos igual a la ganancia media de todos los atributos examinados.

El coste

computacional para este algoritmo teniendo un conjunto de datos con m ejemplos y n


atributos, el coste medio de construccin del rbol es de O(mnlog2 m), mientras que la
complejidad del proceso de poda es de O(m(log2 m)2).

4.6.3 Algoritmo CART


Los rboles de clasificacin y regresin (CART), es una tcnica no paramtrica
basada en la generacin de un modelo con estructura de rbol que permita explicar o
predecir una determinada variable respuesta [Bre84], que puede ser tanto categrica
(rboles de clasificacin) como continua (rboles de regresin).
Trabaja igual que C4.5 excepto que el criterio que se utiliza para seleccionar la mejor
divisin de cada grupo se basa en el ndice de Gini, que es una medida de la impureza
de cada nodo (subgrupo). El ndice de Gini para el nodo m se define como:
Im=

donde k = 1,.., K son las categoras de la variable respuesta y pm,k es la proporcin de


elementos de la categora k en el nodo m. Esta medida alcanza su mnimo en 0, cuando
todos los elementos de un nodo pertenecen a una misma clase. Para cada nodo se escoge
la variable y regla de divisin que minimiza la suma ponderada de los ndices de Gini
de los subnodos generados.

43

4.6.4 Random Forest


Random forest, introducido por Breiman en 1999, utiliza un conjunto (o bosque)
formado por muchos rboles de clasificacin. Para clasificar un nuevo objeto, cada
rbol en el conjunto lo toma como entrada y produce una salida, su clasificacin. La
decisin del conjunto de rboles se toma como la clase con mayora de votos en el
conjunto [Bre01]. En Random Forest cada rbol individual se desarrolla de una manera
particular:
1. Dado un conjunto de datos de entrenamiento de cardinalidad N, toma N
ejemplos

aleatoriamente con repeticin (un bootstrap). Este ser el conjunto de

entrenamiento para crear el rbol.


2. Para crear cada nodo del rbol, se utiliza nicamente una pequea cantidad de
las variables del problema. Si cada objeto tiene M variables de entrada, se determina un
nmero m << M y para cada nodo del rbol se seleccionan m variables aleatoriamente.
La variable ms relevante de este subconjunto elegido al azar se usa en el nodo. El valor
de m se mantiene constante durante la expansin del bosque.
3. Cada rbol es desarrollado hasta la mayor extensin posible. No se realiza
poda. [Bre01] muestra que el error del conjunto de los rboles depende de dos factores:
1. La correlacin entre dos rboles cualesquiera en el bosque. El incremento en
la correlacin produce un incremento en el error del bosque. La utilizacin de un
subconjunto de variables elegidas al azar y de un boostrap de datos (remuestreo con
reposicin) tiende a reducir dicha correlacin.
Para cada divisin de un nodo, no se selecciona la mejor variable de entre todas,
sino que se selecciona al azar un subconjunto de variables del tamao especificado y se
restringe la seleccin de la variable a este subconjunto. De esta forma se incluye una
mayor variabilidad de rboles y se reduce la dependencia del resultado con las
divisiones precedentes.
2. La fuerza de cada rbol individual en el bosque. Un rbol con un error bajo es
un clasificador fuerte. El incremento de la fuerza de rboles individuales decrementa el
error del bosque. La utilizacin de rboles sin poda va en este sentido.
El Random Forest, establece un ranking de la importancia de las variables en la
prediccin de la variable respuesta. La cuestin de la medida de importancia de las
variables es un punto crucial y delicado porque la importancia de una variable est

44

condicionada a su interaccin, posiblemente compleja, con otras variables. El Random


Forest calcula dos medidas de importancia distintas.
La primera, denominada MDA (Mean Decrease Accuracy), se basa en la
contribucin de la variable al error de prediccin, es decir, al porcentaje de mal
clasificados. El error de clasificacin de cada rbol se calcula a partir de la parte de la
muestra que ha quedado excluida de la submuestra utilizada en la construccin del
rbol, generada por remuestreo. Para calcular la importancia de cada una de las
variables que aparecen en un rbol se permutan aleatoriamente los valores de esa
variable, dejando intactos el resto de variables, y se vuelven a clasificar los mismos
individuos segn el mismo rbol pero ahora con la variable permutada. La importancia
en ese rbol se calcula como el aumento en el error de prediccin resultante. Finalmente
se calcula la medida MDA, como la media de estos incrementos en todos los rboles en
donde interviene la variable.
La segunda medida de importancia, denominada MDG (Mean Decrease Gini), se
calcula a partir del ndice de Gini. ste es el criterio que se utiliza para seleccionar la
variable en cada particin en la construccin de los rboles y que comporta una
disminucin de esta medida. La importancia de una variable en un rbol se mide como
la suma de los decrementos atribuidos a esa variable y la importancia final, como la
media en todos los rboles.

4.6.5 Algoritmo Naive Bayes Tree


La variante NBTREE (Naive-Bayes Tree) [Koh96] presenta un algoritmo hbrido
entre los rboles de clasificacin y el clasificador naive Bayes. Se puede definir
NBTREE como un rbol de clasificacin cuyas hojas son clasificadores naive-Bayes
como muestra la figura

Figura 8 NBTree con un nodo de decisin (X 2 ) y 2 clasificadores NB como hojas.

45

Cada hoja del NBTREE contiene un clasificador naive-Bayes local que no


considera las variables que se encuentran involucradas en la decisin que est en el
camino que lleva hasta la hoja. Las propiedades de este rbol de clasificacin son: cada
nodo interno representa un atributo, cada nodo interno tiene tantos hijos o ramas
salientes como valores tiene el atributo representado en dicho nodo, todas las hojas
estn al mismo nivel y en cualquier camino que se recorra desde la raz hasta las hojas
no existen variables repetidas. La condicin todas las hojas estn al mismo nivel se
impone para simplificar el modelo, pero puede ser no tenida en cuenta en la prctica. En
el trabajo [Pll02] se presenta un algoritmo heurstico para el aprendizaje de este tipo de
estructuras. Este algoritmo est basado en la verosimilitud marginal de los datos para
realizar la bsqueda.

4.6.6 rboles de Decisin e IDS


Nong Ye et al., de Arizona State University, realizaron una propuesta de rboles de
decisin como mtodo de aprendizaje de firmas de ataques [Ye00a] [Ye00b]. En el
trabajo, utilizaron un rbol basado en el algoritmo ITI (Incremental Tree Induction)
propuesto por Utgoff [Utg97]. Dicho clasificador aprenda firmas de intrusiones en su
fase de entrenamiento, para despus clasificar en diferentes estados las actividades de
sistemas informticos, y predecir la posibilidad de que ocurra un ataque. Ms tarde,
Xiangyang Li y Nong Ye realizaron otro experimento [Li01] con los algoritmos CHAID
y GINI, utilizando la herramienta Answer Tree de SPSS y datos de auditora de BSM
(Basic Security Module) de Solaris. Los experimentos tienen resultados muy
interesantes tanto para datos puros (limpios), como para datos con ruido. Concluyen que
los algoritmos de rboles de decisin deben tener la habilidad de realizar aprendizaje
incremental, pero que stos deben ser computacionalmente asequibles, y escalables para
conjuntos grandes de datos.
En el 2002, los chinos Hong Han, Xian-Liang Lu y Li-Yong Ren hacen uso del data
mining para la generacin de firmas de ataques de manera automtica para su uso en
deteccin de uso indebido en redes [Hong02]. Su objetivo es crear una herramienta de
data mining para ayudar a expertos en el descubrimiento de firmas o patrones de ataque;
herramienta que la llaman SigSniffer.
46

En [Kru02] se hace uso de rboles de decisin como mtodo de optimizacin de


IDS basados en anlisis de firmas. Construyen una variante del algoritmo ID3 a partir
de las firmas de Snort 2.0 y demuestran que mejora el proceso de deteccin.
Finalmente, en [Zhi03] se aprovechan las diferentes habilidades para la clasificacin
que aportan tanto las redes neuronales como el algoritmo de rboles de decisin C4.5
para la deteccin de uso indebido.

4.7

Induccin de Reglas

La induccin de reglas es muy usada en problemas de clasificacin. El objetivo es


crear reglas a partir de un conjunto de datos. Las mismas deben recoger todo el
conocimiento generalizable, sin los datos, y resultar tan pequeas como sea posible.
Adems se debe garantizar que en el proceso de clasificacin de un nuevo ejemplo no
tenga que hacerse uso de un nmero elevado de reglas. Bsicamente los sistemas de
aprendizaje de reglas representan un paradigma transparente, fcilmente comprensible y
aplicable.
En general, una regla de decisin es una regla del tipo Si P Entonces C, donde
P es un predicado lgico sobre los atributos, cuya evaluacin cierta, implica la
clasificacin con etiqueta de clase C. Desde el punto de vista de la interpretacin
humana, esta representacin del conocimiento resulta a menudo ms clara que los
rboles de decisin, sobre todo en aplicaciones reales donde el nmero de nodos de
stos tienden a aumentar. Esto es debido tanto a la propia estructura como a las tcnicas
utilizadas para generar stas. Como se vi en el apartado anterior la construccin de los
rboles de decisin se basa en una estrategia de divisin, esto es, dividir el conjunto de
datos en dos subconjuntos considerando un nico atributo seleccionado por una
heurstica particular. Por el contrario, el aprendizaje de reglas sigue una estrategia de
cobertura, esto es, encontrar condiciones de reglas teniendo en cuenta todos los
atributos de forma que se cubra la mayor cantidad de ejemplos de una misma clase, y la
menor del resto de las clases. Muchas de las tcnicas utilizadas en los sistemas de
aprendizaje de reglas fueron adaptadas del aprendizaje de rboles de decisin, el cual se
basa en: la estrategia de aprendizaje conocida como overfit-and-simplify, y la tcnica
de poda (o pruning) conocida como REP (reduced error pruning).

47

4.7.1 Algoritmo RIPPER Repeated Incremental Pruning to Produce Error


Reduction
Poda repetida incrementada para reducir errores, es uno de los primeros algoritmos
de aprendizaje de reglas simple para llevar a cabo la clasificacin. RIPPER [Coh95] fue
desarrollado como mejora para el algoritmo IREP. En RIPPER, una regla posee el
formato anlogo al de una regla de clasificacin con un trmino antecedente y un
trmino consecuente que posee slo el atributo etiqueta.

SI condiciones ENTONCES acciones

Sin embargo, antes de realizar el entrenamiento el algoritmo efecta la


ordenacin del conjunto de entrenamiento de manera ascendente segn la frecuencia de
cada clase. En este contexto, primeramente se encuentra un primer conjunto de reglas,
CR1, que posee la primera clase encontrada, c1, de la lista ordenada de clases. En el
momento que se induce una regla, se eliminan todas las tuplas que coinciden con la
misma y as sucesivamente para cada regla referente a c1. A continuacin, el algoritmo
repite el mismo procedimiento para las siguientes clases.

Pero pueden restar tuplas que no coincidan con ninguna regla de ninguna clase.
En este caso, dichas tuplas son apartadas en un conjunto llamado creciente (growing
set) y posteriormente en otro llamado conjunto de poda (prunning set). En el primer
conjunto, se inducen ms reglas basndose en las ya existentes, las cuales son
especializadas, agregndose ms tems en los trminos antecedentes. Posteriormente, en
el conjunto de poda, dichas reglas son generalizadas de manera sucesiva, eliminndose
tems de los trminos antecedentes de las mismas.

4.7.2 Algoritmo PARTIAL Decision Tree : PART


El algoritmo PART de aprendizaje de reglas basado en rboles de decisin parciales
[Fra98] representa un enfoque alternativo hbrido para la induccin de reglas.
Bsicamente construye una regla, elimina las instancias que sta cubre y contina
creando reglas recursivamente para las instancias que permanecen hasta que no quede
ninguna, pero para crear una regla, se construye un rbol de decisin podado a partir

48

del conjunto activo de instancias, la hoja de ste con mayor cobertura se convierte en
una regla, y se desecha el rbol (recordemos que como se cit en el sub-apartado rboles
de decisin, un rbol de decisin se puede ver como un conjunto de reglas si-entonces).
Aunque el hecho de construir repetidamente rboles de decisin para simplemente
descartar la mayora de ellos pueda resultar un tanto extrao, en verdad resulta que el
empleo de un rbol podado para obtener una regla en vez de construirla
incrementalmente aadiendo conjunciones evita la tendencia a la sobrepoda.
Construir un rbol de decisin completo para obtener una nica regla supondra un
enorme derroche de recursos, pero en el caso del algoritmo PART: la idea clave es
construir un rbol de decisin parcial en vez de uno completo. Un rbol de decisin
parcial contiene algunas ramas que representan subrboles no definidos. Para generar tal
rbol parcial, se integran las operaciones de construccin y poda con el objetivo de
encontrar un subrbol estable que no pueda simplificarse ms. Una vez hallado este
subrbol, la construccin del rbol cesa y dicho subrbol se convierte en una regla. Para
la construccin del rbol se procede igual que en el algoritmo de construccin de
rboles C4.5, se escoge un atributo-nodo para ser dividido y se evala su entropa, los
subconjuntos resultantes se expanden en orden creciente de acuerdo con su entropa,
empezando con el de menor entropa, debido a que es ms probable que la expansin de
los subconjuntos de baja entropa finalice rpidamente y d lugar a subrboles de
pequeo tamao y por lo tanto a reglas ms generales. La expansin se va realizando
recursivamente, pero tan pronto como aparezca un nodo interno cuyos hijos ya se hayan
expandido en hojas, se comprueba si dicho nodo interno puede ser sustituido por una
nica hoja, esto es, se intenta podar ese subrbol, y la decisin acerca de esta poda se
toma de la misma manera que en C4.5. Si el reemplazo se lleva a cabo, se vuelve hacia
atrs a explorar los nodos hermanos del nodo reemplazado. Sin embargo, si durante la
exploracin se encuentra un nodo cuyos hijos no sean todos hojas, los subconjuntos
restantes ya no se explorarn y, por tanto, los subrboles correspondientes no sern
definidos, detenindose automticamente la generacin del rbol. La siguiente figura
muestra un ejemplo del proceso:

49

Figura 9 Ejemplo Algoritmo Part

Desde la etapa 1 hasta la 3, se lleva a cabo la construccin del rbol


recursivamente del modo usual, pero escogiendo para la expansin el nodo con la
entropa ms baja, en este ejemplo, el nodo 3 entre las etapas 1 y 3. El resto de nodos
circulares todava no son expandidos. Los nodos rectangulares representan hojas. Entre
las etapas 2 y 3, el nodo rectangular tendr una entropa ms baja que su hermano, el
nodo 5, pero no puede ser expandido porque ya es una hoja. Entonces se vuelve hacia
atrs y el nodo 5 resulta elegido para su expansin. Cuando se alcanza la tercera etapa
existe un nodo cuyos hijos son todos hojas, el nodo 5, y esto desencadena el proceso de
poda. Se plantea la posibilidad de reemplazar este subrbol, y se acepta tal reemplazo,
lo que conduce a la etapa 4. Ahora se considera el nodo 3 para su reemplazo, y de nuevo
es aceptado. El retroceso contina y ahora resulta que el nodo 4 tiene una entropa ms
baja que el 2; entonces el nodo 4 se expande en 2 hojas. Se estudia la posibilidad de su
reemplazo, y supongamos que el nodo 4 resulta no ser reemplazado. En este punto, el
proceso finalizara, habindose obtenido el rbol parcial de 3 hojas de la etapa 5.
Una vez construido un rbol parcial, se extraer una nica regla a partir de l. Cada una
de sus hojas se corresponde con una regla posible, y se escoger la que cubra el mayor
nmero de instancias, puesto que proporcionar la regla ms general. Si se est
construyendo un rbol parcial y existen instancias con valor desconocido para alguno de
los atributos implicados, su tratamiento ser similar al empleado en el algoritmo C4.5.
Cuando la lista de decisin obtenida vaya a ser utilizada para clasificar una nueva
instancia con atributos desconocidos, se generar una distribucin de probabilidad sobre
las clases correspondientes a las distintas reglas que le puedan ser aplicadas. La fraccin
50

del caso que se asigna a cada una de estas reglas vendr dada por el porcentaje de casos
de entrenamiento que llegando a la regla son cubiertos por ella. Finalmente, la clase ms
probable de acuerdo con la distribucin de probabilidad as obtenida ser la que se
asigne a la nueva instancia que se est clasificando. De acuerdo con los experimentos
realizados por sus creadores, el algoritmo PART produce con gran rapidez conjuntos de
reglas tan o ms precisos que otros mtodos rpidos de induccin de reglas. Pero su
principal ventaja sobre otras tcnicas no es el rendimiento sino la simplicidad, y ello se
consigue combinando el mtodo de induccin top-down de rboles de decisin con la
estrategia separate-and-conquer de aprendizaje de reglas. Estas razones son las que nos
han conducido a decantarnos por dicho algoritmo para la realizacin de nuestro trabajo.

4.7.3 Induccin de Reglas e IDS


En 1990, Teng, Chen y Lu propusieron un mtodo para descubrir patrones
secuenciales temporales en una secuencia de eventos. De este modo, con el sistema
Time-based Inductive Machine (TIM), se podan aprender patrones secuenciales para
detector intrusos [Teng90].
Ripper ha demostrado ser ms efectivo que el algoritmo de rboles de decisin C4.5
para datos con gran cantidad de ruido. Adems genera un tipo de reglas fciles de
entender y de traducir a un lenguaje como Prolog. El sistema se compone de un
conjunto de reglas de asociacin y patrones de episodios frecuentes que pueden ser
aplicados tanto a eventos de seguridad como a conjuntos de datos de trfico de red
[Bru04]. Wenkee Lee y Sal Stolfo fueron los que propusieron el uso de RIPPER para la
deteccin de intrusos en su proyecto JAM [Sto97] [Lee99], en el que proponen un
innovador mtodo para crear modelos de IDS y reglas de forma automtica.

4.8

Lgica Difusa

Los sistemas de control difuso permiten describir el conjunto de reglas que utilizara
un ser humano que controlase el proceso, con toda la imprecisin que poseen los
lenguajes naturales. La teora de subconjuntos difusos relaja el concepto de pertenencia
de un elemento a un conjunto. En la teora tradicional, un elemento simplemente
pertenece o no a un conjunto. Sin embargo, en la teora de subconjuntos difusos, un
elemento pertenece a un conjunto con un cierto grado de certeza. Aplicando esta idea, el
51

uso de la lgica difusa permite un mejor tratamiento de la informacin cuando sta es


incompleta, imprecisa o incierta. Por ello, ha sido aplicada por muchos autores en tareas
de clasificacin, usando a menudo reglas difusas como representacin del conocimiento.
Estos sistemas son denominados tradicionalmente Fuzzy RuleBased Classification
Systems. Las reglas difusas (fuzzy rules) presentan varias diferencias respecto a las
reglas de decisin vistas en el captulo anterior. Por un lado, las condiciones del
antecedente de una regla difusa no son creadas en base a valores concretos ni rangos
numricos determinados, sino a etiquetas lingsticas. Por ejemplo, los trminos medio,
alto y bajo son imprecisos, pero asociados a una semntica que les asigne un
significado, podran ser etiquetas lingsticas para describir la altura de un objeto. Por
otro lado, en el consecuente de la regla pueden aparecer una o varias etiquetas de clase,
as como el grado de certeza o solidez asociado a cada clase en una regla concreta.
Cuando se les proporciona el valor actual de las variables de entrada se obtiene el valor
de las variables de salida, calculado mediante un mtodo de inferencia difusa. As, la
estructura de una regla difusa es la siguiente:
Rl : Si a1 es A1k ,, am es Amk Entonces C
donde cada ai es un atributo del conjunto de datos; Aik son las etiquetas lingsticas para
el atributo ai en la regla Rl ; y C representa el consecuente de la regla.
Con respecto a la complejidad de la representacin mediante reglas difusas,
recordemos que la forma en la que el ser humano expresa sus ideas es muy similar al
modo en que los sistemas difusos representan el conocimiento.

4.8.1 Algoritmo Fuzzy Unordered Rule Induction Algorithm


Furia [Hh09], Algoritmo de Induccin de Reglas de Asociacin Borrosas no
Ordenadas, aplica reglas difusas en el problema de clasificacin.
Este algoritmo se basa, en el algoritmo RIPPER [Coh95] visto en el apartado 4.6.1. El
algoritmo utiliza los mismos procedimientos de RIPPER, sin embargo, en lugar de
producir reglas clsicas, produce reglas de asociacin borrosas. FURIA no induce reglas
de manera ordenada, pues, segn los autores [Hh09], ordenar la induccin de reglas
puede comprometer la comprensibilidad, pues el trmino antecedente de cada regla
52

contiene, de manera implcita, la negacin de todas reglas precedentes. De esta manera,


el algoritmo induce reglas sin restringir que las mismas se refieran solamente a una
determinada clase cada vez, y tampoco se utiliza una regla patrn (default rule) para
clasificar un ejemplo que no coincida con ninguna regla. En consecuencia, FURIA
aprende a separar cada clase de todas las dems clases, lo que significa que ninguna
norma por defecto se utiliza y el orden de las clases es irrelevante. Asimismo, el FURIA
no efecta la etapa de poda en las reglas, pues el conjunto de reglas inicial es inducido
directamente a travs de todo el conjunto de entrenamiento. En lugar de la poda, se
realiza, sin embargo, la generalizacin de reglas inducidas. Para ello, se forma una lista
ordenada, para cada regla, de los tems presentes en su trmino antecedente, en la que la
ordenacin se refleja de acuerdo a la importancia (frecuencia) de cada tem. De esta
manera, se puede generalizar las reglas de manera ms eficiente, pues se suprime en
primer lugar el tem menos importante de una determinada regla y, si es necesario (i.e.
hasta que haya tuplas que coincidan con la regla en cuestin), se suprimen otros tems
respetando el mismo mtodo. Por lo tanto, se puede afirmar de manera simplista que
una regla borrosa puede ser obtenida remplazando los intervalos de las reglas clsicas
por intervalos borrosos, los cuales, son establecidos por el algoritmo a travs de
conjuntos borrosos definidos por una funcin de pertenencia trapezoidal. Para cada
trmino antecedente de cada regla se busca un intervalo borroso que posea la misma
estructura del intervalo original y cuyo rango de valores se encuadre en el valor original.
Por otra parte, no se considera ninguna propiedad de la lgica borrosa en el trmino
consecuente de las reglas generadas por FURIA, pues al clasificar un ejemplo, y en el
caso de que haya ms de una regla que coincida con los atributos del ejemplo a
clasificar, el algoritmo elige nicamente la regla que presente mayor valor de soporte.
En caso de que el soporte de dos o ms reglas sea igual, se considera la regla que posea
la mayor frecuencia.

4.8.2 Lgica Difusa e IDS


La lgica fuzzy [Zad65] resulta adecuada en el problema de la deteccin de
intrusos por dos razones principales. Por un lado, estn involucradas una gran cantidad
de caractersticas cuantitativas, y por el otro, la seguridad en s misma incluye la
confusin, es un hecho borroso [Bri00]. Dada una caracterstica cuantitativa, se puede

53

usar un intervalo para indicar un valor normal. Los sistemas de deteccin de intrusos
basados en la lgica fuzzy o lgica difusa han ido tomando fuerza en los ltimos aos.
El primer trabajo sobre el uso de la aplicacin de la lgica fuzzy en el rea de la
seguridad informtica que se conoce es el de T.Y. Lin, de la universidad norteamericana
del estado de San Jos [Lin94]. Sin embargo, ha sido a partir del ao 2000 cuando
comienzan a realizarse multitud de trabajos sobre deteccin de intrusos que incorporan
componentes de la lgica fuzzy.
Se pueden encontrar otros trabajos aislados que relacionan la lgica fuzzy con
los IDS. Zhang Jiang et al. [Zhan03] hacen uso de la teora fuzzy por defecto para el
motor de razonamiento y respuesta de los IDS. Con su experimento demuestran que su
tcnica aumenta la velocidad de deteccin y disminuye el costo acumulado de la
deteccin de intrusos en relacin a las respuestas no estticas, en comparacin con los
IDS basados en sistemas expertos tradicionales. Tratando de solventar el problema que
tienen actualmente los IDS en cuanto a su excesivo nmero de falsos positivos, en la
universidad Carlos III de Madrid utilizan umbrales fuzzy para mejorar la prediccin
cuando se trabaja con diferentes IDS [Orf03].
Finalmente, Jian Guan et al. [Gua04] utilizan un conjunto de reglas fuzzy para
definir el comportamiento normal y anmalo de una red.

4.9

Algoritmos Genticos

Los algoritmos genticos son algoritmos de bsqueda inspirados en los mecanismos


de seleccin natural de las especies y la combinacin gentica que se presenta en la
reproduccin de los individuos. Histricamente, los algoritmos genticos fueron la
primera tcnica evolutiva utilizada. Holland [Hol75] fue quien introdujo el concepto de
algoritmo gentico debido a que eran algoritmos que realizaban

simulaciones de

poblaciones de cromosomas que se codifican como cadenas de bits.


Esta tcnica fue creada por John Holland y descrita por l mismo en su libro Adaptation
in Natural and Artificial Systems [Hol92]. Estos algoritmos utilizan una estructura de
datos simple llamada cromosoma para representar posibles soluciones a un problema
especfico, y aplica a esas estructuras diferentes operadores y combinaciones de ellos de
forma que la informacin importante sea preservada.

54

Los algoritmos genticos generalmente han sido asociados a funciones de


optimizacin, pero el rango de problemas a los cuales han sido y pueden ser aplicados
es bastante amplio [Whi93]. Los elementos bsicos de un algoritmo gentico son los
siguientes [Nae04], [Gol05]:

Poblacin: Es un conjunto de individuos que representan posibles soluciones al


problema. Estos individuos son cadenas de bits que son evaluadas despus de ser
decodificadas a nmeros reales o enteros que representan las variables del
problema. Generalmente la poblacin inicial es generada en forma aleatoria. A
partir de un proceso de seleccin natural aplicado sobre la poblacin inicial y
mediante el uso de operadores genticos, como el cruzamiento y la mutacin, se
originan los descendientes que constituirn una nueva generacin.

Gen o Cromosoma: Conocido tambin como genotipo. Es un individuo o elemento


de la poblacin, que representa una posible solucin al problema.

Funcin Fitness: Conocida tambin como funcin de aptitud. Es una expresin


matemtica para evaluar la aptitud (calidad) de los individuos en una generacin. Lo
clave a la hora de definir una funcin de aptitud es que esta debe devolver los
valores ms altos cuando es aplicada a los individuos que ms se aproximan a la
solucin ptima.

Seleccin natural de padres: Es un mecanismo de seleccin aplicado sobre una


poblacin o una generacin en forma probabilstica de acuerdo al valor de la
funcin de aptitud de cada individuo. Los individuos mejor calificados de acuerdo a
esta funcin tendrn una mayor oportunidad de ser escogidos como padres para
producir la siguiente generacin.

Operadores genticos: Son los operadores que permiten obtener una nueva
generacin a partir de una poblacin. Los operadores genticos ms comunes son el
crossover (cruce o recombinacin gentica) y el operador de mutacin.

Crossover: Es el proceso mediante el cual dos individuos se aparean para producir


descendencias individuales. Esto se realiza intercambiando segmentos de los
cromosomas de los padres. Se han propuesto diferentes modelos de crossover como
el punto simple, el punto mltiple y el cruzamiento uniforme.

Mutacin: Es un mecanismo necesario para asegurar la diversidad en la poblacin.


De forma aleatoria se selecciona un individuo para sufrir la mutacin, el algoritmo
cambia un bit tambin en forma aleatoria. Esto tiene como objetivo evitar un
55

modelo fijo de soluciones que haya sido propagado a travs de todas las diferentes
generaciones.

Habiendo definido los elementos, podramos resumir el algoritmo de la siguiente forma:


Idea Bsica

Partiendo de una poblacin inicial (soluciones factibles)

Seleccionar individuos (favorecer a los de mayor calidad)

Recombinarlos

Introducir mutaciones en sus descendientes

Insertarlos en la siguiente generacin

Figura 10Algoritmo Gentico

4.9.1 Algoritmos Genticos e IDS


La utilizacin de algoritmos genticos para la deteccin de intrusos se ha llevado a
cabo principalmente con el fin de mejorar la eficiencia seleccionando subconjuntos de
caractersticas para reducir el nmero de caractersticas observadas manteniendo, o
incluso mejorando, la precisin del aprendizaje.
Los algoritmos genticos han sido aplicados a la seguridad informtica desde
principios de los noventa. El francs Ludovic M plante el uso de dichos algoritmos
como mtodo para analizar los rastros de auditoras de seguridad entre 1993 y 1996
56

[M93][M96]. Al ao siguiente present su tesis inspirada en este mismo tema, y tras


varios trabajos, en 1998 presenta el proyecto GASSATA (Genetic Algorithm as an
Alternative Tool for Security Audit Trail Analysis) [M98] que utiliza un algoritmo
gentico para buscar la combinacin de los ataques conocidos que mejor se
correspondan con el evento (o registro de auditora) observado.
En 1999 en la Universidad de Iowa, Helmer et al. utilizaron algoritmos genticos
como mtodo de seleccionar subconjuntos de caractersticas a partir de vectores de
caractersticas que describan las llamadas al sistema ejecutadas por procesos con
privilegios [Hel99]. Dicha seleccin permita reducir significativamente el nmero de
caractersticas necesarias para la deteccin sin que ello afectara a la precisin.
En la universidad de Mississippi [Wei04] llevaron a cabo experimentos con
algoritmos genticos en que inicialmente se clasifica un conjunto de conexiones de red
entre normal o intrusiva de forma manual. El algoritmo gentico se inicia con un
pequeo conjunto de reglas generadas aleatoriamente, y dichas reglas evolucionan hasta
generar un conjunto de datos mayor que contiene las nuevas reglas del IDS [Wei04].

4.10 Sistema Inmune Artificial


Existen diversas definiciones de sistema inmune artificial entre ellas las siguientes,
Los sistemas inmunes artificiales son metodologas para la manipulacin de datos,
clasificacin, representacin y razonamiento, los cuales siguen el paradigma biolgico
del sistema inmune humano" [Sta], o tambin El sistema inmune artificial es un
sistema computacional basado en los principios del sistema inmune natural" [Tim00].
Para [Das99] Los sistemas inmunes artificiales son metodologas inteligentes
inspiradas en el sistema inmune, enfocadas a resolver problemas del mundo real.

4.10.1 Principio de Seleccin Clonal


El principio o teora de seleccin clonal, plantea una explicacin de cmo hace el
sistema inmune para describir las caractersticas bsicas de una respuesta inmune a un
estmulo antignico. Este principio establece la idea de que slo aquellas clulas que
reconocen a los antgenos proliferan; de esta manera son seleccionadas aquellas que
tienen la capacidad de reconocerlos.

57

En trminos generales el principio de seleccin clonal funciona de la siguiente


manera, cuando un anticuerpo reconoce al antgeno, ste es seleccionado para que
prolifere y

produzca anticuerpos con su misma estructura qumica en grandes

volmenes. La reproduccin es asexual y se realiza a travs de la mitosis. Por lo anterior


no existe un cruce entre anticuerpos. A los hijos idnticos de cada anticuerpo
seleccionado se les conoce como clones. Es en ellos donde se realiza la adaptacin que
consiste en someterlos a un proceso de mutacin con altos porcentajes. Del resultado de
este proceso se obtienen nuevos anticuerpos y mediante un proceso de seleccin se
mantienen aquellos que tengan cierto grado de afinidad con respecto a los antgenos
reconocidos al principio del proceso. Aquellos anticuerpos que no fueron mantenidos se
desechan y regresan al torrente sanguneo para poder reutilizar las protenas que los
formaban en la creacin de nuevos individuos. Aquellos que s fueron seleccionados se
guardan como clulas de memoria donde se mantienen por algn tiempo para ser
utilizadas, de ser necesario, en un futuro.

Los procesos y la interaccin entre la

mutacin y la seleccin son anlogos a la seleccin natural de las especies. Hay dos
puntos importantes desde el punto de vista computacional en este esquema
1. La proliferacin de un anticuerpo es directamente proporcional a la afinidad de
ste con respecto a un antgeno detectado. Entre mayor sea la afinidad entre
componentes mayor sera la cantidad de descendientes y viceversa.
2. La mutacin de cada uno de los clones es inversamente proporcional a la
afinidad entre el anticuerpo que los produjo y el antgeno detectado. Entre mayor sea la
afinidad entre componentes menor sera el porcentaje de mutacin y viceversa.
De Castro y Timmis [Cas02] desarrollaron un primer algoritmo basado en el
principio de seleccin clonal para reconocimiento de patrones.

4.10.2 Algoritmo de Seleccin Clonal :Clonalg

58

Figura 11Seleccin Clonal.- Algoritmo Clonalg

Antes de pasar a explicar este algoritmo en la figura 11. se puede observar cmo
trabaja un algoritmo basado en seleccin clonal para el reconocimiento de patrones.
Bsicamente como se expuso en lneas ms arriba, la idea es emular al sistema
inmune natural, una vez que un antgeno es detectado por un anticuerpo, se selecciona
ese anticuerpo, se clona y se almacena en una clula de plasma o de memoria. El
concepto de memoria es porque estas clulas almacenan el modelo del antgeno para
futuras infecciones. Lo mismo ocurre con un algoritmo inmune artificial, aprende a
detectar patrones en la fase de entrenamiento y guarda esa informacin para
posteriormente en la fase de test poder clasificar nuevos ataques.
El algoritmo de seleccin clonal (CLONALG) [Cas02], representa una
implementacin computacional del principio de seleccin clonal, es utilizado tanto para
clasificacin de patrones como para temas de optimizacin. La idea bsica de Clonalg
es que el algoritmo asume que cuando un anticuerpo reconoce un antgeno con un cierto
grado de afinidad, entendamos afinidad como una medida de distancia, en este caso la
distancia de hamming, ste tiende a proliferar y generar clones. La nueva poblacin de
clones es sometida a un proceso de mutacin, proporcional a su afinidad: el clon que
tiene una afinidad ms alta, es clon el que tiene un porcentaje de mutacin ms
pequeo. (la hipermutacin es un operador que modifica la solucin con un ratio
inversamente proporcional a su fitness)

59

Pseudocdigo del algoritmo:


1.- Generar aleatoriamente una poblacin inicial Ab. Compuesta por 2 subconjuntos
Abm (poblacin de memoria) y Abr (poblacin de reserva)
2.- Crear un conjunto de patrones de antgenos Ag.
3.- Seleccionar un Antgeno Agi de la poblacin Ag.
4.- Para cada miembro de la poblacin Ab calcular su afinidad con el antgeno Agi
utilizando una funcin de afinidad f (ej. Distancia de Hamming).
5.- Seleccionar los n anticuerpos con mayor afinidad y generar un nmero de clones
por cada anticuerpo en proporcin a su afinidad, para formar una nueva poblacin P
(

donde abi es el i-simo mejor anticuerpo de la poblacin actual, round es un


operador que redondea

su argumento al entero ms cercano y es un factor

multiplicador.
6.- Mutar los clones de la poblacin P de manera inversamente proporcional a su
afinidad para producir una poblacin ms madura P.
(

))

Donde k es el factor de control de la declinacin y f * es el valor de afinidad de los


mejores anticuerpos de la poblacin actual. La tasa de hipermutacin indica el nmero
de mutaciones simples que se aplican a los anticuerpos clonados. Una simple mutacin
consiste en elegir al azar dos posiciones de la secuencia que representa el anticuerpo y
el intercambio de ellos. A fin de mantener los mejores anticuerpos, mantenemos un
original (padres) de anticuerpos no-hypermutados.
7.- Reaplicar la funcin de afinidad para cada uno de los miembros de la poblacin P,
seleccionar la mayor afinidad como candidato de la clula de memoria. Si su afinidad
es mayor que la clula de memoria actual Abmi,, entonces el candidato pasa a ser la
nueva clula de memoria.
8.- Borrar aquellos anticuerpos con baja afinidad de la poblacin Abr y reemplazarlos
con nuevos miembros generados al azar.
9.- Repetir los pasos 3-8 hasta que todos los antgenos hayan sido presentados a todos
los anticuerpos. Esto representa una generacin del algoritmo.

60

El algoritmo tiene 5 parmetros: N tamao de poblacin, n nmero de los


mejores anticuerpos para ser clonados, factor multiplicador para calcular el nmero de
clones dado un anticuerpo , k

factor de control de declinacin de la tasa de

hipermutacin y d el nmero de nuevos anticuerpos generados para ser aadidos a la


poblacin.
La hipermutacin (mutacin) contribuye a la introduccin de diversidad en los
anticuerpos seleccionados, permitiendo la adaptacin rpida de la respuesta inmune.
Pero por otro lado, la hipermutacin, debido a su naturaleza aleatoria, a menudo puede
introducir cambios que deterioren a anticuerpos valiosos, degradando as la calidad
total de la poblacin de los anticuerpos. Por tanto la mutacin puede favorecer como
desfavorecer a la deteccin de patrones.

4.10.3 Sistema Inmune Artificial e IDS.


En [Aic04] se diferencian dos categoras de sistemas inmunes artificiales basndose
en el mecanismo que implementan. Por un lado los modelos basados en redes
idiotpicas. En general, las poblaciones de anticuerpos estn reguladas por otros
anticuerpos que a su a vez estn conectados a otros anticuerpos y clulas del sistema
inmune, formando lo que se llama una cadena o red idiotpica; una cadena sucesiva en
que las poblaciones de unas clulas estn reguladas por otras. Por otro lado, estn los
modelos de seleccin negativa, que consisten bsicamente en distinguir lo propio (self)
(usuarios legtimos, comportamiento normal, ficheros no corruptos, etc.) del resto
(usuarios no autorizados, virus, anomalas, etc.).
El modelo de seleccin negativa, fue utilizado inicialmente como mtodo de
autenticacin de ficheros para la deteccin de virus informticos [For94]. En 1996, el
grupo de Forrest realiz su primer experimento de deteccin de intrusos a partir de
llamadas al sistema de procesos UNIX [For96]. El sistema recoge informacin de
secuencias de comandos del agente de correo sendmail de UNIX, y la utiliza en el
periodo de entrenamiento para definir lo que es propio.
Dasgupta y Gonzlez tambin utilizaron seleccin negativa para la deteccin de
intrusos [Das00][Das02a][Das02b]. Trabajaron con los datos DARPA de los
laboratorios de Lincoln, y compararon el rendimiento de la seleccin positiva con la de
la seleccin negativa para caracterizar lo propio. Como resultado, el mtodo de
61

seleccin negativa era el ms acertado. En [Gon02] combinan la seleccin negativa con


tcnicas de clasificacin para la deteccin de anomalas. Para la seleccin negativa
proponen un nuevo algoritmo llamado seleccin negativa de valor real (real-valued
negative selection) para la representacin del espacio propio/no propio. Al ao
siguiente, en [Gon03] utilizan muestras positivas (trfico normal) para generar muestras
negativas (anormal), las cuales se usan despus como entrada a un algoritmo de
clasificacin. Comparan sus resultados con un sistema de deteccin de anomalas que
utiliza mapas autoorganizativos.

4.11 Mquinas de Soporte de Vectores SVM.


La teora de las SVMs fue desarrollada inicialmente por V. Vapnik [Vap95] a
principios de los aos 80 y se centra en lo que se conoce como Teora del Aprendizaje
Estadstico. Realiza una clasificacin lineal sobre vectores transformados a un espacio
de dimensin superior, es decir, separa mediante un hiperplano en el espacio
transformado.
El objetivo de las SVMs es encontrar el ptimo hiperplano que separe las dos clases
y maximice el margen. Fig.12. Dado n muestras o vectores de entrenamiento
representadas mediante pares (xi, yi), donde yi es la etiqueta de clase (yi {1,-1}) y xi el
vector de atributos (i = 1,., n); en el caso ideal (2 clases completamente separables)
existe un nmero infinito de planos (o hiperplanos) que pueden separar las dos clases
El clculo del hiperplano con margen ptima es dado por la minimizacin de ||w||2
obedeciendo a las siguientes restricciones:
yi (xi w + b) 1 0,

Figura 12Clasificacin de un conjunto de datos con SVM lineal

62

Donde w es un vector normal al hiperplano.

Este un problema de optimizacin

cuadrtico y se puede solucionar Utilizando Multiplicadores de Lagrange, la solucin es


maximizar W(a) que viene dado por:

(4.10.1)

sujeto a:

Los elementos ai son los multiplicadores de Lagrange, los vectores soporte corresponden
a aquellos puntos donde ai > 0 mientras que

ai = 0 indica los puntos de entrenamiento

que estn fuera del espacio limitado por H1 y H2.


La mayora de los datos no son solucionados con un hiperplano linear, con lo cual se
introducen variables de alargamiento del margen i que relajen las restricciones de la
SVM lineal permitiendo algunos errores en el margen, as como penaliza los errores a
travs de la variable C.
xi w + b +1 - i para yi = +1
xi w + b -1 + i para yi = -1

Para obtener el hiperplano ptimo la solucin es:

Minimizar:
|

maximizar la expresin (4.10.1) sujeto a:

63

Otra solucin de la no linealidad de los datos es la transformacin de los datos a un


espacio de dimensin muy alta a travs de una funcin kernel. Se define por:

Donde la minimizacin de los multiplicadores de Lagrange sigue siendo un problema


cuadrtico

Aplicando las condiciones de Karush-Kuhn-Tucker (KKT) en las ecuaciones anteriores


se obtienen las siguientes condiciones para calcular el punto ptimo de un problema
cuadrtico positivo definido. De esta forma el problema cuadrtico queda resuelto
cuando para todo i:

Pese a que en su forma ms bsica SVM induce separadores lineales, si el conjunto no


es linealmente separable puede extenderse el algoritmo mediante una transformacin
no lineal

(x) a un nuevo espacio de caractersticas. La funcin permite transformar el

espacio de caractersticas de entrada en un espacio de trabajo de mayor dimensionalidad


donde intentar encontrar de nuevo el hiperplano ptimo. De esta forma se realiza una
clasificacin lineal en el nuevo espacio, que es equivalente a una clasificacin no-lineal
en el espacio original.
Las funciones ncleo (kernel functions, funciones kernel o simplemente kernels)
son un tipo especial de funcin que permiten hacer la transformacin del espacio de
caractersticas de forma implcita durante el entrenamiento, sin necesidad de calcular
explcitamente la funcin

, Schlkopf 2001[Sch01], Shawe-Taylor [Shaw04]. Es lo

que se conoce como kernel trick. Una vez que el hiperplano se ha creado, la funcin
kernel se emplea para transformar los nuevos ejemplos al espacio de caractersticas para
la clasificacin. Formalmente, un kernel k es una funcin simtrica k(xi, xj) =
= k(xj ,xi) que puede ser interpretada como una medida de similitud entre
dos vectores de caractersticas xi y xj . La seleccin del kernel apropiado es importante
64

ya que es ste el que define el espacio de trabajo transformado donde se llevar a cabo
el entrenamiento y la clasificacin.

Lineal

Polinmico

Gaussiano o Radial Bassis Function (RBF)

Sigmoide

Donde , d y r son los parmetros del kernel.


Cuando se utiliza una funcin kernel lineal, el espacio de los vectores y el
espacio de caractersticas es el mismo [Wein04]. En un proceso de seleccin de
funciones de Kernel, este tipo de funcin normalmente se utiliza como primera medida
y posteriormente, se aplican mtodos ms complejos. Este mtodo se ha empleado en
diferentes

herramientas

bioinformticas

presentando

resultados

excelentes,

especialmente cuando la dimensionalidad de los datos de entrada al modelo es grande y


el nmero de ejemplos es pequeo [Ben08].
En una funcin kernel Polinmica se mapea los datos de entrada en un espacio
de caractersticas con una dimensionalidad O (Dd). Se debe tener precaucin con este
tipo de funcin porque por su flexiblidad en el manejo de las variables se puede facilitar
negativamente el sobre-entrenamiento en conjuntos de gran dimensionalidad con un
bajo nmero de ejemplos [Ben08].

En una funcin kernel Gaussiana se debe tener precaucin porque por su flexiblidad
en el manejo de las variables se puede facilitar negativamente el sobre entrenamiento en
conjuntos de gran dimensionalidad con un bajo nmero de ejemplos [Ben08].

65

4.11.1 Normalizacin.
Los clasificadores de margen amplio se caracterizan porque son sensibles a la
manera como las caractersticas son escaladas, lo cual hace que sea esencial el proceso
de normalizacin de los datos. La normalizacin puede ser aplicada en diferentes etapas
del proceso, por ejemplo sobre las caractersticas de entrada o a la altura del Kernel
(normalizacin en el espacio de caractersticas) o en ambas situaciones. Cuando las
caractersticas son medidas en diferentes escalas y presentan diferentes rangos de
valores posibles, es conveniente escalar los datos a un rango comn. Los procesos de
normalizacin hacen que los resultados difieran considerablemente cuando se utilizan
las funciones lineales, polinomiales y gaussianas. En general, los procesos de
normalizacin se asocian directamente con mejoras en el desempeo tanto en Kernels
lineales como no lineales, acelerando los procesos de convergencia cuando se entrenan
los clasificadores [Ben08].

4.11.2 SMO Mnima Secuencia de Optimizacin.


El algoritmo Sequential Minimal Optimization SMO [Pla98], propone una manera
rpida de entrenar las Mquinas de Soporte Vectorial mediante la solucin de un
algoritmo de programacin dinmica en forma secuencial. Es un algoritmo que busca el
Hiperplano de mximo margen que separe las instancias de clases de un dato [Pla98].
Es una tcnica sencilla para la solucin del problema cuadrtico de las SVM, el
algoritmo divide el problema en varios sub-problemas ms simples. SMO trata de
elegir siempre el menor problema cuadrtico para ser optimizado en cada interaccin
y como este problema implica slo dos multiplicadores de Lagrange, en cada iteracin
busca estos dos multiplicadores lleva a cabo la optimizacin y ajusta los valores de la
SVM. La etapa de entrenamiento requiere un tipo de optimizacin conocido como
Optimizacin Cuadrtica Limitada que requiere tiempo y costo computacional.

4.11.3 C-SVC.
LIBSVM es una biblioteca que implementa SVM desarrollada por Chin-Chung
Chang [Cl01] para varios propsitos: estimacin de la clasificacin, la regresin y la
distribucin. El algoritmo de clasificacin implementado en la biblioteca lleva el
66

nombre de C-SVC. Para la resolucin de problemas de segundo grado C-SVC utiliza el


mismo enfoque que SMO, es decir, descompone el conjunto de multiplicadores de
Lagrange en un subconjunto ms pequeo. Pero no slo selecciona dos operadores
arbitrariamente como en el SMO,

sino que selecciona un subconjunto de tamao

variable [Cl01]. Adems de la seleccin de un subconjunto para su optimizacin, CSVC tambin implementa las tcnicas Shrinking y Caching para reducir el tiempo
computacional. Shrinking trata de reducir el tamao del problema a ser resuelto
mediante la eliminacin de multiplicadores de Lagrange de segundo grado que no se
pueden cambiar en base a la heurstica demostrada en [Cl01]. La tcnica de Caching
simplemente almacena clculos de matrices utilizados recientemente para su uso futuro,
reduciendo parte de los clculos del kernel realizados en las iteraciones futuras.
Originalmente SVM fue diseado para problemas de clasificacin binaria, para
abordar el problema de clasificar en k clases, hay que transformar el problema de la
clasificacin multiclase en mltiples problemas de clasificacin binaria [All01]. Hay
dos aproximaciones bsicas en este sentido: uno contra todos (one-against-all), donde se
entrenan k clasificadores y cada uno separa una clase del resto, y la otra estrategia
utilizada por SVC, uno-contra-uno, donde se han de entrenar (k(k-1))/2 clasificadores
y cada uno discrimina entre dos de las clases. Es importante notar que esta estrategia, al
trabajar con menos muestras, tiene mayor libertad para encontrar una frontera que
separe ambas clases. Respecto al coste de entrenamiento, es preferible el uso de uno
contra todo puesto que slo ha de entrenar k clasificadores.

4.11.4 SVM e IDS


Eskin et al. utilizaron una SVM como complemento a sus mtodos de clustering
para el aprendizaje no supervisado [Esk02].

El trabajo descrito en [Amb03] est

enfocado a la aplicacin de clasificadores SVM mltiples, usando el mtodo unocontra-uno, para la deteccin de anomalas y tambin de uso indebido, identificando los
ataques segn su tipo forma precisa.
Mukkamala et al. utilizaron cinco SVM tradicionales anteriormente con el mismo
fin; uno para identificar trfico normal, y el resto para identificar cada uno de los cuatro
tipos de ataques representados en el conjunto de datos de KDD Cup 99 [Muk02]. Los
compararon con redes neuronales llegando a la conclusin de que los SVM
67

demostraban mejor desempeo. Este ao han presentado un trabajo donde prueban que
el uso conjunto de SVM y redes neuronales mejora la capacidad del IDS [Muk04].

4.12 Redes Neuronales


Son sistemas artificiales que van a copiar la estructura de las redes neuronales
biolgicas con el fin de alcanzar una funcionalidad similar.
Las redes neuronales artificiales [Hay94] tratan de emular tres conceptos claves:

procesamiento paralelo, derivado de que los miles de millones de neuronas


que intervienen, por ejemplo en el proceso de ver, estn operando en paralelo
sobre la totalidad de la imagen

memoria distribuida, mientras que en un computador la informacin est en


posiciones de memoria bien definidas, en las redes neuronales biolgicas
dicha informacin est distribuida por la sinapsis de la red, existiendo una
redundancia en el almacenamiento, para evitar la prdida de informacin en
caso de que una sinapsis resulte daada.

adaptabilidad al entorno, por medio de la informacin de las sinapsis. Por


medio de esta adaptabilidad se puede aprender de la experiencia y es posible
generalizar conceptos a partir de casos particulares.

4.12.1 Arquitecturas de redes neuronales


Se denomina arquitectura a la topologa, estructura o patrn de conexionado de una
red neuronal. En una red neuronal artificial los nodos se conectan por medio de sinapsis,
estando el comportamiento de la red determinado por la estructura de conexiones
sinpticas. Estas conexiones sinpticas son direccionales, es decir, la informacin
solamente puede propagarse en un nico sentido (desde la neurona presinptica a la possinptica). En general las neuronas se suelen agrupar en unidades estructurales que
denominaremos capas. El conjunto de una o ms capas constituye la red neuronal.
Se distinguen tres tipos de capas: de entrada, de salida y ocultas. Una capa de entrada,
tambin denominada sensorial, est compuesta por neuronas que reciben datos o seales
procedentes del entorno. Una capa de salida se compone de neuronas que proporcionan
la respuesta de la red neuronal. Una capa oculta no tiene una conexin directa con el
entorno, es decir, no se conecta directamente ni a rganos sensores ni a efectores. Este
68

tipo de capa oculta proporciona grados de libertad a la red neuronal gracias a los cuales
es capaz de representar ms fehacientemente determinadas caractersticas del entorno
que trata de modelar.
As considerando su estructura podemos hablar de redes monocapa, compuestas
por una nica capa de neuronas o redes multicapa, las neuronas se organizan en varias
capas. Teniendo en cuenta el flujo de datos,

podemos distinguir entre redes

unidireccionales (feedforward) y redes recurrentes o realimentadas (feedback).


Mientras que en las redes unidireccionales la informacin circula en un nico sentido,
en las redes recurrentes o realimentadas la informacin puede circular entre las distintas
capas de neuronas en cualquier sentido, incluso en el de salida-entrada.
El perceptrn es quizs la forma ms simple de una red neuronal que se puede
utilizar para la clasificacin de clases o conceptos que sean linealmente separables, es
decir que las muestras positivas y negativas de la clase se pueden separar mediante un
hiperplano en el espacio de caractersticas X, en las Fig 13 y 14 se muestra un ejemplo
para dimensin 2.

Figura 13 Clase linealmente Separable.

Figura 14 Clase no linealmente Separable.

4.12.2 Perceptrn Multicapa


Un perceptrn multicapa est compuesto por una capa de entrada, una capa de salida y
una o ms capas ocultas; aunque se ha demostrado que para la mayora de problemas
bastar con una sola capa oculta [Fun89] [Hor89]. En la figura 15 podemos observar un
perceptrn tpico formado por una capa de entrada, una capa oculta y una de salida.

69

Figura 15 Perceptrn con una capa oculta

En este tipo de arquitectura, las conexiones entre neuronas son siempre hacia
delante, es decir, las conexiones van desde las neuronas de una determinada capa hacia
las neuronas de la siguiente capa; no hay conexiones laterales --esto es, conexiones
entre neuronas pertenecientes a una misma capa (ni conexiones hacia atrs), esto es,
conexiones que van desde una capa hacia la capa anterior. Por tanto, la informacin
siempre se transmite desde la capa de entrada hacia la capa de salida. En el presente
documento, hemos considerad wji como el peso de conexin entre la neurona de entrada
i y la neurona oculta j, y vkj como el peso de conexin entre la neurona oculta j y la
neurona de salida k.
Algoritmo backpropagation
En el algoritmo backpropagation podemos considerar, por un lado, una etapa de
funcionamiento donde se presenta, ante la red entrenada, un patrn de entrada y ste se
transmite a travs de las sucesivas capas de neuronas hasta obtener una salida y, por otro
lado, una etapa de entrenamiento o aprendizaje donde se modifican los pesos de la red
de manera que coincida la salida deseada por el usuario con la salida obtenida por la red
ante la presentacin de un determinado patrn de entrada.
Etapa de funcionamiento
Cuando se presenta un patrn p de entrada Xp: xp1,..., xpi,...,xpN, ste se transmite
a travs de los pesos wji desde la capa de entrada hacia la capa oculta. Las neuronas de
esta capa intermedia transforman las seales recibidas mediante la aplicacin de una
funcin de activacin proporcionando, de este modo, un valor de salida. Este se
transmite a travs de los pesos vkj hacia la capa de salida, donde aplicando la misma
operacin que en el caso anterior, las neuronas de esta ltima capa proporcionan la

70

salida de la red. Este proceso se puede explicar matemticamente de la siguiente


manera:
La entrada total o neta que recibe una neurona oculta j, netpj, es:
netpj =
donde

es el umbral de la neurona que se considera como un peso asociado a una

neurona ficticia con valor de salida igual a 1.


El valor de salida de la neurona oculta j, bpj, se obtiene aplicando una funcin f( . ) sobre
su entrada neta:
bpj = f(netpj)
De igual forma, la entrada neta que recibe una neurona de salida k, netpk, es:
netpk=
Por ltimo, el valor de salida de la neurona de salida k, ypk, es:
ypk= f(netpk)
Etapa Aprendizaje
En la etapa de aprendizaje, el objetivo que se persigue es hacer mnima la
discrepancia o error entre la salida obtenida por la red y la salida deseada por el usuario
ante la presentacin de un conjunto de patrones denominado grupo de entrenamiento.
Por este motivo, se dice que el aprendizaje en las redes backpropagation es de tipo
supervisado, debido a el usuario (o supervisor) determina la salida deseada ante la
presentacin de un determinado patrn de entrada.
La funcin de error que se pretende minimizar para cada patrn p viene dada por:
Ep=
donde dpk es la salida deseada para la neurona de salida k ante la presentacin del
patrn p. A partir de esta expresin se puede obtener una medida general de error
mediante:
E=
71

La base matemtica del algoritmo backpropagation para la modificacin de los


pesos es la tcnica conocida como gradiente decreciente [Rum86]. Teniendo en cuenta
que Ep es funcin de todos los pesos de la red, el gradiente de Ep es un vector igual a la
derivada parcial de Ep respecto a cada uno de los pesos. El gradiente toma la direccin
que determina el incremento ms rpido en el error, mientras que la direccin opuesta -es decir, la direccin negativa--, determina el decremento ms rpido en el error. Por
tanto, el error puede reducirse ajustando cada peso en la direccin:
-

4.12.3 Redes de funcin de Base Radial


Una RBF (Radial Basis Function) es muy similar en la arquitectura a un
Perceptrn Multicapa, pero su forma de aprendizaje es diferente. Este tipo de redes se
caracteriza por tener un aprendizaje o entrenamiento hbrido. La arquitectura de estas
redes se caracteriza por la presencia de tres capas: una de entrada, una nica capa oculta
y una capa de salida.

Figura 16Arquitectura tpica de una RBF

Aunque la arquitectura pueda recordar a la de un perceptrn multicapa, la


diferencia fundamental est en que las neuronas de la capa oculta en vez de calcular una
suma ponderada de las entradas y aplicar una funcin de activacin sigmoide, estas
neuronas calculan la distancia eucldea entre el vector de pesos sinpticos (que recibe el
nombre en este tipo de redes de centro o centroide) y la entrada y sobre esa distancia se
aplica una funcin de tipo radial con forma gaussiana.
Aprendizaje

72

Para el aprendizaje de la capa oculta, hay varios mtodos, siendo uno de los ms
conocidos el algoritmo denominado k-medias (k-means) que es un algoritmo no
supervisado de clustering. k es el nmero de grupos que se desea encontrar, y se
corresponde con el nmero de neuronas de la capa oculta, que es un parmetro que hay
que decidir de antemano. El algoritmo se plantea como sigue:
1. Inicializar los pesos (los centros) en el instante inicial. Una inicializacin tpica
es la denominada k-primeras mediante la cual los k centros se hacen iguales a las
k primeras muestras del conjunto de datos de entrenamiento {xp}p=1..N
c1 = x1 , c2 = x2 , ... cN = xN ,
2. En cada iteracin, se calculan los dominios, es decir, se reparten las muestras
entre los k centros. Esto se hace de la siguiente manera: Dada una muestra xj se
calcula las distancias a cada uno de los centros ck. La muestra pertenecer al
dominio del centro cuya distancia calculada sea la menor
3. Se calculan los nuevos centros como los promedios de los patrones de
aprendizaje pertenecientes a sus dominios. Viene a ser como calcular el centro
de masas de la distribucin de patrones, tomando que todos pesan igual.
4. Si los valores de los centros varan respecto a la iteracin anterior se vuelve al
paso 2, si no, es que se alcanz la convergencia y se finaliza el aprendizaje
Una vez fijados los valores de los centros, slo resta ajustar las anchuras de cada
neurona. Las anchuras son los parmetros sigma que aparecen en cada una de las
funciones gaussianas y reciben ese nombre por su interpretacin geomtrica, dan una
medida de cuando un muestra activa una neurona oculta para que de una salida
significativa, normalmente se toma el criterio de que para cada neurona se toma como
valor sigma la distancia al centro ms cercano.
Finalmente, se entrena la capa de salida. El entrenamiento de esta capa se suele usar un
algoritmo parecido al que se usa para la capa de salida del MLP. La actualizacin de los
pesos viene dada por la expresin:
zk =

73

4.12.4 Redes Neuronales e IDS


Se han realizado numerosos trabajos con redes neuronales artificiales en deteccin
de intrusos tratando de dar una alternativa a los sistemas expertos gracias a su
flexibilidad y adaptacin a los cambios naturales que se pueden dar en el entorno y,
sobre todo, a la capacidad de detectar instancias de los ataques conocidos. La mayor
deficiencia que tienen las redes neuronales es que son un modelo no descriptivo, es
decir; actan como una caja negra sin que se pueda conocer la razn de la decisin
tomada.
El primer modelo de deteccin de intrusos basado en redes neuronales lo realizaron
Fox et al. como mtodo para crear perfiles de comportamiento de usuarios [Fox90]. Al
igual que en [Deb92a], utilizan redes neuronales para predecir el siguiente comando
basado en una secuencia de

comandos previos ejecutados por un usuario. El

aprendizaje lo realizan mediante redes neuronales recurrentes (parte de la salida se


realimenta como entrada a la red en la siguiente iteracin) por lo que la red est
continuamente observando y tiene la capacidad de olvidar comportamientos antiguos.
Debar y Dorizzi presentan un sistema de filtrado basado en redes neuronales recurrentes
que acta para filtrar los datos que no se corresponden con la tendencia observada en el
comportamiento de las actividades de usuarios [Deb92b].
Ryan et al. desarrollaron NNID (Neural Network Intrusion Detection) para la
identificacin de usuarios legtimos basado en la distribucin de los comandos que
ejecutaban. Escogieron una arquitectura de red neuronal multicapa de tipo backpropagation de tres capas para su cometido [Rya98]. David Endler utiliz un perceptrn
multicapa tanto para la deteccin de uso indebido como para la deteccin de anomalas
a partir de datos de auditora procedentes del BSM (Basic Security Module) de Solaris
[End98].
Lippmann y Cunningham realizaron un proyecto que mejoraba el rendimiento de la
deteccin de ataques de tipo U2R realizados mediante el uso de palabras clave [Lip99].
Una vez obtenidas las palabras clave, se usaba una red de tipo perceptrn multicapa (sin
ninguna capa oculta) para la deteccin de ataques. Ms tarde, se utiliz otra red
neuronal similar para su clasificacin. Una red de tipo perceptrn multicapa (sin
ninguna capa oculta) mide inicialmente el nmero de palabras clave, proporcionando
una estimacin de la probabilidad posterior de un ataque en cada sesin telnet. La otra
74

red, del mismo tipo, se utilizaba posteriormente para tratar de clasificar ataques
conocidos y de esa manera facilitar el nombre de dicho ataque. Este mismo ao, Ghosh
y Schwartzbard presentan un trabajo muy similar a los anteriores, pero en lugar de
utilizar redes neuronales para crear perfiles del comportamiento de usuarios, utilizan la
red para crear perfiles del comportamiento del software de modo que tratan de distinguir
entre

comportamiento de software normal y malicioso [Gho99]. Utilizan una red

neuronal de tipo backpropagation (perceptrn feed-forward multicapa) con el fin de


generalizar datos incompletos y posteriormente realizar la clasificacin.
En la Universidad de Ohio se ha desarrollado un IDS de red llamado INBOUNDS
(Integrated Network-Based Ohio University Network Detective Service) donde un
mdulo de deteccin de anomalas basado en anlisis estadstico se ha sustituido por
otro que utiliza mapas autoorganizativos [Ram03].

4.13 Modelos Ocultos de Markov


Los HMM fueron inicialmente estudiados e introducidos por L. E. Baum en los aos
70's [Bau72], Baum propone este modelo como un mtodo estadstico de estimacin de
las funciones probabilsticas de una cadena de Markov.
Un modelo oculto de markov es un autmata de estados finitos que produce como salida
una secuencia de smbolos observables. Se llaman ocultos porque existe un proceso de
probabilidad subyacente que no es observable, pero afecta a la secuencia de eventos
observados.
Con el objetivo de comprender el funcionamiento de los modelos HMM, a continuacin
se presentan en detalle tanto el conjunto de elementos que lo componen como el
procedimiento general para la generacin de observaciones. Para ello se utilizar un
ejemplo sencillo conocido como el modelo de Urnas y Bolas presentado en [Rab90].

Figura 17Modelo de Urna

Supngase que se dispone por un lado de un conjunto de N urnas y por otro de


un conjunto de M bolas de distintos colores, de forma que cada urna contiene un
75

nmero de bolas, el cual puede ser distinto de una urna a otra. Por tanto en cada urna se
tendr una distribucin de probabilidad distinta asociada al color de las bolas. Para
calcular dicha distribucin bastara con utilizar la definicin de probabilidad que para
cada color es el nmero de bolas de ese color entre el nmero total de bolas en esa urna.
Supongamos que existe un proceso que se repite un nmero finito de veces por el cual,
inicialmente de forma aleatoria una urna es escogida y de ella se extrae una bola la cual
anotamos su color y dicha bola es devuelta a la urna, as T veces. El nico dato
accesible desde el exterior es el color de la bola elegida, con lo cual el fenmeno
observable ser una secuencia de colores. Si esta secuencia de colores se le presenta a
una persona ajena al proceso de extraccin de las bolas, sta nicamente ver la
secuencia de colores ignorando la secuencia de urnas involucradas en el proceso.
De esta manera se puede decir que las urnas corresponderan a la secuencia de
estados del modelo y permanecen ocultos al observador. De esta sencilla manera se
modela un Modelo oculto de Markov para explicar el proceso de tal forma que contenga
N estados, cada uno de los cuales se corresponde a una urna. Cada estado tiene asociada
unas probabilidades de seleccin de cada uno de los colores y cada pareja de estados
una probabilidad de transicin del primero al segundo y viceversa. Utilizando el modelo
se puede evaluar, no slo la secuencia de colores obtenida, sino que adems se obtendr
una estimacin de la secuencia de urnas que han intervenido en el proceso.

4.13.1 Arquitectura HMM.


Un HMM puede ser representado como un grafo dirigido de transiciones/emisiones
como se ilustra en la figura 18. La arquitectura especfica que permita modelar de la
mejor forma posible las propiedades observadas depende en gran medida de las
caractersticas del problema. Las arquitecturas ms usadas son:

Ergdicas o completamente conectadas en las cuales cada estado del modelo


puede ser alcanzado desde cualquier otro estado en un nmero finito de
pasos.

Izquierda-derecha, hacia adelante o Bakis las cuales tienen la propiedad de


que en la medida que el tiempo crece se avanza en la secuencia de
observacin asociada O, y en esa misma medida el ndice que seala el
estado del modelo permanece o crece, es decir, los estados del sistema van
76

de izquierda a derecha. En secuencias biolgicas y en reconocimiento de la


voz estas arquitecturas modelan bien los aspectos lineales de las secuencias.

Izquierda-derecha paralelas, son dos arquitecturas izquierda-derecha


conectadas entre s.

Figura 18Estructura HMM Ergdico

4.13.2 Modelos Ocultos de Markov discretos


Un modelo oculto de markov discreto queda definido en funcin de los siguientes
elementos [Rab90]
1. Nmero de estados del modelo. N
2. Nmero de observaciones distintas M
3. Conjunto finito de estados S= {Q1, Q2, Qn }
4. Conjunto discreto de observaciones O= {O1, O2,. Om }
5. Matriz de probabilidades de transicin, esta matriz es cuadrada de tamao N y
sus elementos se corresponden a la probabilidad de transicin de un estado a
otro. A= {aij}.
6. B = {bi(k)} Matriz de probabilidades de observacin. Su tamao es de NxM.
Probabilidad de que se produzca el smbolo asociado a al ndice k cuando se
est en el estado Qi.
7. = {} Probabilidad estado inicial, siendo i la probabilidad de que el estado
inicial sea Qi.
Un modelo HMM discreto queda identificado por tanto por su conjunto de parmetros,
probabilidades de transicin, probabilidades de observacin y probabilidad del estado
inicial, el cual se denota habitualmente como = (A,B, ) .

77

Existen 3 problemas relacionados con los HMM [Rab90]:

Problema 1.

Dada una secuencia de observaciones O1, O2,. Om y un modelo

= (A, B, ) cmo se puede calcular eficientemente la probabilidad de la secuencia


de observaciones de haber sido generada por el modelo , es decir P(O| )?
Problema 2. Dada la secuencia de observaciones O1, O2,. Om y el modelo ,
cmo se selecciona una secuencia de estados Q = q1, q2,, qT que sea ptima y que
explica de la mejor manera posible la secuencia de observaciones?
Problema 3. Cmo se pueden ajustar los parmetros del modelo = (A, B, )
para maximizar P(O |)? Tambin conocido como el problema del aprendizaje.
A continuacin se muestran las soluciones a estos tres problemas, detallados en
[Rab90].

Solucin al Problema 1: Algoritmo forward-backward [Bau67] que permite resolver el


problema de forma eficiente. La idea propuesta en este algoritmo es considerar la
secuencia de

observaciones hasta un instante de tiempo t y calcular la siguiente

probabilidad:

i,t = P(O1, O2,. Ot, Qt = qi |)


es decir la probabilidad conjunta de la secuencia de observaciones hasta el periodo t y el
estado Qi en el instante t dado el conjunto de parmetros del modelo. Esta variable
auxiliar puede calcularse fcilmente de forma inductiva teniendo en cuenta el vector de
probabilidades iniciales = (1,, n ) y la matriz de probabilidades de transicin A.
El algoritmo se resume en los siguientes pasos:
1. 1(i) = i bi(O1)

para 1 i N

2. para t = 1,2,,T-1

para 1 j N

3. Por tanto

78

donde bi (Ot) representa la probabilidad de emisin de una determinada observacin en


el instante de tiempo t en el estado Qi .
Los tres pasos presentados se corresponden con la versin forward del algoritmo
forward-backward.
De forma anloga es posible definir la variable backward

i. que representa la

probabilidad de la observacin parcial de la secuencia desde t+1, hasta el nal dado el


estado qi en el momento t, y el modelo . Es decir,
t (i) = P (Ot+1, Ot+2, .. OT | it = qi, )
Esta variable tambin puede ser calculada de forma inductiva comenzando por i,T y
retrocediendo hasta i,1 teniendo en cuenta la matriz de transicin.

Solucin al Problema 2: El problema 2 pretende descubrir la sucesin de estados


ocultos que mejor describe una secuencia de observaciones.
Esto se soluciona gracias al algoritmo de Viterbi [For73] Para encontrar la mejor
secuencia de estados q1,..,qt dada una secuencia de observaciones O1, O2,. Om se define
la cantidad:
t (i) = max P(q1q2,..,qt = i, O1, O2,. Ot | ) (2.1)
q1q2,..,qt
Esta cantidad representa la ms alta probabilidad a travs de un solo camino, en el
instante t, que considera las primeras t observaciones y termina en el estado Si.
Por induccin se tiene que:
t+1 (j) = [mx t(i) aij] bj (Ot+1)
j

(2.2)

Para poder tener la secuencia de estados se debe llevar la cuenta de los argumentos que
maximizan a 2.2 para cada t y j. Esto se hace a travs del vector t(j), siguiendo el
procedimiento recursivo descrito a continuacin:
1. Inicializacin:
t (i) = i bi(O1)

para 1 i N

t(i) = 0

79

2. Recursin:
t (j) = mx1 j N [t-1 (i) aij] bj (Ot)

para 2 t T
para 1 j N

t(j)= argmax1 j N [t-1 (i) aij]

para 2 t T
para 1 j N

3. Terminacin
p* = mx1

iN

q* = argmax1

[T (i) ]

iN

[T(i)]

4. Secuencia de Estados.
qt* = t+1(qt+1* )

t= T-1, T-2 ,,1

Solucin al Problema 3 : Consiste en el clculo de los parmetros que caracterizan el


modelo. Dados un conjunto de datos y una coleccin de secuencias observables, se
determina el HMM que con mayor probabilidad ha generado la secuencia. Este
problema se resuelve comnmente con el algoritmo Baum-Welch [Bau67][Bau72].
Aqu el problema que tenemos es que queremos estimar los parmetros del modelo
(A, B, ) de forma que maximicemos P(O|). Sin embargo, no existe ningn mtodo
conocido que permita obtener analticamente el juego de parmetros que maximice la
secuencia de observaciones. Por otro lado, podemos determinar este juego de
caractersticas de modo que su verosimilitud encuentre un mximo local mediante la
utilizacin de procedimientos iterativos como el del mtodo de Baum-Welch, este no es
ms que un algoritmo E-M [Dem77][Pre04] aplicado a los HMM; o bien mediante la
utilizacin de tcnicas de gradiente.
Al proceso de ajuste de los parmetros se le conoce como entrenamiento o aprendizaje
del modelo oculto de Markov.
Para describir el procedimiento se define una nuevo parmetro, t(i,j), como la
probabilidad de encontrarnos en el estado i en el instante t, y en el estado j en el instante
t+1, para un modelo y una secuencia de observacin dados:
(i,j) = P(qt = Si, qt+1 = Sj | O, )
Utilizando las probabilidades de los mtodos forward y backward podemos escribir
t(i,j) con la siguiente frmula

80

Suponiendo t(i) la probabilidad de encontrarnos en el estado i en el instante t, para la


secuencia de observaciones completa y el modelo dados; por lo tanto, a partir de t(i,j)
podemos calcular t(i) con solo realizar el sumatorio para toda j, de la forma:
t(i) =
Realizando el sumatorio de t(i) para todo t, obtenemos un resultado que puede ser
interpretado como el numero esperado de veces (en el tiempo) que estamos en el estado
i o de manera equivalente, numero esperado de transiciones realizadas desde el estado i
(excluyendo el instante t=T del sumatorio). De forma anloga, el sumatorio de t(i,j) en
t (desde t=1 hasta t=T-1) puede ser interpretado como el numero esperado de
transiciones desde el estado i al estado j.

= nmero esperado de transiciones desde Si

= nmero esperado de transiciones de Si a Sj

Con lo anterior, Baum propone las siguientes frmulas de re-estimacin quedando:


= frecuencia esperada del estado Si en t = 1 (nmero de veces visitado)
=

(1)

(2)

(3)

Si usamos los parmetros del modelo inicial = (A,B, ) para calcular los valores de las
formulas anteriores (1,2,3) para obtener = ( ), de acuerdo con Baum se puede
probar que:
81

El modelo inicial es un punto crtico de la funcin de probabilidad P(O| ), en


cuyo caso = o bien
El modelo es ms probable que el modelo en el sentido de P(O| ) > P(O| ).
Basndose en el procedimiento anterior, si se reemplaza iterativamente por y
repetimos la re-estimacin, se puede mejorar la probabilidad de que O sea observado
por el modelo hasta alcanzar un lmite. Al resultado final de la re-estimacin se le llama
estimado de mayor posibilidad del modelo oculto de Markov.

4.13.3 Modelos de Markov e IDS.


Nassehi propuso en 1998 el uso de cadenas de Markov para la deteccin de
anomalas. Construy su cadena de Marcov con un tamao de ventana unitario [Nas98].
En 1999, Lane investig el uso de modelos ocultos de Markov, conocidos como HMM
(Hidden Markov Models), para crear perfiles de usuarios y medidas de similaridad
[Lane99]. En esa misma fecha, Warrender, del grupo de Stephanie Forrest, utiliz
HMM como el modelo subyacente para la deteccin utilizando llamadas del sistema
[War99]. Sus resultados resultaron ser muy parecidos a los experimentos que realizaron
ms adelante Jha et al., con un mtodo para la deteccin de anomalas pero basada en
cadenas de Markov, en las que dichas cadenas se utilizan para construir el clasificador
[Jha01]. Tambin se puede encontrar un trabajo muy parecido al de Warrender en
[Gao02].

4.14 Discretizacin
El proceso de discretizacin entra en la parte de preprocesado de los datos en el
proceso de KDD. Antes de tratar el concepto de discretizacin vamos a exponer los
tipos de datos que existen. Generalmente se hace la distincin en:

Cuantitativas. Se distinguen a su vez en

Discretas Un atributo discreto tiene un nmero finito o contable de valores. En


general se representa como nmeros enteros. Atributos binarios son un caso
especial de ellos.

82

Continuas Un atributo continuo tiene un nmero infinito de valores posibles. Es


representado por nmeros reales o de punto flotante. Se pueden obtener tan
precisos como sea el instrumento de medicin.

Cualitativas o Categricas. Se pueden distinguir

Nominales. No tienen orden significativo, nombran el objeto al que se refieren

Ordinales. Tienen orden definido se puede establecer un orden en sus valores

La discretizacin, es de especial importancia en Inteligencia Artificial, pues permite


que muchos algoritmos de aprendizaje ideados para funcionar con atributos nominales
o categricos puedan tambin utilizarse con conjuntos de datos que incluyen valores
numricos, algo esencial en la resolucin de problemas reales. Un gran nmero de
algoritmos de aprendizaje operan exclusivamente con espacios discretos, sin embargo,
muchas bases de datos contienen atributos de dominio continuo, lo que hace
imprescindible la aplicacin previa de algn mtodo que reduzca la cardinalidad del
conjunto de valores que estas caractersticas pueden tomar, dividiendo su rango en un
conjunto finito de intervalos. Esta trasformacin de atributos continuos en discretos se
denomina discretizacin.

La discretizacin de los valores no slo permite construir modelos de clasificacin


ms compactos y sencillos, que resultan ms fciles de comprender, comparar, utilizar y
explicar, sino que permite mejorar la precisin del clasificador y hace ms rpido el
aprendizaje.
Existen diversas clasificaciones para los mtodos de discretizacin tales como,
supervisados y no supervisados, locales tambin llamados dinmicos y globales o
estticos.
Los mtodos supervisados solo son aplicables cuando se trabaja con datos que estn
divididos en clases. Estos mtodos utilizan la informacin de la clase cuando se
selecciona los puntos de corte en la discretizacin. Pueden adems ser caracterizados
como basados en error, basados en entropa o basados en estadsticas. Los mtodos
basados en error aplican un clasificador a los datos transformados y seleccionan los
intervalos que minimizan el error en el conjunto de entrenamiento. En contraste, los
mtodos basados en entropa y los basados en estadsticas evalan respectivamente la
entropa de la clase o alguna otra estadstica con respecto a la relacin entre los

83

intervalos y la clase. Por otra parte los mtodos no supervisados no utilizan la


informacin de la clase.
Los mtodos globales usan todo el espacio de instancias para el proceso de
discretizacin.

En cambio los mtodos locales usan solo un subconjunto de las

instancias para el proceso de discretizacin. Se relacionan con la discretizacin


dinmica. Un atributo cualquiera puede ser discretizado en distintos intervalos (arboles).
Las tcnicas globales son ms eficientes, porque solamente se usa una discretizacin a
travs de todo el proceso de data mining, pero las tcnicas locales podran provocar el
descubrimiento de puntos de corte ms tiles.
Para llevar a cabo nuestros experimentos se eligieron dos tcnicas diferentes de
discretizacin. Una de ellas llamada El mtodo de Intervalos de igual Frecuencia -en
[Dou95] se repasan distintos mtodos de discretizacin utilizados en inteligencia
artificial y aprendizaje automtico- que es uno de los ms sencillos algoritmos de
discretizacin que existen. Bsicamente este algoritmo opera de la siguiente manera,
requiere que los valores de los atributos sean ordenados, suponiendo que el atributo a
discretizar tiene m valores distintos, este discretizador divide el dominio de cada
variable en n partes, donde cada parte tiene

valores continuos del atributo. Se trata de un algoritmo no supervisado como ya se ha


mencionado anteriormente esta tcnica no tiene en cuenta la clase.
Por contraposicin el otro tipo de algoritmo escogido ha sido un algoritmo
supervisado concretamente el de Fayyad & Irani [Fay93]. El mtodo de discretizacin
Fayyad e Irani's trabaja sin un nmero predefinido de intervalos. Para ello se dividen
recursivamente las caractersticas dentro de intervalos en cada fase minimizando la
entropa respecto a los intervalos y la informacin requerida para especificar esos
intervalos. Se detiene la separacin cuando la entropa no puede reducirse ms.
Los mtodos basados en entropa utilizan la informacin existente de la clase en los
datos. La entropa (o contenido de informacin) es calculada en base a la clase.
Intuitivamente, encuentra la mejor particin de tal forma que las divisiones sean lo ms

84

puras posible, i.e. la mayora de los valores en una divisin corresponden a la misma
clase. Formalmente, es caracterizado por encontrar la particin con la mxima ganancia
de informacin. Es un mtodo de discretizacin supervisado, global y esttico.
Fayyad usa la heurstica de mnima entropa para discretizar el rango de los atributos de
valores continuos en mltiples intervalos. Esta tcnica utiliza el criterio de longitud
mnima de descripcin para controlar el nmero de intervalo [Fay93].
Para explicar este mtodo se tomar como base la heurstica de minimizacin de
informacin de entropa para discretizacin binaria (divisin de dos intervalos), sta
ser extendida a mltiples intervalos en vez de slo dos.
La discretizacin binaria se basa en un valor de umbral T, que determina la
separacin para el atributo cuyo valor A es contnuo. El valor se asigna a la rama
izquierda si A <= T, por el contrario, si A > T, se asigna a la rama derecha. El valor de
umbral T se considera un punto de corte. A partir de un conjunto S con N muestras,
para cada atributo de valor continuo A se toma el mejor punto de corte TA, evaluando
todos los posibles candidatos como puntos de corte. Los candidatos se obtienen
mediante los puntos medios entre cada par sucesivo de muestras, la secuencia de
muestras debe estar ordenada ascendentemente. As para cada atributo de valor
continuo, se tendrn N - 1 evaluaciones. Para cada candidato de punto de corte T, los
datos son divididos en dos conjuntos, y se calcula la entropa de clase de la particin
resultante.
La frmula usada para calcular la entropa es:

donde P(Ci,S) es el nmero de casos correspondientes a la clase Ci sobre el total de


casos en S. Para evaluar cada punto de corte se calcula la entropa sobre ambas
particiones (S1 y S2) de manera ponderada:

La extensin de la discretizacin con mltiples intervalos es simple, la idea se


basa en hacer recursivo el proceso de cortes binarios, aplicando un criterio para decidir
cuando abstenerse de seguir aplicando ms particiones. El criterio de paro, se basa en el
principio de MDL (Longitud de Descripcin Mnima) y determina si se debe aceptar o
85

no el corte propuesto. A partir del punto de corte T para el conjunto S compuesto de N


ejemplos ser aceptado mediante el criterio MDLP si y slo si:

donde k es el nmero de clases en S, k1 es el nmero de clases en S1 y k2 es el nmero


de clases en S2. En caso contrario ser rechazado el nuevo punto de corte, y el proceso
termina.

4.15 Seleccin de Atributos


Los clasificadores suelen degradar su comportamiento ante atributos irrelevantes
y/o redundantes. La seleccin de caractersticas es un proceso que consiste en
seleccionar un subconjunto ptimo de caractersticas de una base de datos para reducir
su

dimensionalidad,

eliminar ruido y mejorar el desempeo de un algoritmo de

aprendizaje: velocidad de aprendizaje, precisin de la prediccin (medido con la tasa de


error) y comprensibilidad de los resultados producidos.

El subconjunto ptimo de caractersticas est compuesto entonces por las


caractersticas fuertemente relevantes y las dbilmente relevantes pero no redundantes.
Encontrar el subconjunto ptimo de caractersticas requiere una bsqueda en el espacio
de subconjuntos posibles de caractersticas de la Base de Datos, que es un problema no
determinstico polinomial complejo[Blu92].

Bsicamente un proceso de Seleccin de Caractersticas engloba una fase bsqueda


y una fase de evaluacin del subconjunto resultado de la bsqueda.
Durante la fase de bsqueda se producen subconjuntos de caractersticas que son
candidatos a ser evaluados. Existen diferentes tipos de bsquedas, pero podemos
distinguir tres grandes tipos: la bsqueda completa garantiza el hallazgo del
subconjunto ptimo, sin tener la necesidad de realizar una bsqueda de todos los
posibles subconjuntos (2n) del total de n caractersticas, que es una bsqueda exhaustiva
[Liu05], la bsqueda secuencial genera subconjuntos de manera directa, comienza con
un subconjunto vaco, para luego agregarle caractersticas relevantes de manera
progresiva (seleccin secuencial hacia adelante), o viceversa: comenzar con todo el
86

conjunto y eliminar caractersticas irrelevantes de manera progresiva (seleccin


secuencial hacia atrs) [Liu98] y por ltimo la bsqueda aleatoria genera subconjuntos
de manera aleatoria, luego aumenta o disminuye caractersticas tambin aleatoriamente
para generar el siguiente subconjunto que sera evaluado.
Una vez finalizado el proceso de bsqueda se obtienen subconjuntos de datos
que deben ser evaluados. El proceso de evaluacin, consiste en medir la optimalidad del
subconjunto generado para los fines de un problema de aprendizaje, que en este trabajo
es de Clasificacin. [Lan94] divide las funciones de evaluacin en dos categoras: Filtro
y wrapper (envolvente). La diferencia entre una funcin de evaluacin tipo filtro o tipo
wrapper radica en que en la primera categora se incluyen los algoritmos en los que la
seleccin de atributos se realiza como un preproceso a la fase clasificacin y por tanto
de manera independiente, por lo que puede entenderse como un filtrado de los atributos
irrelevantes y redundantes. Por otro lado, en los mtodos de tipo wrapper [Joh94], la
seleccin de atributos y los algoritmos de aprendizaje no son elementos independientes,
ya que se utiliza el comportamiento de un algoritmo de clasificacin como criterio de
evaluacin de los atributos. El modelo wrapper escoge los atributos que demuestran
mejor clasificacin, ayudando a mejorar el comportamiento del algoritmo de
aprendizaje.
En otras palabras el criterio de evaluacin Filtro es independiente del algoritmo
de aprendizaje (por ejemplo Redes Neuronales, Mquinas de Vector Soporte, etc.)
mientras que la evaluacin tipo envolvente, depende del algoritmo de aprendizaje que se
use. Por lo tanto el wrapper genera un costo computacional mayor al de los algoritmos
pertenecientes al Modelo de Filtro.

Generalmente el proceso de Seleccin de caractersticas se detiene cuando se


alcanza el valor de algn parmetro o umbral que se ha establecido o se termin de
realizar la bsqueda completa o se encontr un subconjunto de caractersticas ptimo.
Los algoritmos de seleccin de caractersticas envolvente se diferencian en el mtodo de
bsqueda de la generacin del subconjunto. Existe diversos tipos de bsqueda
utilizando un algoritmo gentico o comenzar con un subconjunto aleatorio de
caractersticas, buscando subconjuntos que tengan menor nmero de caractersticas y
que generen los menores errores de aprendizaje, lo que se llama bsqueda
aleatoria[Wit00], y por ltimo la bsqueda Best First, el cual realiza la bsqueda en el

87

espacio de subconjuntos de caractersticas atravesando diferentes capas del espacio de


bsqueda [Koh97].
Para llevar a cabo nuestro estudio, hemos escogido de cada categora 2 tipos de
mtodos con el mismo mtodo de bsqueda utilizado tanto para los de filtro como para
los de tipo wrapper. El mtodo de bsqueda escogido es el de Best First, y los tipos de
mtodos de evaluacin utilizados para la categora filtro han sido CFS (Correlation
based Feature Selection)y CNS (Consistency based Feature Selection), mientras que
para los de tipo wrapper se escogi un clasificador tipo rbol el C4.5 y el clasificador
Naive Bayes, por su rapidez y sencillez. Los algoritmos C4.5 y Naive Bayes han sido
explicados en captulos anteriores.

4.15.1 Seleccin por Correlation Based Filter CFS


Este filtro considera que un buen conjunto de atributos son aquellos que estn
altamente correlacionados o predictivos con la clase y poco correlacionados entre s
[Hal99]. Trata de encontrar el subconjunto ptimo de atributos altamente correlados
con la clase y, al mismo tiempo, con un bajo grado de redundancia entre ellos. Para ello,
busca un subconjunto de atributos considerando la capacidad predictora de cada uno
individualmente, pero tambin se busca que haya poca correlacin entre los atributos.
La frmula de la heurstica siguiente provee una definicin operacional de esta
hiptesis:

k es el nmero de atributos en el subconjunto; es la correlacin media con la clase, y

es la correlacin media de los atributos entre s. La expresin del heurstico es de


hecho el coeficiente de correlacin de Pearson [Rod88], donde todas las variables han
sido estandarizadas. El numerador puede ser visto como la medida de cun predictiva de
la clase puede ser un subconjunto de atributos dado y el denominador como cuanta
redundancia existe, entre los atributos predictores. La bondad de este heurstico es que
dejar fuera atributos irrelevantes, ya sean malos predictores o atributos redundantes
[Hal99].
88

4.15.2 Seleccin Por Consistency Based Filter CNS


Bsicamente evala un subconjunto de atributos por el nivel de consistencia en
los valores de la clase al proyectar las instancias de entrenamiento sobre el subconjunto
de atributos. Este tipo de mtodos buscan combinaciones de atributos cuyos valores
dividen los datos en subconjuntos que contienen una gran mayora de clase nica. Por lo
general la bsqueda est centrada en pequeos subconjuntos de caractersticas con una
alta clase de consistencia. Nuestro mtodo basado en la evaluacin de la consistencia se
basa en el mtodo de Liu y Setionos[Liu96]:

donde s es un subconjunto de atributos, J es el numero de combinaciones distintas de


valores de un atributo en s, |Di | es el nmero de ocurrencias del i-simo combinacin de
valores del atributo,

|Mi | es la cardinalidad de la clase mayoritaria del i-simo

combinacin de valores del atributo y N es el nmero total de instancias en el conjunto


de datos. Un conjunto de datos con atributos numricos es primero discretizado con el
mtodo de Fayyad and Irani [Fay93].

89

90

CAPTULO 5 - ESTUDIO EXPERIMENTAL

Como se aprecia en [Land94], todos los sistemas informticos sufren de


problemas de seguridad que son tcnicamente difcil y econmicamente costosos para
ser resueltos por los fabricantes. Por tanto el uso de IDS para la deteccin de ataques es
de suma importancia. Sin embargo, cuando revisamos el estado de arte de las soluciones
ms avanzadas de IDS y de herramientas comerciales, la mayora de los productos
utilizan el mtodo de deteccin por uso indebido basndose en que la deteccin de
anomalas no es una tecnologa madura todava [Shy03].
Para encontrar la razn de este hecho, vamos a llevar a cabo un estudio detallado
enfocado en tcnicas basadas en anomalas, examinando diversos aspectos tales como
conjunto de datos, seleccin de atributos, discretizacin y diferentes tcnicas de
aprendizaje, creando conjuntos de datos para el entrenamiento y su posterior evaluacin
(conjuntos de test) y por ltimo someter estos resultados a ANOVA (anlisis de la
varianza), coleccin de modelos estadsticos y sus procedimientos asociados para llevar
a cabo estudios comparativos.
Los datos utilizados en este estudio son del NSL-KDD Data set [NSL09], el cual
es una mejora de los datos del concurso KDD cup99[Kdd99]. En KDD-99 se utilizo
una versin reducida de la amplia variedad de intrusiones militares simuladas en un
entorno de red, proporcionadas por DARPA Intrusion Detection Program Evaluation en
1998 [Ken98], que tenan como objetivo evaluar el estudio y la investigacin en la
deteccin de intrusiones. Los Laboratorios Lincoln [Mit] crearon un entorno para
adquirir un volcado de datos TCP durante nueve semanas, en una red de rea local
(LAN) que simulaba la tpica red de las Fuerzas Areas de EE.UU salpicada con
mltiples ataques. El conjunto de datos de entrenamiento, obtenidos durante las
primeras 7 semanas, ocupaba cerca de cuatro gigabytes, lo que equivale
aproximadamente a cinco millones de registros de conexin. Del mismo modo, los
datos de test se obtuvieron durante las dos ltimas semanas y rondaban dos millones de
registros de conexin.
91

NSL-KDD viene a mejorar los fallos que tiene el conjunto de datos KDD99. La
primera deficiencia importante en el conjunto de datos KDD99 es el gran nmero de
registros redundantes. El anlisis del conjunto de datos train y test, se encontr que
alrededor del 78% y 75% de los registros se duplican en el train y en el conjunto de
prueba, respectivamente. Esta cantidad grande de registros redundantes en el conjunto
de entrenamiento causar que el aprendizaje de los algoritmos estar afectado y con lo
cual desviado hacia los registros ms frecuentes, y as impedir el aprender registros
menos infrecuentes que son por lo general ms daosos a redes como son los ataques de
tipo U2R. Por otra parte, la existencia de estos registros repetidos en el conjunto de
prueba, har que los resultados de evaluacin sean influidos por los mtodos que tienen
mejores tasas de deteccin sobre los registros frecuentes.
La nueva versin de datos KDD, NSL-KDD est pblicamente disponible para
investigadores en [NSL09].
Los atributos del NSL-KDD Data se pueden clasificar en 3 grupos:

1) Caractersticas bsicas: esta categora agrupa todos los atributos que se


pueden extraer de una conexin TCP / IP. La mayora de estas caractersticas
conducen a una demora en la deteccin.
2) Caractersticas del trfico: esta categora incluye las caractersticas que se
calculan con respecto a un intervalo de la ventana y se divide en dos grupos:
-

Atributos de mismo host', que tienen en cuenta slo las conexiones en


los dos ltimos segundos que tengan el mismo destino que la conexin
actual, y las estadsticas relacionadas con el protocolo, los servicios, etc.

Atributos de mismo servicio, que examinan slo las conexiones en los


dos ltimos segundos que tienen el mismo servicio que la conexin
actual.

Los dos tipos de trfico antes mencionados se llaman caractersticas basadas


en tiempo. Sin embargo, hay varios ataques de sondeo que son lentos y escanean los
puertos de los hosts en un intervalo de tiempo mucho mayor que 2 segundos, por
ejemplo, uno cada minuto. Como resultado, estos ataques no producen patrones de
intrusin en una ventana de tiempo de 2 segundos. Para resolver este problema, las
caractersticas del mismo servicio y del mismo host se recalculan basndose en una
92

ventana de 100 conexiones en lugar de en una ventana de tiempo de 2 segundos. Estas


caractersticas de conexin se denominan basadas en trfico.
3) Caractersticas de contenido: a diferencia de la mayora de los ataques de
DoS y de sondeo, la R2L y los ataques de U2R no tienen patrones
secuenciales frecuentes. Esto es porque el DoS y Probing implican muchas
conexiones a algn host (s) en un perodo muy corto de tiempo, sin embargo
ataques R2Ly U2R estn incrustados en las porciones de datos de los
paquetes, y normalmente slo implica una nica conexin. Para detectar este
tipo de ataques, tenemos algunas caractersticas para ser capaces de buscar
un comportamiento sospechoso en la parte de datos, por ejemplo, el nmero
de intentos de acceso fallidos. Estas caractersticas se denominan
caractersticas de contenido.

Cada registro de conexin est compuesto de 42 atributos, lo que supone unos


100 bytes por registro. Los atributos que componen un nico registro se muestran en
las siguientes tablas:

Tabla1. Atributos bsicos de las conexiones TCP


Atributo

Descripcin

Tipo

Duration
protocol_type
Service

Tiempo en segundos de la conexion


Tipo de protocolo (TCP, UDP)
Tipo de servicio destino (HTTP, Telnet)

Continuo
Discreto
Discreto

src_byte

Nmero de bytes del origem al destino

Discreto

dst_byte

Nmero de bytes del destino al origem

Discreto

Flag

Estado de la conexion

Categrico

1si la conexin corresponde mismo/host;0 de

Land

otro modo

Categrico

wrong_fragment

Nmero de fragmentos errneos

Discreto

Urgent

Nmero de paquetes urgentes

Discreto

Tabla2. Atributos Derivados de una conexin TCP.

Hot

Atributo

Descripcin
Nmero de indicadores importantes

Continuo

Tipo

num_failed_logins

Nmero de intentos de acceso fallido

Continuo

logged_in

1 acceso exitoso; 0 fallo

Discreto

num_comprissed

Nmero de condiciones sospechosas

Continuo

root_shell

1 si es superusario; 0 en otro caso

Discreto

93

su_attempted

1 si se intenta comando su root; 0

Discreto

num_root

Nmero de accesos como root

Continuo

num_file_creations

Nmero de operacioes de creacin de archivos

Continuo

num_shells

Nmeros de Shell prompts abiertos

Continuo

num_access_files
num_outbund_cmds
is_hot_login
is_guest_login

Nmero de operaciones de control de acesso


a archivos
Nmero de comandos externos (sesin FTP)
1 si login pertence a la lista hot; 0 caso
contrario
1 si login es del tipo guest, 0 caso contrrio

Continuo
Continuo
Discreto
Discreto

Tabla3 Atributos con ventana de 2 segundos.

Atributo
Count

Descripcin
Nmero de conexiones a la misma mquina que la conexin
actual en los ultimos dos segundos

Tipo
Contnuo

Atributos de conexiones del mismo host


serror_rate

% de conexiones con error SYN

Contnuo

rerror_rate

% de conexionescon error REJ

Contnuo

same_srv_rate

% de conexiones al mismo servicio

Contnuo

diff_srv_rate

% de conexiones a diferentes servicios

Contnuo

srv_count

Nmero de conexiones al mismo servicio que la conexin


actual en los ultimos dos segundos

Contnuo

Atributos de conexiones del mismo servicio


srv_serror_rate

% de conexiones con error SYN

Contnuo

srv_rerror_rate

% de conexiones con error REJ

Contnuo

srv_diffe_host_rate

% de conexiones a diferentes hosts

Contnuo

Cabecera de la trama de una conexin del conjunto de datos NSL-Data:

94

Figura 19 Ataques/categora/N de registros en la Base de datos.

95

El conjunto de datos [NSL09] contiene un total de 40 tipos de ataques los cuales


se clasifican en 5 categoras diferentes (clasificacin de Kendall vista en el captulo2)
como se puede observar en la Fig19.

Para llevar a cabo el estudio analizaremos este

conjunto de datos de 3 formas distintas.


Como se puede observar en la Fig19, la cantidad de ataques presentes en el conjunto de
datos global y de manera

general los registros de tipos Probe, R2L y U2R,

especialmente estos ltimos, quedan en desventaja frente a los registros de tipo Normal
y Dos.
En el primer estudio el ms sencillo, se pretender analizar determinados
algoritmos de aprendizaje para el modelado del sistema, a nivel de deteccin de si una
conexin es de tipo ataque -independientemente del tipo de ataque que sea- o por el
contrario es de tipo normal -situacin de no amenaza-. Por tanto el anlisis es a nivel de
2 categoras: ataque y normal. Se crearn ficheros balanceados -igual cantidad de
ataques y normal en el fichero de entrenamiento-, para no favorecer el sobreentrenamiento por parte del modelo favoreciendo a una categora con ms presencia de
registros, donde el conjunto de train contendr un 70% de conexiones y el de test el
30% restante.
En el segundo caso de estudio, la situacin se complica un poco ms, los datos
son clasificados en 5 categoras este es el mtodo ms utilizado en la literatura- y se
crearn dos ficheros uno de entrenamiento y otro de test con el 70 y el 30% de datos, en
esta situacin los datos no estn balanceados simulando una situacin ms real- y
estudiaremos el comportamiento de todos los algoritmos explicados en el captulo 4 a la
hora de clasificar los ataques en 5 categoras.
En el tercer estudio se proceder de la misma manera que en el primer caso
creando ficheros balanceados slo que el estudio se realizara a un nivel ms complejo,
ya no se pretender detectar la categora de un ataque sino un ataque en concreto.
Hemos explicado la perspectiva por la cual abordaremos el estudio de los sistemas de
deteccin de intrusos basados en anomalas, los cuales utilizan algoritmos de
aprendizaje automtico para su motor de anlisis, para clasificar entre situacin de
ataque o situacin de normalidad.
En estos 3 estudios se proceder a la discretizacin de los conjuntos de datos mediante
dos tcnicas distintas. Una de ellas es la de Fayyad & Irani y la otra tcnica es la de
96

Intervalos de igual Frecuencia, que como se explico en el apartado 4.13, ste mtodo,
suponiendo que el atributo a discretizar tiene m valores distintos, este discretizador
divide el dominio de cada variable en n partes, donde cada parte tiene m/n valores
continuos del atributo, siendo el valor escogido para n, 100.
A parte de la discretizacin se llevo a cabo un proceso de seleccin de atributos
utilizando tanto mtodos de tipo filter como de tipo wrapper. Para el tipo filtro se
escogieron un mtodo CFS y otro basado en cosistencia, CNS, explicados anteriormente
en el captulo 4. Para el tipo wrapper se seleccionaron, un clasificado envolvente basado
en rboles de decisin C4.5 y Naive Bayes. En todos los casos el mtodo de bsqueda
escogido ha sido el Best First.
En la tabla Fig.20 se puede encontrar que de los 41 atributos que compone el
registro de una conexin cuales son los que han sido seleccionados por estos mtodos.
En los 3 casos tendremos un conjunto de datos sin discretizar con el total de
atributos, un conjunto de datos discretizado con el mtodo de Fayyad e Irani , y otro con
una discretizacin no supervisada de Intervalos de igual frecuencia.
Adicionalmente se crearan nuevos conjuntos de datos basados en los conjuntos
anteriores utilizando solamente los atributos ofrecidos por los mtodos de seleccin de
caractersticas, como puede observarse en las Figuras 20,21,22, 23 y 24.

En resumen tendremos conjuntos de datos sin discretizar y sin seleccin de


atributos, conjuntos de datos discretizados y sin seleccin de atributos y una nueva
combinacin de conjuntos de datos: sin discretizar aplicndoles los 4 mtodos de
seleccin de atributos, otra de conjuntos de datos discretizados con la tcnica de Fayyad
& Irani y con la aplicacin de la seleccin de atributos y por ltimo conjuntos
discretizados por la tcnica de intervalos de igual frecuencia (n=100 en todos los casos)
y combinados con los 4 mtodos de seleccin de atributos.

Finalmente dispondremos para cada caso de estudio un total de 15 ficheros train


y 15 ficheros para la fase de test.

97

Figura 20Atributos Seleccionados por los distintos mtodos

Figura 21Seleccin Atributos Filtro CFS

Figura 23Atributos Wrapper C4.5

5.1

Figura 22Atributos Filtro CNS

Figura 24Atributos Wrapper Naive Bayes

Primer estudio a nivel 2 Categoras: Normal y Ataque


Como se coment en prrafos superiores el fichero de entrenamiento no es un

fichero balanceado, esto supondr que en la fase de entrenamiento del modelo ciertos
algoritmos favorecern ms a una clase que a otra.

98

En esta parte del estudio, el estudio es a nivel de deteccin de si una conexin es del
tipo ataque o del tipo normal. El sistema se entrena con un conjunto de datos que
solamente contienen dos tipos de registros, ataque o normal. Para la construccin de
un conjunto de datos balanceado, la seleccin de los ataques se realiz de la siguiente
manera: de cada categora (Dos, Probe, R2L y U2R Fig19)

se seleccionaron

aleatoriamente 252 ataques. Este nmero se debe a que la suma total de los ataques de
tipo U2R es de 252. Al final se obtuvieron 252 ataques * 4 categoras = 1008 ataques.
De las conexiones de tipo normal se seleccionaron aleatoriamente esta misma cantidad
1008. En base a esto, se construy un fichero de 2016 registros que contiene 2 tipos de
conexiones ataque y normal, y a partir de l se obtuvo un fichero de entrenamiento
con un 70% de datos y un fichero de test con el 30% restante.

Conexiones
1500
1000
Frecuencia

500
0
Ataque

Normal

Figura 25 Conjunto balanceado con 2 Categoras

Utilizando la discretizacin, el conjunto de datos se reduce y se construyeron los


ficheros de entrenamiento y test de tal forma que estuviesen equilibrados, como se
puede observar en las siguientes tablas:

800
600
Ataque

400

Normal
200
0
Train

Test

Figura 26 Conjunto Sin Discretizar

99

400
300
200

Ataque

100

Normal

Figura 27Discretizacion Fayyad & Irani

800
600
400

Ataque

200

Normal

Figura 28Discretizacion Intervalo Igual de Frecuencias (n =100)

5.2

Primer estudio a nivel de 5 Categoras: Dos, Probe,


R2L y U2R.

Como puede observarse en la Fig29 podemos ver la distribucin y frecuencia de


los ataques en el conjunto de datos, pudindose observar que hay ciertos tipos de
ataques que prevalecen sobre otros:

100

Conexiones
25000
20000
15000
10000
5000

Frecuencia
Sqlattack

Ps

Loadmodule

Buffer_Overflow

Xlock

Warezmaster

Spy

Snmpgetattack

Phf

Multihop

Guess_Passwd

Satan

Portsweep

Mscan

Normal

Teardrop

Processtable

Neptune

Land

Apache2

Figura 29 Presencia de ataques en el conjunto de datos

Estos mismos datos pueden ser observados por categoras:

Conexiones
25000
20000
15000
Frecuencia

10000
5000
0
Dos

Probe

R2L

U2R

Normal

Figura 30Presencia de ataques en el conjunto de datos por categoras

Para este caso de estudio los ataques son mapeados a la categora a la que
corresponden y el sistema es entrenado con registros de tipo normal, Dos,
Probe,R2L oU2R. Esta es la clasificacin ms estudiada en la literatura.

101

25000
20000
15000
Train

10000

Test
5000
0

Figura 31Conjunto de datos Sin Discretizar

12.000
10.000
8.000
6.000

TrainFay

4.000

TestFay

2.000
U2R

R2L

Probe

Dos

Normal

Figura 32 Conjunto de datos Discretizacion Fayyad & Irani

14.000
12.000
10.000
8.000
6.000

TrainFrec

4.000

TestFrec

2.000
U2R

R2L

Probe

Dos

Normal

Figura 33Conjunto de datos Discretizacion Intervalo Igual de Frecuencias (n =100)

102

Cmo ocurra en el caso anterior, la discretizacin reduce considerablemente el


conjunto de datos ver Figuras 32 y 33.

5.3

Tercer Estudio: A Nivel de Ataque.


En esta parte, el estudio se realiz a nivel de ataque y no de categoras. Se

seleccionaron 133 ataques de cada categora. Se escogi esta cantidad porque de la


categora U2R el ataque con ms registros es el de tipo httptunnel con una presencia
de 133 entradas.

Figura 34 Eleccin del Umbral httptunnel = 133

Registros
140
120
100
80
60
40
20
0
Neptune
Smurf
apache2
Processtable
Back
Mailbomb
Teardrop
Satan
Mscan
Ipsweep
Portsweep
Nmap
Saint
guess_passwd
Warezmaster
Warezclient
Snmpguess
snmpgetattack
Httptunnel
Normal

Frecuencia

Figura 35Conjunto de ataques balanceado

103

Nuestro objetivo es el de crear un conjunto de datos balanceado independientemente del


mtodo de discretizacin que se quiera utilizar. Tras la discretizacin tanto en Fayyad
como en la de igual intervalos de frecuencia nuestro conjunto de datos resultado
constitua en las siguientes tablas:

Figura 36Fayyad

Figura 37Intervalo Igual Frec.

Mscan

Normal

Back

Fayyad
Satan

Warezm

Guess_P

Snmpget

Portswe

Neptune

Apache2

Warezcli

Teardrop

Httptun

Nmap

Smurf

Saint

Snmpgu

Ipsweep

Mailbomb

150
100
50
0

Processt

Fayyad

Figura 38Representacin grfica del resultado tras aplicar Discretizacin de Fayyad & Irani

104

150
100
50
0

Smurf
Process
Portsw
Mailbo
Nmap
Snmpgu
Snmpge
Guess_
Httptun
Saint
Satan
Apache2
Teardrop
Warezcl
Ipsweep
Back
Warez
Normal
Neptune
Mscan

UniformFrecuency

UniformFrecuency

Figura 39Representacin grfica del resultado tras aplicar Discretizacin Igual Intervalo de Frec.

Para realizar los experimentos con los nuevos datos discretizados se ha optado
por crear nuevos conjuntos balanceados, tomando como regla, el escoger como umbral
una cantidad de ataques igual al ataque con menor presencia en el conjunto, es decir, en
el conjunto de Fayyad se seleccionaron 41 registro de cada ataque y en el conjunto de
intervalos de frecuencias uniformes se seleccionaron 103 registros.

Figura 40 Sin Discretizar

5.4

Figura 41Fayyad

Figura 42Intervalo Igual Frec.

Construccin de Modelos.

En el captulo 4, se explicaron los algoritmos seleccionados para cada tcnica de


aprendizaje para construir un clasificador. Todos los conjuntos de datos obtenidos

105

fueron sometidos a diferentes tcnicas de construccin de un sistema basado en


anomalas. Los algoritmos de aprendizaje utilizados han sido:

Figura 43Algoritmos aplicados.

En el caso de los modelos ocultos de Markov al tratarse de modelos discretos en


los 3 casos slo se trabaj con los conjuntos de datos discretizados sin seleccin de
atributos y los discretizados aplicndoles seleccin de atributos. Debido a que el nmero
de estados ocultos pueden afectar al rendimiento de la clasificacin, se utilizan HMM
con diferentes nmeros de estados ocultos para hacer la clasificacin. El nmero de
estados elegido han sido 11, 15 y 25 basndonos en el nmero de atributos que los
distintos mtodos de seleccin de caractersticas han dado como resultado.
Por ltimo tanto para el primer caso estudio de 2 categoras (Ataque/Normal) y
el ltimo caso basado en ataques, solamente se seleccionaron los siguientes algoritmos:
FURIA, TAN, KNN-1, SMO (polykernel), C4.5, RANDOM FOREST y MODELOS
OCULTOS de MARKOV, debido a los buenos resultados que han dado.
La evaluacin de un experimento de reconocimiento de patrones se basa en la
medida del acierto (dado como porcentaje de muestras o instancias bien clasicadas) de
un conjunto de datos, tambin llamado conjunto de test. Por tanto de este estudio se
106

obtuvieron los tiempos de construccin de los modelos y las matrices de confusin (que
se pueden consultar en el apndice A de este trabajo), as como la tasa de acierto Global
de cada clasificador y la tasa de acierto de:

en el caso del primer estudio Tasa de Acierto: Ataque y Normal.

en el caso del segundo estudio tasa de Acierto: Dos, Probe, R2L, U2R y
normal.

en el caso del tercer estudio Tasa de Acierto de cada uno de los ataques de la
Fig40.

Cabe resaltar que en el primer caso de dos categoras se llevaron a cabo 120
ejecuciones, en el segundo caso de 5 categoras se hicieron 315 ejecuciones y en el
ltimo caso otras 120 ejecuciones lo que hace un total de 555 ejecuciones. En el
apndice A se puede consultar la tabla de tiempos y aciertos obtenidos para cada caso y
en el apndice B se pueden consultar las matrices de confusin de todas las ejecuciones
llevadas a cabo.
Basndonos en estos datos se proceder a su anlisis estadstico.

107

108

CAPTULO 6 - ANLISIS ESTADSTICO ANOVA


6.1

Estudio estadstico de factores en deteccin de intrusos.

Para la aplicacin del anlisis de la varianza, las observaciones de las variables


respuesta se expresan como el resultado aditivo de una serie de componentes. En
general, si tenemos mltiples factores, la observacin Ya,b ... l,s , donde:

a,b ... l son las diferentes variables o factores del problema

s es el nmero de observaciones cuando existe repeticin de experimentos reales


bajo las mismas condiciones o valores de los factores.

Puede ser admitida, en una primera aproximacin, que es consecuencia aditiva de los
efectos de los factores a, ... ,l. Por tanto la observacin puede ser expresada como una
suma lineal:
Ya,b,...,l ,s a b ... l

Siendo el efecto llamado de causas no asignables o de azar. Si los factores a,b, ... ,l
se mantienen constantes, las medidas de Ya,b ... l,s presentarn variaciones que debern
poder considerarse como atribuibles a un gran nmero de pequeas causas
indistinguibles entre s, que es lo que se designa como variacin aleatoria. Si
disponemos un experimento en que midamos Ya,b ... l,s a niveles diferentes de uno o
ms factores, el conjunto de medidas obtenidas puede que no sea homogneo, estando
formado por dos o ms grupos. El propsito de la tcnica introducida por Fisher es
precisamente contrastar esta heterogeneidad, para ver si tales factores son realmente
causas asignables en la variacin que se trata de estudiar, o bien, se debe atribuir dicha
variacin al efecto de azar. Es decir, en el anlisis de la varianza se trata de separar las
componentes de la variacin que aparecen en un conjunto de datos estadsticos,
determinando si la discrepancia entre las medias de los factores son mayores de lo que
podra esperarse razonablemente de las variaciones que ocurren dentro de los factores.
De forma ms precisa, en el anlisis de la varianza una observacin es el resultado
aditivo de los siguientes componentes:
Un efecto comn para el conjunto de todas las observaciones del experimento,
denominado efecto fijo o comn.
Un efecto especfico debido a la presencia del nivel concreto de cada factor
considerado como variable de entrada (se denomina efecto principal).
109

Un efecto combinado debido a la presencia de los niveles concretos de dos o


ms variables presentes en el experimento, es lo que se denominan interacciones entre
los efectos principales. Al nmero de factores principales que estn involucrados en la
interaccin se le denomina orden de interaccin.
Un residuo o error aleatorio que corresponde a la desviacin entre lo realmente
observado experimentalmente y lo ajustado por el modelo estadstico.

En una primera etapa, mediante el anlisis de la varianza se determina si la


hiptesis nula es cierta o no, es decir, si todos los efectos de los distintos niveles de un
determinado factor son iguales entre s o bien si todas las interacciones de un cierto
orden son nulas. Con esto se pretende constatar qu factores producen alteraciones
significativas de la variable respuesta, al cambiar el nivel en que es subdividido el
dominio de los posibles valores que dicho factor puede tomar. En caso de que la
hiptesis nula fuese rechazada, se suele realizar un estudio ms profundo encaminado a
clasificar los niveles de los factores ms significativos, en funcin de la magnitud de su
efecto principal, y detectar diferencias sobre la variable respuesta por el uso de un
determinado nivel. Con ello podemos concluir qu bloque funcional del proceso de
deteccin de intrusos tiene una mayor repercusin en la obtencin de la salida del
sistema, al cambiar el diseo de dicha funcin. Una de la mayor fuente de informacin
es la tabla ANOVA
Comenzamos a estudiar diversos ejemplos, donde vamos a tratar de analizar
estadsticamente como influye la seleccin de diversos valores o niveles en los efectos
principales:
1.

Tipo de Filtro

2.

Tipo de Discretizacin

3.

Tipo de Algoritmo

En dos variables de salida:


1.

El error global del sistema en la clasificacin de intrusos

2.

El tiempo de cmputo necesario.

110

Para ello, se van a realizar tres grandes grupos de experimentos:


1.

Experimentos donde solo existen dos categoras en la variable de salida


de clasificacin: Ataque y Normal

2.

Experimentos donde existen cinco categoras en la variable de salida de


clasificacin: cuatro sern para clasificar diferentes ataques: Dos, Probe,
R2L, U2R y finalmente cuando la salida se puede considerar Normal

3.

Experimentos donde existen una gran cantidad de categoras para la


variable de salida de clasificacin: Normal, Neptune, Smurf, Apache2,
Processtable, Back, Mailbomb, teardrop, Satan, Mscan, Ipsweep,
Portsweep, Nmap, Saint, Guess_passwd, Warezmaster, Warezclient,
Snmpguess, Snmpgetattack, httptunnel.

6.2

Experimentos donde slo existen dos categoras en la


variable de salida de clasificacin: Ataque y Normal
Como se ha comentado anteriormente, llevaremos a cabo el estudio estadstico

de dos variables dependientes a las que queremos analizar:


1. El error global del sistema en la clasificacin de intrusos
2. El tiempo de computo necesario

6.2.1 Anlisis estadstico del error global con dos categoras en la variable
de salida
Vamos a comenzar analizando el error global del sistema en la clasificacin de
intrusos, que vamos a denominar como variable dependiente: AcGlobal, siendo nuestros
tres factores o efectos principales:
1.

Tipo de Filtro (Filtro) : Aplicacin de seleccin de atributos.

2.

Tipo de Discretizacin (Discr): Aplicacin de la Discretizacin.

3.

Tipo de Algoritmo (ALG)


111

En primer lugar, se va a realizar el estudio de la tabla ANOVA. Este


procedimiento ejecuta un anlisis de varianza de varios factores para AcGlobal.
Anlisis de Varianza para AcGlobal - Suma de Cuadrados Tipo III
Fuente

Suma de Cuadrados

Gl

Cuadrado Medio

Razn-F

Valor-P

A:Filtro

279,592

69,8981

4,81

0,0013

B:Discr

397,317

198,658

13,66

0,0000

C:ALG

2076,65

259,581

17,86

0,0000

RESIDUOS

1526,5

105

14,5381

TOTAL (CORREGIDO)

4720,13

119

EFECTOS PRINCIPALES

Todas las razones-F se basan en el cuadrado medio del error residual


La tabla ANOVA descompone la variabilidad de AcGlobal en contribuciones
debidas a varios factores. Puesto que se ha escogido la suma de cuadrados Tipo III (por
omisin), la contribucin de cada factor se mide eliminando los efectos de los dems
factores. Los valores-P prueban la significancia estadstica de cada uno de los factores.
Puesto que 3 valores-P son menores que 0,05, estos factores tienen un efecto
estadsticamente significativo sobre AcGlobal con un 95,0% de nivel de confianza.
Por tanto, como primera conclusin, se puede decir que los tres efectos
principales tienen una repercusin relevante sobre la precisin global del sistema de
clasificacin de deteccin de intrusos. Aunque los tres valores de Valor-P son menores
que 0.05, lo que ahora es interesante de analizar, es si existen diferentes valores de
Filtro, o de Discretizacin o de Algoritmo, que se comporten de forma similar, y por lo
tanto, intentar obtener grupos homogneos o heterogneos de estos tres efectos o
factores. Para ello vamos a proceder a realizar la prueba de mltiples rangos.
Con la realizacin de estas tablas de mltiples rangos, se realizan comparaciones
mltiples para determinar cules medias son significativamente diferentes de otras. Las
que sean homogneas o similares desde el punto de vista estadstico, tienen una X en la
misma columna, y por tanto se pueden considerar como un grupo homogneo. Si
existen X en diversas columnas, significa que existen ms de un grupo. Esto conlleva a
que por tanto este factor sea estadsticamente significativo.

112

6.2.1.1

Estudio de tablas de mltiple rangos para ACGlobal

Comenzamos estudiando el factor Filtro, siendo la tabla de rangos mltiples la


siguiente:

Filtro

Casos

Media LS

Sigma LS

Grupos Homogneos

fnb

24

89,3261

0,786901

fcns

24

92,3124

0,786901

all

24

92,8357

0,786901

fc45

24

92,9961

0,786901

fcfs

24

93,7324

0,786901

Contraste

Diferencia

+/- Lmites

all - fc45

-0,160417

2,18246

all - fcfs

-0,896667

2,18246

all - fcns

0,523333

2,18246

3,50958

2,18246

fc45 - fcfs

-0,73625

2,18246

fc45 - fcns

0,68375

2,18246

3,67

2,18246

1,42

2,18246

all - fnb

fc45 - fnb

Sig.

fcfs - fcns
fcfs - fnb

4,40625

2,18246

fcns - fnb

2,98625

2,18246

* indica una diferencia significativa.


Recordemos que en la parte experimental sometimos a los datos a dos tipos se
seleccin de caractersticas una de tipo Filtro y otra de tipo wrapper. FNB (naive bayes)
y FC4.5 (rbol de decisin) se corresponden a los de tipo wrapper mientras que FCFS y
FCNS a los de tipo filtro, y por ltimo definimos ALL como la ausencia de aplicacin
de la seleccin de atributos puestos que todos los atributos son utilizados
En la tabla de rangos mltiples para el factor filtro, se puede observar que hay
dos grupos: un primer grupo que tendra al tipo de filtro FNB, que sera el que peor
valor de precisin obtendra, ya que la media es de 89,3261 % de clasificacin, y un
segundo grupo homogneo, donde tendra los restantes tipos de filtros: FCNS, ALL,
FC4.5, FCFS. Es decir, desde el punto de vista estadstico, y para la variable de salida
de precisin global, estos cuatro tipos de filtros son equivalentes o de forma similar,
tienen el mismo comportamiento.
De forma grfica, esta tabla de rangos mltiples se puede visualizar de la forma:
113

Medias y 95,0% de Fisher LSD

96

AcGlobal

94

92

90

88
all

fc45

fcfs
Filtro

fcns

fnb

Continuando, analizamos el estudio del factor Discr, siendo la tabla de rangos


mltiples la siguiente:

Mtodo: 95,0 porcentaje LSD


Discr

Casos

Media LS

Sigma LS

Grupos Homogneos

Fay

45

89,7642

0,568391

30

93,2317

0,75191

Fre

45

93,7258

0,568391

Contraste

Sig.

Diferencia

+/- Lmites

0 - fay

3,46744

1,86894

-0,494111

1,86894

-3,96156

1,59384

0 - fre
fay - fre

* indica una diferencia significativa.

En este caso, para la variable Discretizacin, existen dos grupos homogneos,


entre los que no existe interseccin entre ellos. El primer grupo lo compone el tipo de
discretizacin denominada: FAY, mtodo supervisado de Fayyad & Irani que tiene,
desde el punto de vista estadstico, el peor comportamiento. El segundo grupo lo
compone los mtodos denominados: 0 -no se utiliza discretizacin- y FRE discretizacin no supervisada de Intervalos de igual frecuencia- donde el mtodo FRE
es el que mejor valor en media tiene en la precisin de la clasificacin.
De forma grfica, esta tabla de rangos mltiples se puede visualizar de la forma:

114

Medias y 95,0% de Fisher LSD

96

AcGlobal

94

92

90

88
0

fay
Discr

fre

Finalmente, realizamos el test de rangos mltiples para el factor tipo de


Algoritmo, obteniendo:
Mtodo: 95,0 porcentaje LSD
ALG

Casos

Media LS

Sigma LS

Grupos Homogneos

Markov15

10

85,1596

1,23878

Markov25

10

86,2586

1,23878

Markov11

10

86,3876

1,23878

SmoPoly

15

93,2673

0,984482

Furia

15

93,9353

0,984482

TAN

15

94,5847

0,984482

C4,5

15

95,062

0,984482

XX

RandomForest

15

97,748

0,984482

KNN-1

15

97,762

0,984482

Como se puede ver en esta tabla, existen tres grupos diferentes en los que se
pueden agrupar los algoritmos utilizados, mencionando que no existen diferencias
estadsticamente significativas entre aquellos niveles que compartan una misma
columna de X's.
En el primer grupo comentar que estaran las diferentes variantes de Modelos de
Markov: MARKOV15, MARKOV25 y MARKOV11, siendo este grupo el que peor
resultados obtiene. Existe un segundo grupo con los algoritmos: SMO-Poly, FURIA,
TAN y C4.5. Y finalmente existe el grupo tercero, con interseccin con el segundo con
115

el algoritmo C4.5, que estara formado por los mtodos: C4.5, RANDOM FOREST y
KNN-1. Como conclusin importante, indicar que este grupo es el que mejor resultados
obtiene, siendo el KNN-1 el mejor algoritmo.
De forma detallada, podemos ver entre que diferentes tipos de algoritmos existen
diferencias que pueden ser consideradas estadsticamente significativas, y que por tanto
son marcadas con un asterisco en la siguiente tabla:

Contraste

Sig.

Diferencia

+/- Lmites

C4,5 - Furia

1,12667

2,76061

C4,5 - KNN-1

-2,7

2,76061

C4,5 - Markov11

8,67444

3,13748

C4,5 - Markov15

9,90244

3,13748

C4,5 - Markov25

8,80344

3,13748

C4,5 - RandomForest

-2,686

2,76061

C4,5 - SmoPoly

1,79467

2,76061

C4,5 - TAN

0,477333

2,76061

Furia - KNN-1

-3,82667

2,76061

Furia - Markov11

7,54778

3,13748

Furia - Markov15

8,77578

3,13748

Furia - Markov25

7,67678

3,13748

Furia - RandomForest

-3,81267

2,76061

Furia - SmoPoly

0,668

2,76061

Furia - TAN

-0,649333

2,76061

KNN-1 - Markov11

11,3744

3,13748

KNN-1 - Markov15

12,6024

3,13748

KNN-1 - Markov25

11,5034

3,13748

0,014

2,76061

KNN-1 - RandomForest
KNN-1 - SmoPoly

4,49467

2,76061

KNN-1 - TAN

3,17733

2,76061

Markov11 - Markov15

1,228

3,38105

Markov11 - Markov25

0,129

3,38105

Markov11 - RandomForest

-11,3604

3,13748

Markov11 - SmoPoly

-6,87978

3,13748

Markov11 - TAN

-8,19711

3,13748

-1,099

3,38105

Markov15 - Markov25
Markov15 - RandomForest

-12,5884

3,13748

Markov15 - SmoPoly

-8,10778

3,13748

Markov15 - TAN

-9,42511

3,13748

Markov25 - RandomForest

-11,4894

3,13748

Markov25 - SmoPoly

-7,00878

3,13748

116

Markov25 - TAN

-8,32611

3,13748

RandomForest - SmoPoly

4,48067

2,76061

RandomForest - TAN

3,16333

2,76061

-1,31733

2,76061

SmoPoly - TAN

* indica una diferencia significativa.


Esta tabla aplica un procedimiento de comparacin mltiple para determinar
cules medias son significativamente diferentes de otras. La mitad inferior de la salida
muestra las diferencias estimadas entre cada par de medias.

El asterisco que se

encuentra al lado de los 24 pares indica que estos pares muestran diferencias
estadsticamente significativas con un nivel del 95,0% de confianza.
Podemos ver esta informacin de forma grfica en la siguiente figura, donde se
indican cada uno de los mtodos en el eje X:

Medias y 95,0% de Fisher LSD

101
98

AcGlobal

95
92
89
86

TAN

SmoPoly

RandomForest

ALG

Markov25

Markov15

Markov11

KNN-1

Furia

C4,5

83

6.2.2 Anlisis estadstico del tiempo de computacin con dos categoras en


la variable de salida
En esta ocasin, el tiempo de computacin del sistema en la clasificacin de
intrusos va a ser la variable estudiada, que vamos a denominar como variable
dependiente: TiemTr, siendo nuestros tres factores o efectos principales:
1. Tipo de Filtro (Seleccin de Atributos )
2. Tipo de Discretizacin (Discr)
117

3. Tipo de Algoritmo (ALG)

En primer lugar, se va a realizar el estudio de la tabla ANOVA. Este


procedimiento ejecuta un anlisis de varianza de varios factores para TiemTr.
Anlisis de Varianza para TiemTr - Suma de Cuadrados Tipo III
Fuente

Suma de Cuadrados

Gl

Cuadrado Medio

Razn-F

Valor-P

A:Filtro

543,456

135,864

5,89

0,0003

B:Discr

341,417

170,709

7,40

0,0010

C:ALG

4707,52

588,44

25,52

0,0000

RESIDUOS

2421,21

105

23,0591

TOTAL (CORREGIDO)

8571,13

119

EFECTOS PRINCIPALES

Todas las razones-F se basan en el cuadrado medio del error residual


La tabla ANOVA descompone la variabilidad de TiemTr en contribuciones
debidas a varios factores. Puesto que se ha escogido la suma de cuadrados Tipo III (por
omisin), la contribucin de cada factor se mide eliminando los efectos de los dems
factores. Los valores-P prueban la significancia estadstica de cada uno de los factores.
Puesto que 3 valores-P son menores que 0,05, estos factores tienen un efecto
estadsticamente significativo sobre el tiempo de computacin (TiemTr) con un 95,0%
de nivel de confianza.
Por tanto, como primera conclusin, se puede decir que los tres efectos
principales tienen una repercusin relevante sobre la precisin global del sistema de
clasificacin de deteccin de intrusos. Aunque los tres valores de Valor-P son menores
que 0.05, lo que ahora es interesante de analizar, es si existen diferentes valores de
Filtro, o de Discretizacin o de Algoritmo, que se comporten de forma similar, y por lo
tanto, intentar obtener grupos homogneos o heterogneos de estos tres efectos o
factores. Como conclusin global los tres factores (los niveles que se seleccionen para
los mismos) influyen significativamente en el tiempo de computacin. Para realizar un
anlisis ms detallado, vamos a proceder a realizar la prueba de mltiples rangos.
Recordemos, como se explic para el caso de AcGlobal que con la realizacin
de estas tablas de mltiples rangos, se realizan comparaciones mltiples para determinar
cules medias son significativamente diferentes de otras. Las que sean homogneas o
similares desde el punto de vista estadstico, tienen una X en la misma columna, y por
118

tanto se pueden considerar como un grupo homogneo. Si existen X en diversas


columnas, significa que existen ms de un grupo. Esto conlleva a que por tanto este
factor sea estadsticamente significativo, al igual que se ha realizado en la seccin
anterior.
6.2.2.1

Estudio de tablas de mltiple rangos para tiempo computacional

Comenzamos estudiando el factor Filtro, siendo la tabla de rangos mltiples:


Mtodo: 95,0 porcentaje LSD
Filtro

Casos

Media LS

Sigma LS

Grupos Homogneos

fcfs

24

3,37111

0,991034

fnb

24

3,70986

0,991034

XX

fcns

24

4,34236

0,991034

XX

fc45

24

6,22028

0,991034

All

24

9,12694

0,991034

Contraste

Sig.

Diferencia

+/- Lmites

all - fc45

2,90667

2,74862

all - fcfs

5,75583

2,74862

all - fcns

4,78458

2,74862

all - fnb

5,41708

2,74862

fc45 - fcfs

2,84917

2,74862

fc45 - fcns

1,87792

2,74862

fc45 - fnb

2,51042

2,74862

fcfs - fcns

-0,97125

2,74862

fcfs - fnb

-0,33875

2,74862

fcns - fnb

0,6325

2,74862

* indica una diferencia significativa.


Como se puede apreciar, existen tres grupos de filtros desde el punto de vista
estadstico, con interseccin entre los mismos. El primer grupo lo constituyen los filtros
denominados: FCFS, FNB y FCNS. El segundo grupo lo constituyen los filtros: FNB,
FCNS y FC4.5. Y finalmente, el ltimo grupo lo compone el filtro denominado: ALL.
Se puede ver como el primer grupo, el compuesto por FCFS, FNB y FCNS, es el
que estadsticamente tiene en media un menor tiempo de computacin en las pruebas
experimentales realizadas. Por el contrario, el grupo tercero, compuesto por el filtro con
119

nombre ALL- recordemos que en este caso no se aplica seleccin de atributos-, es el que
requiere un mayor tiempo de computacin. Como conclusin la seleccin de atributos
en mejora bastante el tiempo de construccin del modelo. De forma grfica obtenemos
la siguiente informacin sobre las medias y desviaciones del tipo de filtro:

Medias y 95,0% de Fisher LSD

12
10

TiemTr

8
6
4
2
0
all

fc45

fcfs
Filtro

fcns

fnb

Se realiza ahora el test de rangos mltiples para el factor tipo de algoritmo,


obteniendo los resultados:

Mtodo: 95,0 porcentaje LSD


ALG

Casos

Media LS

Sigma LS

Grupos Homogneos

KNN-1

15

1,23987

C4,5

15

0,042

1,23987

RandomForest

15

0,0686667

1,23987

TAN

15

0,0933333

1,23987

SmoPoly

15

0,586

1,23987

Furia

15

0,746

1,23987

Markov11

10

14,7087

1,56013

Markov15

10

15,2387

1,56013

Markov25

10

16,7037

1,56013

Se pueden apreciar dos grupos homogneos sin interseccin entre ambos. El


primer grupo lo componen los algoritmos: KNN-1, C4.5, RANDOM FOREST, TAN,
120

SmoPoly y FURIA. El segundo grupo lo componen los algoritmos: MARKOV11,


MARKOV15 y MARKOV25. Indicar, que este ltimo grupo es el que requiere mayor
tiempo de computacin, puesto que para los modelos de Markov se debe construir un
modelo para cada categora. De forma grfica, la siguiente figura muestra esta
informacin:

Medias y 95,0% de Fisher LSD

22
18

TiemTr

14
10
6
2

TAN

SmoPoly

RandomForest

ALG

Markov25

Markov15

Markov11

KNN-1

Furia

C4,5

-2

Finalmente, para el factor tipo de discretizacin, los resultados obtenidos para la


tabla de rangos mltiples se presentan a continuacin:
Mtodo: 95,0 porcentaje LSD
Discr

Casos

Media LS

Sigma LS

Grupos Homogneos

fay

45

3,36756

0,715839

30

5,43344

0,946966

XX

fre

45

7,26133

0,715839

Contraste

Diferencia

+/- Lmites

0 fay

2,06589

2,35377

0 fre

-1,82789

2,35377

-3,89378

2,00731

fay fre

Sig.

* indica una diferencia significativa.


Existen dos grupos homogneos, con interseccin entre los mismos. El primer grupo
est formado por los tipos de discretizacin: FAY Fayyad & Irani- y 0 -no se aplica
discretizacin-. El segundo grupo lo forma: 0 y FRE intervalos de igual frecuencia-. El
121

primer grupo es el que estadsticamente tiene un menor tiempo de computacin, siendo


la discretizacin FAY la que tiene menor valor en esta variable, con una media de 3.36.
Por el contrario, el mtodo FRE es el que requiere mayor tiempo, con un valor de 7.26.

Medias y 95,0% de Fisher LSD

8,3
7,3

TiemTr

6,3
5,3
4,3
3,3
2,3
0

6.3

fay
Discr

fre

Experimentos donde existen cinco categoras en la variable


de clasificacin.
Para este apartado se seguir la misma metodologa, que la utilizada en la

seccin anterior. No obstante, hay que destacar que en este caso la variable de salida
para la clasificacin es ms especfica, puesto que los ataques son clasificados en cinco
clases diferentes. Adems, se han considerado un nmero mayor de variantes para los
tipos de algoritmos.
6.3.1 Anlisis estadstico del error global con cinco categoras en la

variable de salida
Vamos a comenzar analizando el error global del sistema en la clasificacin de
intrusos, que vamos a denominar como variable dependiente: AcGlobal, siendo nuestros
tres factores o efectos principales:
1. Tipo de Seleccin de atributos (Filtro)
2. Tipo de Discretizacin (Discr)
122

3. Tipo de Algoritmo (ALG)

Vamos a comenzar como en la seccin anterior, realizando el estudio ANOVA.


Este procedimiento ejecuta un anlisis de varianza de varios factores para AcGlobal.
Realiza varias pruebas y grficas para determinar qu factores tienen un efecto
estadsticamente significativo sobre AcGlobal. Tambin evala la significancia de las
interacciones entre los factores, si es que hay suficientes datos. Las pruebas-F en la
tabla ANOVA le permitirn identificar los factores significativos.
Anlisis de Varianza para AcGlobal - Suma de Cuadrados Tipo III
Fuente

Suma de Cuadrados

Gl

Cuadrado Medio

Razn-F

Valor-P

A:Filtro

827,943

206,986

2,46

0,0458

B:Discr

5438,28

2719,14

32,29

0,0000

C:ALG

41924,9

21

1996,42

23,71

0,0000

RESIDUOS

24166,6

287

84,2041

TOTAL (CORREGIDO)

71471,6

314

EFECTOS PRINCIPALES

Todas las razones-F se basan en el cuadrado medio del error residual

La tabla ANOVA descompone la variabilidad de AcGlobal en contribuciones


debidas a varios factores. Puesto que se ha escogido la suma de cuadrados Tipo III (por
omisin), la contribucin de cada factor se mide eliminando los efectos de los dems
factores. Los valores-P prueban la significancia estadstica de cada uno de los factores.
Puesto que 3 valores-P son menores que 0,05, estos factores tienen un efecto
estadsticamente significativo sobre AcGlobal con un 95,0% de nivel de confianza. Por
tanto, todos los factores son significativos y ahora es necesario analizar la tabla de
rangos mltiples para cada uno de los efectos principales.

6.3.1.1

Estudio de tablas de mltiple rangos para ACGlobal

Comenzamos estudiando el factor Algoritmo, siendo la tabla de rangos mltiples la


siguiente:

123

Mtodo: 95,0 porcentaje LSD


ALG

Casos

Media LS

Sigma LS

Grupos Homogneos

C-SVCSigmoide

15

50,098

2,3693

Clonalg

15

68,0393

2,3693

Genetico

15

74,6613

2,3693

Markov15

10

80,5217

2,92714

XX

Markov11

10

81,9587

2,92714

XXX

Markov25

10

81,9747

2,92714

XXX

NaiveBayes

15

84,396

2,3693

C-SVCRBF

15

87,9347

2,3693

XXX

PML

15

88,1327

2,3693

XXX

SOMPoly

15

90,9393

2,3693

RBFNet5

15

91,1013

2,3693

XXX

Furia

15

91,116

2,3693

XXX

SOMRBF

15

92,6387

2,3693

XXXX

TAN

15

94,0107

2,3693

XXXX

KNN-50

15

94,504

2,3693

XXXX

PART

15

95,0313

2,3693

XXX

KNN-1

15

95,468

2,3693

XXX

RiPPER

15

96,656

2,3693

XXX

NBTree

15

97,2973

2,3693

XXX

C4.5

15

97,466

2,3693

XXX

SimpleCart

15

97,6873

2,3693

XX

RandomForest

15

98,4707

2,3693

XXX

XXX

Como se puede ver en esta tabla, existes diez grupos diferentes en los que se
pueden agrupar los algoritmos utilizados, mencionando que no existen diferencias
estadsticamente significativas entre aquellos niveles que compartan una misma
columna de X's. Como algunos mtodos pertenecen a ms de un grupo, existe por tanto
interseccin entre los mismos.
En el primer grupo comentar que estara el mtodo: C-SVCSigmoide SVM con
kernel sigmoideo- . En el grupo segundo el mtodo: Clonalg Algoritmo Inmune
Artificial-. En el tercer grupo
MARKOV15, MaARKOV25

las diferentes variantes de Modelos de Markov:


y MARKOV11, junto con el gentico.

De forma

sucesiva se pueden mencionar los restantes grupos, hasta llegar al ltimo que tendra los
algoritmos: SOMRBF, TAN, KNN-50, PART, KNN-1, RIPPER, NBTREE, C4.5,
CART, RANDOM FOREST, siendo este grupo el que mejor resultados obtiene. Como

124

conclusin importante, indicar que este grupo es el que mejor resultados obtiene, siendo
el RANDOM FOREST el mejor algoritmo.

Medias y 95,0% de Fisher LSD

106
96

AcGlobal

86
76
66
56

C-SVCRBF
C-SVCSigmoide
C4,5
Clonalg
Furia
Genetico
KNN-1
KNN-50
Markov11
Markov15
Markov25
NBTree
NaiveBayes
PART
PML
RBFNet5
RandomForest
RiPPER
SOMPoly
SOMRBF
SimpleCart
TAN

46
ALG

Continuamos el anlisis con tipo de Filtro para la variable precisin, obteniendo la


siguiente tabla de rangos mltiples:

Mtodo: 95,0 porcentaje LSD


Filtro

Casos

Media LS

Sigma LS

Grupos Homogneos

Fnb

63

84,9926

1,15955

All

63

86,7761

1,15955

XX

fc45

63

88,6405

1,15955

Fcns

63

89,0375

1,15955

Fcfs

63

89,2132

1,15955

Por tanto hay dos grupos: un primer grupo que tendra al tipo de filtro FNB y ALL, que
sera el que peor valor de precisin obtendra, ya que la media de FNB es de 84,9 % de
clasificacin, y un segundo grupo homogneo, donde tendra los restantes tipos de

125

filtros: ALL, FC45, FCNS, FCFS. Es decir, desde el punto de vista estadstico, y para la
variable de salida de precisin global, estos cuatro tipos de filtros son equivalentes o de
forma similar, tienen el mismo comportamiento, y el que tiene mejor resultado de
clasificacin es FCFS. Estos resultados de forma grfica se presentan a continuacin:

Medias y 95,0% de Fisher LSD

91

AcGlobal

89

87

85

83
all

fc45

fcfs
Filtro

fcns

fnb

Para la variable tipo de discretizacin, se obtienen los siguientes resultados:


Mtodo: 95,0 porcentaje LSD
Discr

Casos

Media LS

Sigma LS

Grupos Homogneos

95

81,5833

0,973033

Fre

110

90,3253

0,874924

Fay

110

91,2874

0,874924

Contraste

Sig.

Diferencia

+/- Lmites

0 - fay

-9,70405

2,57556

0 - fre

-8,74195

2,57556

0,962091

2,4354

fay - fre

* indica una diferencia significativa.

Como se ha indicado, esta tabla aplica un procedimiento de comparacin


mltiple para determinar cules medias son significativamente diferentes de otras. La
mitad inferior de la salida muestra las diferencias estimadas entre cada par de medias.
126

El asterisco que se encuentra al lado de los 2 pares indica que estos pares
muestran diferencias estadsticamente significativas con un nivel del 95,0% de
confianza. En la parte superior de la pgina, se han identificado 2 grupos homogneos
segn la alineacin de las X's en columnas. No existen diferencias estadsticamente
significativas entre aquellos niveles que compartan una misma columna de X's. El
mtodo empleado actualmente para discriminar entre las medias es el procedimiento de
diferencia mnima significativa (LSD) de Fisher. Con este mtodo hay un riesgo del
5,0% al decir que cada par de medias es significativamente diferente, cuando la
diferencia real es igual a 0.
Observando la tabla de rangos se ver claramente la existencia de dos grupos: el
primero lo forma el tipo de discretizacin 0 ninguna discretizacin aplicada-, y el
segundo grupo lo forman el tipo de discretizacin: FRE -igual intervalo de frecuenciasy FAY Fayyad & Irani-. Este grupo es el que mejores prestaciones obtiene, siendo
FAY, discretizacin supervisada basada en entropa, el mejor tipo de discretizacin.

Medias y 95,0% de Fisher LSD

95

AcGlobal

92

89
86

83
80
0

fay
Discr

fre

127

6.3.2 Anlisis estadstico del tiempo de computacin con cinco categoras

en la variable de salida
El tiempo de computacin del sistema en la clasificacin de intrusos va a ser la
variable estudiada, que vamos a denominar como variable dependiente: TiemTr, siendo
nuestros tres factores o efectos principales:
1.

Tipo de Seleccin de atributos (Filtro)

2.

Tipo de Discretizacin (Discr)

3.

Tipo de Algoritmo (ALG)

Como se viene haciendo en primer lugar, se va a realizar el estudio de la tabla


ANOVA. Este procedimiento ejecuta un anlisis de varianza de varios factores para
TiemTr. Indicar que en este experimento, el nmero de casos completos o diferentes
combinaciones estudiadas fue de 315 casos.

Anlisis de Varianza para TimeTr - Suma de Cuadrados Tipo III


Fuente

Suma de Cuadrados

Gl

Cuadrado Medio

Razn-F

Valor-P

A:Filtro

2,23405E8

5,58512E7

1,33

0,2586

B:Discr

1,92204E8

9,61022E7

2,29

0,1031

C:ALG

5,59739E9

21

2,66543E8

6,35

0,0000

RESIDUOS

1,20455E10

287

4,19703E7

TOTAL (CORREGIDO)

1,80374E10

314

EFECTOS PRINCIPALES

Todas las razones-F se basan en el cuadrado medio del error residual


Los resultados de esta tabla ANOVA indican claramente como el tipo de Filtro y el tipo
de Discretizacin tienen un efecto muy pequeo y por tanto, no estadsticamente
significativo sobre el tiempo requerido de computacin. Sin embargo, el tipo de
Algoritmo si es relevante, teniendo un valor de VALOR-P inferior a 0.05.

6.3.2.1

Estudio de tablas de mltiple rangos para tiempo computacional

Comenzamos estudiando el factor Algoritmo, siendo la tabla de rangos mltiples

128

Mtodo: 95,0 porcentaje LSD


ALG

Casos

Media LS

Sigma LS

Grupos Homogneos

Markov11

10

-78,6079

2066,56

Markov15

10

-73,1929

2066,56

Markov25

10

-62,6419

2066,56

KNN-1

15

1672,73

KNN-50

15

1672,73

NaiveBayes

15

0,139333

1672,73

RandomForest

15

1,28076

1672,73

C4.5

15

1,424

1672,73

TAN

15

1,56267

1672,73

PART

15

4,37667

1672,73

Clonalg

15

6,93467

1672,73

NBTree

15

36,1947

1672,73

RiPPER

15

37,6733

1672,73

Genetico

15

60,98

1672,73

SimpleCart

15

104,928

1672,73

C-SVCSigmoide

15

143,942

1672,73

RBFNet5

15

147,378

1672,73

C-SVCRBF

15

161,329

1672,73

Furia

15

265,101

1672,73

SOMPoly

15

316,344

1672,73

SOMRBF

15

1272,4

1672,73

PML

15

19876,5

1672,73

Como se puede ver, existen dos grupos homogneos. Un primer grupo donde
estn todos los algoritmos analizados, salvo el algoritmo PML-PERCEPTRN
MULTICAPA-. Un segundo grupo donde est por tanto PML, que es un algoritmo que
requiere mucho ms tiempo de computacin que los restantes. Si se visualiza de forma
grfica esta informacin, se puede ver claramente que PML es muy superior en tiempo
de computacin:

129

Medias y 95,0% de Fisher LSD


(X 1000,0)
27
22

TimeTr

17
12
7
2

C-SVCRBF
C-SVCSigmoide
C4,5
Clonalg
Furia
Genetico
KNN-1
KNN-50
Markov11
Markov15
Markov25
NBTree
NaiveBayes
PART
PML
RBFNet5
RandomForest
RiPPER
SOMPoly
SOMRBF
SimpleCart
TAN

-3
ALG

A continuacin se presentan las pruebas de Mltiple Rangos para TimeTr para la


variable Filtro:

Mtodo: 95,0 porcentaje LSD


Filtro

Casos

Media LS

Sigma LS

Grupos Homogneos

fnb

63

188,934

818,645

fcfs

63

341,891

818,645

XX

fcns

63

900,384

818,645

XX

fc45

63

1056,84

818,645

XX

all

63

2562,86

818,645

130

Contraste

Sig.

Diferencia

+/- Lmites

all - fc45

1506,02

2271,96

all - fcfs

2220,97

2271,96

all - fcns

1662,48

2271,96

2373,93

2271,96

fc45 - fcfs

714,948

2271,96

fc45 - fcns

156,456

2271,96

fc45 - fnb

867,906

2271,96

fcfs - fcns

-558,492

2271,96

fcfs - fnb

152,957

2271,96

fcns - fnb

711,45

2271,96

all - fnb

* indica una diferencia significativa.


Existen dos grupos con interseccin. El primer grupo est constituido por FNB, FCFS,
FCNS, FC4.5. Este primer grupo es el que requiere menor tiempo de computacin. El
segundo grupo est formado por: FCFS, FCNS, FC4.5 y ALL. La seleccin de atributos
de tipo wrapper FNB es la que menor tiempo consume.

Medias y 95,0% de Fisher LSD


(X 1000,0)
4

TimeTr

2
1

0
-1
all

fc45

fcfs
Filtro

fcns

fnb

Finalmente, se realiza las pruebas de Mltiple Rangos para TimeTr para la variable
Discr.

131

Mtodo: 95,0 porcentaje LSD


Discr

Casos

Media LS

Sigma LS

Grupos Homogneos

95

203,356

686,961

Fay

110

741,281

617,696

XX

Fre

110

2085,91

617,696

Diferencia

+/- Lmites

-537,924

1818,35

-1882,55

1818,35

-1344,63

1719,39

Contraste

Sig.

0 - fay
0 - fre

fay - fre

* indica una diferencia significativa.


En este caso cabe decir que la discretizacin no ha mejorado mucho el tiempo de
construccin de los modelos. Pero comparando la discretizacin de tipo Fayyad FAYy la de igual intervalos de Frecuencia s cabe mencionar que existe una diferencia
bastante considerable siendo la discretizacin de tipo Fayyad la que menor tiempo
consume.

Medias y 95,0% de Fisher LSD

3200

TimeTr

2200

1200

200

-800
0

fay
Discr

fre

132

6.4

Experimentos donde existen veinte categoras en la variable


de saluda de clasificacin. Estudio a nivel de ataque .
En este apartado, hay que destacar que en este caso la variable de salida para la

clasificacin es ms especfica, puesto que los ataques son clasificados en 20 clases


diferentes. Adems, se han considerado el mismo nmero de variantes para los tipos de
algoritmos que el utilizado en el primer caso de estudio a nivel de 2 categoras.

6.4.1 Anlisis Estadstico del error global con 20 categoras en la variable


de salida
Vamos a comenzar analizando el error global del sistema en la clasificacin de
intrusos, que vamos a denominar como variable dependiente: AcGlobal, siendo nuestros
tres factores o efectos principales:

Tipo de Seleccin de atributos (Filtro)

Tipo de Discretizacin (Discr)

Tipo de Algoritmo (ALG)

Como en secciones anteriores se ha realizado el estudio ANOVA para el anlisis


de varianza de varios factores para AcGlobal.
Anlisis de Varianza para AcGlobal - Suma de Cuadrados Tipo III
Fuente

Suma de Cuadrados

Gl

Cuadrado Medio

Razn-F

Valor-P

A:Filtro

5762,03

1440,51

144,66

0,0000

B:Discr

70,6078

35,3039

3,55

0,0324

C:ALG

782,157

97,7696

9,82

0,0000

RESIDUOS

1045,6

105

9,95809

TOTAL (CORREGIDO)

7697,12

119

EFECTOS PRINCIPALES

Todas las razones-F se basan en el cuadrado medio del error residual


Los valores-P prueban la significancia estadstica de cada uno de los factores.
Puesto que 3 valores-P son menores que 0,05, estos factores tienen un efecto
estadsticamente significativo sobre AcGlobal con un 95,0% de nivel de confianza.

133

Como en casos anteriores, aqu no podemos apreciar si hay diferentes grupo


homogneos o heterogneos con interseccin vaca o no entre los diferentes niveles.
Para ello se hace un anlisis de tablas de rangos mltiples.

6.4.1.1

Estudio de tablas de mltiple rangos para ACGlobal

Comenzamos estudiando el factor FILTRO, siendo la tabla de rangos mltiples


la siguiente:
Mtodo: 95,0 porcentaje LSD
Filtro

Casos

Media LS

Sigma LS

Grupos Homogneos

fnb

24

77,1701

0,651261

fc45

24

93,7005

0,651261

fcns

24

93,8689

0,651261

fcfs

24

94,6139

0,651261

all

24

95,4989

0,651261

Existen dos grupos, el primero es FNB, y el Segundo contiene todos las restantes
formas de filtro: FC45, FCNS, FCFS y ALL. El segundo grupo es el que mejores
resultados obtiene, siendo ALL en concreto el que tiene un valor en media de
clasificacin superior al resto, con el 95.49%.

134

Medias y 95,0% de Fisher LSD

100
96

AcGlobal

92
88
84
80
76
all

fc45

fcfs fcns
Filtro

fnb

Continuamos con el estudio de tipo de Discretizacin:


Mtodo: 95,0 porcentaje LSD
Discr

Casos

Media LS

Sigma LS

Grupos Homogneos

fay

45

90,1764

0,470416

30

90,8029

0,622301

XX

fre

45

91,932

0,470416

Contraste

Diferencia

+/- Lmites

0 fay

0,626444

1,54679

0 fre

-1,12911

1,54679

fay - fre

Sig.

-1,75556

1,31911

* indica una diferencia significativa.


Para discretizacin se obtienen dos grupos: el primero formado por FAY mtodo de
Fayyad & Irani- y 0 -no se ha aplicado discretizacin- . El segundo grupo formado por 0
y FRE mtodo no supervisado de intervalos de igual frecuencia-. El segundo grupo
obtiene los mejores resultados de clasificacin, y concretamente FRE obtiene un
91.932%.

135

Finalmente se realiza el estudio para tipo de Algoritmo, obteniendo los siguientes


resultados:
Mtodo: 95,0 porcentaje LSD
ALG

Casos

Media LS

Sigma LS

Grupos Homogneos

Markov11

10

87,3862

1,02525

Markov15

10

87,5752

1,02525

XX

Markov25

10

88,6452

1,02525

XXX

SmoPoly

15

90,16

0,814784

XXX

Furia

15

90,8333

0,814784

XX

C4,5

15

91,7927

0,814784

TAN

15

92,1447

0,814784

RandomForest

15

94,7173

0,814784

KNN-1

15

95,4793

0,814784

Existen cinco grupos, siendo el primero compuesto por las diferentes variantes
de MARKOV: MARKOV11, MARKOV15 y MARKOV25. Este grupo primero es el
que peores prestaciones presenta en cuanto al porcentaje global de clasificacin
obtenido. El segundo grupo MARKOV15, MARKOV25 y SMOPOLY, y as
sucesivamente hasta el ltimo grupo, que lo forma: RANDOM FOREST y KNN-1. Este
grupo es el que tiene mejores prestaciones en cuanto al error, y en concreto, KNN-1
obtiene unos resultados del orden del 95.47%.

Medias y 95,0% de Fisher LSD

97
95

91
89
87

TAN

SmoPoly

RandomForest

ALG

Markov25

Markov15

Markov11

KNN-1

Furia

85
C4,5

AcGlobal

93

136

6.4.2 Anlisis estadstico del tiempo de computacin con 20 categoras en


la variable de salida.
Vamos a comenzar analizando el tiempo de computacin del sistema en la
clasificacin de intrusos, que vamos a denominar como variable dependiente: TimeTr,
siendo nuestros tres factores o efectos principales:

Tipo de seleccin de caractersticas (Filtro)

Tipo de Discretizacin (Discr)

Tipo de Algoritmo (ALG)

La siguiente tabla muestra el estudio ANOVA para Timetr:


Anlisis de Varianza para TimeTr - Suma de Cuadrados Tipo III
Fuente

Suma de Cuadrados

Gl

Cuadrado Medio

Razn-F

Valor-P

A:Filtro

578,028

144,507

5,28

0,0007

B:Discr

572,148

286,074

10,45

0,0001

C:ALG

5515,66

689,457

25,18

0,0000

RESIDUOS

2874,8

105

27,379

TOTAL (CORREGIDO)

10201,9

119

EFECTOS PRINCIPALES

Todas las razones-F se basan en el cuadrado medio del error residual

6.4.2.1

Estudio de tablas de mltiple rangos para tiempo computacional

Pruebas de Mltiple Rangos para TimeTr por ALG

Mtodo: 95,0 porcentaje LSD


ALG

Casos

Media LS

Sigma LS

Grupos Homogneos

KNN-1

15

1,35102

C4,5

15

0,034

1,35102

RandomForest

15

0,107333

1,35102

TAN

15

0,250667

1,35102

Furia

15

1,08133

1,35102

SmoPoly

15

1,30467

1,35102

Markov11

10

16,2097

1,7

Markov15

10

16,5327

1,7

Markov25

10

18,2457

1,7

137

En la tabla se puede observar la existencia de dos grupos claramente diferenciados, se


puede deducir que el algoritmo que menos tiempo consume es el KNN-1, seguido de
rboles de decisin C4.5 y Random Forest y el que ms consume son los modelos
ocultos de Markov, ms precisamente el que utiliza 25 estados. Grficamente:

Medias y 95,0% de Fisher LSD

22
18

TimeTr

14
10
6
2

TAN

SmoPoly

RandomForest

ALG

Markov25

Markov15

Markov11

KNN-1

Furia

C4,5

-2

Pruebas de Mltiple Rangos para TimeTr por Filtro


Mtodo: 95,0 porcentaje LSD
Filtro

Casos

Media LS

Sigma LS

Grupos Homogneos

fcfs

24

4,02017

1,07988

fnb

24

4,1035

1,07988

fcns

24

5,02142

1,07988

fc45

24

6,87058

1,07988

XX

all

24

9,85433

1,07988

Diferencia

+/- Lmites

2,98375

2,99503

Contraste

Sig.

all - fc45
all fcfs

5,83417

2,99503

all fcns

4,83292

2,99503

138

all fnb

5,75083

2,99503

fc45 fcfs

2,85042

2,99503

fc45 - fcns

1,84917

2,99503

fc45 fnb

2,76708

2,99503

fcfs fcns

-1,00125

2,99503

fcfs fnb

-0,0833333

2,99503

fcns fnb

0,917917

2,99503

* indica una diferencia significativa.

Se deduce que la seleccin de atributos influye bastante en el tiempo de construccin


del modelo siendo la del tipo de filtro fcfs la que menor tiempo requiero y sin seleccin
de atributos all el clasificador requiere de ms tiempo. Grficamente:

Medias y 95,0% de Fisher LSD

12
10

TimeTr

8
6
4
2
0
all

fc45

fcfs fcns
Filtro

fnb

139

Pruebas de Mltiple Rangos para TimeTr por Discr


Mtodo: 95,0 porcentaje LSD
Discr

Casos

Media LS

Sigma LS

Grupos Homogneos

fay

45

3,42333

0,780014

30

6,03333

1,03186

fre

45

8,46533

0,780014

Contraste

Sig.

Diferencia

+/- Lmites

0 fay

2,61

2,56479

-2,432

2,56479

-5,042

2,18726

0 fre
fay fre

* indica una diferencia significativa.

Se deduce que el mtodo de Fayyad & Irani requiere de muy poco tiempo en
comparacin con el mtodo FRE intervalos de igual frecuencia- y 0 sin
discretizacin- . Resalta que sin discretizacin se tiene mejor tiempo que utilizando
mtodo de discretizacin no supervisado FRE.

140

Medias y 95,0% de Fisher LSD

10

TimeTr

6
4

2
0
0

6.5

fay
Discr

fre

Anlisis de hiptesis

Como se ha comentado anteriormente, las hiptesis de partida para realizar


correctamente el anlisis de la varianza son:
- aleatoriedad de las muestras
- independencia de las variables
- normalidad de las distribuciones
- homogeneidad de las varianzas
La falta de normalidad de los datos, es quizs la violacin de las hiptesis
anteriores que menos influencia tiene sobre el contraste y las conclusiones extradas del
anlisis sobre todo si los tamaos muestrales son suficientemente grandes, ya que las

141

medias siempre tendrn una distribucin prxima a la normal segn el Teorema Central
del Lmite.
Sin embargo, si las varianzas de todos los factores no son iguales entre s, dar
lugar a un aumento considerable del tamao de la regin crtica, con lo cual, el contraste
siempre tender a rechazar la hiptesis nula. Se pueden verificar las hiptesis del
modelo mediante un anlisis pormenorizado de los residuos. Estos residuos son las
cantidades que quedan despus de eliminar las contribuciones sistemticas del modelo
propuesto. Si las hiptesis relativas al modelo son ciertas, se espera encontrar, aparte las
restricciones impuestas por el anlisis mismo, que los residuos varen aleatoriamente.
Por el contrario, si se descubre que los residuos contienen tendencias sistemticas
inexplicables, hay que sospechar del modelo. Por lo tanto, debe construirse y analizarse
una tabla de los residuos como requisito imprescindible anterior a cualquier conclusin
estadstica.
Una forma para comprobar la suposicin de normalidad consiste en hacer un
histograma de los residuos. La suposicin de que los errores se distribuyen idntica e
independientemente como variables normales de media cero y varianza 2 se
simbolizar N(0, 2).

Desafortunadamente,

menudo ocurren fluctuaciones

considerables cuando el nmero de muestras es pequeo, por lo que una desviacin


moderada aparente de la normalidad no necesariamente implica una violacin seria a las
suposiciones.
Un procedimiento grfico para la verificacin de esta hiptesis consiste en la
construccin de una grfica de probabilidad normal de los residuos. Una grfica de este
tipo es la representacin de la distribucin acumulada de los residuos sobre papel de
probabilidad normal, es decir, es una grfica cuya escala de ordenadas es tal que la
distribucin normal acumulada sea una recta. Para construir una grfica de este tipo,
deben disponerse los residuos en orden ascendente. Si la distribucin de los errores es
normal, esta grfica parecer una lnea recta. Al visualizar dicha lnea hay que poner
mayor nfasis en los valores centrales de dicha grfica, que en los extremos.
Desviaciones grandes de la normalidad son potencialmente graves y requieren un
anlisis ms profundo.
Si el modelo es correcto y las suposiciones se satisfacen, los residuos no deben
seguir ningn patrn, ni deben estar relacionados con alguna otra variable, incluyendo
142

la respuesta. Una comprobacin sencilla para verificar la homocedasticidad, consiste en


representar los residuos frente los valores ajustados. En esta grfica no debe revelarse
ningn patrn obvio. Un defecto que en ocasiones revela la grfica es el de una varianza
variable. Algunas veces la varianza de las observaciones aumenta a medida que la
magnitud de las observaciones lo hace. Esto puede suceder cuando el error es
proporcional a la magnitud de la observacin (comnmente esto sucede en muchos
instrumentos de medicin, el error es proporcional a la escala de la lectura). Si la
suposicin de homocedasticidad no se cumple, el diseo est desbalanceado o si una
varianza es mucho mayor que las otras, el problema es mucho ms serio. La desigualdad
en las varianzas del error puede perturbar significativamente las inferencias obtenidas
sobre el anlisis estadstico.
Una forma de ver de forma grfica, aunque no precisa estas suposiciones es
mediante el anlisis de residuos:

Grfico de Residuos para accuracy

0,5

residuos

0,3

0,1

-0,1

-0,3

-0,5
0

400

800
1200
1600
nmero de fila

2000

2400

Con estos residuos, se puede afirmar que se puede aplicar ANOVA.

143

6.6

Conclusin
Del estudio ANOVA podemos deducir para cada caso, resultados que nos

permiten dar respuesta a las preguntas con las que abrimos esta tesis.
Sabemos que los sistemas de deteccin de intrusos que ms triunfan en el
mercado son los basados en uso indebido, los cuales necesitan contar con una base de
datos o catlogo de firmas o patrones de ataque para su actualizacin peridica y as
tener conocimiento de los nuevos ataques que se vayan desarrollando. Por otro lado los
sistemas basados en anomalas se reservan al mbito acadmico debido a que es una
tecnologa todava no tan madura y no cuenta con la confianza de los fabricantes. Pero
la gran ventaja con la que cuentan los sistemas basados en anomalas es que basndose
en tcnicas de inteligencia artificial como son las distintas tcnicas de aprendizaje, stos
pueden aprender el comportamiento normal del sistema y modelar as, un perfil del
mismo y toda desviacin de ese modelo o perfil se considerar una anomala o
intrusin. Estos sistemas no necesitan de mantenimiento en forma actualizaciones
peridicas sino slo de un buen aprendizaje.
Basndonos en el conjunto de datos NSL-KDD se han llevado a cabo 3 estudios
desde diferentes perspectivas sobre el mismo.
A todos los casos de estudio se les aplic discretizacin, puesto que en el mbito
acadmico muchos trabajos hablan de la discretizacin como una buena tcnica de
reduccin de datos y mejora el comportamiento de ciertos algoritmos, as como la
seleccin de atributos. En total se realizaron 555 ejecuciones distintas.
En los 3 casos el estudio estadstico nos muestra que, tanto el mtodo de
discretizacin utilizado (supervisado, no supervisado y sin discretizacin) as como el
mtodo de seleccin de atributos (filtro, wrapper, y sin utilizar seleccin de atributos) y
el algoritmo seleccionado, influyen en el error del clasificador y en el tiempo de
construccin del modelo. El estudio ANOVA basndose en los datos de las tablas del
apndice A ofrece en cada caso conclusiones globales acerca de en qu medida estos 3
factores influyen en el comportamiento del modelo y en sus posteriores resultados.
En el primer caso los distintos ataques del sistema se mapearon a un solo tipo
llamado ataque y en consecuencia el conjunto de datos se transform en uno que slo
cuenta con dos tipos de conexiones: ataque y normal. ANOVA revel que en el error
144

del clasificador, la discretizacin de tipo no supervisada FRE, intervalos de igual


frecuencia- mejora el acierto del sistema y el algoritmo del vecino ms cercano con K=1
(KNN-1) es el que mejor resultado obtiene, seguido de los rboles de decisin, en
concreto el RANDOM FOREST como se puede observar en las siguientes tablas:

KNN-1 caso Binario

Random Forest caso Binario

En cambio, la seleccin de atributos de tipo wrapper basada en naive bayes


empeora su comportamiento y la seleccin de atributos basada en filtro CFS lo mejora.
Pero si comparamos como influye CFS en el rendimiento del modelo en comparacin
145

con el caso de no uso de la seleccin de atributos, esta tcnica, CFS, tampoco ofrece una
mejora bastante patente. En este primer caso podemos afirmar que la seleccin de
atributos no aporta ninguna notable mejora en la tarea de clasificacin del modelo.
En cuanto al tiempo que se requiere para la construccin y entrenamiento o
aprendizaje del sistema, de nuevo la seleccin de caractersticas de tipo filtro CFS lo
reduce considerablemente, y el algoritmo del vecino ms cercano KNN-1 requiere de
mucho menos tiempo, puesto que recordemos KNN no construye ningn modelo
pertenece al paradigma perezoso, mientras que los modelos de MARKOV con distintos
estados son los que ms tiempo consumen, en concreto el HMM con 25 estados. Cabe
resaltar que en el caso de los modelos de MARKOV se construye un HMM por cada
categora y se mide el tiempo de entrenamiento que tardan ambos HMM en ser
entrenados. En cuanto al factor discretizacin cabe resalta que la discretizacin de tipo
supervisada de Fayyad & Irani es la que requiere de menos tiempo y hace que la
construccin y entrenamiento del modelo sea muy rpida.
En el segundo caso de estudio, el volumen de datos es mucho ms grande y el
sistema aprende a detectar entre ataques de 4 tipos distintos: Dos, Probe, R2L y U2R y
una situacin de actividad Normal, en total aprende a discernir entre 5 categoras. En
este caso se utilizaron ms tipos de algoritmos que en el primer y segundo caso con un
total de 315 ejecuciones. Esto es debido a que en la literatura el caso al que los
investigadores estudian ms es el de clasificar entre estas 5 categoras.
ANOVA mostr que en el error del clasificador, el algoritmo que mejor
comportamiento tiene es el RANDOM FOREST (bosque aleatorio, con un total de 10
rboles) y el de peor comportamiento es el algoritmo mquina de soporte vectorial con
un kernel sigmoide, como se puede observar en las siguientes imgenes:

146

Random Forest caso 5 categoras.

SVM Kernel Sigmoide caso 5 categoras.

La seleccin de atributos basada en filtro CFS ha sido la que mejor


comportamiento ofrece seguida por la CNS que tambin es de tipo filtro. Por tanto en
esta situacin cabe decir que la seleccin de atributos basada en filtro es mejor que la
basada en wrapper. Finalmente el mtodo de discretizacin basado en entropa Fayyad
& Irani, es el que mejor prestaciones ofrece seguido por la discretizacin no supervisada
de intervalos de igual frecuencia y por ltimo el no usar la discretizacin desmejora
considerablemente las prestaciones del sistema.
En lo referente a tiempo, el algoritmo que requiere de ms tiempo es la red
neuronal perceptrn multicapa. La aplicacin de la seleccin de caractersticas
disminuye considerablemente el tiempo para la construccin del modelo en
147

comparacin de su no uso, siendo la de tipo wrapper FNB basada en naive bayes la que
ms lo reduce seguida de la CFS. Sorprende que la discretizacin no reduzca el tiempo
de construccin del modelo, esta situacin se debe a que en los conjuntos discretizados
se han evaluado con modelos ocultos de MARKOV los cuales requieren de ms tiempo
de entrenamiento puesto que se ha medido el tiempo total de entrenamiento de 5
modelos correspondientes a las 5 categoras.
En el ltimo caso de estudio a nivel de deteccin de 19 ataques, y una situacin
normal, en total 20 categoras. ANOVA revel que en el acierto de clasificacin la
seleccin de atributos no mejora las prestaciones, y el que peor comportamiento tiene es
el FNB (wrapper basado en naive bayes) y el que mejor son los de tipo filtro, CFS
seguido de CNS. El vecino ms cercano KNN-1 es el que mejor prestaciones tiene
seguido muy de cerca por RANDOM FOREST, siendo los modelos de MARKOV los
peores.

KNN-1 20 categoras

Random Forest 20 categoras

148

La discretizacin de tipo no supervisada ha tenido mejores prestaciones, esto es


debido a que el sistema ha contado con ms datos para su entrenamiento que en la de
Fayyad & Irani. En lo referente a tiempo cabe resaltar que en cuanto a algoritmo KNN-1
es el que menos tiempo requiere seguido por el rbol de decisin C4.5 y los que ms
tiempo necesitan son los modelos de MARKOV-se ha medido el tiempo total de
entrenamiento de 20 HMM diferentes-. La seleccin de tipo CFS vuelve a ser la mejor
en cuanto a reduccin de tiempo y por ltimo en lo que a discretizacin se refiere
Fayyad es el que menos tiempo consume, seguido por el no uso de discretizacin y el
que ms tiempo necesita es la discretizacin supervisada.
Como conclusiones finales los algoritmos ms sencillos como son el vecino ms
cercano con k=1 y los rboles de decisin, especialmente RANDOM FOREST de
Breiman, bosque con 10 rboles utilizando 6 atributos en la seleccin aleatoria, han
dado muy buenos resultados frente al resto de algoritmos. Se trata de algoritmos
sencillos, rpidos y ofrecen muy buenos resultados con casi el 100% de acierto de
clasificacin.
La discretizacin basada en Fayyad & Irani da buenos resultados frente a la no
supervisada en grandes conjuntos de datos y ofrece mejores prestaciones en cuanto a
clasificacin y tiempo. La seleccin de atributos mejora el tiempo de entrenamiento del
sistema, siendo la de tipo filtro la que mejor resultados ofrece y es ms rpida que la de
tipo wrapper y consume menos tiempo de computacin a la hora ejecutarla para que nos
ofrezca atributos relevantes. Cabe decir que en el caso de los modelos de MARKOV, al
ser discretos slo se han evaluado en conjuntos discretizados y han ofrecido peores
prestaciones en tiempo debido a que durante la fase experimental el tiempo total es la
suma del tiempo de entrenamiento de cada modelo de MARKOV que se crea por
categora a clasificar. En cuanto al acierto de clasificacin los modelos de MARKOV
rondan una media de acierto de ms del 85%. Resalta que cuntos ms nmeros de
estados se ha utilizado peor ha sido la prestacin del modelo.
Por ltimo se ha demostrado que aunque la tecnologa de los sistemas de
intrusos basados en anomalas no cuenta con el apoyo de los fabricantes, sta es muy
potente y llega a tener resultados excelentes utilizando tcnicas de aprendizaje sencillas.
Si se apostase por ella, aunque ofrece tasas de falsos positivos pero hemos visto en
nuestro caso que pueden ser muy pequeas casi nulas debido al elevado porcentaje de
149

acierto global del clasificador, el sistema tiene la capacidad de aprender y mejorar en


muy poco tiempo, restando tiempo y posteriores tareas de mantenimiento peridico que
necesitan los sistemas basados en uso indebido, puesto que identifican patrones de
ataques y sus variantes que nunca han visto antes, teniendo definido previamente un
perfil de comportamiento normal del sistema.

6.7 Trabajo Futuro


Este trabajo podra continuar con la evaluacin de otras tcnicas de inteligencia
artificial y de tcnicas de seleccin de atributos y discretizacin que no se han tenido en
cuenta, as como la evaluacin y comparativa de mtodos hbridos, intentando mejorar
la precisin de los modelos teniendo en cuenta las ventajas que ofrecen por separado.
Este trabajo est enfocado en el anlisis de la eficiencia de diferentes paradigmas
de cara a su posible implementacin real, de dichos modelos en dispositivos
programables, o programando un hardware de deteccin de intrusos basado en
anomalas, o bien, para la implementacin software en equipos y en redes para la
proteccin de estos. Si permitimos que el modelo a implementar se adapte a los cambios
que ocurren en la red, estaremos en vas de tener un Sistema de Deteccin de Intrusos
actualizado y ajustado a los distintos tipos de ataques. Dicho trabajo se tendra que
enfocar al anlisis de los distintos protocolos de comunicacin de red e incluso se
podra encontrar sistemas de deteccin de intrusos que se ajusten a cada uno de esos
protocolos.

150

REFERENCIAS

[Aha91] D. Aha, D. Kibler, and M. Albert. Instance-based learning algorithms. Machine


Learning, 6:3766, 1991
[All01] Allwein, E. L., Schapire, R. E. y Singer, Y. (Reducing multiclass to binary: a unifying
approach for margin classi_ers. The Journal of Machine Learning Research, 1:113-141. 2001
[Amb03] Ambwani, T. Multi class support vector machine implementation to intrusion
detection. Proceedings of the International Joint Conference On Neural Networks, Volume: 3,
pp.23002305, 20-24 July 2003
[Amo04] N. Ben Amor, S. Benferhat, Z. Elouedi. Naive Bayes vs decision trees in intrusion
detection systems. Proceedings of the 2004 ACM symposium on Applied Computing. pp. 420424. Nicosia, Cyprus.2004.
[And80] James P. Anderson. Computer Security Threat Monitoring and Surveillance. Technical
report, James P. Anderson Company, Fort Washington, Pennsylvania.
[Anz92] Anzai, Y. Pattern Recognition and Machine Learning. Academic Press, Inc.1992
[Asl95] T. Aslam, A Taxonomy of Security Faults in the UNIX Operating System, Purdue
University Master's thesis, August 1995.
[Att76] C.R. Attanasio, P.W. Markstein and R.J. Phillips, Penetrating an Operating System: A
Study of VM/370 Integrity, IBM System Journal, vol. 15, 1, pp. 102-116, 1976.
[Axe99b] S. Axelsson. The Base-Rate Fallacy and its Implications for the Difficulty of
Intrusion Detection. In 6th ACM Conference on Computer and Communications Security, 1999.
[Axe00] Axelsson, S. Intrusion Detection Systems: A Taxonomy and Survey. Technical Report
99-15, Dept. of Computer Engineering, Chalmers University of Technology, Goteborg, Sweden.
[Bar01] Daniel Barbara, NingningWu, and Sushil Jajodia. Detecting novel network intrusions
using bayes estimators. In Proceedings of First SIAM Conference on Data Mining, Chicago, IL,
2001.
[Bau67] Baum, L. E. y Egon, J. A. An inequality with applications to statistical estimation for
probabilistic functions of a markov process and to a model for ecology. BULLETIN OF THE
AMERICAN METEOROLOGY SOCIETY, 73:pp 360-363, 1967.

151

[Bau72]

Baum, L. E. An inequality and associated maximizaton technique in statistical

estimation for probabilistic functions of markov processes. Inequalities, 3:pp 1-8, 1972.
[Bay73] T. Bayes. An essay towards solving a problem in the doctrine of chances.
Philosophical Transactions, 53:370-418, 1763.
[Bel73] D. E. Bell and J. L. LaPadula. Secure Computer Systems: Mathematical Foundations
and Model. Technical Report M74-244, MITRE Corporation, Bedford, Massachusetts, May
1973.
[Ben08]A. Ben-Hur, C. S Ong, S. Sonnenburg, B. Scholkopf, and G. Ratsch. Support vector
machines and kernels for computational biology. PLoS Comp Biol, 4(10):10-17, 2008.
[Bib77] K. J. Biba. Integrity Constraints for Secure Computer Systems. Technical Report ESDTR-76-372, USAF Electronic Systems Division, Bedford, Massachusetts, April 1977.
[Bul92] A.L. Blum and P. Langley, Training 3-Node Neural Networks is NP-Complete, Neural
Networks, Vol 5, pp. 117-127. 1992
[Bou04] Bousquet, O., Boucheron, S. & Lugosi, G. (2004) Introduction to Statistical Learning
Theory. en `Advanced Lectures on Machine Learning' pp. 169-207.
[Bre84] L. Breiman, J. Friedman, R. Olshen, and C. Stone. Classification and regresion trees.
Wadsworth Int. Group, Belmont, CA, 1984.
[Bre01] Leo Breiman. Random Forests. Machine Learning, 45, 5-32, 2001.
[Bri00] Bridges, S. M. and Vaughn, R. B. Fuzzy Data Mining and Genetic Algorithms Applied
to Intrusion Detection. In Proceedings of the 23rd National Information Systems Security
Conference (NISSC 2000).
[Bru04] Ferry Brugger. Data Mining Methods for Network Intrusion Detection. Thesis
proposal, University of California, Davis. June 2004.
[Cas02] L. unes de Castro and J. Timmis. An artificial immune network for multimodal
function optimization. In Proccedings of the 2002 Congress on Evolutionary Computation
(CEC2002), volume 1, pp 669674, Honolulu, Hawaii, May 2002.
[Car89] Carbonell, J. G. 'Introduction: Paradigms for machine learning.' En J. G. Carbonell,
editor, 'Machine Learning. Paradigms and methods,' Elsevier Science Publishers, Amsterdam,
The Netherlands 1989

152

[Cha03] P. Chan, M. Mahoney & M. Arshad. Learning Rules and Clusters for Anomaly
Detection in Network Traffic. Managing Cyber Threats: Issues, Approaches and Challenges, V.
Kumar, J. Srivastava & A. Lazarevic (editors), Kluwer, 2003.
[Cl01] Chih-Chung Chang and Chih-Jen Lin. LIBSVM: a library for support vector machines,
2001. Software available at http://www.csie.ntu.edu.tw/_cjlin/libsvm.
[Coh95] William W. Cohen. Fast effective rule induction. In In Proceedings of the Twelfth
International Conference on Machine Learning, pp 115123. Morgan Kaufmann, 1995.
[Coo92] Cooper, G. F. and E. Herskovits (1992). A Bayesian method for the induction of
probabilistic networks from data. Machine Learning 9, 309347.
[Cos93] S. Cost and S. Salzberg. A weighted nearest neighbor algorithm for learning with
symbolic features. Machine Learning, 10:5778, 1993.
[Cov67] T. M. Cover and P. E. Hart. Nearest neighbor pattern classification. IEEE Transactions
on Information Theory, IT-13(1):2127, 1967.
[Dar04] DARPA Intrusion Detection Evaluation, Lincoln Laboratory, Massachusetts Institute
of Technology. http://www.ll.mit.edu/IST/ideval/pubs/pubs_index.html, (07/10/2004).
[Das99] Dipankar Dasgupta, editor. Artificial Immune Systems and Their Applications.
Springer-Verlag, Berlin, 1999.
[Das00] D. Dasgupta and F. Nino. A Comparison of Negative and Positive Selection
Algorithms in Novel Pattern Detection. In the Proceedings of the IEEE International Conference
on Systems, Man and Cybernetics (SMC), Volume: 1, Ppe(s): 125 -130, Nashville, October 811, 2000.
[Das02a] D. Dasgupta and F. Gonzlez. An Immunity-Based Technique to Characterize
Intrusions in Computer Networks. IEEE Transactions on Evolutionary Computation, 6(3), pp
1081-1088, June 2002.
[Das02b] D. Dasgupta and N.S. Majumdar. Anomaly Detection in Multidimensional Data Using
Negative Selection Algorithm. In the proceedings of the Congress on Evolutionary
Computation. WCCI 2002, Volume: 2, Ppe(s): 1039 -1044, Hawaii, May 14, 2002.
[Deb99] H.Debar, M.Dacier and A.Wespi. A revised taxonomy for intrusion-detection systems.
IBM Research Technical Report, October 1999.

153

[Deb92a] H. Debar and Dorizzi, B. An Application of a Recurrent Network to an Intrusion


Detection System. In IEEE, editor, International Joint Conference on Neural Networks 1992, pp
478-483.
[Deb92b] H. Debar, M Becker, D. Siboni. A Neural Network Component for an Intrusion
DetectionSystem. Proceedings, IEEE Symposium on Research in Computer Security and
Privacy, 1992. pp 240-250.
[Dem77] Dempster, A.P.; Laird, N.M.; y Rubin., D.B. Maximum likelihood from incomplete
data via the em algorithm. Journal of the Royal Statistical Society, B39(1):pp 1-38, 1977.
[Den82] Dorothy E. Denning. Cryptography and Data Security. Addison-Wesley, Reading,
Massachusetts, 1982.
[Den87] Dorothy E. Denning. An Intrusion-Detection Model. IEEE transaction on Software
Engineering, 13(2):222-232.
[Dif76] Whitfield Diffie and Martin E. Hellman. New Directions in Cryptography. IEEE
Transactions on Information Theory, vol. IT-22, num. 6, pp. 644-654, 1976.
[Dou95] J. Dougherty, R. Kohavi, and M. Sahami. Supervised and unsupervised discretization
of continuous features. In Proceedings of the 12th International Conference on Machine
Learning, pp 194202, Los Altos, CA, Morgan Kaufmann, 1995.
[End98] D. Endler. Intrusion detection: Applying machine learning to solaris audit data. In
Proceedings of the 1998 Annual Computer Security Applications Conference (ACSAC'98), pp
268--279, Los Alamitos, CA, December 1998. IEEE Computer Society, IEEE Computer
Society Press. Scottsdale, AZ.
[Ert03b] Levent Ertoz, Michael Steinbach, and Vipin Kumar. Finding Clusters of Different
Sizes, Shapes, and Densities in Noisy, High Dimensional Data. SIAM International Conference
on Data Mining (SDM '03).
[Esk02] Eskin, E., A. Arnold, M. Preraua, L. Portnoy, and S. J. Stolfo. A geometric framework
for unsupervised anomaly detection: Detecting intrusions in unlabeled data. In D. Barbar and
S. Jajodia (Eds.), Data Mining for Security Applications. Boston: Kluwer Academic Publishers.
May 2002.
[Fay93] U.M. Fayyad and K.B. Irani. Multi-interval discretization of continuous valued
attributes for classification learning. In Proceedings of the 13th International Joint Conference
on Artificial Intelligence, pp 1022-1027, Morgan Kaufmann, 1993.

154

[Fay96] Usama Fayyad, Gregory Piatetsky-Shapiro, and Padhraic Smyth. The KDD Process for
Extracting Useful Knowledge from Volumes of Data. Communications of the ACM November
1996/Vol. 39, No. 11
[Fix51] .E. Fix and J. Hodges. Discriminatory analysis, nonparametric discrimination
consistency properties. Technical Report 4, US Air Force, School of Aviation Medicine,
Randolph Field, TX, 1951
[Fix52] E. Fix and J. Hodges. Discriminatory analysis, nonparametric discrimination: small
sample performance. Technical Report 11, US Air Force, School of Aviation Medicine,
Randolph Field, TX, 1952.
[For89] Forsyth, R. 'The logic of induction.' En Chapman y H. Ltd., 'Machine Learning.
Principles and Techniques,' Richard Forsyth. 1989.
[For73] G. D. Forney, Jr. The viterbi algorithm. PROC. IEEE (INVITED PAPER), 61:pp
268-278, Marzo 1973.
[For94] S. Forrest, A. S. Perelson, L. Allen, and C. R.Cheru R. Kuri, Self-nonself discrimination
in a computer, In Proceedings of the 1994 IEEE Symposium on Research in Security and
Privacy, Los Alamitos, CA: IEEE Computer Society Press (1994).
[For96] S. Forrest, S. Hofmeyr, A. Somayaji, and T. Longstaff, A sense of self for UNIX
processes, in Proc. IEEE Symposium on Computer Security and Privacy, 1996.
[Fox90] Fox, K., Henning, R., Reed, J., and Simonian, R. A Neural Network Approach Towards
Intrusion Detection. Proc. of the 13th National Computer Security Conference, Washington,
D.C., Oct. 1990, 125-134.
[Fra98] Frank, E. Y Witten, I.H. (1998): Generating Accurate Rule Sets Without Global
Optimization, en J. SHAVLIK (ed.): Proceedings of the Fifteenth International Conference on
Machine Learning, Madison, Wisconsin. Morgan Kaufmann, San Francisco, pp. 144-151
[Fri97] Friedman, J. S., C. A. Tepley, P. A. Castleberg, and H. Roe, Middle-atmospheric
Doppler lidar using an iodine-vapor edge filter, Optics Letters, 22, 1,648-1,650, 1997.
[Fun89] Funahashi, K. On the approximate realization of continuous mapping by neural
networks. Neural Networks, 2, 183-192. 1989.
[Gao02] Bo Gao, Hui-Ye Ma, Yu-Hang Yang. HMMS (Hidden Markov Models) Based on
Anomaly Intrusion Detection Method. Proceedings of the First International Conference on
Machine Learning and Cybernetics, Beijing, 4-5 November 2002.

155

[Gar96] S. Garfinkel, & G. Spafford, Practical Unix & Internet Security, O'Reilly &
Associates, Inc., 101 Morris Street, Sebastopol CA, 95472, 2nd edition, April 1996.
[Gho99] Ghosh, A. and Schwartzbard, A. (1999a). A Study in Using Neural Networks for
Anomaly and Misuse Detection. In Proceedings of the 8th USENIX Security Symposium
(SEC'99).
[Gol02] R. Goldman. A Stochastic Model for Intrusions. In Symposium on Recent Advances in
Intrusion Detection (RAID), 2002.
[Gol05] GOLDBERG, D. E.

Genetic Algorithms in Search, Optimization, and Machine

Learning. Addison-Wesley. 2005.


[Gon02] F. Gonzlez, D. Dasgupta, and R. Kozma. Combining Negative Selection and
Classification Techniques for Anomaly Detection. In Proceedings of the Congress on
Evolutionary Computation , pp 705-710, Honolulu, HI, May 2002. IEEE.
[Gon03] F. Gonzlez and D. Dasgupta. Anomaly detection using real-valued negative selection.
Genetic Programming and Evolvable Machines, 4(4), pp 383-403, Kluwer

Acad. Publ.,

December 2003.
[Gua04] Jian Guan, Da-xin Liu and Tong Wang. Applications of Fuzzy Data Mining Methods
for Intrusion Detection Systems. International Conference on Computational Science and Its
Applications ICCSA 2004:, Assisi, Italy, May 14-17, 2004, pp. 706 714.
[Hal99] Hall, M. A. & Smith, L. A. Feature Selection for Machine Learning: Comparing a
Correlation-Based Filter Approach to the Wrapper in `Proceedings of the Twelfth International
Florida Artificial Intelligence Research Society Conference, Orlando, USA' pp. 235-239. 1999
[Hay94] Haykin S. Neural Networks, McMaster University , Ontario, Canada 1994.
[Hea90] R. Heady, G. Luger, A. Maccabe, M. Servilla. The Architecture of a Network Level
Intrusion Detection System. Technical report, Department of Computer Science, University of
New Mexico, August 1990.
[Heb90] Heberlein, L. T., Dias, G., Levitt, K., Mukherjee, B., Wood, J., and Wolber, D. A
network security monitor. In Proceedings of the 1990 IEEE Computer Society Symposium on
Research in Security and Privacy, pp 296-304.
[Hel99] Helmer, G., Wong, J., Honavar, V., and Miller, L. (1999b). Feature selection using a
genetic algorithm for intrusion detection (GECCO'99). In Banzhaf, W., Daida, J., Eiben, A. E.,

156

Garzon, M. H., Honavar, V., Jakiela, M., and Smith, R. E., editors, Proceedings of the Genetic
and Evolutionary Computation Conference, ppe 1781.
[Hen94] Henery, R. J. Classification. Machine Learning, Neural and Statistical Classification,
Michie, D., Spiegelhalter, D. J., and Taylor, C. C. (Eds.), Ellis Horwood, New York.
[Hol75] Holland J. H.: Adaptation in Natural and Artificial Systems. Ann Arbor: The
University of Michigan Press, 1975.
[Hol92] Holland J. H.: Algoritmos Genticos, revista Investigacin y Ciencia, pg. 38-45.
1992.
[Hon97] S. J. Hong. Data Mining. Guest Editorial. Future Generation Computer Systems, Vol.
13, no. 2, pp. 95-97, Nov 1997.
[Hong02] Hong Han, Xian-Liang Lu, Li-Yong Ren. Using data mining to discover signatures
in network-based intrusion detection. International Conference on Machine

Learning and

Cybernetics, 2002. Ppe(s): 13-17 vol.1.


[Hor89] Hornik, K., Stinchcombe, M. y White, H. Multilayer feedforward networks are
universal approximators. !eural !etworks, 2(5), 359-366. 1989
[Hh09] Jens Christian Hhn and Eyke Hllermeier. Furia: an algorithm for unordered fuzzy
rule induction. Data Mining and Knowledge Discovery, 19(3):293319, 2009.
[Hun66] E. Hunt, J. Marin, and P. Stone. Experiments in induction. Academis Press, New York,
1966.
[Int]http://cert.inteco.es/cert/INTECOCERT/;jsessionid=1F07AA82BDE8C7A747C7504C3620
A33D?postAction=getCertHome
[Jac90] Jackson, K. A., Dubois, D. H., and Stallings, C. A. (1990). NADIR - A Prototype
Network Intrusion Detection System. Technical Report LA-UR-90-3726, Los Alamos National
Laboratory.
[Jay97] N.D. Jayaram and P.L.R. Morse, Network Security - A Taxonomic View, In
Proceedings of the European Conference on Security and Detection, School of Computer
Science, University of Westmister, UK, Publication No. 437, 28-30, April 1997.
[Jha01] S. Jha, K. Tan, and R. Maxion, Markov chains, Classifiers, and Intrusion Detection,
Computer Security Foundations Workshop (CSFW), June 2001.

157

[Joh94] G. John, R. Kohavi, and K. Pfleger. Irrelevant features and the subset selection
problem. In 11th Int. Conf. on Machine Learning, pp 121129, New Brunswick, NJ, 1994.
Morgan Kaufmann.
[Kdd99] http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html
[Ken98] K. Kendall, A Database of Computer Attacks for the Evaluation of Intrusion Detection
Systems, Massachusetts Institute of Technology Master's Thesis, 1998.
[Koh96] R. Kohavi. Scaling up the accuracy of naive-Bayes classifiers: a decision-tree
hybrid. In Proceedings of the 2nd International Conference on Knowledge Discovery and Data
Mining, pp 202-207, 1996.
[Koh97] R. Kohavi and G.H. John. Wrappers for feature Subset Selection. Artificial
Intelligence, pp. 273-324. 1997
[Krs98] I. Krsul, Software Vulnerability Analysis, Purdue University Ph.D. dissertation, May
1998.
[Kru02] Christopher Kruegel, Thomas Toth and Engin Kirda. Service Specific Anomaly
Detection for Network Intrusion Detection. In Proceedings of the Symposium on Applied
Computing (SAC), ACM Press. Spain, March 2002.
[Kru03] C. Kruegel, D. Mutz, W. Robertson, F. Valeur. Bayesian Event Classification for
Intrusion Detection. 19th Annual Computer Security Applications Conference. Las Vegas,
Nevada, December 08-12, 2003
[Kum94] Sandeep Kumar and Eugene Spafford. An Application of Pattern Matching in
Intrusion Detection. Technical Report 94-013, Purdue University, Department of Computer
Sciences, March 1994
[Kum95] Sandeep Kumar. Classification and Detection of Computer Intrusions. PhD thesis,
Purdue University, West Lafayette, IN, USA, Aug 1995.
[Kum95b] S. Kumar, Classification and Detection of Computer Intrusion, Computer Science
Department, Purdue University Ph.D. dissertation, August 1995.
[Lam71] B. W. Lampson. Protection. Proceedings of the 5th Princeton Syrup. of lnformation
$ci. and $yst., Princeton Univ., (1971), pp. 437-443

158

[Land94] C. E. Landwehr, A. R. Bull, J. P. McDermott, and W. S. Choi, A taxonomy of


computer program security flaws, ACM Comput. Surv., vol. 26, no. 3, pp. 211254, 1994.
[Lan94] P. Langley. Selection of relevant features in machine learning. In Procs. Of the AAAI
Fall Symposium on Relevance, pp 140144, 1994.
[Lan96] Langley, P. Elements of Machine Learning. Morgan Kaufmann Publishers, Inc., San
Francisco. 1996
[Lane99] T. Lane, C. E. Brodley. Temporal Sequence Learning and Data Reduction for
Anomaly Detection. ACM Transactions on Information and System Security, 2:295- 331, 1999.
[Lan94] C. Landwehr, A. Bull, J. McDermott and W. Choi, A Taxonomy of Computer Program
Security Flaws, ACM Computing Surveys, vol. 26, 3, pp. 211-254, September 1994.
[Lee99] Wenke Lee, Sal Stolfo, and Kui Mok. Mining in a Data-flow Environment: Experience
in Network Intrusion Detection. In Proceedings of the 5th ACM SIGKDD International
Conference on Knowledge Discovery & Data Mining (KDD '99), San Diego, CA, August 1999.
[Li01] X. Li, and N. Ye. Decision tree classifiers for computer intrusion detection. Journal of
Parallel and Distributed Computing Practices, Vol. 4, No. 2, 2001, pp. 179-190.
[Lin94] Lin, T. Fuzzy Patterns in Data. In 17th National Computer Security Conference.
October 11-14, Baltimore, Maryland. 1994.
[Lind97] U. Lindqvist and E. Jonsson, How to Systematically Classify Computer Security
Intrusions, IEEE Security and Privacy, pp. 154-163, 1997.
[Lip99] Lippmann, R. P. and Cunningham, R. K. (1999). Improving Intrusion Detection
Performance using Keyword Selection and Neural Networks. Web proceedings of the 2nd
International Workshop on Recent Advances in Intrusion Detection (RAID'99).
[Liu96] H. Liu and R. Setiono. A probabilistic approach to feature selection: A filter solution. In
Proceedings of the 13th International Conference on Machine Learning, pp 319327. Morgan
Kaufmann, 1996.
[Liu98] H. Liu and H. Motorola. Feature Selection for Knowledge Discovery and Data Mining.
Boston: Kluwer Academy, 1998.
[Liu05] H. Liu and Lei Yu. Toward Integrating Feature Selection Algoritms for Classification
and Clustering. IEEE Transactions on Knowledge and Data Engeneering, Vol. 17, No. 4, April
2005

159

[Lou01] D. Lough. A Taxonomy of Computer Attacks with Applications to Wireless Networks.


Virginia Polytechnic Institute PhD Thesis, April 2001.
[Lun88] Lunt, T. and Jagannathan, R. A Prototype Real-Time Intrusion-Detection Expert
System. In Proceedings of the IEEE Symposium on Security and Privacy, pp 59- 66.
[Lun90] Lunt, T. IDES: An intelligent System for Detecting Intruders. In Computer Security,
Threats and Countermeasures.
[Mar01] D. Marchette, Computer Intrusion Detection and Network Monitoring, A Statistical
Viewpoint. New York, Springer, 2001.
[M93] Ludovic M. Security Audit Trail Analysis Using Genetic Algorithms. In Proceedings
of the 12th International Conference on Computer Safety, Reliability and Security, pp 329-340.
1993.
[M96] Ludovic M. Genetic Algorithms, a Biologically Inspired Approach for Security Audit
Trails Analysis. 1996 IEEE Symposium on Security and Privacy (SSP), Oakland (CA), may
1996.
[M98] Ludovic M. GASSATA, A Genetic Algorithm as an Alternative Tool for Security
Audit Trails Analysis. First international workshop on the Recent Advances in Intrusion
Detection (RAID). September 14-16, 1998. Louvain-la-Neuve, Belgium.
[Mit] MIT Lincoln Laboratory
http://www.ll.mit.edu/mission/communications/ist/corpora/ideval/index.html
[Mit97] Mitchell, T. M. Machine Learning. McGraw-Hill. ISBN 0-07-042807-7. 1997.
[Muk02] Mukkamala S., Janoski G., Sung A. H. Intrusion Detection Using Neural Networks
and Support Vector Machines. Proceedings of IEEE International Joint Conference on Neural
Networks, pp.1702-1707. 2002.
[Muk04] S. Mukkamala, A. H. Sung and A. Abraham, Intrusion Detection Using Ensemble of
Soft Computing and Hard Computing Paradigms, Journal of Network and Computer
Applications, Elsevier Science, 2004.
[Nae04] NAEIM, F., et al. Selection and Scaling of Ground Motion Time Histories for
Structural Design Using Genetic Algorithms. En Earthquake Spectra. Vol. 20, No. 2 pp. 413426. 2004

160

[Nas98] M. Nassehi. Anomaly detection for Markov models. Technical Report Tech report RZ
3011 (#93057), IBM Research Division, Zurich Research Laboratory, March 1998.
[Neu89a] P.G. Neumann and D.B. Parker. A Summary of Computer Misuse Techniques. In
Proceedings of the 12th National Computer Security Conference, 396-407, 1989.
[Neu89b] P.G. Neumann and D.B. Parker, COMPUTER CRIME Criminal Justice Resource
Manual, U.S. Department of Justice National Institute of Justice Office of Justice Programs,
Prepared by SRI International under contract to Abt Associates for National Institute of Justice,
U.S. Department of Justice, contract #OJP-86-C-002., 1989.
[Neu95] P.G. Neumann. Computer Related Risks. The ACM Press, a division of the
Association for Computing Machinery, Inc. (ACM), 1995.
[NSA89] National Security Agency. A Guide to Understanding Identification and
Authentication in Trusted Systems NCSC-TG-017 Library No. 5-235,479 Version 1 [Light
Blue Book]
[NSL09] http://www.iscx.ca/NSL-KDD/
[Orf03] Orfila, A.; Carbo, J.; Ribagorda, A.. Fuzzy logic on decision model for IDS. The 12th
IEEE International Conference on Fuzzy Systems, 2003. FUZZ '03., Volume: 2 , 25-28 May
2003 Pp:1237 - 1242 vol.2.
[Par75] D.B. Parker, Computer Abuse Perpetrators and Vulnerabilities of Computer Systems,
Stanford Research Institute, Menlo Park, CA 94025 Technical Report, December 1975.
[Pla98] J. Platt. Sequential minimal optimization: A fast algorithm for training support vector
machines, 1998.
[Pll02] J.M. Pea, J.A. Lozano, and P. Larraaga. Learning recursive Bayesian multinets for
data clustering by means of constructive induction. Machine Learning, 47:63-89, 2002.
[Port01] L. Portnoy, E. Eskin, S. Stolfo. Intrusion detection with unlabeled data using
clustering. In ACM Workshop on Data Mining Applied to Security (DMSA) 2001.
[Pow95] Richard Power. Current and Future Danger. Computer Security Institute, San
Francisco, California, 1995.
[Powe01] D. Powell and R. Stroud, Conceptual Model and Architecture, Deliverable D2,
Project MAFTIA IST-1999-11583, IBM Zurich Research Laboratory Research Report RZ
3377, Nov. 2001.

161

[Pre04] Prescher, Detlef.A tutorial on the expectation-maximization algorithm including


maximum-likelihood estimation and em training of probabilistic context-free grammars, 2004.
http://www.citebase.org/abstract?id=oai:arXiv.org:cs/0412015.
[Put02] R. Puttini, Z. Marrakchi, and L. Me. Bayesian Classification Model for Real-Time
Intrusion Detection. In 22th International Workshop on Bayesian Inference and Maximum
Entropy Methods in Science and Engineering, 2002.
[Qui86] Quinlan, J. R. 1986. Induction of decision trees. Machine Learning, 1, 81-106.
[Qui93] J. R. Quinlan. C4.5: Programs for machine learning. Morgan Kaufmann, San Mateo,
California, 1993.
[Rab90] Rabiner, Lawrence R. A tutorial on hidden markov models and selected applications in
speech recognition. pp 267-296, 1990.
[Ram03] M. Ramadas, S. Ostermann and B. Tjaden. Detecting Anomalous Network Traffic
with Self-Organizing Maps. Web proceedings of the 6th International Workshop on Recent
Advances in Intrusion Detection RAID, 2003
[Ric99] T. Richardson, J. Davis, D. Jacobson, J. Dickerson and L. Elkin. Developing a Database
of Vulnerabilities to Support the Study of Denial of Service Attacks. IEEE Symposium on
Security and Privacy, May 1999.
[Ric01] T. Richardson, The Development of a Database Taxonomy of Vulnerabilities to
Support the Study of Denial of Service Attacks., Iowa State University PhD Thesis, 2001.
[Rae04] Real Academia Espaola, Diccionario de la Lengua Espaola.
[Rod88] Rodgers, J. L. & Nicewander, A. W. Thirteen Ways to Look at the Correlation
Coeficient. The American Statistician 42: 59-66. 1988
[Rum86] Rumelhart, D.E., Hinton, G.E. y Williams, R.J. Learning internal representations by
error proppation. En: D.E. Rumelhart y J.L. McClelland (Eds.). Parallel distributed processing
(pp. 318-362). Cambridge, MA: MIT Press. 1986
[Rus91] Deborah Rusell and G. T. Gangemi Sr. Computer Security Basics. OReilly &
Associates, Inc., Sebastopol, California, December 1991.
[Rya98] Jake Ryan, Meng-Jang Lin, and Risto Miikkulainen. Intrusion Detection with Neural
Networks. In Advances in Neural Information Processing Systems 10 (Proceedings of NIPS'97,
Denver, CO). Cambridge, MA: MIT Press, 1998

162

[Sch01] Schlkopf, B. y Smola, A. J. Learning with Kernels: Support Vector Machines,


Regularization, Optimization, and Beyond. MIT Press, Cambridge, MA, USA 2001.
[Seby02] A. A. Sebyala, T. Olukemi, and L. Sacks. Active Platform Security through Intrusion
Detection Using Naive Bayesian Network for Anomaly Detection. In London Communications
Symposium, 2002.
[Sha49] Claude E. Shannon. Communication Theory of Secrecy Systems. Bell System
Technical Journal, vol.28-4, ppe 656--715, 1949.
[Shaw04] Shawe-Taylor, J. y Cristianini, N. Kernel Methods for Pattern Analysis. Cambridge
University Press, New York, NY, USA. 2004

[Shy03] M. Shyu, S. Chen, K. Sarinnapakorn, and L. Chang, A novel anomaly detection


scheme based on principal component classifier, Proceedings of the IEEE Foundations and
New Directions of Data Mining Workshop, in conjunction with the Third IEEE International
Conference on Data Mining (ICDM03), pp. 172179, 2003.
[Spa89] Eugene Spafford. Crisis and Aftermath. Communications of the ACM, 32(6):678687,June 1989.
[Sim83] Simon, H. A. 'Why should machines learn?' En R. S. Michalki, J. G. Carbonell
y T. M. Mitchell, editores, 'Machine Learning: An arti_cial intelligence approach,' Tomo I.
Morgan Kaufmann. 1983.
[Sta] Starlab, users.pandora.be/Richard.wheeler1/ais/inn.html
[Sto97] Sal Stolfo, Andreas Prodromidis, Shelley Tselepis, Wenke Lee, Dave Fan, and Phil
Chan. JAM: Java Agents for Meta-learning over Distributed Databases. In Proceedings of the
Third International Conference on Knowledge Discovery and Data Mining (KDD '97),
Newport Beach, CA, August 1997
[Teng90] H. Teng, K. Chen, and S. Lu. Adaptive real-time anomaly detection using inductively
generated sequential patterns. Proceedings of 1990 IEEE Computer Society Symposium on
Research in Security and Privacy, Oakland, California, May 7-9, 1990, 278-84. Los Alamitos,
CA: IEEE Computer Society Press.

163

[Tim00] J. Timmis and M. Neal. Invetigatting the evolution and stability of a resource limited
artificial immune system. In Proc. of the Genetic and Evolutionary Computation Conference,
Workshop on Articial Immune System and Their Applications, pp 40-41, 2000.
[Utg97] Utgoff, P. E., Berkman, N. C. and Clouse, J. A. Decision Tree Induction Based on
Efficient Tree Restructuring, Machine Learning journal, 10, pp. 5-44, 1997.
[Val00] Alfonso Valdes and Keith Skinner. Adaptive, Model-based Monitoring for Cyber
Attack Detection. Recent Advances in Intrusion Detection (RAID 2000). Edited by H. Debar
and L. Me and F. Wu. Toulouse, France. October, 2000. Pp 8092.
[Val01] A. Valdes and K. Skinner, Probabilistic Alert Correlation. In Proceedings of the 4 th
International Symposium on Recent Advances in Intrusion Detection (RAID) 2001. Lecture
Notes in Computer Science, Number 2212. Springer-Verlag. 2001.
[Vap95] Vapnik, V. N. The Nature of Statistical Learning Theory. Springer. 1995
[War99] C. Warrender, S. Forrest, and B. Pearlmutter. Detecting intrusions using system calls:
Alternative data models. In IEEE Symposium on Security and Privacy, pp 133145, 1999.
[Wei91] Weiss, S. M. y Kulikowski, C. A. Computer Systems that Learn. Morgan Kaufmann
Publishers, Inc., San Francisco, CA. 1991
[Wei04] Wei Li, Using Genetic Algorithm for Network Intrusion Detection. Proceedings of the
United States Department of Energy Cyber Security Group 2004 Training Conference, Kansas
City, Kansas, May 24-27, 2004.
[Wein04] K. Q Weinberger, F. Sha, and L. K Saul. Learning a kernel matrix for nonlinear
dimensionality reduction. In Proceedings of the twenty-_rst international conference on
Machine learning, 2004
[Whi93] WHITLEY, D. A Genetic Algorithm Tutorial. Computer Science Department,
Colorado State University, Technical Report CS-93-103, 1993.
[Wit00] I. Witten and E. Frank. Practical Machine Learning Tools and Tecniques with Java
Implementations, Morgan Kaufmann Publishers,(2000).
[Ye00a] Nong Ye, Xiangyang Li and Syed Masum Emran. Decision Tree for Signature
Recognition and State Classification. IEEE Systems, Man, and Cybernetics Information
Assurance and Security Workshop June 6-7, 2000 at West Point, New York. pp. 194-199.

164

[Ye00b] Nong Ye and Xiangyang Li. Application of Decision Tree Classifier to Intrusion
Detection (in press). In Proceedings of Second International Conference on DATA MINING
2000, Cambridge University, UK, July 2000.
[Yeu02] D. Y. Yeung, and C. Chow. Parzen-window Network Intrusion Detectors. Sixteenth
International Conference on Pattern Recognition, Quebec City, Canada, August 2002, pp. 1115.
[Zad65] Zadeh, L.A. Fuzzy sets. In Information and Control, 8: 338-352, 1965.
[Zhan03] Zhang Jian; Ding Yong; Gong Jian. Intrusion detection system based on fuzzy default
logic. The 12th IEEE International Conference on Fuzzy Systems, 2003. FUZZ '03., Volume: 2
, 25-28 May 2003. Pp:1350-1356 vol.2
[Zhi03] Zhi-Song Pan, Song-Can Chen , Gen-Bao Hu, Dao-Giang Zhang. Hybrid neural
network and C4.5 for misuse detection. Proceedings of the Second International Conference on
Machine Learning and Cybernetics, Pp:2463 - 2467 Vol.4. Xian, 2-5 November 2003.

165

166

ARTCULOS

State of Art of Intelligents Systems in E-Commerce, First Spanish IT


Conference, Conference Acts pages 381-385, Granada, September 2005.

A Comparison of Decision Trees and SVM with and without applying Features
Selections, for Classification of Intrusion-detection.

CEDI 2010 Intelligent

System Symposium.

A Comparison of Decision Trees and SVM with and without applying Features
Selections, for Classification of Intrusion-detection.

Mathematical Models for

Engineering Science. International Conference on Mathematical Models for


Engineering Science MMES10 Puerto de la Cruz , Tenerife November 30December2, 2010.

Statistical Study ANOVA for Different Artificial Intelligent Techniques applied


to Intrusion Detection System for Binary Problem: Detecting Attacks and No
attacks connections . En proceso de publicacin

Analysis of different Soft-Computing for Intrusion Detection System to Classify


into 5 Categories: Dos, Probe, R2L, U2R and Normal . En proceso de publicacin.

Statistical Study ANOVA for Different Artificial Intelligent Techniques applied


to Intrusion Detection System to Detect Specific Attacks. En proceso de
publicacin.

167

Apndice A
Tablas Filtro, Tiempo y Algoritmos

Primer Estudio A nivel de 2


Categoras: Normal y Ataque

Etiqueta
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb
fnb
fnb
fnb
fnb
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb
fnb
fnb

Filtro
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb
fnb
fnb
fnb
fnb
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb
fnb
fnb

Discretizacion
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay

Algoritmo
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest

TiempoTrain
2.2
0
0.2
0.28
0.73
0.45
0.73
0
0.0
0.09
0.72
0.03
1.03
0
0.05
0.08
0.41
0.05
1.06
0
0.06
0.08
0.62
0.09
0.59
0
0.02
0.08
0.36
0.05
0.42
0
0.02
0.03
0.19
0.08
0.19
0
0.03
0.03
0.13
0.02
0.42
0
0.02
0.05
0.16
0.02
0.28
0
0.02
0.03
0.19
0.03
0.14
0
0.02
0.02

AciertoGlobal
98.18
99.83
98.34
100.00
94.04
96.85
93.05
99.50
99.17
99.34
89.57
98.18
97.52
99.83
98.51
100.00
89.57
97.02
98.34
99.83
98.68
100.00
93.54
97.68
92.38
94.70
92.38
94.21
90.40
90.89
95.91
99.23
95.91
99.49
95.91
95.40
93.61
95.65
93.86
95.40
93.09
94.12
96.93
98.72
95.14
98.47
82.35
82.35
94.63
97.70
96.16
97.70
94.12
94.12
86.70
88.75
87.98
88.75

AciertoAtaque
99.67
99.67
99.67
100.00
94.37
98.34
91.06
99.67
100.00
100.00
95.36
99.01
99.34
99.67
99.67
100.00
91.72
97.68
100.00
99.67
100.00
100.00
92.72
98.68
95.70
96.36
96.69
96.03
94.37
92.38
96.84
98.81
96.44
99.21
97.23
94.07
97.63
96.44
94.86
96.44
95.26
94.07
98.02
98.02
96.05
98.02
83.40
83.40
96.05
98.02
97.23
98.42
94.47
93.28
84.58
89.72
90.12
89.72

AciertoNormal
96.69
100.00
97.02
100.00
93.71
95.36
95.03
99.34
98.34
98.68
83.77
97.35
95.70
100.00
97.35
100.00
87.42
96.36
96.69
100.00
97.35
100.00
94.37
96.69
89.07
93.05
88.08
92.38
86.42
89.40
94.20
100.00
94.93
100.00
93.48
97.83
86.23
94.20
92.03
93.48
89.13
94.20
94.93
100.00
93.48
99.28
80.43
80.43
92.03
97.10
94.20
96.38
93.48
95.65
90.58
86.96
84.06
86.96

fnb
fnb
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb
fnb
fnb
fnb
fnb
all
all
all
fcfs
fcfs
fcfs
fcns
fcns
fcns
fc45
fc45
fc45
fnb
fnb
fnb
all
all
all
fcfs
fcfs
fcfs
fcns
fcns
fcns
fc45
fc45
fc45

fnb
fnb
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb
fnb
fnb
fnb
fnb
all
all
all
fcfs
fcfs
fcfs
fcns
fcns
fcns
fc45
fc45
fc45
fnb
fnb
fnb
all
all
all
fcfs
fcfs
fcfs
fcns
fcns
fcns
fc45
fc45
fc45

fay
fay
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre

SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Furia
KNN-1
C4.5
RandomForest
SmoPoly
TAN
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25

0.08
0.02
0.84
0
0.05
0.05
1.69
0.25
0.8
0
0.06
0.06
0.78
0.09
0.58
0
0.03
0.05
1.17
0.08
0.83
0
0.03
0.05
1.11
0.11
1.08
0
0.02
0.05
0.45
0.03
17.36
18.47
21.11
4.99
5.30
5.58
6.94
7.19
7.77
11.97
11.67
12.85
5.63
5.44
6.63
39.00
39.92
44.88
9.66
10.20
10.59
15.05
15.49
16.75
24.16
25.94
27.28

89.51
89.26
94.42
99.83
94.76
99.83
100.00
98.78
93.37
99.48
94.59
99.48
97.21
97.21
93.19
99.83
95.99
100.00
99.30
98.60
93.02
99.83
94.76
99.83
99.48
97.56
87.78
93.72
89.70
93.72
90.92
90.75
81.33
74.17
69.31
83.63
86.70
83.63
81.07
75.70
87.47
86.45
82.61
83.12
85.42
85.93
85.93
83.60
87.61
91.27
95.11
95.81
94.76
89.88
86.91
87.09
82.55
80.10
86.04

88.93
88.14
99.64
99.64
99.27
100.00
100.00
99.64
100.00
99.64
94.55
100.00
99.64
98.91
100.00
99.64
97.45
100.00
100.00
99.64
100.00
99.64
99.27
100.00
100.00
98.55
94.91
94.55
93.09
94.91
94.18
89.09
81.42
68.38
58.89
80.63
86.96
81.82
83.40
70.75
94.47
90.91
79.45
82.21
84.58
86.17
84.98
71.64
86.18
90.91
99.27
99.27
99.27
87.64
81.45
80.00
90.18
69.82
85.45

90.58
91.30
89.60
100.00
90.60
99.66
100.00
97.99
87.25
99.33
94.63
98.99
94.97
95.64
86.91
100.00
94.63
100.00
98.66
97.65
86.58
100.00
90.60
99.66
98.99
96.64
81.21
92.95
86.58
92.62
87.92
92.28
81.16
84.78
88.41
89.13
86.23
86.96
76.81
84.78
74.64
78.26
88.41
84.78
86.96
85.51
87.68
94.63
88.93
91.61
91.28
92.62
90.60
91.95
91.95
93.62
75.50
89.60
86.58

fnb
fnb
fnb

fnb
fnb
fnb

fre
fre
fre

Markov11
Markov15
Markov25

11.93
12.37
13.20

89.88
91.10
89.01

89.82
90.18
90.18

89.93
91.95
87.92

Segundo Estudio A nivel de 5


Categoras: DoS, Probe, R2L, U2R y
Normal

FILTRO DISCRETIZACION
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
all
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcfs
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fcns
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fc45
0
fnb
0
fnb
0
fnb
0
fnb
0
fnb
0
fnb
0
fnb
0
fnb
0
fnb
0
fnb
0

Algoritmo
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly

TiempoConstruccionModelo
25.82
89.9
679.21
21.83
112.27
0.0414
10.58
179.25
115.47
204.14
2090.06
59.33
286.1
3108.46
0.69
6.71
157.65
0
0
6.33
83.99
409.08
5.1
56.49
2.42
1.14
14.83
48.43
617.93
2628
48.13
257.37
2255.49
0.2
0.75
21.09
0
0
7.83
75.8
758.47
7.27
70.44
3.76
1.89
36.94
54.62
287.17
2005.51
65.81
234.94
1975.41
0.23
1.44
59.27
0
0
12.15
79.39
638.12
14.54
65.65
3.95
4.57
64.37
68.04
196.91
1743.14
49.48
684.56
3063.65
0.33
3.01
272.85
0
0
7.57
82.31
149.06
3.87
19.34
2.56
0.69
7.61
48.87
2704.07

AciertoGlobal
40.26
57.76
97.90
99.21
98.53
99.79
98.99
98.82
98.45
34.18
89.22
92.35
47.04
57.49
74.78
97.82
78.56
99.73
94.14
41.07
62.12
96.66
97.87
97.10
98.94
97.89
97.49
98.18
86.26
83.62
86.94
32.67
88.88
70.08
96.44
80.05
98.97
94.07
37.26
61.19
97.58
99.18
98.08
99.77
99.01
98.68
98.75
87.49
82.16
89.70
33.66
95.29
65.99
97.21
82.71
99.73
93.59
32.61
56.09
96.84
98.72
97.17
99.75
98.41
98.34
98.53
92.10
88.77
92.00
44.56
94.90
77.47
58.87
87.08
99.66
94.28
50.65
56.11
45.72
90.66
88.17
92.39
90.72
89.69
90.29
83.60

AciertoD
63.41
65.19
99.67
99.75
99.92
100.00
99.75
99.88
99.67
92.51
88.62
90.73
45.70
100.00
70.57
98.51
79.55
99.96
95.90
51.41
59.35
99.83
99.92
99.88
99.96
99.83
99.79
99.92
87.00
87.38
87.33
0.00
86.63
76.24
97.97
87.00
99.96
98.39
55.30
70.36
99.75
99.88
99.75
100.00
99.79
99.71
99.79
78.56
78.60
84.27
11.01
96.07
66.02
97.85
73.68
99.96
94.87
0.00
67.92
99.42
99.75
99.63
99.96
99.46
99.75
99.79
90.27
89.69
90.11
53.10
93.79
70.16
98.22
90.56
99.92
96.27
93.63
62.67
89.61
90.02
89.74
90.44
90.44
90.07
90.19
89.49

AciertoN
20.73
96.54
98.92
99.65
99.40
99.87
99.57
99.87
99.31
96.29
96.63
96.20
96.41
97.11
78.62
97.54
95.64
100.00
96.98
15.68
94.00
99.22
99.44
99.14
99.65
99.44
99.27
99.35
95.59
96.24
96.03
100.00
96.98
89.68
97.75
95.33
99.65
96.29
20.65
88.12
99.83
99.65
99.18
99.91
99.74
99.74
99.31
94.90
96.54
95.08
91.71
95.68
78.23
97.24
94.51
100.00
95.68
100.00
93.13
99.14
99.35
99.40
99.78
99.35
99.27
98.96
95.68
96.46
95.98
80.95
96.63
82.03
100.00
90.71
99.87
96.63
57.58
94.73
96.98
97.80
97.80
98.10
97.62
98.19
97.97
96.67

AciertoP
60.00
18.44
99.22
99.50
98.87
100.00
99.36
98.79
99.08
100.00
91.84
92.62
0.00
94.89
83.48
98.51
74.68
99.93
93.62
92.91
46.95
97.23
97.09
98.23
99.65
97.66
96.74
98.44
86.67
76.38
90.00
0.28
89.86
62.20
96.67
78.58
99.65
90.50
58.94
40.92
99.08
99.29
98.30
100.00
99.43
99.15
99.08
91.84
87.16
91.63
0.00
97.30
64.96
98.23
88.16
99.93
94.47
0.00
12.13
98.30
99.29
96.88
100.00
98.58
98.65
99.08
92.55
88.65
92.20
0.21
98.94
87.94
97.38
80.85
99.93
94.40
0.00
9.72
87.87
94.47
81.99
95.89
94.26
89.93
91.21
71.91

AciertoR
0.00
3.36
89.57
96.41
92.15
98.65
95.85
93.27
93.16
88.68
70.07
89.13
0.34
89.69
60.99
95.96
41.70
98.09
86.21
0.00
15.36
82.62
90.47
83.30
93.16
89.91
88.79
91.03
60.76
58.18
60.65
0.00
75.00
14.91
89.46
26.01
93.39
85.76
0.00
2.91
84.98
96.08
91.59
98.43
95.63
93.05
95.63
87.44
52.58
89.57
0.00
91.48
33.86
95.18
73.88
98.09
86.43
0.00
0.00
83.07
94.17
85.31
98.65
93.61
92.26
94.62
88.00
69.84
89.13
0.34
89.24
68.39
95.07
80.94
97.98
85.99
0.00
15.36
70.40
69.51
69.96
78.59
69.73
68.61
71.41
58.30

AciertoU
0.00
0.00
81.54
95.38
96.92
100.00
84.62
98.46
81.54
98.46
53.85
53.85
0.00
53.85
95.38
92.31
23.08
100.00
47.69
0.00
0.00
67.69
84.62
86.15
100.00
84.62
84.62
84.62
67.69
0.00
43.08
0.00
53.85
70.77
83.08
50.77
100.00
46.15
0.00
0.00
76.92
96.92
81.54
100.00
81.54
89.23
75.38
61.54
0.00
60.00
0.00
61.54
92.31
78.46
1.54
100.00
50.77
0.00
20.00
76.92
87.69
95.38
100.00
87.69
89.23
78.46
78.46
43.08
55.38
0.00
64.62
84.62
89.23
47.69
100.00
47.69
0.00
3.08
95.38
67.69
70.77
75.38
66.15
56.92
60.00
0.00

fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb

0
0
0
0
0
0
0
0
0
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay

SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico

3172.91
44.91
203.72
2374.3
0.09
0.59
505.54
0
0
4.77
48.81
85.72
1.64
29.13
0.64
0.44
42.7
107.39
45.55
532.53
67.31
58.2
39512.84
0.03
3.09
135.8
0
0
2.62
45.8
79.66
0.58
7.82
0.62
0.14
4.99
41.47
39.56
334.48
20.67
18.66
6007.43
0.03
0.22
72.28
0
0
3.53
46.84
107.89
0.61
16.19
0.23
0.11
13.56
82.73
40.4
488.22
119.48
29.03
15532.48
0.01
0.7
71.36
0
0
4.81
47.93
64.16
1.2
22.96
0.38
0.28
24.45
77.47
48.56
422.87
46.27
31.59
11142.34
0.03
0.67
98.83
0
0
2.7
52.46

83.60
86.53
32.52
89.25
83.73
89.00
83.28
46.52
88.19
83.78
82.67
98.39
98.98
98.77
99.82
98.58
98.51
98.97
99.47
97.68
60.55
60.46
86.42
90.24
98.24
96.61
99.80
96.36
79.37
82.26
97.43
98.21
97.01
99.00
98.38
97.86
98.65
98.37
96.65
98.38
60.40
97.49
93.73
97.03
96.78
99.01
95.56
81.45
86.53
97.89
98.56
98.20
99.82
98.39
98.63
98.79
99.22
97.18
58.18
60.40
94.31
89.30
97.99
96.47
99.79
95.92
84.12
81.28
97.95
98.24
98.30
99.68
98.17
98.34
98.76
98.56
97.06
98.91
60.40
97.39
88.28
97.42
96.78
99.67
95.63
83.31
82.90

89.49
89.78
0.00
89.98
86.42
88.49
82.16
90.15
89.74
88.60
80.51
99.85
99.79
99.85
100.00
99.64
99.74
99.74
99.95
99.90
100.00
0.21
99.54
89.22
99.12
98.61
99.90
99.23
88.34
83.29
99.79
99.85
99.48
99.95
99.69
99.69
99.79
99.74
99.43
99.95
0.00
99.85
94.89
95.72
99.59
99.95
99.59
78.44
81.79
99.38
99.59
99.54
100.00
99.23
99.79
99.59
99.90
99.33
99.85
0.00
99.79
87.06
98.56
97.01
99.90
97.11
86.33
82.05
99.48
99.54
99.79
99.95
99.69
99.85
99.48
99.79
99.79
99.59
0.00
99.74
82.52
98.66
98.04
99.95
97.47
85.46
80.61

96.67
96.85
99.61
97.97
94.13
97.84
96.89
98.49
97.02
89.70
96.40
99.47
99.45
99.05
99.86
99.38
98.94
99.51
99.63
98.91
99.65
100.00
97.94
90.00
98.08
96.72
100.00
98.38
84.59
96.12
98.80
98.75
98.27
99.28
99.05
98.64
99.12
98.80
98.24
98.61
100.00
98.57
94.45
98.59
96.95
99.31
97.39
92.54
96.37
99.47
99.05
98.73
99.86
99.17
99.10
99.56
99.45
98.61
99.72
100.00
98.50
89.46
98.08
96.97
99.98
98.45
91.71
94.55
99.31
98.82
98.34
99.70
98.89
99.03
99.12
98.73
98.80
99.38
100.00
98.71
90.04
97.39
97.27
99.86
98.34
95.56
95.15

71.91
82.84
0.14
87.66
80.64
86.88
80.99
95.39
84.04
40.15
34.90
97.94
97.94
98.31
100.00
97.00
98.31
99.25
99.62
96.81
99.62
0.00
0.00
96.81
97.94
96.25
100.00
87.62
40.53
12.76
93.62
97.56
91.37
98.87
96.06
95.50
97.56
96.44
94.00
98.12
0.00
97.19
91.56
94.75
94.93
98.87
85.74
49.91
63.23
97.94
98.31
98.31
100.00
97.56
98.50
98.87
99.62
97.56
99.81
0.00
96.25
98.12
98.12
96.25
100.00
91.93
40.71
20.83
95.50
96.44
97.56
100.00
95.50
94.37
98.50
97.00
94.18
98.69
0.00
91.93
96.25
97.19
95.12
99.81
88.37
7.50
38.46

58.30
59.98
0.00
70.74
59.75
75.34
56.73
75.78
70.96
56.25
0.30
79.46
91.96
89.58
97.92
86.90
89.88
89.88
94.35
76.79
92.56
0.00
0.00
89.88
97.02
88.10
96.43
75.60
28.87
15.18
76.19
86.31
77.08
91.37
88.99
87.50
89.88
89.58
72.62
88.69
0.00
78.87
88.10
89.88
83.63
91.07
72.62
13.10
28.87
72.62
89.88
87.20
97.92
88.10
90.18
87.80
93.15
74.11
94.05
0.00
13.69
88.10
96.13
92.26
96.43
71.13
49.70
8.33
77.68
88.69
91.07
97.32
87.50
88.69
91.37
92.26
71.73
91.37
0.00
79.76
88.99
93.15
89.58
95.24
69.94
40.48
15.18

0.00
43.08
0.00
40.00
9.23
26.15
53.85
98.46
43.08
0.00
10.34
68.97
75.86
100.00
100.00
72.41
55.17
65.52
100.00
24.14
79.31
0.00
79.31
79.31
82.76
51.72
100.00
3.45
0.00
0.00
51.72
58.62
79.31
82.76
62.07
24.14
72.41
79.31
0.00
75.86
0.00
0.00
13.79
75.86
68.97
86.21
0.00
0.00
31.03
55.17
62.07
55.17
100.00
62.07
51.72
55.17
82.76
0.00
96.55
0.00
0.00
65.52
65.52
37.93
100.00
0.00
0.00
6.90
72.41
68.97
89.66
100.00
62.07
79.31
86.21
93.10
0.00
75.86
0.00
48.28
55.17
72.41
51.72
100.00
0.00
0.00
10.34

fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
all
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcfs
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fcns
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45
fc45

fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre

Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide

11.64
0.37
3.26
0.23
0.08
2.53
17.85
57.03
253.47
9.28
15.63
1158.99
0.02
0.13
188.32
0
0
9.45
51.38
312.13
2.45
58.36
1.42
0.48
67.37
321.22
101.93
1243.26
739.85
105.09
112184.44
0.14
3.42
153.61
0
0
4.12
52.54
264.99
1.76
16.04
0.62
0.17
8.07
90.03
67.3
870.59
115.3
49.47
11293.37
0.05
0.39
128.47
0
0
4.73
52.8
241.72
1.58
22.9
0.76
0.31
25.6
186.95
85.29
1116.76
550.84
73.6
36217.24
0.13
0.75
105.46
0
0
4.49
50.26
139.45
2.01
55.61
0.92
0.36
45.19
268.9
108.41
1356.33
445.76
74.18

92.14
94.33
92.32
94.77
94.51
93.93
94.49
93.76
91.00
94.21
47.37
94.54
89.70
93.86
93.29
94.77
91.17
83.30
81.71
61.46
98.85
98.69
98.91
98.41
98.91
99.33
99.59
98.35
99.56
54.38
54.38
87.75
98.75
94.65
99.86
96.88
82.11
81.49
97.52
60.76
97.51
99.17
98.42
98.16
98.77
98.37
96.40
98.79
54.38
92.99
90.99
97.21
96.25
99.15
96.09
77.29
83.20
98.38
98.74
98.55
99.86
98.73
98.96
99.30
99.30
97.76
99.64
54.50
86.90
86.84
98.42
95.36
99.87
97.42
82.27
83.76
97.97
98.33
98.42
99.79
98.24
98.41
99.14
99.09
97.55
68.43
54.38

93.91
94.28
93.35
94.28
94.07
94.07
94.22
92.21
90.41
94.12
93.09
94.48
84.84
93.60
93.45
94.17
92.99
81.86
81.65
99.92
99.84
99.95
99.81
99.81
99.81
99.92
99.97
99.84
99.95
0.00
0.00
85.96
99.02
93.65
99.95
99.58
81.73
83.18
99.89
100.00
99.76
99.95
99.87
99.68
99.89
99.74
98.60
99.89
0.00
94.92
87.92
96.17
98.23
99.95
99.95
77.31
83.87
99.84
99.29
99.81
99.97
99.47
99.87
99.79
99.95
99.37
99.92
0.37
0.00
85.75
99.15
95.80
99.95
98.94
80.25
82.34
99.92
99.63
99.81
99.95
99.81
99.74
99.74
99.84
99.79
99.71
0.00

97.94
97.34
97.18
97.57
97.44
97.64
97.44
96.60
97.83
97.64
99.93
97.27
95.36
97.87
95.91
97.67
96.79
99.38
93.60
99.51
99.16
98.41
99.28
98.69
99.28
99.55
99.72
98.86
99.83
100.00
100.00
87.43
99.00
96.27
100.00
97.64
99.25
95.95
99.16
99.00
97.91
99.25
98.74
98.61
99.08
98.59
98.31
98.91
100.00
99.00
93.12
98.91
96.80
99.30
96.79
93.17
97.77
99.46
99.36
98.79
99.92
99.21
99.30
99.72
99.55
98.59
99.82
99.98
98.19
85.95
98.48
95.45
100.00
98.07
99.16
94.36
98.59
99.00
98.34
99.82
98.69
98.83
99.41
99.16
98.63
100.00
100.00

63.98
89.68
66.98
92.12
91.37
82.18
91.37
90.06
76.92
87.05
0.00
90.81
85.55
81.61
86.68
91.93
68.29
6.83
21.86
98.63
96.58
98.22
99.04
96.58
99.04
99.18
99.86
97.27
99.86
0.00
0.00
97.95
98.77
96.99
100.00
87.16
0.00
0.00
93.03
97.54
97.40
98.91
97.81
96.99
97.13
96.86
93.31
98.63
0.00
97.13
93.44
94.81
91.94
98.50
84.70
0.00
12.30
99.32
96.99
98.09
100.00
97.95
99.04
98.50
99.32
97.13
99.86
0.00
97.95
96.58
98.22
97.40
100.00
93.44
5.60
50.14
96.31
94.54
96.99
100.00
94.26
93.72
97.81
98.50
94.26
99.45
0.00

55.36
66.96
67.26
68.45
66.96
67.56
67.26
76.19
36.61
66.96
0.00
69.64
58.04
67.26
72.92
68.45
52.38
14.75
24.30
76.57
92.19
93.49
89.59
91.11
89.59
93.28
94.36
84.60
93.49
0.00
0.00
90.89
94.14
80.91
97.18
84.82
0.00
16.05
67.46
87.64
75.27
92.62
86.77
88.29
89.59
87.85
66.16
89.80
0.00
0.00
90.67
88.94
82.43
92.19
80.91
0.00
7.81
73.97
90.89
87.64
98.05
89.37
90.02
92.41
91.11
82.43
95.44
0.00
0.00
91.76
94.14
89.59
97.40
87.20
8.03
16.05
78.09
87.20
91.11
97.83
88.29
90.24
93.49
93.06
75.92
94.36
0.00

51.72
51.72
55.17
62.07
55.17
51.72
44.83
44.83
0.00
34.48
0.00
48.28
13.79
44.83
48.28
58.62
0.00
0.00
66.67
97.22
75.00
88.89
58.33
33.33
58.33
80.56
100.00
55.56
86.11
0.00
0.00
83.33
88.89
58.33
100.00
38.89
0.00
0.00
52.78
69.44
80.56
94.44
55.56
13.89
80.56
83.33
0.00
80.56
0.00
0.00
13.89
77.78
61.11
94.44
2.78
0.00
2.78
58.33
75.00
75.00
100.00
75.00
61.11
83.33
94.44
0.00
91.67
0.00
38.89
88.89
69.44
66.67
100.00
41.67
0.00
25.00
77.78
72.22
86.11
100.00
66.67
88.89
91.67
97.22
27.78
80.56
0.00

fc45
fc45
fc45
fc45
fc45
fc45
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
fnb
all
all
all
fcfs
fcfs
fcfs
fcns
fcns
fcns
fc45
fc45
fc45
fnb
fnb
fnb
all
all
all
fcfs
fcfs
fcfs
fcns
fcns
fcns
fc45
fc45
fc45
fnb
fnb
fnb

fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fay
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre
fre

PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Clonalg
Genetico
Furia
PART
RiPPER
RandomForest
C4.5
NBTree
SimpleCart
SOMPoly
SOMRBF
C-SVCRBF
C-SVCSigmoide
PML
NaiveBayes
TAN
RBFNet5
KNN-1
KNN-50
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25
Markov11
Markov15
Markov25

48240.63
0.06
1.09
153.36
0
0
3.1
54.49
35.21
0.84
8.64
0.66
0.12
5.46
44.48
140.91
827.83
37.52
36.99
4079.92
0.05
0.48
86.78
0
0
498.47
498.61
576.39
129.73
150.03
163.46
185.95
181.35
211.47
316.67
302.27
167.05
140.86
144.88
157.90
763.57
785.23
823.39
233.36
214.29
216.68
297.40
296.46
329.43
466.72
511.87
535.27
215.32
217.21
226.67

97.35
86.95
98.11
96.08
99.83
96.50
81.74
80.85
92.91
94.83
93.02
95.60
95.14
94.73
94.91
94.73
92.58
94.85
54.35
94.41
90.11
93.79
92.57
95.66
91.76
84.70
78.38
87.55
90.73
90.38
90.79
86.59
87.23
88.63
81.14
84.35
77.18
83.11
83.24
83.41
84.49
81.00
84.92
86.91
88.08
89.33
82.73
83.71
84.59
82.98
74.99
79.21
86.95
84.60
84.88

99.74
82.34
99.10
98.12
99.92
99.10
79.90
85.19
95.00
95.61
94.45
95.40
95.51
95.32
95.56
95.45
93.10
95.08
0.00
95.48
87.10
94.13
90.24
95.45
95.29
86.38
82.31
85.61
94.22
94.28
94.53
88.81
86.64
93.30
79.16
78.39
78.29
82.62
88.14
88.14
83.87
85.11
85.33
83.29
86.75
91.22
85.11
83.26
83.69
79.32
79.88
82.76
90.19
85.38
86.07

97.54
88.65
98.26
95.88
99.93
97.35
98.81
91.75
97.37
97.61
97.84
97.96
97.52
97.34
97.67
96.97
97.29
97.77
99.95
98.16
95.55
97.92
96.89
98.19
97.15
83.57
74.45
93.46
88.52
88.26
88.63
84.63
86.37
86.65
81.89
87.62
74.82
84.43
80.75
81.31
86.22
76.98
83.66
88.11
87.93
87.04
81.68
83.99
84.20
85.79
68.81
74.92
85.48
83.73
83.94

97.27
95.63
97.54
96.04
99.86
89.62
4.64
8.47
64.75
89.21
66.80
92.08
89.75
86.20
87.98
88.25
78.96
89.34
0.00
88.25
85.11
84.15
83.88
91.67
57.92
86.87
82.36
55.91
92.87
90.81
91.74
89.49
90.24
83.30
83.86
93.25
85.55
75.80
87.05
83.68
78.55
81.42
87.57
90.30
91.26
92.90
72.40
82.10
87.16
84.43
86.89
83.88
77.19
82.65
81.83

83.08
89.80
90.02
83.95
94.79
81.13
4.34
24.73
65.51
64.86
62.69
73.97
71.80
71.80
68.11
73.10
56.18
67.90
0.00
54.23
57.48
55.75
72.67
72.67
53.36
85.12
98.51
72.62
94.94
94.35
94.64
94.05
96.13
94.94
78.57
62.20
89.58
80.95
83.04
84.82
76.14
98.05
93.71
95.01
95.23
96.96
92.19
85.25
91.76
73.54
94.36
97.61
95.44
92.84
92.62

0.00
77.78
83.33
69.44
100.00
19.44
0.00
8.33
55.56
50.00
63.89
75.00
69.44
66.67
52.78
55.56
0.00
41.67
0.00
0.00
25.00
55.56
52.78
72.22
5.56
96.55
96.55
89.66
100.00
93.10
100.00
89.66
96.55
96.55
82.76
89.66
58.62
79.31
58.62
58.62
88.89
88.89
86.11
94.44
97.22
100.00
94.44
97.22
100.00
94.44
97.22
86.11
80.56
80.56
77.78

Tercer Estudio a nivel de 20


Categoras: a nivel de Ataques

Filtro Discretizacion Algoritmo


TiempoTrain
all
0
Furia
2.65
all
0
KNN-1
0
all
0
C4.5
0.11
all
0
RandomForest
0.16
all
0
SmoPoly
0.91
all
0
TAN
0.7
fcfs
0
Furia
1.12
fcfs
0
KNN-1
0
fcfs
0
C4.5
0.05
fcfs
0
RandomForest
0.08
fcfs
0
SmoPoly
0.72
fcfs
0
TAN
0.06
fcns
0
Furia
2.11
fcns
0
KNN-1
0
fcns
0
C4.5
0.06
fcns
0
RandomForest
0.13
fcns
0
SmoPoly
1.17
fcns
0
TAN
0.12
fc45
0
Furia
1.98
fc45
0
KNN-1
0
fc45
0
C4.5
0.06
fc45
0
RandomForest
0.16
fc45
0
SmoPoly
0.86
fc45
0
TAN
0.17
fnb
0
Furia
0.95
fnb
0
KNN-1
0
fnb
0
C4.5
0.03
fnb
0
RandomForest
0.55
fnb
0
SmoPoly
0.73
fnb
0
TAN
0.03
all
fay
Furia
0.22
all
fay
KNN-1
0
all
fay
C4.5
0.03
all
fay
RandomForest
0.03
all
fay
SmoPoly
0.78
all
fay
TAN
0.3
fcfs
fay
Furia
0.12
fcfs
fay
KNN-1
0
fcfs
fay
C4.5
0.02
fcfs
fay
RandomForest
0.02
fcfs
fay
SmoPoly
0.98
fcfs
fay
TAN
0.05
fcns
fay
Furia
0.16
fcns
fay
KNN-1
0
fcns
fay
C4.5
0
fcns
fay
RandomForest
0.03
fcns
fay
SmoPoly
0.73
fcns
fay
TAN
0.11
fc45
fay
Furia
0.2
fc45
fay
KNN-1
0
fc45
fay
C4.5
0.02
fc45
fay
RandomForest
0.05
fc45
fay
SmoPoly
0.73
fc45
fay
TAN
0.16
fnb
fay
Furia
0.09
fnb
fay
KNN-1
0
fnb
fay
C4.5
0
fnb
fay
RandomForest
0.05
fnb
fay
SmoPoly
0.53
fnb
fay
TAN
0.03
all
fre
Furia
2.08
all
fre
KNN-1
0
all
fre
C4.5
0.05
all
fre
RandomForest
0.08
all
fre
SmoPoly
3.51
all
fre
TAN
0.97
fcfs
fre
Furia
1.28
fcfs
fre
KNN-1
0
fcfs
fre
C4.5
0.02
fcfs
fre
RandomForest
0.06
fcfs
fre
SmoPoly
1.03
fcfs
fre
TAN
0.11
fcns
fre
Furia
1.23
fcns
fre
KNN-1
0
fcns
fre
C4.5
0.02
fcns
fre
RandomForest
0.08
fcns
fre
SmoPoly
2.5
fcns
fre
TAN
0.44
fc45
fre
Furia
1.03
fc45
fre
KNN-1
0
fc45
fre
C4.5
0.02
fc45
fre
RandomForest
0.08
fc45
fre
SmoPoly
3.53
fc45
fre
TAN
0.48
fnb
fre
Furia
1
fnb
fre
KNN-1
0
fnb
fre
C4.5
0.02
fnb
fre
RandomForest
0.05
fnb
fre
SmoPoly
0.86
fnb
fre
TAN
0.03
all
fay
Markov11
17.28
all
fay
Markov15
17.67
all
fay
Markov25
19.83
fcfs
fay
Markov11
5.77
fcfs
fay
Markov15
5.71
fcfs
fay
Markov25
6.05
fcns
fay
Markov11
7.63
fcns
fay
Markov15
7.24
fcns
fay
Markov25
8.19
fc45
fay
Markov11
11.23
fc45
fay
Markov15
11.58
fc45
fay
Markov25
12.56
fnb
fay
Markov11
5.83
fnb
fay
Markov15
5.63
fnb
fay
Markov25
6.41
all
fre
Markov11
42.88
all
fre
Markov15
44.27
all
fre
Markov25
48.75
fcfs
fre
Markov11
12.65
fcfs
fre
Markov15
13.32
fcfs
fre
Markov25
14.02
fcns
fre
Markov11
17.27
fcns
fre
Markov15
17.74
fcns
fre
Markov25
20.31
fc45
fre
Markov11
27.83
fc45
fre
Markov15
28.03
fc45
fre
Markov25
30.89
fnb
fre
Markov11
13.43
fnb
fre
Markov15
13.84
fnb
fre
Markov25
15.15

AciertoGlobal
98.46
100.00
98.85
99.87
90.64
97.18
97.05
99.10
96.79
98.97
73.85
96.79
96.41
100.00
95.51
95.51
81.92
95.38
97.18
99.74
97.31
99.62
89.10
95.38
77.56
83.59
80.00
83.46
76.54
78.85
95.83
99.17
94.17
98.75
99.17
96.25
92.92
97.50
95.00
96.67
96.67
93.33
91.25
97.92
91.67
96.67
96.25
94.17
91.25
96.67
92.92
96.25
96.67
93.33
72.92
80.00
78.33
78.33
77.92
79.17
96.83
100.00
95.67
99.83
99.50
97.00
96.00
98.17
96.17
98.17
97.33
94.50
93.67
99.83
93.33
99.33
98.00
96.17
94.17
99.67
94.17
99.00
98.17
95.17
71.00
80.83
77.00
80.33
80.67
79.50
88.43
88.89
92.02
94.93
92.99
94.47
89.59
88.37
91.90
85.32
87.04
89.45
72.09
72.43
72.90
93.32
91.31
90.64
92.05
95.19
95.93
93.37
94.25
92.19
88.89
90.33
91.82
76.71
75.79
75.97

Normal
92.31
100.00
92.31
97.44
84.62
94.87
82.05
97.44
84.62
94.87
10.26
76.92
87.18
100.00
92.31
92.31
20.51
92.31
89.74
100.00
89.74
100.00
58.97
87.18
35.90
58.97
53.85
64.10
38.46
56.41
75.00
100.00
75.00
91.67
100.00
83.33
66.67
100.00
83.33
91.67
100.00
75.00
66.67
100.00
83.33
91.67
100.00
83.33
75.00
100.00
75.00
91.67
100.00
83.33
33.33
58.33
58.33
41.67
41.67
58.33
83.33
100.00
83.33
96.67
100.00
83.33
76.67
90.00
86.67
86.67
86.67
66.67
83.33
100.00
93.33
96.67
100.00
86.67
80.00
100.00
80.00
96.67
100.00
80.00
16.67
50.00
43.33
46.67
53.33
40.00
91.67
91.67
100.00
100.00
91.67
91.67
83.33
91.67
91.67
75.00
75.00
75.00
41.67
41.67
50.00
96.67
90.00
93.33
83.33
83.33
83.33
80.00
90.00
83.33
50.00
90.00
73.33
40.00
46.67
46.67

Neptune
100.00
100.00
100.00
100.00
100.00
100.00
97.44
100.00
97.44
97.44
97.44
97.44
100.00
100.00
100.00
100.00
97.44
97.44
100.00
100.00
100.00
100.00
97.44
100.00
100.00
100.00
94.87
100.00
94.87
97.44
91.67
100.00
91.67
100.00
100.00
100.00
91.67
100.00
91.67
91.67
91.67
91.67
91.67
100.00
100.00
100.00
100.00
100.00
91.67
100.00
100.00
100.00
100.00
100.00
91.67
100.00
91.67
100.00
91.67
91.67
96.67
100.00
100.00
100.00
100.00
100.00
96.67
100.00
96.67
100.00
96.67
96.67
96.67
100.00
96.67
100.00
100.00
100.00
96.67
100.00
90.00
100.00
100.00
100.00
96.67
100.00
90.00
100.00
96.67
96.67
83.33
83.33
83.33
91.67
91.67
91.67
83.33
83.33
91.67
100.00
91.67
83.33
91.67
91.67
91.67
90.00
96.67
93.33
96.67
96.67
96.67
100.00
100.00
93.33
96.67
93.33
96.67
96.67
96.67
96.67

Smurf Apache2Processtable
Back Mailbombteardrop
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 92.31 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 84.62 100.00 7.69
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 82.05 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 97.44
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 92.31 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 74.36 100.00 100.00
100.00 100.00 100.00 84.62 100.00 100.00
100.00 100.00 100.00 71.79 100.00 100.00
100.00 100.00 100.00 79.49 100.00 100.00
100.00 100.00 100.00 71.79 100.00 100.00
100.00 100.00 100.00 61.54 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 66.67 100.00 100.00
100.00 100.00 100.00 75.00 100.00 100.00
100.00 100.00 100.00 75.00 100.00 100.00
100.00 100.00 100.00 75.00 100.00 100.00
100.00 100.00 100.00 75.00 100.00 100.00
100.00 100.00 100.00 75.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 96.67 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 96.67 100.00 100.00
100.00 100.00 96.67 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 86.67 100.00 100.00
100.00 100.00 100.00 86.67 100.00 100.00
100.00 100.00 100.00 86.67 100.00 100.00
100.00 100.00 100.00 83.33 100.00 100.00
100.00 100.00 100.00 83.33 100.00 100.00
100.00 100.00 100.00 86.67 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 75.00 91.67
100.00
100.00 100.00 100.00 75.00 91.67
100.00
100.00 100.00 100.00 75.00 91.67
100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 96.67
100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 96.67 100.00 100.00 96.67
100.00
100.00 100.00 100.00 100.00 96.67
100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 100.00 100.00 100.00
100.00 100.00 100.00 90.00 96.67
100.00
100.00 100.00 100.00 86.67 96.67
100.00
100.00 100.00 100.00 86.67 96.67
100.00

Satan
89.74
100.00
89.74
100.00
94.87
82.05
89.74
94.87
94.87
92.31
97.44
89.74
87.18
100.00
84.62
84.62
97.44
79.49
89.74
100.00
89.74
100.00
100.00
79.49
30.77
58.97
53.85
53.85
74.36
51.28
75.00
100.00
83.33
100.00
91.67
91.67
75.00
91.67
100.00
83.33
100.00
100.00
50.00
91.67
75.00
83.33
75.00
83.33
58.33
83.33
83.33
83.33
83.33
100.00
0.00
100.00
100.00
83.33
100.00
83.33
83.33
100.00
80.00
100.00
90.00
93.33
83.33
93.33
90.00
93.33
90.00
96.67
70.00
100.00
80.00
93.33
86.67
90.00
76.67
100.00
83.33
100.00
90.00
93.33
30.00
53.33
83.33
53.33
93.33
93.33
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

Mscan
100.00
100.00
100.00
100.00
97.44
100.00
100.00
97.44
97.44
100.00
94.87
92.31
100.00
100.00
97.44
97.44
87.18
100.00
100.00
100.00
100.00
100.00
94.87
100.00
94.87
94.87
94.87
94.87
94.87
94.87
91.67
100.00
91.67
100.00
100.00
100.00
91.67
91.67
100.00
100.00
100.00
75.00
100.00
100.00
83.33
100.00
100.00
100.00
100.00
100.00
91.67
100.00
100.00
100.00
66.67
83.33
75.00
83.33
83.33
83.33
100.00
100.00
96.67
100.00
100.00
100.00
100.00
96.67
100.00
96.67
100.00
100.00
100.00
100.00
100.00
100.00
100.00
100.00
100.00
100.00
100.00
100.00
100.00
100.00
93.33
93.33
93.33
93.33
93.33
93.33
66.67
75.00
83.33
83.33
83.33
83.33
83.33
66.67
66.67
83.33
100.00
100.00
75.00
75.00
75.00
90.00
90.00
90.00
93.33
93.33
93.33
93.33
93.33
96.67
93.33
93.33
90.00
93.33
90.00
93.33

Nmap
IpsweepPortsweep
100.00 100.00 100.00
100.00 100.00 100.00
100.00 100.00 100.00
100.00 100.00 100.00
100.00 100.00 100.00
100.00 100.00 79.49
100.00 92.31
100.00
100.00 100.00 100.00
100.00 84.62
94.87
100.00 100.00 100.00
94.87 89.74
92.31
97.44 97.44
100.00
97.44 100.00 69.23
100.00 100.00 100.00
100.00 100.00 48.72
100.00 100.00 48.72
100.00 92.31
48.72
97.44 97.44
61.54
94.87 100.00 92.31
100.00 100.00 97.44
94.87 100.00 97.44
100.00 100.00 94.87
94.87 100.00 100.00
94.87 100.00 64.10
66.67 92.31
82.05
97.44 84.62
61.54
97.44 71.79
48.72
97.44 84.62
61.54
100.00 97.44
41.03
97.44 82.05
64.10
100.00 100.00 100.00
100.00 100.00 100.00
100.00 100.00 91.67
100.00 100.00 100.00
100.00 100.00 100.00
100.00 100.00 91.67
100.00 91.67
100.00
100.00 100.00 100.00
100.00 91.67
100.00
100.00 100.00 100.00
100.00 91.67
100.00
91.67 91.67
91.67
50.00 91.67
100.00
75.00 100.00 100.00
41.67 100.00 91.67
66.67 100.00 100.00
66.67 100.00 91.67
91.67 100.00 50.00
83.33 91.67
91.67
91.67 100.00 100.00
91.67 91.67
100.00
91.67 100.00 100.00
91.67 100.00 100.00
100.00 100.00 58.33
91.67 66.67
66.67
91.67 83.33
66.67
91.67 75.00
58.33
91.67 83.33
66.67
91.67 75.00
66.67
91.67 83.33
66.67
96.67 93.33
100.00
100.00 100.00 100.00
100.00 86.67
93.33
100.00 100.00 100.00
100.00 100.00 100.00
100.00 100.00 86.67
100.00 96.67
96.67
100.00 100.00 100.00
100.00 86.67
93.33
100.00 100.00 100.00
100.00 100.00 100.00
86.67 96.67
96.67
86.67 100.00 56.67
100.00 100.00 100.00
100.00 86.67
36.67
100.00 100.00 100.00
93.33 100.00 86.67
96.67 100.00 73.33
90.00 93.33
96.67
100.00 100.00 96.67
93.33 86.67
90.00
100.00 100.00 86.67
93.33 100.00 90.00
96.67 100.00 83.33
86.67 63.33
0.00
96.67 83.33
56.67
96.67 70.00
50.00
96.67 83.33
56.67
96.67 83.33
56.67
83.33 80.00
56.67
0.00 0.00
75.00
0.00 0.00
75.00
0.00 0.00
58.33
0.00 0.00
100.00
0.00 0.00
50.00
0.00 0.00
100.00
0.00 0.00
66.67
0.00 0.00
41.67
0.00 0.00
41.67
0.00 0.00
83.33
0.00 0.00
66.67
0.00 0.00
91.67
0.00 0.00
41.67
0.00 0.00
41.67
0.00 0.00
41.67
0.00 0.00
80.00
0.00 0.00
96.67
0.00 0.00
46.67
0.00 0.00
43.33
0.00 0.00
96.67
0.00 0.00
96.67
0.00 0.00
73.33
0.00 0.00
66.67
0.00 0.00
66.67
0.00 0.00
73.33
0.00 0.00
63.33
0.00 0.00
86.67
0.00 0.00
56.67
0.00 0.00
36.67
0.00 0.00
43.33

Saint Gess_passwd
httptunnel
Warezmaster
WarezclientSnmpguessSnmpgetattack
92.31 100.00 100.00 100.00
97.44
100.00
97.44
100.00 100.00 100.00 100.00
100.00
100.00
100.00
97.44 100.00 97.44
100.00
100.00
100.00
100.00
100.00 100.00 100.00 100.00
100.00
100.00
100.00
0.00 100.00 100.00 94.87
97.44
51.28
100.00
89.74 100.00 100.00 100.00
97.44
100.00
100.00
82.05 100.00 100.00 100.00
97.44
100.00
100.00
92.31 100.00 100.00 100.00
100.00
100.00
100.00
82.05 100.00 100.00 100.00
100.00
100.00
100.00
94.87 100.00 100.00 100.00
100.00
100.00
100.00
2.56 94.87 46.15
58.97
94.87
10.26
100.00
84.62 100.00 100.00 100.00
100.00
100.00
100.00
92.31 100.00 100.00 100.00
97.44
100.00
97.44
100.00 100.00 100.00 100.00
100.00
100.00
100.00
87.18 100.00 100.00 100.00
100.00
100.00
100.00
87.18 100.00 100.00 100.00
100.00
100.00
100.00
2.56 97.44 92.31
79.49
92.31
48.72
100.00
87.18 100.00 100.00 100.00
97.44
100.00
100.00
84.62 100.00 100.00 100.00
97.44
97.44
97.44
100.00 100.00 100.00 100.00
97.44
100.00
100.00
76.92 100.00 100.00 100.00
100.00
97.44
100.00
100.00 100.00 100.00 100.00
100.00
97.44
100.00
2.56 100.00 100.00 94.87
94.87
51.28
100.00
87.18 100.00 100.00 100.00
97.44
97.44
100.00
0.00 100.00 53.85
76.92
97.44
46.15
100.00
53.85 100.00 76.92
71.79
100.00
43.59
84.62
48.72 100.00 48.72
76.92
100.00
53.85
84.62
53.85 97.44 76.92
71.79
100.00
48.72
84.62
2.56 94.87 46.15
58.97
97.44
35.90
82.05
41.03 94.87 41.03
71.79
97.44
41.03
84.62
83.33 100.00 100.00 100.00
100.00
100.00
100.00
83.33 100.00 100.00 100.00
100.00
100.00
100.00
75.00 100.00 100.00 91.67
100.00
100.00
83.33
83.33 100.00 100.00 100.00
100.00
100.00
100.00
91.67 100.00 100.00 100.00
100.00
100.00
100.00
58.33 100.00 100.00 100.00
100.00
100.00
100.00
50.00 100.00 100.00 91.67
100.00
100.00
100.00
66.67 100.00 100.00 100.00
100.00
100.00
100.00
50.00 100.00 100.00 91.67
100.00
100.00
91.67
66.67 100.00 100.00 100.00
100.00
100.00
100.00
50.00 100.00 100.00 100.00
100.00
100.00
100.00
50.00 100.00 100.00 100.00
100.00
100.00
100.00
75.00 100.00 100.00 100.00
100.00
100.00
100.00
91.67 100.00 100.00 100.00
100.00
100.00
100.00
66.67 100.00 100.00 91.67
100.00
100.00
100.00
91.67 100.00 100.00 100.00
100.00
100.00
100.00
91.67 100.00 100.00 100.00
100.00
100.00
100.00
75.00 100.00 100.00 100.00
100.00
100.00
100.00
50.00 100.00 100.00 100.00
100.00
83.33
100.00
66.67 100.00 100.00 100.00
91.67
100.00
100.00
50.00 100.00 100.00 91.67
100.00
91.67
91.67
66.67 100.00 100.00 100.00
100.00
91.67
100.00
66.67 100.00 100.00 100.00
100.00
91.67
100.00
33.33 100.00 100.00 100.00
100.00
91.67
100.00
0.00 100.00 83.33
66.67
100.00
33.33
91.67
0.00 100.00 83.33
66.67
91.67
33.33
66.67
0.00 100.00 83.33
66.67
91.67
33.33
66.67
0.00 100.00 83.33
66.67
91.67
33.33
66.67
0.00 91.67 83.33
66.67
91.67
33.33
66.67
0.00 100.00 83.33
66.67
100.00
33.33
66.67
83.33 100.00 100.00 100.00
100.00
100.00
100.00
100.00 100.00 100.00 100.00
100.00
100.00
100.00
76.67 100.00 100.00 100.00
100.00
100.00
100.00
100.00 100.00 100.00 100.00
100.00
100.00
100.00
100.00 100.00 100.00 100.00
100.00
100.00
100.00
76.67 100.00 100.00 100.00
100.00
100.00
100.00
80.00 100.00 100.00 90.00
100.00
100.00
100.00
86.67 100.00 100.00 96.67
100.00
100.00
100.00
76.67 100.00 100.00 93.33
100.00
100.00
100.00
90.00 100.00 100.00 96.67
100.00
100.00
100.00
80.00 100.00 100.00 93.33
100.00
100.00
100.00
66.67 100.00 83.33
100.00
100.00
100.00
100.00
83.33 96.67 100.00 100.00
100.00
100.00
100.00
96.67 100.00 100.00 100.00
100.00
100.00
100.00
76.67 100.00 100.00 100.00
100.00
100.00
100.00
100.00 100.00 100.00 100.00
100.00
100.00
100.00
93.33 100.00 100.00 100.00
100.00
100.00
100.00
76.67 100.00 100.00 100.00
100.00
100.00
100.00
53.33 100.00 100.00 100.00
100.00
96.67
100.00
100.00 100.00 100.00 100.00
96.67
100.00
100.00
63.33 100.00 100.00 100.00
100.00
96.67
100.00
100.00 100.00 100.00 100.00
100.00
96.67
100.00
93.33 100.00 100.00 100.00
100.00
96.67
100.00
56.67 100.00 100.00 100.00
100.00
93.33
100.00
0.00 100.00 46.67
60.00
100.00
40.00
100.00
36.67 100.00 76.67
66.67
100.00
36.67
80.00
0.00 100.00 43.33
60.00
100.00
43.33
80.00
36.67 100.00 83.33
56.67
100.00
36.67
80.00
0.00 100.00 80.00
60.00
100.00
36.67
80.00
0.00 100.00 76.67
63.33
100.00
40.00
80.00
0.00 100.00 100.00 91.67
100.00
100.00
100.00
0.00 100.00 100.00 100.00
100.00
100.00
100.00
25.00 100.00 100.00 100.00
100.00
100.00
100.00
58.33 100.00 100.00 100.00
100.00
100.00
100.00
50.00 100.00 100.00 100.00
100.00
100.00
91.67
50.00 100.00 100.00 100.00
100.00
100.00
91.67
41.67 100.00 100.00 100.00
100.00
100.00
100.00
75.00 100.00 100.00 100.00
100.00
100.00
100.00
50.00 100.00 100.00 100.00
100.00
100.00
100.00
8.33 100.00 100.00 41.67
83.33
91.67
91.67
0.00 100.00 75.00
100.00
100.00
83.33
100.00
8.33 100.00 100.00 100.00
83.33
100.00
100.00
0.00 75.00 41.67
91.67
91.67
33.33
66.67
0.00 75.00 41.67
91.67
91.67
33.33
66.67
0.00 75.00 41.67
91.67
91.67
33.33
66.67
83.33 93.33 93.33
100.00
100.00
96.67
100.00
46.67 96.67 66.67
100.00
100.00
100.00
93.33
23.33 93.33 100.00 96.67
83.33
100.00
96.67
70.00 100.00 83.33
100.00
100.00
100.00
100.00
73.33 100.00 83.33
100.00
100.00
100.00
100.00
76.67 100.00 100.00 96.67
100.00
100.00
100.00
86.67 100.00 100.00 100.00
100.00
100.00
100.00
90.00 93.33 100.00 100.00
100.00
100.00
96.67
83.33 93.33 96.67
100.00
100.00
100.00
100.00
33.33 96.67 90.00
86.67
86.67
100.00
100.00
36.67 80.00 83.33
100.00
100.00
90.00
100.00
30.00 100.00 86.67
96.67
100.00
96.67
100.00
0.00 83.33 50.00
73.33
100.00
33.33
76.67
0.00 86.67 50.00
70.00
100.00
40.00
76.67
0.00 83.33 50.00
70.00
96.67
36.67
76.67

Apndice B
Tablas de Matrices de Confusin

Matrices de Confusin para el Primer


Estudio a nivel de 2 Categoras:
Normal y Ataque

All
Furia

CFS
Furia
A
301
10

A
N
KNN-1
A
A
N
C4.5

N
1
292

A
99.67
0.00

N
0.33
100.00

1
293

A
N

A
99.67
2.98

N
0.33
97.02

0
302

A
N

A
100.00
0.00

N
0.00
100.00

17
283

A
N

A
94.37
6.29

N
5.63
93.71

5
288

A
N

A
98.34
4.64

N
1.66
95.36

2
289

A
N

A
99.34
4.30

N
0.66
95.70

1
302

A
N

A
99.67
0.00

N
0.33
100.00

1
294

A
N

A
99.67
2.65

N
0.33
97.35

0
302

A
N

A
100.00
0.00

N
0.00
100.00

25
264

A
N

A
91.72
12.58

N
8.28
87.42

7
291

A
N

A
97.68
3.64

N
2.32
96.36

15
135

A
N

A
94.07
2.17

N
5.93
97.83

3
138

A
N

A
98.81
0.00

N
1.19
100.00

9
131

A
N

A
96.44
5.07

N
3.56
94.93

2
138

A
N

A
99.21
0.00

N
0.79
100.00

7
129

A
N

A
97.23
6.52

N
2.77
93.48

15
135

A
N

A
94.07
2.17

N
5.93
97.83

5
131

A
N

A
98.02
5.07

N
1.98
94.93

5
138

A
N

A
98.02
0.00

N
1.98
100.00

10
129

A
N

A
96.05
6.52

N
3.95
93.48

5
137

A
N

A
98.02
0.72

N
1.98
99.28

42
111

A
N

A
83.40
19.57

N
16.60
80.43

42
111

A
N

A
83.40
19.57

N
16.60
80.43

A
N

A
99.64
10.40

N
0.36
89.60

1
298

A
N

A
99.64
0.00

N
0.36
100.00

2
270

A
N

A
99.27
9.40

N
0.73
90.60

0
297

A
N

A
100.00
0.34

N
0.00
99.66

0
298

A
N

A
100.00
0.00

N
0.00
100.00

1
292

A
N

A
99.64
2.01

N
0.36
97.99

A
N

A
100.00
13.09

N
0.00
86.91

A
N

A
99.64
0.00

N
0.36
100.00

N
285
19

A
A
N

A
N

N
302
0

A
N
Tan

1
302
N

301
9

A
N
SmoPoly

N
0.33
96.69

N
301
0

A
N
RandomF

A
N

A
99.67
3.31

N
297
14

CNS
Furia

A
N
KNN-1
A
A
N
C4.5

N
27
287

A
99.67
0.66

N
0.33
99.34

0
297

A
N

A
100.00
1.66

N
0.00
98.34

0
298

A
N

A
100.00
1.32

N
0.00
98.68

14
253

A
N

A
95.36
16.23

N
4.64
83.77

3
294

A
N

A
99.01
2.65

N
0.99
97.35

0
292

A
N

A
100.00
3.31

N
0.00
96.69

1
302

A
N

A
99.67
0.00

N
0.33
100.00

0
294

A
N

A
100.00
2.65

N
0.00
97.35

0
302

A
N

A
100.00
0.00

N
0.00
100.00

22
285

A
N

A
92.72
5.63

N
7.28
94.37

4
292

A
N

A
98.68
3.31

N
1.32
96.69

6
119

A
N

A
97.63
13.77

N
2.37
86.23

9
130

N
A
N

96.44
5.80

3.56
94.20

13
127

A
N

A
94.86
7.97

N
5.14
92.03

9
129

A
N

A
96.44
6.52

N
3.56
93.48

12
123

A
N

A
95.26
10.87

N
4.74
89.13

15
130

A
N

A
94.07
5.80

N
5.93
94.20

10
127

A
N

A
96.05
7.97

N
3.95
92.03

5
134

A
N

A
98.02
2.90

N
1.98
97.10

7
130

A
N

A
97.23
5.80

N
2.77
94.20

4
133

A
N

A
98.42
3.62

N
1.58
96.38

14
129

A
N

A
94.47
6.52

N
5.53
93.48

17
132

A
N

A
93.28
4.35

N
6.72
95.65

A
N

A
100.00
12.75

N
0.00
87.25

1
296

A
N

A
99.64
0.67

N
0.36
99.33

15
282

A
N

A
94.55
5.37

N
5.45
94.63

0
295

A
N

A
100.00
1.01

N
0.00
98.99

1
283

A
N

A
99.64
5.03

N
0.36
94.97

3
285

A
N

A
98.91
4.36

N
1.09
95.64

A
N

A
100.00
13.42

N
0.00
86.58

A
N

A
99.64
0.00

N
0.36
100.00

N
288
49

A
A
N

A
N

N
302
4

A
N
Tan

1
300
N

302
5

A
N
SmoPoly

N
8.94
95.03

N
301
2

A
N
RandomF

A
N

A
91.06
4.97

N
299
8

A
289
33

A
N
KNN-1
A
A
N
C4.5

N
13
269

A
N

A
96.36
6.95

N
3.64
93.05

10
266

A
N

A
96.69
11.92

N
3.31
88.08

12
279

A
N

A
96.03
7.62

N
3.97
92.38

17
261

A
N

A
94.37
13.58

N
5.63
86.42

23
270

A
N

A
92.38
10.60

N
7.62
89.40

39
125

A
N

A
84.58
9.42

N
15.42
90.58

26
120

A
N

A
89.72
13.04

N
10.28
86.96

25
116

A
N

A
90.12
15.94

N
9.88
84.06

26
120

A
N

A
89.72
13.04

N
10.28
86.96

28
125

A
N

A
88.93
9.42

N
11.07
90.58

30
126

A
N

A
88.14
8.70

N
11.86
91.30

A
N

A
94.91
18.79

N
5.09
81.21

15
277

A
N

A
94.55
7.05

N
5.45
92.95

19
258

A
N

A
93.09
13.42

N
6.91
86.58

14
276

A
N

A
94.91
7.38

N
5.09
92.62

16
262

A
N

A
94.18
12.08

N
5.82
87.92

30
275

A
N

A
89.09
7.72

N
10.91
92.28

N
285
41

A
A
N

11
281

N
290
23

A
N
Tan

N
4.30
89.07

N
292
36

A
N
SmoPoly

A
95.70
10.93

N
291
21

A
N
RandomF

A
N

N
279
32

C4.5
Furia
A
300
13

A
N
KNN-1
A
A
N
C4.5

N
301
0

A
A
N
RandomF

N
301
8

A
A
N
SmoPoly

N
302
0

A
A
N
Tan

N
277
38

A
A
N

N
295
11

Fay
Furia

A
302
10

A
N
KNN-1
A
A
N
C4.5

N
301
0

A
A
N
RandomF

N
302
8

A
A
N
SmoPoly

N
302
0

A
A
N
Tan

N
280
17

A
A
N

N
298
10

FayCFS
Furia
A
238
3

A
N
KNN-1
A
A
N
C4.5

N
250
0

A
A
N
RandomF

N
244
7

A
A
N
SmoPoly

N
251
0

A
A
N
Tan

N
246
9

A
A
N

N
238
3

FayCNS
Furia

FayNB
Furia
A
247
19

A
N
KNN-1
A
A
N
C4.5

N
244
8

A
A
N
RandomF

N
240
11

A
A
N
SmoPoly

N
244
9

A
A
N
Tan

N
241
15

A
A
N

N
238
8

A
214
13

A
N
KNN-1
A
A
N
C4.5

N
227
18

A
A
N
RandomF

N
228
22

A
A
N
SmoPoly

N
227
18

A
A
N
Tan

N
225
13

A
A
N

N
223
12

FayC4.5
Furia
A
248
7

A
N
KNN-1
A
A
N
C4.5

N
248
0

A
A
N
RandomF

N
243
9

A
A
N
SmoPoly

N
248
1

A
A
N
Tan

N
211
27

A
A
N

N
211
27

FrecAll
Furia

A
243
11

A
N
KNN-1
A
A
N
C4.5

N
248
4

A
A
N
RandomF

N
246
8

A
A
N
SmoPoly

N
249
5

A
A
N
Tan

N
239
9

A
A
N

N
236
6

FrecCFS
Furia
A
274
31

A
N
KNN-1
A
A
N
C4.5

N
1
267
N

274
0
A

A
N
RandomF

N
273
28

A
A
N
SmoPoly

N
275
1

A
A
N
Tan

N
275
0

A
A
N

N
274
6

FrecCNS
Furia

FrecNB
Furia
A
275
38

A
N
KNN-1
A
A
N
C4.5

N
0
260
N

274
2
A

A
N
RandomF

N
260
16

A
A
N
SmoPoly

N
275
3

A
A
N
Tan

N
274
15

A
A
N

N
272
13

FrecC4.5
Furia
A
275
39

A
N
KNN-1
A
A
N

NB
Furia
A
275
15

N
0
259
N

274
0

1
298

A
275
40

A
N
KNN-1
A
A
N

N
0
258
N

274
0

1
298

A
261
56

A
N
KNN-1
A
A
N
C4.5

N
260
21

A
A
N
RandomF

N
256
40

A
A
N
SmoPoly

N
261
22

A
A
N
Tan

N
259
36

A
A
N

N
14
242

N
245
23

C4.5

C4.5
A

A
N
RandomF

N
268
16

A
A
N
SmoPoly
A

A
97.45
5.37

N
2.55
94.63

0
298

A
N

A
100.00
0.00

N
0.00
100.00

0
294

A
N

A
100.00
1.34

N
0.00
98.66

1
291

A
N

A
99.64
2.35

N
0.36
97.65

47
112

A
N

A
81.42
18.84

N
18.58
81.16

49
123

A
N

A
80.63
10.87

N
19.37
89.13

42
106

A
N

A
83.40
23.19

N
16.60
76.81

23
108

A
N

A
90.91
21.74

N
9.09
78.26

39
120

A
N

A
84.58
13.04

N
15.42
86.96

78
282

A
N

A
71.64
5.37

N
28.36
94.63

2
272

A
N

A
99.27
8.72

N
0.73
91.28

34
274

A
N

A
87.64
8.05

N
12.36
91.95

27
225

A
N

A
90.18
24.50

N
9.82
75.50

28
268

A
N

A
89.82
10.07

N
10.18
89.93

N
275
4

A
A
N

A
N

N
275
0

A
N
Tan

7
282

N
274
7

Markov
Fay11

A
A
N
RandomF

N
273
28

A
A
N
SmoPoly
A

A
99.27
9.40

N
0.73
90.60

0
297

A
N

A
100.00
0.34

N
0.00
99.66

0
295

A
N

A
100.00
1.01

N
0.00
98.99

4
288

A
N

A
98.55
3.36

N
1.45
96.64

N
275
3

A
A
N

A
N

N
275
1

A
N
Tan

2
270

N
271
10

Fay15
A

A
N

N
206
26

FayCFS11

Fay25
A

A
N

N
173
21

80
117

A
N

A
68.38
15.22

N
31.62
84.78

33
119

A
N

A
86.96
13.77

N
13.04
86.23

74
117

A
N

A
70.75
15.22

N
29.25
84.78

52
122

A
N

A
79.45
11.59

N
20.55
88.41

35
118

A
N

A
86.17
14.49

N
13.83
85.51

38
265

A
N

A
86.18
11.07

N
13.82
88.93

2
276

A
N

A
99.27
7.38

N
0.73
92.62

51
274

A
N

A
81.45
8.05

N
18.55
91.95

83
267

A
N

A
69.82
10.40

N
30.18
89.60

27
274

A
N

A
90.18
8.05

N
9.82
91.95

FayCFS15
A

A
N
FayCNS11

N
204
15

A
A
N
FayC4.511

N
211
32

A
A
N
FayNB11

N
230
30

A
A
N
Frec11

N
214
18

A
A
N
FrecCFS11

N
197
16

A
A
N
FrecCNS11
A
A
N
FrecC4.511
A
A
N
FrecNB11
A
A
N

N
273
26
N
241
24
N
248
73
N
247
30

A
A
N

N
149
16

104
122

A
N

A
58.89
11.59

N
41.11
88.41

46
120

A
N

A
81.82
13.04

N
18.18
86.96

14
103

A
N

A
94.47
25.36

N
5.53
74.64

45
117

A
N

A
82.21
15.22

N
17.79
84.78

38
121

A
N

A
84.98
12.32

N
15.02
87.68

25
273

A
N

A
90.91
8.39

N
9.09
91.61

2
270

A
N

A
99.27
9.40

N
0.73
90.60

55
279

A
N

A
80.00
6.38

N
20.00
93.62

40
258

A
N

A
85.45
13.42

N
14.55
86.58

27
262

A
N

A
90.18
12.08

N
9.82
87.92

FayCFS25
A

A
N
FayCNS15

N
220
19

A
A
N
FayC4.515

N
179
21

A
A
N
FayNB15

N
201
16

A
A
N
Frec15

N
218
20

A
A
N
FrecCFS15

N
237
33

A
A
N
FrecCNS15
A
A
N
FrecC4.515
A
A
N
FrecNB15
A
A
N

N
273
22
N
224
24
N
192
31
N
248
24

A
A
N
FayCNS25

N
207
18

A
A
N
FayC4.525

N
239
35

A
A
N
FayNB25

N
208
21

A
A
N
Frec25

N
215
17

A
A
N
FrecCFS25

N
250
25

A
A
N
FrecCNS25
A
A
N
FrecC4.525
A
A
N
FrecNB25
A
A
N

N
273
28
N
220
19
N
235
40
N
248
36

Matrices de Confusin para el


Segundo Estudio a nivel de 5
Categoras: DoS, Probe, R2L, U2R y
Normal

All
Clonalg

Acierto
D
D
P
R
U
N

P
1532
508
566
38
802

R
193
846
246
19
1033

U
0
0
0
0
0

N
0
0
0
0
0

691
56
80
8
480

Genetico

D
P
R
U
N

D
63.41
36.03
63.45
58.46
34.64

P
7.99
60.00
27.58
29.23
44.62

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
28.60
3.97
8.97
12.31
20.73

D
65.19
37.52
0.90
30.77
1.90

P
0.00
18.44
0.67
23.08
1.56

R
0.00
0.00
3.36
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
34.81
44.04
95.07
46.15
96.54

D
99.67
0.14
0.00
0.00
0.22

P
0.08
99.22
0.22
0.00
0.56

R
0.00
0.07
89.57
3.08
0.30

U
0.00
0.00
0.22
81.54
0.00

N
0.25
0.57
9.98
15.38
98.92

D
99.75
0.07
0.00
0.00
0.09

P
0.04
99.50
0.34
1.54
0.04

R
0.00
0.07
96.41
0.00
0.17

U
0.00
0.00
0.00
95.38
0.04

N
0.21
0.35
3.25
3.08
99.65

D
99.92
0.07
0.11
0.00
0.13

P
0.04
98.87
0.22
0.00
0.09

R
0.00
0.14
92.15
0.00
0.35

U
0.00
0.07
0.45
96.92
0.04

N
0.04
0.85
7.06
3.08
99.40

D
100.00
0.00
0.00
0.00
0.04

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
98.65
0.00
0.09

U
0.00
0.00
0.00
100.00
0.00

N
0.00
0.00
1.35
0.00
99.87

D
99.75
0.14
0.00
0.00
0.13

P
0.08
99.36
0.00
1.54
0.17

R
0.00
0.07
95.85
3.08
0.13

U
0.00
0.07
0.00
84.62
0.00

N
0.17
0.35
4.15
10.77
99.57

D
99.88
0.57
0.00
0.00
0.13

P
0.08
98.79
0.00
0.00
0.00

R
0.00
0.00
93.27
0.00
0.00

U
0.00
0.00
0.22
98.46
0.00

N
0.04
0.64
6.50
1.54
99.87

D
99.67
0.00
0.00
0.00
0.09

P
0.04
99.08
0.11
0.00
0.22

R
0.00
0.07
93.16
4.62
0.39

U
0.00
0.00
0.22
81.54
0.00

N
0.29
0.85
6.50
13.85
99.31

Acierto
D
D
P
R
U
N

P
1575
529
8
20
44

R
0
260
6
15
36

U
0
0
30
0
0

N
0
0
0
0
0

841
621
848
30
2235

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2408
2
0
0
5

R
2
1399
2
0
13

U
0
1
799
2
7

N
0
0
2
53
0

6
8
89
10
2290

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2410
1
0
0
2

R
1
1403
3
1
1

U
0
1
860
0
4

N
0
0
0
62
1

5
5
29
2
2307

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2414
1
1
0
3

R
1
1394
2
0
2

U
0
2
822
0
8

N
0
1
4
63
1

1
12
63
2
2301

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2416
0
0
0
1

R
0
1410
0
0
0

U
0
0
880
0
2

N
0
0
0
65
0

0
0
12
0
2312

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2410
2
0
0
3

R
2
1401
0
1
4

U
0
1
855
2
3

N
0
1
0
55
0

4
5
37
7
2305

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2413
8
0
0
3

R
2
1393
0
0
0

U
0
0
832
0
0

N
0
0
2
64
0

1
9
58
1
2312

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2408
0
0
0
2

R
1
1397
1
0
5

U
0
1
831
3
9

N
0
0
2
53
0

7
12
58
9
2299

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

2235
9
1
0
16

2411
1410
885
63
2311

0
1
791
3
45

2347
1393
881
64
2223

179
80
95
14
2229

SMORBF

D
P
R
U
N

31.16
0.31
0.04
0.00
0.23

33.62
48.74
33.36
43.75
33.87

0.00
0.03
29.82
2.08
0.66

32.72
48.15
33.21
44.44
32.58

2.50
2.77
3.58
9.72
32.66

D
88.62
1.99
0.45
0.00
0.65

P
0.29
91.84
0.90
0.00
1.64

R
0.54
0.14
70.07
6.15
1.04

U
0.00
0.00
0.00
53.85
0.04

N
10.55
6.03
28.59
40.00
96.63

D
90.73
2.13
0.34
0.00
0.52

P
0.12
92.62
1.12
0.00
1.08

R
0.00
0.14
89.13
6.15
2.16

U
0.00
0.07
0.00
53.85
0.04

N
9.15
5.04
9.42
40.00
96.20

D
45.70
38.01
0.11
53.85
3.02

P
0.00
0.00
0.00
0.00
0.00

R
8.20
0.92
0.34
0.00
0.56

U
0.00
0.00
0.00
0.00
0.00

N
46.11
61.06
99.55
46.15
96.41

D
94.71
50.14
50.00
50.00
50.12

P
0.00
47.58
0.17
0.00
0.35

R
0.00
0.04
44.89
15.38
0.84

U
0.00
0.00
0.00
26.92
0.00

N
5.29
2.24
4.94
7.69
48.69

D
70.57
1.63
0.45
0.00
1.17

P
6.95
83.48
0.90
0.00
4.28

R
0.91
2.55
60.99
4.62
4.71

U
0.91
7.87
36.10
95.38
11.23

N
20.65
4.47
1.57
0.00
78.62

D
98.51
0.21
0.11
0.00
0.17

P
0.37
98.51
0.00
0.00
1.12

R
0.04
0.07
95.96
1.54
1.12

U
0.00
0.00
0.67
92.31
0.04

N
1.08
1.21
3.25
6.15
97.54

D
79.55
8.51
0.22
0.00
1.12

P
0.33
74.68
1.12
15.38
1.47

R
0.00
0.00
41.70
4.62
1.77

U
0.00
0.00
0.00
23.08
0.00

N
20.12
16.81
56.95
56.92
95.64

D
99.96
0.00
0.00
0.00
0.00

P
0.00
99.93
0.00
0.00
0.00

R
0.00
0.00
98.09
0.00
0.00

U
0.00
0.00
0.00
100.00
0.00

N
0.04
0.07
1.91
0.00
100.00

D
95.90
1.77

P
0.17
93.62

R
0.00
0.00

U
0.00
0.14

N
3.93
4.47

Acierto
D
D
P
R
U
N

P
2141
28
4
0
15

R
7
1295
8
0
38

U
13
2
625
4
24

N
0
0
0
35
1

255
85
255
26
2237

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2192
30
3
0
12

R
3
1306
10
0
25

U
0
2
795
4
50

N
0
1
0
35
1

221
71
84
26
2227

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1104
536
1
35
70

R
0
0
0
0
0

U
198
13
3
0
13

N
0
0
0
0
0

1114
861
888
30
2232

PML

D
P
R
U
N

Acierto
D
D
P
R
U
N

P
2416
1410
891
65
2314

R
0
1338
3
0
16

U
0
1
800
20
39

N
0
0
0
35
0

135
63
88
10
2248

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1705
23
4
0
27

R
168
1177
8
0
99

U
22
36
544
3
109

N
22
111
322
62
260

499
63
14
0
1820

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2380
3
1
0
4

R
9
1389
0
0
26

U
1
1
856
1
26

N
0
0
6
60
1

26
17
29
4
2258

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1922
120
2
0
26

R
8
1053
10
10
34

U
0
0
372
3
41

N
0
0
0
15
0

486
237
508
37
2214

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2415
0
0
0
0

R
0
1409
0
0
0

U
0
0
875
0
0

N
0
0
0
65
0

1
1
17
0
2315

KNN-50

D
P
R
U
N
Acierto

D
D
P

P
2317
25

R
4
1320

U
0
0

N
0
2

95
63

D
P

R
U
N

6
1
19

8
6
20

769
5
31

0
31
0

109
22
2245

R
U
N

0.67
1.54
0.82

0.90
9.23
0.86

86.21
7.69
1.34

0.00
47.69
0.00

12.22
33.85
96.98

FCFS
Clonalg

Acierto
D
D
P
R
U
N

P
1242
98
1
0
10

R
1170
1310
816
56
1942

U
0
0
0
0
0

N
0
0
0
0
0

4
2
75
9
363

Genetico

D
P
R
U
N

D
51.41
6.95
0.11
0.00
0.43

P
48.43
92.91
91.48
86.15
83.89

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
0.17
0.14
8.41
13.85
15.68

D
59.35
18.01
0.45
43.08
1.08

P
0.62
46.95
3.48
10.77
4.79

R
0.00
0.00
15.36
0.00
0.13

U
0.00
0.00
0.00
0.00
0.00

N
40.02
35.04
80.72
46.15
94.00

D
99.83
0.78
0.11
0.00
0.22

P
0.08
97.23
0.22
10.77
0.52

R
0.00
0.00
82.62
0.00
0.00

U
0.00
0.00
0.00
67.69
0.04

N
0.08
1.99
17.04
21.54
99.22

D
99.92
0.57
0.00
0.00
0.13

P
0.00
97.09
0.00
0.00
0.17

R
0.04
0.21
90.47
1.54
0.22

U
0.00
0.00
0.34
84.62
0.04

N
0.04
2.13
9.19
13.85
99.44

D
99.88
0.07
0.00
0.00
0.17

P
0.08
98.23
0.11
1.54
0.30

R
0.00
0.00
83.30
0.00
0.35

U
0.00
0.00
0.22
86.15
0.04

N
0.04
1.70
16.37
12.31
99.14

D
99.96
0.07
0.00
0.00
0.13

P
0.00
99.65
0.00
0.00
0.04

R
0.00
0.00
93.16
0.00
0.13

U
0.00
0.00
0.00
100.00
0.04

N
0.04
0.28
6.84
0.00
99.65

D
99.83
0.78
0.00
0.00
0.13

P
0.12
97.66
0.34
0.00
0.17

R
0.00
0.00
89.91
1.54
0.17

U
0.00
0.00
0.11
84.62
0.09

N
0.04
1.56
9.64
13.85
99.44

D
99.79
1.84
0.00
0.00
0.17

P
0.08
96.74
0.22
0.00
0.30

R
0.00
0.00
88.79
4.62
0.22

U
0.00
0.00
0.78
84.62
0.04

N
0.12
1.42
10.20
10.77
99.27

D
99.92
0.14
0.00
0.00
0.13

P
0.04
98.44
0.22
0.00
0.30

R
0.00
0.07
91.03
0.00
0.13

U
0.00
0.07
0.34
84.62
0.09

N
0.04
1.28
8.41
15.38
99.35

Acierto
D
D
P
R
U
N

P
1434
254
4
28
25

R
15
662
31
7
111

U
0
0
137
0
3

N
0
0
0
0
0

967
494
720
30
2176

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2412
11
1
0
5

R
2
1371
2
7
12

U
0
0
737
0
0

N
0
0
0
44
1

2
28
152
14
2297

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2414
8
0
0
3

R
0
1369
0
0
4

U
1
3
807
1
5

N
0
0
3
55
1

1
30
82
9
2302

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2413
1
0
0
4

R
2
1385
1
1
7

U
0
0
743
0
8

N
0
0
2
56
1

1
24
146
8
2295

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2415
1
0
0
3

R
0
1405
0
0
1

U
0
0
831
0
3

N
0
0
0
65
1

1
4
61
0
2307

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2412
11
0
0
3

R
3
1377
3
0
4

U
0
0
802
1
4

N
0
0
1
55
2

1
22
86
9
2302

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2411
26
0
0
4

R
2
1364
2
0
7

U
0
0
792
3
5

N
0
0
7
55
1

3
20
91
7
2298

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2414
2
0
0
3

R
1
1388
2
0
7

U
0
1
812
0
3

N
0
1
3
55
2

1
18
75
10
2300

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

2102
73
4
2
40

3
1222
5
1
37

0
2
542
3
22

0
0
3
44
3

311
113
338
15
2213

SMORBF

D
P
R
U
N

87.00
5.18
0.45
3.08
1.73

0.12
86.67
0.56
1.54
1.60

0.00
0.14
60.76
4.62
0.95

0.00
0.00
0.34
67.69
0.13

12.87
8.01
37.89
23.08
95.59

D
87.38
7.52
1.91
16.92
1.64

P
0.25
76.38
0.34
53.85
1.34

R
0.00
0.07
58.18
4.62
0.78

U
0.00
0.00
0.00
0.00
0.00

N
12.38
16.03
39.57
24.62
96.24

D
87.33
4.11
0.67
3.08
1.21

P
0.46
90.00
1.46
10.77
1.81

R
0.00
0.35
60.65
4.62
0.91

U
0.00
0.00
0.00
43.08
0.04

N
12.21
5.53
37.22
38.46
96.03

D
0.00
0.00
0.00
0.00
0.00

P
1.32
0.28
0.22
0.00
0.00

R
1.03
0.07
0.00
0.00
0.00

U
0.33
0.00
0.00
0.00
0.00

N
97.31
99.65
99.78
100.00
100.00

D
86.63
1.84
0.45
3.08
0.78

P
0.04
89.86
0.34
0.00
0.86

R
0.00
0.07
75.00
9.23
1.34

U
0.00
0.00
0.00
53.85
0.04

N
13.33
8.23
24.22
33.85
96.98

D
76.24
21.99
1.79
0.00
2.03

P
0.66
62.20
3.81
10.77
2.94

R
0.00
0.00
14.91
0.00
0.48

U
6.54
13.05
8.07
70.77
4.88

N
16.56
2.77
71.41
18.46
89.68

D
97.97
2.13
0.11
0.00
0.48

P
0.08
96.67
0.11
0.00
0.78

R
0.00
0.07
89.46
0.00
0.86

U
0.00
0.00
0.22
83.08
0.13

N
1.95
1.13
10.09
16.92
97.75

D
87.00
11.49
0.56
3.08
1.77

P
0.83
78.58
3.03
10.77
2.42

R
0.00
0.07
26.01
3.08
0.30

U
0.00
0.00
0.11
50.77
0.17

N
12.17
9.86
70.29
32.31
95.33

D
99.96
0.07
0.00
0.00
0.13

P
0.00
99.65
0.00
0.00
0.04

R
0.00
0.00
93.39
0.00
0.13

U
0.00
0.00
0.00
100.00
0.04

N
0.04
0.28
6.61
0.00
99.65

D
98.39
4.68
0.34

P
0.50
90.50
1.23

R
0.00
0.21
85.76

U
0.00
0.00
0.22

N
1.12
4.61
12.44

Acierto
D
D
P
R
U
N

P
2111
106
17
11
38

R
6
1077
3
35
31

U
0
1
519
3
18

N
0
0
0
0
0

299
226
353
16
2228

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2110
58
6
2
28

R
11
1269
13
7
42

U
0
5
541
3
21

N
0
0
0
28
1

295
78
332
25
2223

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
32
4
2
0
0

U
25
1
0
0
0

N
8
0
0
0
0

2351
1405
890
65
2315

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2093
26
4
2
18

R
1
1267
3
0
20

U
0
1
669
6
31

N
0
0
0
35
1

322
116
216
22
2245

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1842
310
16
0
47

R
16
877
34
7
68

U
0
0
133
0
11

N
158
184
72
46
113

400
39
637
12
2076

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2367
30
1
0
11

R
2
1363
1
0
18

U
0
1
798
0
20

N
0
0
2
54
3

47
16
90
11
2263

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2102
162
5
2
41

R
20
1108
27
7
56

U
0
1
232
2
7

N
0
0
1
33
4

294
139
627
21
2207

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2415
1
0
0
3

R
0
1405
0
0
1

U
0
0
833
0
3

N
0
0
0
65
1

1
4
59
0
2307

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
2377
66
3

R
12
1276
11

U
0
3
765

N
0
0
2

27
65
111

D
P
R

U
N

0
23

7
36

7
25

30
2

21
2229

U
N

0.00
0.99

10.77
1.56

10.77
1.08

46.15
0.09

32.31
96.29

FCNS
Clonalg

Acierto
D
D
P
R
U
N

P
1336
523
118
3
102

R
403
831
693
51
1735

U
0
0
0
0
0

N
0
0
0
0
0

677
56
81
11
478

Genetico

D
55.30
37.09
13.23
4.62
4.41

P
16.68
58.94
77.69
78.46
74.95

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
28.02
3.97
9.08
16.92
20.65

D
70.36
25.96
0.34
0.00
7.65

P
0.58
40.92
3.14
10.77
3.33

R
0.91
0.85
2.91
0.00
0.86

U
0.00
0.57
0.00
0.00
0.04

N
28.15
31.70
93.61
89.23
88.12

D
99.75
0.14
0.00
0.00
0.13

P
0.04
99.08
0.22
0.00
0.00

R
0.00
0.07
84.98
0.00
0.04

U
0.00
0.00
0.11
76.92
0.00

N
0.21
0.71
14.69
23.08
99.83

D
99.88
0.00
0.00
0.00
0.13

P
0.00
99.29
0.11
0.00
0.09

R
0.00
0.07
96.08
0.00
0.13

U
0.00
0.07
0.11
96.92
0.00

N
0.12
0.57
3.70
3.08
99.65

D
99.75
0.00
0.11
0.00
0.17

P
0.08
98.30
0.00
0.00
0.13

R
0.00
0.07
91.59
0.00
0.48

U
0.00
0.00
0.22
81.54
0.04

N
0.17
1.63
8.07
18.46
99.18

D
100.00
0.00
0.00
0.00
0.04

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
98.43
0.00
0.04

U
0.00
0.00
0.00
100.00
0.00

N
0.00
0.00
1.57
0.00
99.91

D
99.79
0.07
0.00
0.00
0.13

P
0.04
99.43
0.00
1.54
0.04

R
0.00
0.07
95.63
0.00
0.09

U
0.00
0.00
0.00
81.54
0.00

N
0.17
0.43
4.37
16.92
99.74

D
99.71
0.43
0.00
0.00
0.17

P
0.12
99.15
0.00
0.00
0.04

R
0.00
0.00
93.05
0.00
0.04

U
0.00
0.00
0.22
89.23
0.00

N
0.17
0.43
6.73
10.77
99.74

D
99.79
0.07
0.11
0.00
0.09

P
0.08
99.08
0.11
3.08
0.22

R
0.00
0.00
95.63
3.08
0.39

U
0.00
0.00
0.11
75.38
0.00

N
0.12
0.85
4.04
18.46
99.31

Acierto
D
D
P
R
U
N

P
1700
366
3
0
177

R
14
577
28
7
77

U
22
12
26
0
20

N
0
8
0
0
1

680
447
835
58
2040

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2410
2
0
0
3

R
1
1397
2
0
0

U
0
1
758
0
1

N
0
0
1
50
0

5
10
131
15
2311

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2413
0
0
0
3

R
0
1400
1
0
2

U
0
1
857
0
3

N
0
1
1
63
0

3
8
33
2
2307

Ripper

D
P
R
U
N

Acierto
D
D
P
R
U
N

P
2410
0
1
0
4

R
2
1386
0
0
3

U
0
1
817
0
11

N
0
0
2
53
1

4
23
72
12
2296

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2416
0
0
0
1

R
0
1410
0
0
0

U
0
0
878
0
1

N
0
0
0
65
0

0
0
14
0
2313

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2411
1
0
0
3

R
1
1402
0
1
1

U
0
1
853
0
2

N
0
0
0
53
0

4
6
39
11
2309

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2409
6
0
0
4

R
3
1398
0
0
1

U
0
0
830
0
1

N
0
0
2
58
0

4
6
60
7
2309

Cart

D
P
R
U
N
Acierto

D
D
P
R
U
N
SMOPoly

D
P
R
U
N

P
2411
1
1
0
2

R
2
1397
1
2
5

U
0
0
853
2
9

N
0
0
1
49
0

3
12
36
12
2299

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1898
37
5
0
17

R
44
1295
2
1
35

U
4
5
780
6
58

N
0
2
2
40
8

470
71
103
18
2197

SMORBF

D
P
R
U
N

D
78.56
2.62
0.56
0.00
0.73

P
1.82
91.84
0.22
1.54
1.51

R
0.17
0.35
87.44
9.23
2.51

U
0.00
0.14
0.22
61.54
0.35

N
19.45
5.04
11.55
27.69
94.90

D
78.60
6.81
8.86
1.54
0.95

P
1.37
87.16
0.34
1.54
1.60

R
0.00
0.00
52.58
9.23
0.91

U
0.00
0.00
0.00
0.00
0.00

N
20.03
6.03
38.23
87.69
96.54

D
84.27
2.98
0.11
0.00
1.04

P
0.62
91.63
0.45
0.00
1.17

R
1.16
0.92
89.57
10.77
2.51

U
0.00
0.07
0.22
60.00
0.22

N
13.95
4.40
9.64
29.23
95.08

D
11.01
1.49
41.70
18.46
7.90

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.41
0.00
0.22
0.00
0.39

N
88.58
98.51
58.07
81.54
91.71

D
96.07
0.92
0.22
0.00
1.12

P
0.25
97.30
0.00
0.00
1.04

R
0.17
0.43
91.48
9.23
2.07

U
0.00
0.07
1.68
61.54
0.09

N
3.52
1.28
6.61
29.23
95.68

D
66.02
8.65
1.12
1.54
5.01

P
7.62
64.96
4.04
0.00
3.24

R
0.37
0.85
33.86
6.15
2.33

U
1.74
7.80
44.06
92.31
11.19

N
24.25
17.73
16.93
0.00
78.23

D
97.85
0.50
0.11
0.00
0.48

P
0.08
98.23
0.00
3.08
1.04

R
0.00
0.00
95.18
1.54
1.25

U
0.00
0.00
0.34
78.46
0.00

N
2.07
1.28
4.37
16.92
97.24

D
73.68
0.85
0.11
0.00
0.48

P
2.03
88.16
0.22
0.00
2.42

R
0.33
0.21
73.88
7.69
2.59

U
0.00
0.00
0.00
1.54
0.00

N
23.97
10.78
25.78
90.77
94.51

D
99.96
0.00
0.00
0.00
0.00

P
0.00
99.93
0.00
0.00
0.00

R
0.00
0.00
98.09
0.00
0.00

U
0.00
0.00
0.00
100.00
0.00

N
0.04
0.07
1.91
0.00
100.00

D
94.87
1.84

P
0.95
94.47

R
0.17
0.85

U
0.00
0.14

N
4.01
2.70

Acierto
D
D
P
R
U
N

P
1899
96
79
1
22

R
33
1229
3
1
37

U
0
0
469
6
21

N
0
0
0
0
0

484
85
341
57
2235

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2036
42
1
0
24

R
15
1292
4
0
27

U
28
13
799
7
58

N
0
1
2
39
5

337
62
86
19
2201

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
266
21
372
12
183

R
0
0
0
0
0

U
0
0
0
0
0

N
10
0
2
0
9

2140
1389
518
53
2123

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2321
13
2
0
26

R
6
1372
0
0
24

U
4
6
816
6
48

N
0
1
15
40
2

85
18
59
19
2215

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1595
122
10
1
116

R
184
916
36
0
75

U
9
12
302
4
54

N
42
110
393
60
259

586
250
151
0
1811

Tan

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2364
7
1
0
11

R
2
1385
0
2
24

U
0
0
849
1
29

N
0
0
3
51
0

50
18
39
11
2251

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1780
12
1
0
11

R
49
1243
2
0
56

U
8
3
659
5
60

N
0
0
0
1
0

579
152
230
59
2188

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2415
0
0
0
0

R
0
1409
0
0
0

U
0
0
875
0
0

N
0
0
0
65
0

1
1
17
0
2315

KNN-50

D
P
R
U
N
Acierto

D
D
P

P
2292
26

R
23
1332

U
4
12

N
0
2

97
38

D
P

R
U
N

0
0
32

3
0
26

771
7
37

3
33
5

115
25
2215

R
U
N

0.00
0.00
1.38

0.34
0.00
1.12

86.43
10.77
1.60

0.34
50.77
0.22

12.89
38.46
95.68

FC4.5
Clonalg

Acierto
D
D
P
R
U
N

P
0
0
0
0
0

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

2416
1410
892
65
2315

Genetico

D
0.00
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
100.00
100.00
100.00
100.00
100.00

D
67.92
53.69
9.42
53.85
4.75

P
1.74
12.13
0.11
0.00
1.43

R
0.00
0.00
0.00
0.00
0.00

U
0.00
5.11
0.67
20.00
0.69

N
30.34
29.08
89.80
26.15
93.13

D
99.42
0.00
0.78
0.00
0.17

P
0.00
98.30
0.11
0.00
0.43

R
0.00
0.00
83.07
0.00
0.26

U
0.00
0.00
0.00
76.92
0.00

N
0.58
1.70
16.03
23.08
99.14

D
99.75
0.00
0.11
0.00
0.13

P
0.00
99.29
0.11
0.00
0.17

R
0.04
0.07
94.17
1.54
0.30

U
0.00
0.00
0.22
87.69
0.04

N
0.21
0.64
5.38
10.77
99.35

D
99.63
0.00
0.11
0.00
0.09

P
0.21
96.88
0.00
0.00
0.26

R
0.00
0.07
85.31
0.00
0.26

U
0.00
0.00
0.00
95.38
0.00

N
0.17
3.05
14.57
4.62
99.40

D
99.96
0.00
0.00
0.00
0.04

P
0.00
100.00
0.00
0.00
0.04

R
0.00
0.00
98.65
0.00
0.13

U
0.00
0.00
0.00
100.00
0.00

N
0.04
0.00
1.35
0.00
99.78

D
99.46
0.28
0.11
0.00
0.13

P
0.08
98.58
0.00
1.54
0.04

R
0.04
0.07
93.61
0.00
0.39

U
0.00
0.00
0.34
87.69
0.09

N
0.41
1.06
5.94
10.77
99.35

D
99.75
0.57
0.11
0.00
0.13

P
0.08
98.65
0.00
0.00
0.26

R
0.00
0.07
92.26
1.54
0.30

U
0.00
0.00
0.22
89.23
0.04

N
0.17
0.71
7.40
9.23
99.27

D
99.79
0.07
0.00
0.00
0.09

P
0.08
99.08
0.00
0.00
0.30

R
0.00
0.00
94.62
3.08
0.56

U
0.00
0.00
0.45
78.46
0.09

N
0.12
0.85
4.93
18.46
98.96

Acierto
D
D
P
R
U
N

P
1641
757
84
35
110

R
42
171
1
0
33

U
0
0
0
0
0

N
0
72
6
13
16

733
410
801
17
2156

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2402
0
7
0
4

R
0
1386
1
0
10

U
0
0
741
0
6

N
0
0
0
50
0

14
24
143
15
2295

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2410
0
1
0
3

R
0
1400
1
0
4

U
1
1
840
1
7

N
0
0
2
57
1

5
9
48
7
2300

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2407
0
1
0
2

R
5
1366
0
0
6

U
0
1
761
0
6

N
0
0
0
62
0

4
43
130
3
2301

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2415
0
0
0
1

R
0
1410
0
0
1

U
0
0
880
0
3

N
0
0
0
65
0

1
0
12
0
2310

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2403
4
1
0
3

R
2
1390
0
1
1

U
1
1
835
0
9

N
0
0
3
57
2

10
15
53
7
2300

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2410
8
1
0
3

R
2
1391
0
0
6

U
0
1
823
1
7

N
0
0
2
58
1

4
10
66
6
2298

Cart

D
P
R
U
N
Acierto

D
D
P
R
U
N

SMOPoly

D
P
R
U
N

P
2411
1
0
0
2

R
2
1397
0
0
7

U
0
0
844
2
13

N
0
0
4
51
2

3
12
44
12
2291

D
P
R
U
N

Acierto

D
D
P
R
U
N

P
2181
13
1
0
15

R
3
1305
9
0
35

U
0
0
785
3
46

N
0
0
4
51
4

232
92
93
11
2215

SMORBF

D
P
R
U
N

D
90.27
0.92
0.11
0.00
0.65

P
0.12
92.55
1.01
0.00
1.51

R
0.00
0.00
88.00
4.62
1.99

U
0.00
0.00
0.45
78.46
0.17

N
9.60
6.52
10.43
16.92
95.68

D
89.69
3.69
0.45
0.00
0.78

P
0.25
88.65
1.12
7.69
1.73

R
0.00
0.07
69.84
6.15
0.99

U
0.00
0.00
0.00
43.08
0.04

N
10.06
7.59
28.59
43.08
96.46

D
90.11
3.05
0.34
0.00
0.69

P
0.25
92.20
1.46
0.00
1.21

R
0.00
0.07
89.13
4.62
2.07

U
0.00
0.07
0.00
55.38
0.04

N
9.64
4.61
9.08
40.00
95.98

D
53.10
68.65
57.74
81.54
18.66

P
0.66
0.21
0.00
0.00
0.00

R
3.56
0.28
0.34
0.00
0.39

U
0.54
0.00
0.00
0.00
0.00

N
42.14
30.85
41.93
18.46
80.95

D
93.79
0.00
0.22
0.00
0.43

P
0.08
98.94
0.45
0.00
1.25

R
0.04
0.07
89.24
4.62
1.60

U
0.00
0.00
0.22
64.62
0.09

N
6.08
0.99
9.87
30.77
96.63

D
70.16
3.33
0.90
1.54
1.47

P
10.89
87.94
3.14
1.54
7.65

R
0.08
1.21
68.39
12.31
2.81

U
0.66
6.60
11.21
84.62
6.05

N
18.21
0.92
16.37
0.00
82.03

D
49.52
0.22
0.00
0.00
0.38

P
0.06
49.21
0.00
0.00
1.26

R
0.00
0.04
48.65
0.81
1.26

U
0.00
0.00
0.46
46.77
0.08

N
50.42
50.54
50.89
52.42
97.02

D
90.56
0.71
0.22
0.00
3.63

P
2.36
80.85
3.36
6.15
2.63

R
0.25
0.00
80.94
4.62
3.02

U
0.00
0.00
0.11
47.69
0.00

N
6.83
18.44
15.36
41.54
90.71

D
99.92
0.00
0.00
0.00
0.00

P
0.00
99.93
0.00
0.00
0.04

R
0.00
0.00
97.98
0.00
0.09

U
0.00
0.00
0.00
100.00
0.00

N
0.08
0.07
2.02
0.00
99.87

D
96.27
1.49

P
0.33
94.40

R
0.00
0.14

U
0.00
0.00

N
3.39
3.97

Acierto
D
D
P
R
U
N

P
2167
52
4
0
18

R
6
1250
10
5
40

U
0
1
623
4
23

N
0
0
0
28
1

243
107
255
28
2233

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2177
43
3
0
16

R
6
1300
13
0
28

U
0
1
795
3
48

N
0
1
0
36
1

233
65
81
26
2222

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1283
968
515
53
432

R
16
3
0
0
0

U
86
4
3
0
9

N
13
0
0
0
0

1018
435
374
12
1874

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2266
0
2
0
10

R
2
1395
4
0
29

U
1
1
796
3
37

N
0
0
2
42
2

147
14
88
20
2237

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1695
47
8
1
34

R
263
1240
28
1
177

U
2
17
610
8
65

N
16
93
100
55
140

440
13
146
0
1899

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2373
6
0
0
9

R
3
1373
0
0
30

U
0
1
848
1
30

N
0
0
8
58
2

2416
1410
887
65
2315

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2188
10
2
0
84

R
57
1140
30
4
61

U
6
0
722
3
70

N
0
0
1
31
0

165
260
137
27
2100

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2414
0
0
0
0

R
0
1409
0
0
1

U
0
0
874
0
2

N
0
0
0
65
0

2
1
18
0
2312

KNN-50

D
P
R
U
N
Acierto

D
D
P

P
2326
21

R
8
1331

U
0
2

N
0
0

82
56

D
P

R
U
N

5
0
19

12
7
29

767
5
30

0
31
0

108
22
2237

R
U
N

0.56
0.00
0.82

1.35
10.77
1.25

85.99
7.69
1.30

0.00
47.69
0.00

12.11
33.85
96.63

FNB
Clonalg

Acierto
D
D
P
R
U
N

P
2262
744
532
42
982

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

154
666
360
23
1333

Genetico

D
P
R
U
N

D
93.63
52.77
59.64
64.62
42.42

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
6.37
47.23
40.36
35.38
57.58

D
62.67
53.83
0.78
53.85
2.76

P
0.21
9.72
1.46
0.00
2.38

R
0.00
0.00
15.36
0.00
0.13

U
2.57
0.00
0.00
3.08
0.00

N
34.56
36.45
82.40
43.08
94.73

D
45.50
2.16
0.29
1.18
0.46

P
0.04
45.29
0.46
7.06
0.60

R
0.00
0.15
35.89
4.71
0.46

U
49.22
48.46
49.09
72.94
49.00

N
5.23
3.95
14.29
14.12
49.48

D
90.02
1.06
0.22
4.62
0.52

P
0.04
94.47
1.01
9.23
0.99

R
0.00
0.28
69.51
6.15
0.65

U
0.00
0.00
0.22
67.69
0.04

N
9.93
4.18
29.04
12.31
97.80

D
89.74
0.57
0.34
1.54
0.56

P
0.08
81.99
0.67
9.23
0.69

R
0.00
0.21
69.96
6.15
0.91

U
0.00
0.00
0.45
70.77
0.04

N
10.18
17.23
28.59
12.31
97.80

D
90.44
0.43
0.22
1.54
0.35

P
0.00
95.89
0.90
9.23
0.78

R
0.00
0.28
78.59
6.15
0.78

U
0.00
0.00
0.00
75.38
0.00

N
9.56
3.40
20.29
7.69
98.10

D
90.44
0.99
0.22
4.62
0.69

P
0.17
94.26
1.01
10.77
0.91

R
0.00
0.28
69.73
6.15
0.78

U
0.00
0.00
0.22
66.15
0.00

N
9.40
4.47
28.81
12.31
97.62

D
90.07
2.48
0.34
3.08
0.65

P
0.29
89.93
0.90
9.23
0.60

R
0.00
0.35
68.61
6.15
0.56

U
0.00
0.00
0.22
56.92
0.00

N
9.64
7.23
29.93
24.62
98.19

D
90.19
0.99
0.45
4.62
0.69

P
0.12
91.21
1.12
10.77
0.65

R
0.00
0.35
71.41
6.15
0.69

U
0.00
0.00
0.00
60.00
0.00

N
9.69
7.45
27.02
18.46
97.97

Acierto
D
D
P
R
U
N

P
1514
759
7
35
64

R
5
137
13
0
55

U
0
0
137
0
3

N
62
0
0
2
0

835
514
735
28
2193

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2165
59
5
1
21

R
2
1239
8
6
27

U
0
4
628
4
21

N
2342
1326
859
62
2223

249
108
250
12
2245

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2175
15
2
3
12

R
1
1332
9
6
23

U
0
4
620
4
15

N
0
0
2
44
1

240
59
259
8
2264

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2168
8
3
1
13

R
2
1156
6
6
16

U
0
3
624
4
21

N
0
0
4
46
1

246
243
255
8
2264

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2185
6
2
1
8

R
0
1352
8
6
18

U
0
4
701
4
18

N
0
0
0
49
0

231
48
181
5
2271

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2185
14
2
3
16

R
4
1329
9
7
21

U
0
4
622
4
18

N
0
0
2
43
0

227
63
257
8
2260

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2176
35
3
2
15

R
7
1268
8
6
14

U
0
5
612
4
13

N
0
0
2
37
0

233
102
267
16
2273

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2179
14
4
3
16

R
3
1286
10
7
15

U
0
5
637
4
16

N
0
0
0
39
0

234
105
241
12
2268

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

2162
155
16
27
30

4
1014
2
11
29

0
1
520
3
18

0
0
0
0
0

250
240
354
24
2238

SMORBF

D
P
R
U
N

89.49
10.99
1.79
41.54
1.30

0.17
71.91
0.22
16.92
1.25

0.00
0.07
58.30
4.62
0.78

0.00
0.00
0.00
0.00
0.00

10.35
17.02
39.69
36.92
96.67

D
89.49
10.99
1.79
41.54
1.30

P
0.17
71.91
0.22
16.92
1.25

R
0.00
0.07
58.30
4.62
0.78

U
0.00
0.00
0.00
0.00
0.00

N
10.35
17.02
39.69
36.92
96.67

D
89.78
8.72
1.35
9.23
1.25

P
0.29
82.84
1.35
10.77
1.04

R
0.00
0.35
59.98
0.00
0.82

U
0.00
0.00
0.00
43.08
0.04

N
9.93
8.09
37.33
36.92
96.85

D
0.00
0.00
0.00
0.00
0.00

P
0.66
0.14
0.34
0.00
0.39

R
1.03
0.14
0.00
0.00
0.00

U
0.33
0.00
0.00
0.00
0.00

N
97.97
99.72
99.66
100.00
99.61

D
89.98
1.63
0.22
7.69
0.65

P
0.00
87.66
0.78
9.23
0.60

R
0.04
0.35
70.74
7.69
0.78

U
0.00
0.00
0.00
40.00
0.00

N
9.98
10.35
28.25
35.38
97.97

D
86.42
12.27
0.67
7.69
1.08

P
1.70
80.64
3.14
53.85
4.02

R
0.00
0.21
59.75
3.08
0.78

U
0.00
0.00
0.11
9.23
0.00

N
11.88
6.88
36.32
26.15
94.13

D
88.49
2.13
0.22
1.54
0.43

P
0.08
86.88
0.56
41.54
0.52

R
0.00
0.28
75.34
6.15
1.04

U
0.00
0.00
0.34
26.15
0.17

N
11.42
10.71
23.54
24.62
97.84

D
82.16
3.97
0.22
0.00
0.86

P
2.36
80.99
2.35
10.77
1.43

R
0.00
0.07
56.73
1.54
0.82

U
0.00
0.00
0.11
53.85
0.00

N
15.48
14.96
40.58
33.85
96.89

D
45.33
0.25
0.11
1.25
0.17

P
0.00
47.85
0.51
7.50
0.26

R
0.00
0.11
38.08
5.00
0.33

U
49.72
49.84
49.75
80.00
49.60

N
4.95
1.96
11.55
6.25
49.64

D
89.74
7.52
1.46

P
0.29
84.04
1.01

R
0.00
0.50
70.96

U
0.00
0.00
0.00

N
9.98
7.94
26.57

Acierto
D
D
P
R
U
N

P
2162
155
16
27
30

R
4
1014
2
11
29

U
0
1
520
3
18

N
0
0
0
0
0

250
240
354
24
2238

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2169
123
12
6
29

R
7
1168
12
7
24

U
0
5
535
0
19

N
0
0
0
28
1

240
114
333
24
2242

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
16
2
3
0
9

U
25
2
0
0
0

N
8
0
0
0
0

2367
1406
889
65
2306

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2174
23
2
5
15

R
0
1236
7
6
14

U
1
5
631
5
18

N
0
0
0
26
0

241
146
252
23
2268

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2088
173
6
5
25

R
41
1137
28
35
93

U
0
3
533
2
18

N
0
0
1
6
0

287
97
324
17
2179

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2138
30
2
1
10

R
2
1225
5
27
12

U
0
4
672
4
24

N
0
0
3
17
4

276
151
210
16
2265

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1985
56
2
0
20

R
57
1142
21
7
33

U
0
1
506
1
19

N
0
0
1
35
0

374
211
362
22
2243

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
2178
7
2
1
8

R
0
1345
9
6
12

U
0
3
676
4
15

N
2389
1401
883
64
2278

238
55
205
5
2280

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
2168
106
13

R
7
1185
9

U
0
7
633

N
0
0
0

241
112
237

D
P
R

U
N

6
23

7
22

4
23

28
1

20
2246

U
N

9.23
0.99

10.77
0.95

6.15
0.99

43.08
0.04

30.77
97.02

Markov
Fay11

Acierto
D

D
P
R
U
N
Fay15

P
1675
43
1
0
116

D
D
P
R
U
N
Fay25

D
D
P
R
U
N
FayCNS11

D
D
P
R
U
N
FayCNS15

D
D
P
R
U
N
FayCNS25

D
D
P
R
U
N
FayC4.511

R
73
447
6

D
P
R
U
N
Acierto

16
3
15
0
3820

D
P
R
U
N
Acierto

2
3
11
0
3836

D
P
R
U
N
Acierto

80
3
16
2
3663

D
P
R
U
N
Acierto

130
4
7
0
3738

D
P
R
U
N
Acierto

74
4
10
0
3750

D
P
R
U
N
Acierto

N
1
11
5
28
131

U
72
18
264

14
4
11
0
3831

N
3
3
3
28
180

11
11
319
1
287

D
P
R
U
N
Acierto

N
1
1
3
26
143

18
11
323
0
261

44
444
1
0
110
P

1535
37
2

208
33
83
3
4045

N
0
10
3
29
101

38
5
316
1
362

108
481
3
1
95

1809
63
1
0
50

D
P
R
U
N
Acierto

N
23
18
2
27
95

27
2
318
0
204

98
477
1
0
104

1680
34
0
0
54

69
2
0
0
3222

N
23
15
4
29
82

32
1
317
1
194

77
489
4
0
93

1722
47
0
0
56

D
P
R
U
N
Acierto

N
2
20
9
26
54

33
1
319
0
221

40
484
2
1
80

1833
29
0
0
94

128
6
36
0
3617
N

19
12
3
28
108

49
63
244
0
152

42
495
2
0
94

1828
27
0
0
139

N
8
13
9
28
234

157
39
331
1
895

20
298
0
0
24

1827
18
0
0
100

D
P
R
U
N
FayCFS25

U
66
8
286
1
256

98
439
2
0
66

1660
119
0
0
53

D
P
R
U
N
FayCFS15

D
P
R

62
463
4
0
105

1596
41
0
0
37

D
P
R
U
N
FayCFS11

N
6
19
5

253
12
59

D
P
R

D
86.38
8.07
0.30
0.00
2.68

P
3.20
86.87
1.19
0.00
2.43

R
3.40
1.50
85.12
3.45
5.91

U
0.41
2.44
2.68
96.55
5.41

N
6.60
1.13
10.71
0.00
83.57

D
82.31
7.69
0.00
0.00
0.85

P
5.05
82.36
0.60
0.00
1.52

R
8.10
7.32
98.51
3.45
20.68

U
0.98
2.25
0.89
96.55
2.50

N
3.56
0.38
0.00
0.00
74.45

D
85.61
22.33
0.00
0.00
1.22

P
1.03
55.91
0.00
0.00
0.55

R
2.53
11.82
72.62
0.00
3.51

U
0.10
3.75
2.68
89.66
1.25

N
10.73
6.19
24.70
10.34
93.46

D
94.22
3.38
0.00
0.00
2.31

P
2.17
92.87
0.60
0.00
2.17

R
1.70
0.19
94.94
0.00
5.11

U
1.19
2.81
1.19
100.00
1.89

N
0.72
0.75
3.27
0.00
88.52

D
94.28
5.07
0.00
0.00
3.21

P
2.06
90.81
0.60
3.45
1.85

R
1.65
0.19
94.35
3.45
4.48

U
1.19
3.38
0.60
93.10
2.20

N
0.83
0.56
4.46
0.00
88.26

D
94.53
5.44
0.00
0.00
2.17

P
3.97
91.74
1.19
0.00
2.15

R
1.39
0.38
94.64
0.00
4.71

U
0.00
1.88
0.89
100.00
2.33

N
0.10
0.56
3.27
0.00
88.63

D
88.81
8.82
0.00
0.00
1.29

P
5.05
89.49
0.30
0.00
2.40

R
1.96
0.94
94.05
3.45
8.36

U
0.05
0.19
0.89
89.66
3.30

N
4.13
0.56
4.76
6.90
84.63

D
86.64
6.38
0.00
0.00
1.25

P
5.57
90.24
0.89
3.45
2.20

R
0.93
2.06
96.13
0.00
6.03

U
0.15
0.56
0.89
96.55
4.16

N
6.70
0.75
2.08
0.00
86.37

D
93.30
11.82
0.30
0.00
1.16

P
2.27
83.30
0.30
0.00
2.54

R
0.57
2.06
94.94
3.45
6.63

U
0.05
2.06
1.49
96.55
3.03

N
3.82
0.75
2.98
0.00
86.65

D
79.16
6.94
0.60

P
3.76
83.86
1.79

R
3.71
3.38
78.57

U
0.31
3.56
1.49

N
13.05
2.25
17.56

U
N
FayC4.515

0
29
D

D
P
R
U
N
FayC4.525

2
225
P

1520
12
3
0
24
D

D
P
R
U
N
FayNB11

D
D
P
R
U
N
MFrec11

D
D
P
R
U
N
MFrec15

D
D
P
R
U
N
MFrec25
D
D
P
R
U
N
MFrecCFS11
D
D
P
R
U
N
MFrecCFS15
D
D
P

R
123
668

110
4
4
0
3495

D
P
R
U
N
Acierto

118
5
5
0
3519

D
P
R
U
N
Acierto

437
22
88
3
5150

D
P
R
U
N
Acierto

325
2
4
2
4598

D
P
R
U
N
Acierto

364
9
22
3
4997

D
P
R
U
N
Acierto

459
11
16
1
5263

D
P
R
U
N
Acierto

N
0
21
2
34
128

U
43
2

D
P
R
U
N
Acierto

N
46
29
6
31
100

45
1
438
0
336

142
6
12
0
3654

N
53
86
4
32
284

99
25
432
2
566

128
661
5
1
116
P

3281
31

D
P
R
U
N
Acierto

N
56
65
10
32
207

121
29
452
2
783

46
641
1
0
231

3150
38
0
0
130

146
8
6
3
3238

N
39
16
38
17
63

54
16
351
1
316

64
596
1
0
277

3227
28
0
0
79

D
P
R
U
N
Acierto

N
39
20
38
17
74

59
35
285
6
542

63
575
11
0
260

3219
19
0
0
31

240
5
103
2
3792

N
39
70
38
23
72

36
10
279
6
447

14
446
8
6
133

3172
54
1
0
40

U
N
Acierto

N
6
13
6
17
208

36
13
272
6
347

45
464
15
6
241

1709
31
0
0
71

2
3544
N

13
17
10
26
266

85
22
301
0
425

120
404
14
0
198

1709
35
0
0
71

24
142

39
2
209
0
33

184
456
18
8
384

1602
40
0
0
57

D
P
R
U
N
FayNB25

R
127
497
11
1
213

1518
34
5
1
73

D
P
R
U
N
FayNB15

1
388

N
0
22

335
9

D
P

0.00
0.67

6.90
5.20

3.45
8.96

82.76
3.28

6.90
81.89

D
78.39
2.25
0.89
0.00
0.55

P
6.55
93.25
3.27
3.45
4.92

R
2.01
0.38
62.20
0.00
0.76

U
0.67
3.19
2.98
89.66
6.15

N
12.38
0.94
30.65
6.90
87.62

D
78.29
6.38
1.49
3.45
1.69

P
9.49
85.55
5.36
27.59
8.87

R
4.38
4.13
89.58
0.00
9.82

U
0.31
2.44
1.79
58.62
4.81

N
7.53
1.50
1.79
10.34
74.82

D
82.62
7.50
0.00
0.00
1.32

P
6.19
75.80
4.17
0.00
4.57

R
1.86
2.44
80.95
20.69
8.02

U
2.01
13.13
11.31
79.31
1.66

N
7.32
1.13
3.57
0.00
84.43

D
88.14
6.57
0.00
0.00
1.64

P
2.32
87.05
4.46
20.69
5.57

R
1.86
1.88
83.04
20.69
10.33

U
2.01
3.75
11.31
58.62
1.71

N
5.67
0.75
1.19
0.00
80.75

D
88.14
5.82
0.00
0.00
1.64

P
0.72
83.68
2.38
20.69
3.07

R
3.04
6.57
84.82
20.69
12.52

U
2.01
3.00
11.31
58.62
1.46

N
6.09
0.94
1.49
0.00
81.31

D
83.87
7.38
0.22
0.00
0.67

P
1.67
78.55
2.39
0.00
4.35

R
1.43
2.19
76.14
2.78
5.29

U
1.48
8.88
2.17
88.89
3.47

N
11.55
3.01
19.09
8.33
86.22

D
85.11
2.60
0.00
0.00
0.52

P
1.69
81.42
0.22
0.00
4.64

R
3.20
3.96
98.05
5.56
13.11

U
1.40
11.75
0.87
88.89
4.75

N
8.59
0.27
0.87
5.56
76.98

D
85.33
3.83
0.00
0.00
1.32

P
1.22
87.57
0.22
0.00
3.87

R
2.62
3.42
93.71
5.56
9.48

U
1.22
3.96
1.30
86.11
1.67

N
9.62
1.23
4.77
8.33
83.66

D
83.29
5.19
0.00
0.00
2.18

P
3.38
90.30
1.08
2.78
1.94

R
1.19
0.14
95.01
0.00
5.63

U
0.00
2.87
0.43
94.44
2.14

N
12.14
1.50
3.47
2.78
88.11

D
86.75
4.23

P
3.25
91.26

R
1.14
0.27

U
0.00
3.01

N
8.86
1.23

R
U
N
MFrecCFS25
D
D
P
R
U
N
MFrecCNS11
D
D
P
R
U
N
MFrecCNS15
D
D
P
R
U
N
MFrecCNS25
D
D
P
R
U
N
MFrecC4.511
D
D
P
R
U
N
MFrecC4.515
D
D
P
R
U
N
MFrecC4.525
D
D
P
R
U
N
MFrecNB11
D
D
P
R
U
N
MFrecNB15
D
D
P
R
U
N
MFrecNB25
D
D

0
0
123

12
1
128
P

3450
27
0
0
159

R
58
680
2
0
115

P
3219
64
0
0
123

R
236
605
21
0
310

R
224

424
10
29
0
5029

D
P
R
U
N
Acierto

466
5
94
1
5124

D
P
R
U
N
Acierto

299
2
1
0
4110

D
P
R
U
N
Acierto

288
0
3
2
4475

D
P
R
U
N
Acierto

177
12
8
0
5106

D
P
R
U
N
Acierto

183
8
7
0
5001

D
P
R
U
N
Acierto

N
77
81
5
29
90

U
49

D
P
R
U
N
Acierto

N
78
82
5
29
93

57
15
428
7
480

431
23
41
0
5017

N
2
25
5
31
134

52
42
440
7
504

D
P
R
U
N
Acierto

N
38
42
24
35
241

232
58
450
3
1041

64
565
8
0
180

3229
23
0
0
92

371
56
17
2
4879

N
57
63
20
34
202

270
31
435
1
1253

130
614
3
0
250

3411
31
0
0
90

D
P
R
U
N
Acierto

N
37
28
9
36
199

99
22
339
1
338

154
636
1
0
324

3130
35
0
0
73

231
2
7
0
5199

N
62
41
25
35
311

39
12
423
0
392

160
618
8
0
288

3021
21
0
0
45

R
U
N
Acierto

N
83
38
18
34
238

47
16
393
1
357

117
638
0
0
254

3000
24
0
0
21

9
0
5252
N

0
22
5
36
138

44
44
425
0
516

93
601
2
0
181

3165
44
0
0
99

1
35
132

43
1
447
0
362

65
530
1
0
217

3149
51
0
0
107

3255

439
0
338

N
77

177

0.00
0.00
2.06

2.60
2.78
2.14

95.23
0.00
5.66

0.22
97.22
2.21

1.95
0.00
87.93

D
91.22
3.69
0.00
0.00
2.66

P
1.53
92.90
0.43
0.00
1.93

R
1.14
0.14
96.96
0.00
6.06

U
0.00
3.01
1.08
100.00
2.31

N
6.11
0.27
1.52
0.00
87.04

D
85.11
8.74
0.00
0.00
2.06

P
1.72
72.40
0.22
0.00
3.63

R
1.16
6.01
92.19
0.00
8.64

U
2.19
5.19
3.90
94.44
3.98

N
9.81
7.65
3.69
5.56
81.68

D
83.26
6.97
0.00
0.00
1.79

P
2.46
82.10
0.43
0.00
3.03

R
1.24
2.19
85.25
2.78
5.98

U
1.64
5.60
5.42
97.22
5.21

N
11.40
3.14
8.89
0.00
83.99

D
83.69
6.01
0.00
0.00
1.66

P
3.09
87.16
0.00
0.00
4.25

R
1.03
1.64
91.76
0.00
6.56

U
0.98
3.83
1.95
100.00
3.33

N
11.21
1.37
6.29
0.00
84.20

D
79.32
3.28
0.00
0.00
0.35

P
4.23
84.43
1.74
0.00
4.82

R
2.62
3.01
73.54
2.78
5.66

U
1.51
8.61
4.34
94.44
3.38

N
12.32
0.68
20.39
2.78
85.79

D
79.88
2.87
0.00
0.00
0.75

P
4.07
86.89
0.22
0.00
5.42

R
7.14
4.23
94.36
2.78
20.98

U
1.00
5.74
5.21
97.22
4.03

N
7.91
0.27
0.22
0.00
68.81

D
82.76
4.78
0.00
0.00
1.22

P
3.44
83.88
0.65
0.00
4.19

R
6.13
7.92
97.61
8.33
17.43

U
0.05
3.42
1.08
86.11
2.24

N
7.62
0.00
0.65
5.56
74.92

D
90.19
4.23
0.00
0.00
1.51

P
1.69
77.19
1.74
0.00
3.01

R
1.37
5.74
95.44
19.44
8.44

U
2.06
11.20
1.08
80.56
1.56

N
4.68
1.64
1.74
0.00
85.48

D
85.38
3.14
0.00
0.00
1.54

P
6.24
82.65
4.56
0.00
5.19

R
1.51
2.05
92.84
19.44
8.04

U
2.04
11.07
1.08
80.56
1.51

N
4.84
1.09
1.52
0.00
83.73

D
86.07

P
5.92

R
1.30

U
2.04

N
4.68

P
R
U
N

31
0
0
91

599
22
0
297

16
427
8
481

80
5
28
90

6
7
0
5014

P
R
U
N

4.23
0.00
0.00
1.52

81.83
4.77
0.00
4.97

2.19
92.62
22.22
8.05

10.93
1.08
77.78
1.51

0.82
1.52
0.00
83.94

Fay
Clonalg

Acierto
D
D
P
R
U
N

P
1718
166
20
8
166

R
2
214
4
7
124

U
58
3
189
5
156

N
0
0
0
0
0

161
150
123
9
3882

Genetico

D
P
R
U
N

D
88.60
31.14
5.95
27.59
3.84

P
0.10
40.15
1.19
24.14
2.87

R
2.99
0.56
56.25
17.24
3.60

U
0.00
0.00
0.00
0.00
0.00

N
8.30
28.14
36.61
31.03
89.70

D
80.51
23.83
0.00
0.00
0.39

P
0.72
34.90
0.30
27.59
3.00

R
0.00
2.25
0.30
0.00
0.09

U
0.00
0.19
0.00
10.34
0.12

N
18.77
38.84
99.40
62.07
96.40

D
99.85
0.38
0.00
0.00
0.21

P
0.00
97.94
0.00
3.45
0.25

R
0.00
0.00
79.46
0.00
0.07

U
0.00
0.00
0.00
68.97
0.00

N
0.15
1.69
20.54
27.59
99.47

D
99.79
0.56
0.00
3.45
0.16

P
0.05
97.94
0.30
3.45
0.28

R
0.00
0.19
91.96
3.45
0.07

U
0.00
0.00
0.00
75.86
0.05

N
0.15
1.31
7.74
13.79
99.45

D
99.85
0.19
0.00
0.00
0.32

P
0.15
98.31
0.00
0.00
0.28

R
0.00
0.00
89.58
0.00
0.25

U
0.00
0.38
0.30
100.00
0.09

N
0.00
1.13
10.12
0.00
99.05

D
100.00
0.00
0.00
0.00
0.07

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
97.92
0.00
0.07

U
0.00
0.00
0.00
100.00
0.00

N
0.00
0.00
2.08
0.00
99.86

D
99.64
0.75
0.89
0.00
0.18

P
0.05
97.00
0.00
17.24
0.37

R
0.00
0.00
86.90
3.45
0.05

U
0.00
0.00
0.60
72.41
0.02

N
0.31
2.25
11.61
6.90
99.38

D
99.74
0.75
0.00
0.00
0.30

P
0.15
98.31
0.30
20.69
0.49

R
0.00
0.19
89.88
0.00
0.21

U
0.00
0.00
0.00
55.17
0.07

N
0.10
0.75
9.82
24.14
98.94

D
99.74
0.00
0.00
0.00
0.16

P
0.05
99.25
0.00
0.00
0.25

R
0.00
0.00
89.88
0.00
0.05

U
0.00
0.00
0.00
65.52
0.02

N
0.21
0.75
10.12
34.48
99.51

Acierto
D
D
P
R
U
N

P
1561
127
0
0
17

R
14
186
1
8
130

U
0
12
1
0
4

N
0
1
0
3
5

364
207
334
18
4172

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1936
2
0
0
9

R
0
522
0
1
11

U
0
0
267
0
3

N
0
0
0
20
0

3
9
69
8
4305

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1935
3
0
1
7

R
1
522
1
1
12

U
0
1
309
1
3

N
0
0
0
22
2

3
7
26
4
4304

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1936
1
0
0
14

R
3
524
0
0
12

U
0
0
301
0
11

N
0
2
1
29
4

0
6
34
0
4287

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1939
0
0
0
3

R
0
533
0
0
0

U
0
0
329
0
3

N
0
0
0
29
0

0
0
7
0
4322

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1932
4
3
0
8

R
1
517
0
5
16

U
0
0
292
1
2

N
0
0
2
21
1

6
12
39
2
4301

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1934
4
0
0
13

R
3
524
1
6
21

U
0
1
302
0
9

N
0
0
0
16
3

2
4
33
7
4282

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1934
0
0
0
7

R
1
529
0
0
11

U
0
0
302
0
2

N
0
0
0
19
1

4
4
34
10
4307

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

1938
0
0
0
6

0
531
0
0
9

0
0
317
0
1

0
0
0
29
0

1
2
19
0
4312

SMORBF

D
P
R
U
N

99.95
0.00
0.00
0.00
0.14

0.00
99.62
0.00
0.00
0.21

0.00
0.00
94.35
0.00
0.02

0.00
0.00
0.00
100.00
0.00

0.05
0.38
5.65
0.00
99.63

Acierto
D
D
P
R
U
N

P
1937
0
0
0
15

R
0
516
0
2
31

U
0
0
258
0
1

N
0
0
0
7
0

2
17
78
20
4281

D
P
R
U
N

D
99.90
0.00
0.00
0.00
0.35

P
0.00
96.81
0.00
6.90
0.72

R
0.00
0.00
76.79
0.00
0.02

U
0.00
0.00
0.00
24.14
0.00

N
0.10
3.19
23.21
68.97
98.91

3
2
25
6
4313

Acierto
D
D
P
R
U
N

P
99.85
50.00
50.00
50.00
46.06

R
0.00
49.81
0.00
0.00
0.11

U
0.00
0.00
46.28
0.00
0.02

N
0.00
0.00
0.00
39.66
0.00

0.15
0.19
3.72
10.34
53.80

D
0.21
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
99.79
100.00
100.00
100.00
100.00

D
99.54
0.56
0.00
0.00
0.25

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.41
97.75
89.58
79.31
1.80

N
0.05
1.69
10.42
20.69
97.94

D
89.22
0.56
0.00
0.00
0.18

P
1.91
96.81
0.89
13.79
3.81

R
1.29
0.94
89.88
0.00
4.37

U
1.96
0.38
1.49
79.31
1.64

N
5.62
1.31
7.74
6.90
90.00

D
99.12
0.19
0.00
0.00
0.14

P
0.26
97.94
0.00
0.00
1.04

R
0.00
0.00
97.02
10.34
0.65

U
0.00
0.00
0.30
82.76
0.09

N
0.62
1.88
2.68
6.90
98.08

D
98.61
0.00
0.00
0.00
0.32

P
1.08
96.25
0.30
3.45
1.48

R
0.00
0.19
88.10
6.90
1.36

U
0.00
0.00
0.00
51.72
0.12

N
0.31
3.56
11.61
37.93
96.72

D
99.90
0.00
0.00
0.00
0.00

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
96.43
0.00
0.00

U
0.00
0.00
0.00
100.00
0.00

N
0.10
0.00
3.57
0.00
100.00

D
99.23
6.38
0.00

P
0.41
87.62
0.30

R
0.00
0.00
75.60

U
0.00
0.00
0.00

N
0.36
6.00
24.11

CSV-RBF
D
D
P
R
U
N

P
1939
533
336
29
3692

R
0
531
0
0
9

U
0
0
311
0
2

N
0
0
0
23
0

CSV-SIGM

Acierto
D
D
P
R
U
N

P
4
0
0
0
0

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

1935
533
336
29
4328

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1930
3
0
0
11

R
0
0
0
0
0

U
0
0
0
0
0

N
8
521
301
23
78

1
9
35
6
4239

NAiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1730
3
0
0
8

R
37
516
3
4
165

U
25
5
302
0
189

N
38
2
5
23
71

109
7
26
2
3895

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1922
1
0
0
6

R
5
522
0
0
45

U
0
0
326
3
28

N
0
0
1
24
4

12
10
9
2
4245

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1912
0
0
0
14

R
21
513
1
1
64

U
0
1
296
2
59

N
0
0
0
15
5

6
19
39
11
4186

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1937
0
0
0
0

R
0
533
0
0
0

U
0
0
324
0
0

N
0
0
0
29
0

2
0
12
0
4328

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
1924
34
0

R
8
467
1

U
0
0
254

N
0
0
0

7
32
81

D
P
R

U
N

1
20

5
41

2
9

1
0

20
4258

U
N

3.45
0.46

17.24
0.95

6.90
0.21

3.45
0.00

68.97
98.38

FayCFS
Clonalg

Acierto
D
D
P
R
U
N

P
1713
251
151
12
475

R
103
216
24
10
182

U
0
4
97
0
10

N
0
0
0
0
0

123
62
64
7
3661

Genetico

D
P
R
U
N

D
88.34
47.09
44.94
41.38
10.98

P
5.31
40.53
7.14
34.48
4.21

R
0.00
0.75
28.87
0.00
0.23

U
0.00
0.00
0.00
0.00
0.00

N
6.34
11.63
19.05
24.14
84.59

D
83.29
54.60
0.30
51.72
1.83

P
0.00
12.76
2.08
0.00
1.89

R
0.00
0.00
15.18
0.00
0.16

U
0.00
0.00
0.00
0.00
0.00

N
16.71
32.65
82.44
48.28
96.12

D
99.79
2.44
0.30
0.00
0.46

P
0.15
93.62
0.00
17.24
0.65

R
0.00
0.00
76.19
0.00
0.02

U
0.00
0.00
0.00
51.72
0.07

N
0.05
3.94
23.51
31.03
98.80

D
99.85
0.38
0.30
3.45
0.37

P
0.05
97.56
0.30
17.24
0.60

R
0.00
0.19
86.31
0.00
0.18

U
0.00
0.00
0.00
58.62
0.09

N
0.10
1.88
13.10
20.69
98.75

D
99.48
0.56
0.00
0.00
0.37

P
0.46
91.37
0.00
0.00
0.60

R
0.00
0.00
77.08
0.00
0.62

U
0.00
0.38
0.00
79.31
0.14

N
0.05
7.69
22.92
20.69
98.27

D
99.95
0.19
0.00
0.00
0.30

P
0.05
98.87
0.00
0.00
0.14

R
0.00
0.00
91.37
3.45
0.21

U
0.00
0.00
0.00
82.76
0.07

N
0.00
0.94
8.63
13.79
99.28

D
99.69
1.13
0.00
0.00
0.37

P
0.15
96.06
0.00
20.69
0.32

R
0.00
0.00
88.99
3.45
0.16

U
0.00
0.00
0.00
62.07
0.09

N
0.15
2.81
11.01
13.79
99.05

D
99.69
1.50
0.00
3.45
0.42

P
0.21
95.50
0.00
20.69
0.55

R
0.00
0.19
87.50
0.00
0.35

U
0.00
0.00
0.00
24.14
0.05

N
0.10
2.81
12.50
51.72
98.64

D
99.79
0.56
0.30
0.00
0.28

P
0.05
97.56
0.00
0.00
0.30

R
0.00
0.00
89.88
3.45
0.23

U
0.00
0.00
0.30
72.41
0.07

N
0.15
1.88
9.52
24.14
99.12

Acierto
D
D
P
R
U
N

P
1615
291
1
15
79

R
0
68
7
0
82

U
0
0
51
0
7

N
0
0
0
0
0

324
174
277
14
4160

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1935
13
1
0
20

R
3
499
0
5
28

U
0
0
256
0
1

N
0
0
0
15
3

1
21
79
9
4276

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1936
2
1
1
16

R
1
520
1
5
26

U
0
1
290
0
8

N
0
0
0
17
4

2
10
44
6
4274

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1929
3
0
0
16

R
9
487
0
0
26

U
0
0
259
0
27

N
0
2
0
23
6

1
41
77
6
4253

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1938
1
0
0
13

R
1
527
0
0
6

U
0
0
307
1
9

N
0
0
0
24
3

0
5
29
4
4297

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1933
6
0
0
16

R
3
512
0
6
14

U
0
0
299
1
7

N
0
0
0
18
4

3
15
37
4
4287

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1933
8
0
1
18

R
4
509
0
6
24

U
0
1
294
0
15

N
0
0
0
7
2

2
15
42
15
4269

Cart

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1935
3
1
0
12

R
1
520
0
0
13

U
0
0
302
1
10

N
0
0
1
21
3

3
10
32
7
4290

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

1934
3
0
0
13

1
514
0
0
21

0
0
301
0
15

0
0
0
23
3

4
16
35
6
4276

SMORBF

D
P
R
U
N

99.74
0.56
0.00
0.00
0.30

0.05
96.44
0.00
0.00
0.49

0.00
0.00
89.58
0.00
0.35

0.00
0.00
0.00
79.31
0.07

0.21
3.00
10.42
20.69
98.80

D
99.43
2.44
0.00
0.00
0.46

P
0.31
94.00
0.00
51.72
1.20

R
0.00
0.00
72.62
0.00
0.09

U
0.00
0.00
0.00
0.00
0.00

N
0.26
3.56
27.38
48.28
98.24

D
99.95
0.38
0.00
0.00
0.42

P
0.05
98.12
0.30
0.00
0.44

R
0.00
0.00
88.69
3.45
0.44

U
0.00
0.00
0.30
75.86
0.09

N
0.00
1.50
10.71
20.69
98.61

D
0.00
0.00
0.00
0.00
0.00

P
0.15
0.00
0.00
0.00
0.00

R
0.05
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
99.79
100.00
100.00
100.00
100.00

D
99.85
0.56
0.00
0.00
0.39

P
0.05
97.19
0.30
0.00
0.85

R
0.00
0.00
78.87
0.00
0.18

U
0.00
0.00
0.00
0.00
0.00

N
0.10
2.25
20.83
100.00
98.57

D
94.89
6.00
0.00
0.00
0.62

P
2.42
91.56
0.89
51.72
2.15

R
1.50
0.19
88.10
0.00
2.50

U
0.00
0.19
0.60
13.79
0.28

N
1.19
2.06
10.42
34.48
94.45

D
95.72
2.81
0.00
0.00
0.16

P
2.32
94.75
0.00
0.00
0.85

R
0.00
0.00
89.88
3.45
0.28

U
0.00
0.00
0.00
75.86
0.12

N
1.96
2.44
10.12
20.69
98.59

D
99.59
1.13
0.00
0.00
0.55

P
0.21
94.93
0.00
0.00
1.20

R
0.00
0.00
83.63
0.00
1.22

U
0.00
0.00
0.00
68.97
0.07

N
0.21
3.94
16.37
31.03
96.95

D
99.95
0.19
0.00
0.00
0.30

P
0.05
98.87
0.00
0.00
0.14

R
0.00
0.00
91.07
0.00
0.18

U
0.00
0.00
0.30
86.21
0.07

N
0.00
0.94
8.63
13.79
99.31

D
99.59
7.88
3.27

P
0.05
85.74
0.30

R
0.00
0.00
72.62

U
0.00
0.00
0.00

N
0.36
6.38
23.81

Acierto
D
D
P
R
U
N

P
1928
13
0
0
20

R
6
501
0
15
52

U
0
0
244
0
4

N
0
0
0
0
0

5
19
92
14
4252

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1938
2
0
0
18

R
1
523
1
0
19

U
0
0
298
1
19

N
0
0
1
22
4

0
8
36
6
4268

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
3
0
0
0
0

U
1
0
0
0
0

N
0
0
0
0
0

1935
533
336
29
4328

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1936
3
0
0
17

R
1
518
1
0
37

U
0
0
265
0
8

N
0
0
0
0
0

2
12
70
29
4266

NiaveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1840
32
0
0
27

R
47
488
3
15
93

U
29
1
296
0
108

N
0
1
2
4
12

23
11
35
10
4088

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1856
15
0
0
7

R
45
505
0
0
37

U
0
0
302
1
12

N
0
0
0
22
5

38
13
34
6
4267

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1931
6
0
0
24

R
4
506
0
0
52

U
0
0
281
0
53

N
0
0
0
20
3

4
21
55
9
4196

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1938
1
0
0
13

R
1
527
0
0
6

U
0
0
306
0
8

N
0
0
1
25
3

0
5
29
4
4298

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
1931
42
11

R
1
457
1

U
0
0
244

N
0
0
0

7
34
80

D
P
R

U
N

0
30

6
65

0
18

0
0

23
4215

U
N

0.00
0.69

20.69
1.50

0.00
0.42

0.00
0.00

79.31
97.39

FayCNS
Clonalg

Acierto
D
D
P
R
U
N

P
1521
80
5
5
36

R
105
266
24
9
123

U
32
19
44
1
164

N
0
0
0
0
0

281
168
263
14
4005

Genetico

D
P
R
U
N

D
78.44
15.01
1.49
17.24
0.83

P
5.42
49.91
7.14
31.03
2.84

R
1.65
3.56
13.10
3.45
3.79

U
0.00
0.00
0.00
0.00
0.00

N
14.49
31.52
78.27
48.28
92.54

D
81.79
9.76
0.89
6.90
1.48

P
0.88
63.23
1.49
20.69
1.64

R
3.97
1.13
28.87
3.45
0.42

U
0.05
2.81
0.60
31.03
0.09

N
13.31
23.08
68.15
37.93
96.37

D
99.38
0.75
0.00
0.00
0.21

P
0.10
97.94
0.00
10.34
0.32

R
0.00
0.19
72.62
0.00
0.00

U
0.00
0.00
0.00
55.17
0.00

N
0.52
1.13
27.38
34.48
99.47

D
99.59
0.19
0.30
3.45
0.30

P
0.15
98.31
0.30
3.45
0.49

R
0.00
0.38
89.88
6.90
0.14

U
0.00
0.00
0.00
62.07
0.02

N
0.26
1.13
9.52
24.14
99.05

D
99.54
0.19
0.00
0.00
0.30

P
0.21
98.31
0.30
13.79
0.42

R
0.05
0.19
87.20
3.45
0.44

U
0.00
0.19
0.00
55.17
0.12

N
0.21
1.13
12.50
27.59
98.73

D
100.00
0.00
0.00
0.00
0.07

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
97.92
0.00
0.07

U
0.00
0.00
0.00
100.00
0.00

N
0.00
0.00
2.08
0.00
99.86

D
99.23
0.56
0.00
0.00
0.28

P
0.10
97.56
0.00
20.69
0.51

R
0.00
0.38
88.10
0.00
0.05

U
0.00
0.00
0.00
62.07
0.00

N
0.67
1.50
11.90
17.24
99.17

D
99.79
0.38
0.00
3.45
0.23

P
0.05
98.50
0.30
24.14
0.49

R
0.00
0.19
90.18
0.00
0.16

U
0.00
0.00
0.00
51.72
0.02

N
0.15
0.94
9.52
20.69
99.10

D
99.59
0.19
0.30
0.00
0.18

P
0.05
98.87
0.30
3.45
0.16

R
0.05
0.00
87.80
0.00
0.05

U
0.00
0.00
0.30
55.17
0.05

N
0.31
0.94
11.31
41.38
99.56

Acierto
D
D
P
R
U
N

P
1586
52
3
2
64

R
17
337
5
6
71

U
77
6
97
1
18

N
1
15
2
9
4

258
123
229
11
4171

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1927
4
0
0
9

R
2
522
0
3
14

U
0
1
244
0
0

N
0
0
0
16
0

10
6
92
10
4305

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1931
1
1
1
13

R
3
524
1
1
21

U
0
2
302
2
6

N
0
0
0
18
1

5
6
32
7
4287

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1930
1
0
0
13

R
4
524
1
4
18

U
1
1
293
1
19

N
0
1
0
16
5

4
6
42
8
4273

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1939
0
0
0
3

R
0
533
0
0
0

U
0
0
329
0
3

N
0
0
0
29
0

0
0
7
0
4322

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1924
3
0
0
12

R
2
520
0
6
22

U
0
2
296
0
2

N
0
0
0
18
0

13
8
40
5
4292

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1935
2
0
1
10

R
1
525
1
7
21

U
0
1
303
0
7

N
0
0
0
15
1

3
5
32
6
4289

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1931
1
1
0
8

R
1
527
1
1
7

U
1
0
295
0
2

N
0
0
1
16
2

6
5
38
12
4309

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

1937
0
0
0
9

0
531
1
0
14

0
0
313
0
1

0
0
0
24
0

2
2
22
5
4304

SMORBF

D
P
R
U
N

99.90
0.00
0.00
0.00
0.21

0.00
99.62
0.30
0.00
0.32

0.00
0.00
93.15
0.00
0.02

0.00
0.00
0.00
82.76
0.00

0.10
0.38
6.55
17.24
99.45

D
99.33
0.19
0.00
0.00
0.35

P
0.21
97.56
0.30
27.59
1.02

R
0.00
0.00
74.11
0.00
0.02

U
0.00
0.00
0.00
0.00
0.00

N
0.46
2.25
25.60
72.41
98.61

D
55.31
0.00
0.00
0.00
0.06

P
0.00
52.26
0.00
0.00
0.07

R
0.00
0.00
48.39
0.00
0.04

U
44.60
47.64
48.55
84.85
38.59

N
0.09
0.10
3.06
15.15
61.24

D
0.00
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
100.00
100.00
100.00
100.00
100.00

D
99.79
1.31
46.73
3.45
0.67

P
0.00
96.25
0.30
0.00
0.83

R
0.05
0.00
13.69
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
0.15
2.44
39.29
96.55
98.50

D
87.06
0.19
0.00
0.00
0.32

P
1.91
98.12
0.89
20.69
3.03

R
0.57
0.56
88.10
3.45
3.19

U
2.37
0.56
1.49
65.52
4.00

N
8.10
0.56
9.52
10.34
89.46

D
98.56
0.19
0.00
0.00
0.28

P
0.26
98.12
0.00
6.90
1.06

R
0.00
0.00
96.13
10.34
0.55

U
0.00
0.00
0.30
65.52
0.02

N
1.19
1.69
3.57
17.24
98.08

D
97.01
0.38
0.00
0.00
0.39

P
1.70
96.25
0.30
17.24
1.62

R
0.00
0.00
92.26
10.34
0.90

U
0.00
0.00
0.00
37.93
0.12

N
1.29
3.38
7.44
34.48
96.97

D
99.90
0.00
0.00
0.00
0.00

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
96.43
0.00
0.02

U
0.00
0.00
0.00
100.00
0.00

N
0.10
0.00
3.57
0.00
99.98

D
97.11
3.38
0.00

P
0.62
91.93
0.60

R
0.00
0.00
71.13

U
0.00
0.00
0.00

N
2.27
4.69
28.27

Acierto
D
D
P
R
U
N

P
1926
1
0
0
15

R
4
520
1
8
44

U
0
0
249
0
1

N
0
0
0
0
0

9
12
86
21
4268

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1936
0
0
0
4

R
0
532
0
0
5

U
0
0
316
0
3

N
1561
485
317
28
2720

3
1
20
5
4316

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

1939
533
336
29
4328

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1935
7
157
1
29

R
0
513
1
0
36

U
1
0
46
0
0

N
0
0
0
0
0

3
13
132
28
4263

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1688
1
0
0
14

R
37
523
3
6
131

U
11
3
296
1
138

N
46
3
5
19
173

157
3
32
3
3872

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1911
1
0
0
12

R
5
523
0
2
46

U
0
0
323
3
24

N
0
0
1
19
1

23
9
12
5
4245

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1881
2
0
0
17

R
33
513
1
5
70

U
0
0
310
3
39

N
0
0
0
11
5

25
18
25
10
4197

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1937
0
0
0
0

R
0
533
0
0
0

U
0
0
324
0
1

N
0
0
0
29
0

2
0
12
0
4327

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
1883
18
0

R
12
490
2

U
0
0
239

N
0
0
0

44
25
95

D
P
R

U
N

0
28

7
29

1
10

0
0

21
4261

U
N

0.00
0.65

24.14
0.67

3.45
0.23

0.00
0.00

72.41
98.45

FayC4.5
Clonalg

Acierto
D
D
P
R
U
N

P
1674
163
15
10
150

R
7
217
4
5
81

U
47
5
167
4
128

N
0
0
0
0
0

211
148
150
10
3969

Genetico

D
P
R
U
N

D
86.33
30.58
4.46
34.48
3.47

P
0.36
40.71
1.19
17.24
1.87

R
2.42
0.94
49.70
13.79
2.96

U
0.00
0.00
0.00
0.00
0.00

N
10.88
27.77
44.64
34.48
91.71

D
82.05
23.45
0.30
0.00
4.39

P
0.41
20.83
0.30
0.00
0.58

R
1.81
0.00
8.33
0.00
0.44

U
0.93
2.63
0.30
6.90
0.05

N
14.80
53.10
90.77
93.10
94.55

D
99.48
0.56
0.00
0.00
0.14

P
0.00
95.50
0.00
0.00
0.39

R
0.00
0.00
77.68
0.00
0.14

U
0.00
0.00
0.00
72.41
0.02

N
0.52
3.94
22.32
27.59
99.31

D
99.54
0.56
0.30
0.00
0.25

P
0.05
96.44
0.60
0.00
0.51

R
0.00
0.00
88.69
3.45
0.39

U
0.00
0.00
0.30
68.97
0.02

N
0.41
3.00
10.12
27.59
98.82

D
99.79
0.00
0.00
0.00
0.32

P
0.10
97.56
0.00
0.00
0.53

R
0.00
0.00
91.07
0.00
0.74

U
0.00
0.00
0.30
89.66
0.07

N
0.10
2.44
8.63
10.34
98.34

D
99.95
0.00
0.00
0.00
0.07

P
0.00
100.00
0.00
0.00
0.05

R
0.00
0.00
97.32
0.00
0.18

U
0.00
0.00
0.00
100.00
0.00

N
0.05
0.00
2.68
0.00
99.70

D
99.69
0.94
0.30
0.00
0.37

P
0.05
95.50
0.00
17.24
0.37

R
0.00
0.00
87.50
10.34
0.35

U
0.00
0.00
0.60
62.07
0.02

N
0.26
3.56
11.61
10.34
98.89

D
99.85
2.81
0.00
0.00
0.37

P
0.00
94.37
0.00
0.00
0.25

R
0.00
0.00
88.69
6.90
0.32

U
0.00
0.00
0.60
79.31
0.02

N
0.15
2.81
10.71
13.79
99.03

D
99.48
0.19
0.00
0.00
0.37

P
0.21
98.50
0.60
0.00
0.12

R
0.00
0.00
91.37
0.00
0.30

U
0.00
0.00
0.30
86.21
0.09

N
0.31
1.31
7.74
13.79
99.12

Acierto
D
D
P
R
U
N

P
1591
125
1
0
190

R
8
111
1
0
25

U
35
0
28
0
19

N
18
14
1
2
2

287
283
305
27
4092

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1929
3
0
0
6

R
0
509
0
0
17

U
0
0
261
0
6

N
0
0
0
21
1

10
21
75
8
4298

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1930
3
1
0
11

R
1
514
2
0
22

U
0
0
298
1
17

N
0
0
1
20
1

8
16
34
8
4277

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1935
0
0
0
14

R
2
520
0
0
23

U
0
0
306
0
32

N
0
0
1
26
3

2
13
29
3
4256

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1938
0
0
0
3

R
0
533
0
0
2

U
0
0
327
0
8

N
0
0
0
29
0

1
0
9
0
4315

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1933
5
1
0
16

R
1
509
0
5
16

U
0
0
294
3
15

N
0
0
2
18
1

5
19
39
3
4280

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1936
15
0
0
16

R
0
503
0
0
11

U
0
0
298
2
14

N
0
0
2
23
1

3
15
36
4
4286

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1929
1
0
0
16

R
4
525
2
0
5

U
0
0
307
0
13

N
0
0
1
25
4

6
7
26
4
4290

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

1935
0
0
0
11

0
517
0
0
18

0
0
310
0
24

0
0
0
27
2

4
16
26
2
4273

SMORBF

D
P
R
U
N

99.79
0.00
0.00
0.00
0.25

0.00
97.00
0.00
0.00
0.42

0.00
0.00
92.26
0.00
0.55

0.00
0.00
0.00
93.10
0.05

0.21
3.00
7.74
6.90
98.73

D
99.79
0.56
0.30
0.00
0.42

P
0.05
94.18
0.30
27.59
0.67

R
0.00
0.00
71.73
0.00
0.12

U
0.00
0.00
0.00
0.00
0.00

N
0.15
5.25
27.68
72.41
98.80

D
99.59
0.00
0.00
0.00
0.14

P
0.26
98.69
0.00
0.00
0.23

R
0.00
0.00
91.37
0.00
0.25

U
0.00
0.00
0.00
75.86
0.00

N
0.15
1.31
8.63
24.14
99.38

D
0.00
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
100.00
100.00
100.00
100.00
100.00

D
99.74
0.56
0.00
0.00
0.37

P
0.10
91.93
0.00
3.45
0.53

R
0.00
0.19
79.76
10.34
0.28

U
0.05
0.56
4.46
48.28
0.12

N
0.10
6.75
15.77
37.93
98.71

D
82.52
0.94
0.00
0.00
0.53

P
5.05
96.25
1.19
27.59
4.62

R
1.24
1.50
88.99
10.34
3.10

U
1.34
0.56
0.89
55.17
1.71

N
9.85
0.75
8.93
6.90
90.04

D
98.66
0.38
0.00
0.00
0.51

P
0.21
97.19
0.30
3.45
1.04

R
0.00
0.19
93.15
10.34
0.99

U
0.00
0.00
0.30
72.41
0.07

N
1.13
2.25
6.25
13.79
97.39

D
98.04
0.00
0.00
0.00
0.44

P
0.88
95.12
0.30
20.69
1.06

R
0.00
0.00
89.58
6.90
1.09

U
0.00
0.19
0.30
51.72
0.14

N
1.08
4.69
9.82
20.69
97.27

D
99.95
0.00
0.00
0.00
0.07

P
0.00
99.81
0.00
0.00
0.00

R
0.00
0.00
95.24
0.00
0.07

U
0.00
0.00
0.00
100.00
0.00

N
0.05
0.19
4.76
0.00
99.86

D
97.47
3.75
0.00

P
0.57
88.37
0.30

R
0.00
0.00
69.94

U
0.00
0.00
0.00

N
1.96
7.88
29.76

Acierto
D
D
P
R
U
N

P
1935
3
1
0
18

R
1
502
1
8
29

U
0
0
241
0
5

N
0
0
0
0
0

3
28
93
21
4276

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1931
0
0
0
6

R
5
526
0
0
10

U
0
0
307
0
11

N
0
0
0
22
0

3
7
29
7
4301

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

1939
533
336
29
4328

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1934
3
0
0
16

R
2
490
0
1
23

U
0
1
268
3
12

N
1
3
15
14
5

2
36
53
11
4272

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1600
5
0
0
23

R
98
513
4
8
200

U
24
8
299
3
134

N
26
3
3
16
74

191
4
30
2
3897

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1913
2
0
0
22

R
4
518
1
1
45

U
0
1
313
3
43

N
0
0
1
21
3

22
12
21
4
4215

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1901
0
0
0
19

R
17
507
1
6
46

U
0
0
301
2
47

N
0
1
1
15
6

21
25
33
6
4210

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1938
0
0
0
3

R
0
532
0
0
0

U
0
0
320
0
3

N
0
0
0
29
0

1
1
16
0
4322

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
1890
20
0

R
11
471
1

U
0
0
235

N
0
0
0

38
42
100

D
P
R

U
N

4
20

7
40

2
12

0
0

16
4256

U
N

13.79
0.46

24.14
0.92

6.90
0.28

0.00
0.00

55.17
98.34

FayNB
Clonalg

Acierto
D
D
P
R
U
N

P
1657
244
4
8
83

R
12
40
1
0
7

U
7
28
136
2
102

N
0
0
0
0
0

263
221
195
19
4136

Genetico

D
P
R
U
N

D
85.46
45.78
1.19
27.59
1.92

P
0.62
7.50
0.30
0.00
0.16

R
0.36
5.25
40.48
6.90
2.36

U
0.00
0.00
0.00
0.00
0.00

N
13.56
41.46
58.04
65.52
95.56

D
80.61
17.45
0.60
0.00
0.53

P
0.57
38.46
2.68
20.69
4.09

R
0.62
0.00
15.18
0.00
0.23

U
0.00
0.00
0.00
10.34
0.00

N
18.21
44.09
81.55
68.97
95.15

D
93.91
7.32
0.00
3.45
0.90

P
0.00
63.98
0.30
17.24
0.76

R
0.00
0.38
55.36
0.00
0.39

U
0.00
0.00
0.30
51.72
0.00

N
6.09
28.33
44.05
27.59
97.94

D
94.28
2.81
0.30
6.90
0.88

P
0.26
89.68
0.60
17.24
0.95

R
0.00
0.38
66.96
6.90
0.79

U
0.00
0.00
0.60
51.72
0.05

N
5.47
7.13
31.55
17.24
97.34

D
93.35
1.31
0.00
3.45
0.81

P
0.00
66.98
0.30
17.24
1.20

R
0.00
0.38
67.26
6.90
0.81

U
0.00
0.00
0.30
55.17
0.00

N
6.65
31.33
32.14
17.24
97.18

D
94.28
1.69
0.00
3.45
0.76

P
0.26
92.12
0.30
17.24
0.83

R
0.00
0.38
68.45
6.90
0.81

U
0.00
0.00
0.30
62.07
0.02

N
5.47
5.82
30.95
10.34
97.57

D
94.07
1.69
0.30
6.67
0.83

P
0.36
91.37
0.30
20.00
0.90

R
0.00
0.38
67.16
6.67
0.76

U
0.00
0.00
0.30
53.33
0.00

N
5.57
6.57
31.94
13.33
97.50

D
94.07
6.94
0.00
3.45
0.85

P
0.41
82.18
0.00
20.69
0.62

R
0.00
0.38
67.56
6.90
0.79

U
0.00
0.00
0.60
51.72
0.09

N
5.52
10.51
31.85
17.24
97.64

D
94.22
2.06
0.30
6.90
0.85

P
0.31
91.37
0.60
17.24
0.90

R
0.00
0.38
67.26
6.90
0.81

U
0.00
0.00
0.30
44.83
0.00

N
5.47
6.19
31.55
24.14
97.44

Acierto
D
D
P
R
U
N

P
1563
93
2
0
23

R
11
205
9
6
177

U
12
0
51
0
10

N
0
0
0
3
0

353
235
274
20
4118

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1821
39
0
1
39

R
0
341
1
5
33

U
0
2
186
0
17

N
0
0
1
15
0

118
151
148
8
4239

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1828
15
1
2
38

R
5
478
2
5
41

U
0
2
225
2
34

N
0
0
2
15
2

106
38
106
5
4213

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1810
7
0
1
35

R
0
357
1
5
52

U
0
2
226
2
35

N
0
0
1
16
0

129
167
108
5
4206

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1828
9
0
1
33

R
5
491
1
5
36

U
0
2
230
2
35

N
0
0
1
18
1

106
31
104
3
4223

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1824
9
1
2
36

R
7
487
1
6
39

U
0
2
225
2
33

N
0
0
1
16
0

108
35
107
4
4217

NBT

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1824
37
0
1
37

R
8
438
0
6
27

U
0
2
227
2
34

N
0
0
2
15
4

107
56
107
5
4226

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1827
11
1
2
37

R
6
487
2
5
39

U
0
2
226
2
35

N
0
0
1
13
0

106
33
106
7
4217

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

1788
11
0
0
27

4
480
1
5
54

0
1
256
2
64

0
0
1
13
2

147
41
78
9
4181

SMORBF

D
P
R
U
N

92.21
2.06
0.00
0.00
0.62

0.21
90.06
0.30
17.24
1.25

0.00
0.19
76.19
6.90
1.48

0.00
0.00
0.30
44.83
0.05

7.58
7.69
23.21
31.03
96.60

D
90.41
4.88
0.30
0.00
0.58

P
0.31
76.92
1.49
51.72
1.39

R
0.00
0.00
36.61
0.00
0.21

U
0.00
0.00
0.00
0.00
0.00

N
9.28
18.20
61.61
48.28
97.83

D
94.12
2.63
0.00
6.90
0.85

P
0.36
87.05
0.30
20.69
0.58

R
0.00
0.38
66.96
6.90
0.88

U
0.00
0.00
0.00
34.48
0.05

N
5.52
9.94
32.74
31.03
97.64

D
48.51
49.29
49.40
49.12
41.92

P
0.00
0.00
0.15
0.00
0.01

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
51.49
50.71
50.45
50.88
58.07

D
94.48
2.25
0.30
3.45
0.85

P
0.10
90.81
0.30
17.24
0.95

R
0.00
0.38
69.64
6.90
0.92

U
0.00
0.00
0.30
48.28
0.00

N
5.42
6.57
29.46
24.14
97.27

D
84.84
8.63
0.00
0.00
0.28

P
0.26
85.55
2.68
51.72
3.26

R
0.00
0.19
58.04
0.00
1.11

U
0.00
0.00
0.30
13.79
0.00

N
14.90
5.63
38.99
34.48
95.36

D
93.60
6.19
0.00
3.45
0.74

P
0.62
81.61
0.60
20.69
0.51

R
0.00
0.19
67.26
6.90
0.83

U
0.00
0.00
0.30
44.83
0.05

N
5.78
12.01
31.85
24.14
97.87

D
93.45
4.13
0.00
3.45
0.83

P
1.03
86.68
1.19
20.69
1.71

R
0.00
0.56
72.92
6.90
1.55

U
0.00
0.00
0.30
48.28
0.00

N
5.52
8.63
25.60
20.69
95.91

D
94.17
1.50
0.00
3.45
0.72

P
0.26
91.93
0.30
17.24
0.83

R
0.00
0.38
68.45
6.90
0.79

U
0.00
0.00
0.30
58.62
0.00

N
5.57
6.19
30.95
13.79
97.67

D
92.99
11.26
0.60

P
0.52
68.29
0.30

R
0.00
0.56
52.38

U
0.00
0.00
0.00

N
6.50
19.89
46.73

Acierto
D
D
P
R
U
N

P
1753
26
1
0
25

R
6
410
5
15
60

U
0
0
123
0
9

N
0
0
0
0
0

180
97
207
14
4234

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1825
14
0
2
37

R
7
464
1
6
25

U
0
2
225
2
38

N
0
0
0
10
2

107
53
110
9
4226

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1805
518
328
28
3122

R
0
0
1
0
1

U
0
0
0
0
0

N
0
0
0
0
0

1916
533
335
29
4325

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1832
12
1
1
37

R
2
484
1
5
41

U
0
2
234
2
40

N
0
0
1
14
0

105
35
99
7
4210

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1645
46
0
0
12

R
5
456
9
15
141

U
0
1
195
0
48

N
0
0
1
4
0

289
30
131
10
4127

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1815
33
0
1
32

R
12
435
2
6
22

U
0
1
226
2
36

N
0
0
1
13
2

112
64
107
7
4236

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1812
22
0
1
36

R
20
462
4
6
74

U
0
3
245
2
67

N
0
0
1
14
0

107
46
86
6
4151

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
1826
8
0
1
31

R
5
490
1
5
36

U
0
2
230
2
34

N
0
0
1
17
0

108
33
104
4
4227

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
1803
60
2

R
10
364
1

U
0
3
176

N
0
0
0

126
106
157

D
P
R

U
N

2
52

11
47

0
40

0
0

16
4189

U
N

6.90
1.20

37.93
1.09

0.00
0.92

0.00
0.00

55.17
96.79

Frec
Clonalg

Acierto
D
D
P
R
U
N

P
3096
254
2
8
14

R
0
50
0
0
0

U
9
22
68
0
23

N
0
0
0
0
0

677
406
391
28
5936

Genetico

D
81.86
34.70
0.43
22.22
0.23

P
0.00
6.83
0.00
0.00
0.00

R
0.24
3.01
14.75
0.00
0.39

U
0.00
0.00
0.00
0.00
0.00

N
17.90
55.46
84.82
77.78
99.38

D
81.65
42.62
0.00
2.78
2.06

P
0.42
21.86
0.65
0.00
3.08

R
0.00
0.00
24.30
0.00
0.84

U
0.05
2.32
1.74
66.67
0.42

N
17.87
33.20
73.32
30.56
93.60

D
61.71
0.15
0.00
0.00
0.10

P
0.00
53.36
0.00
4.55
0.18

R
0.00
0.00
41.38
0.00
0.03

U
38.24
45.90
45.96
79.55
35.44

N
0.05
0.59
12.66
15.91
64.25

D
99.84
1.64
0.65
0.00
0.28

P
0.03
96.58
0.00
0.00
0.33

R
0.00
0.00
92.19
2.78
0.22

U
0.00
0.00
0.00
75.00
0.00

N
0.13
1.78
7.16
22.22
99.16

D
99.95
0.41
0.00
0.00
0.27

P
0.00
98.22
0.00
0.00
0.25

R
0.00
0.14
93.49
2.78
1.00

U
0.00
0.00
0.22
88.89
0.07

N
0.05
1.23
6.29
8.33
98.41

D
99.81
0.55
0.22
0.00
0.25

P
0.11
99.04
0.22
16.67
0.23

R
0.00
0.00
89.59
0.00
0.22

U
0.00
0.00
0.00
58.33
0.02

N
0.08
0.41
9.98
25.00
99.28

D
99.81
0.96
0.22
0.00
0.30

P
0.08
96.58
0.00
16.67
0.82

R
0.00
0.00
91.11
0.00
0.12

U
0.00
0.00
0.22
33.33
0.07

N
0.11
2.46
8.46
50.00
98.69

D
99.81
0.55
0.22
0.00
0.25

P
0.11
99.04
0.22
16.67
0.23

R
0.00
0.00
89.59
0.00
0.22

U
0.00
0.00
0.00
58.33
0.02

N
0.08
0.41
9.98
25.00
99.28

D
99.92
0.55
0.00
2.78
0.17

P
0.00
99.18
0.00
5.56
0.12

R
0.00
0.00
93.28
0.00
0.13

U
0.00
0.00
0.22
80.56
0.03

N
0.08
0.27
6.51
11.11
99.55

Acierto
D
D
P
R
U
N

P
3088
312
0
1
123

R
16
160
3
0
184

U
0
0
112
0
50

N
2
17
8
24
25

676
243
338
11
5591

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3779
2
0
0
9

R
0
722
0
2
17

U
0
0
353
0
3

N
2342
621
392
35
3279

3
8
108
7
5944

Part

D
P
R
U
N

Acierto
D
D
P
R
U
N

P
3776
12
3
0
17

R
1
707
0
0
20

U
0
0
425
1
13

N
0
0
0
27
0

5
13
33
8
5923

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3780
3
0
0
16

R
0
719
0
0
15

U
0
1
431
1
60

N
0
0
1
32
4

2
9
29
3
5878

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3775
4
1
0
15

R
4
725
1
6
14

U
0
0
413
0
13

N
0
0
0
21
1

3
3
46
9
5930

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3775
7
1
0
18

R
3
707
0
6
49

U
0
0
420
0
7

N
0
0
1
12
4

4
18
39
18
5895

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3775
4
1
0
15

R
4
725
1
6
14

U
0
0
413
0
13

N
0
0
0
21
1

3
3
46
9
5930

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N
SMOPoly

D
P
R
U
N

P
3779
4
0
1
10

R
0
726
0
2
7

U
0
0
430
0
8

N
0
0
1
29
2

3
2
30
4
5946

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3781
0
0
0
6

R
0
731
0
0
8

U
0
0
435
0
3

N
0
0
0
36
0

1
1
26
0
5956

SMORBF

D
P
R
U
N

D
99.97
0.00
0.00
0.00
0.10

P
0.00
99.86
0.00
0.00
0.13

R
0.00
0.00
94.36
0.00
0.05

U
0.00
0.00
0.00
100.00
0.00

N
0.03
0.14
5.64
0.00
99.72

D
99.84
0.00
0.00
0.00
0.40

P
0.00
97.27
0.00
2.78
0.69

R
0.00
0.00
84.60
2.78
0.05

U
0.00
0.00
0.00
55.56
0.00

N
0.16
2.73
15.40
38.89
98.86

D
99.95
0.00
0.00
0.00
0.07

P
0.00
99.86
0.00
0.00
0.05

R
0.00
0.00
93.49
0.00
0.05

U
0.00
0.00
0.00
86.11
0.00

N
0.05
0.14
6.51
13.89
99.83

D
0.00
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
100.00
100.00
100.00
100.00
100.00

D
0.00
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
100.00
100.00
100.00
100.00
100.00

D
85.96
0.41
0.00
0.00
0.07

P
2.56
97.95
0.65
5.56
4.20

R
1.45
0.96
90.89
5.56
6.98

U
1.30
0.14
0.43
83.33
1.32

N
8.73
0.55
8.03
5.56
87.43

D
99.02
0.14
0.00
0.00
0.20

P
0.08
98.77
0.22
0.00
0.35

R
0.00
0.00
94.14
8.33
0.40

U
0.00
0.00
0.00
88.89
0.05

N
0.90
1.09
5.64
2.78
99.00

D
93.65
0.41
0.00
0.00
0.28

P
0.63
96.99
0.43
13.89
1.69

R
0.32
0.27
80.91
2.78
1.56

U
0.00
0.00
0.22
58.33
0.20

N
5.39
2.32
18.44
25.00
96.27

D
99.95
0.00
0.00
0.00
0.00

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
97.18
0.00
0.00

U
0.00
0.00
0.00
100.00
0.00

N
0.05
0.00
2.82
0.00
100.00

D
99.58
7.51

P
0.21
87.16

R
0.00
0.55

U
0.00
0.14

N
0.21
4.64

Acierto
D
D
P
R
U
N

P
3776
0
0
0
24

R
0
712
0
1
41

U
0
0
390
1
3

N
0
0
0
20
0

6
20
71
14
5905

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3780
0
0
0
4

R
0
731
0
0
3

U
0
0
431
0
3

N
0
0
0
31
0

2
1
30
5
5963

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

3782
732
461
36
5973

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

3782
732
461
36
5973

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3251
3
0
0
4

R
97
717
3
2
251

U
55
7
419
2
417

N
49
1
2
30
79

330
4
37
2
5222

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3745
1
0
0
12

R
3
723
1
0
21

U
0
0
434
3
24

N
0
0
0
32
3

34
8
26
1
5913

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3542
3
0
0
17

R
24
710
2
5
101

U
12
2
373
1
93

N
0
0
1
21
12

204
17
85
9
5750

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3780
0
0
0
0

R
0
732
0
0
0

U
0
0
448
0
0

N
0
0
0
36
0

2
0
13
0
5973

KNN-50

D
P
R
U
N
Acierto

D
D
P

P
3766
55

R
8
638

U
0
4

N
0
1

8
34

D
P

R
U
N

0
0
39

1
6
75

391
2
23

0
14
4

69
14
5832

R
U
N

0.00
0.00
0.65

0.22
16.67
1.26

84.82
5.56
0.39

0.00
38.89
0.07

14.97
38.89
97.64

FrecCFS
Clonalg

Acierto
D
D
P
R
U
N

P
3091
281
2
6
45

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

691
451
459
30
5928

Genetico

D
P
R
U
N

D
81.73
38.39
0.43
16.67
0.75

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
18.27
61.61
99.57
83.33
99.25

D
83.18
54.64
4.12
16.67
3.97

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
16.05
0.00
0.08

U
0.00
0.00
0.00
0.00
0.00

N
16.82
45.36
79.83
83.33
95.95

D
99.89
3.28
0.00
0.00
0.27

P
0.05
93.03
0.00
16.67
0.42

R
0.00
0.00
67.46
0.00
0.12

U
0.00
0.00
0.00
52.78
0.03

N
0.05
3.69
32.54
30.56
99.16

D
99.76
50.14
50.05
50.00
48.63

P
0.05
48.90
0.00
6.94
0.15

R
0.00
0.00
43.87
0.00
0.19

U
0.00
0.00
0.11
34.72
0.03

N
0.18
0.96
5.97
8.33
51.00

D
99.76
0.27
0.00
0.00
0.28

P
0.21
97.40
0.00
2.78
0.90

R
0.00
0.00
75.27
0.00
0.85

U
0.00
0.00
0.00
80.56
0.05

N
0.03
2.32
24.73
16.67
97.91

D
99.95
0.14
0.00
0.00
0.25

P
0.03
98.91
0.00
0.00
0.05

R
0.00
0.00
92.62
0.00
0.42

U
0.00
0.00
0.00
94.44
0.03

N
0.03
0.96
7.38
5.56
99.25

D
99.87
0.55
0.22
0.00
0.28

P
0.11
97.81
0.00
16.67
0.79

R
0.00
0.00
86.77
5.56
0.15

U
0.00
0.00
0.00
55.56
0.03

N
0.03
1.64
13.02
22.22
98.74

D
99.68
0.96
0.22
0.00
0.37

P
0.16
96.99
0.00
16.67
0.45

R
0.00
0.00
88.29
0.00
0.55

U
0.00
0.00
0.00
13.89
0.02

N
0.16
2.05
11.50
69.44
98.61

D
99.89
0.41
0.00
0.00
0.28

P
0.03
97.13
0.22
0.00
0.17

R
0.00
0.00
89.59
0.00
0.40

U
0.00
0.00
0.22
80.56
0.07

N
0.08
2.46
9.98
19.44
99.08

Acierto
D
D
P
R
U
N

P
3146
400
19
6
237

R
0
0
0
0
0

U
0
0
74
0
5

N
0
0
0
0
0

636
332
368
30
5731

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3778
24
0
0
16

R
2
681
0
6
25

U
0
0
311
0
7

N
0
0
0
19
2

2
27
150
11
5923

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3782
732
461
36
5638

R
2
714
0
5
17

U
0
0
404
0
22

N
0
0
1
25
4

7
14
55
6
5913

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3773
2
0
0
17

R
8
713
0
1
54

U
0
0
347
0
51

N
0
0
0
29
3

1
17
114
6
5848

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3780
1
0
0
15

R
1
724
0
0
3

U
0
0
427
0
25

N
0
0
0
34
2

1
7
34
2
5928

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3777
4
1
0
17

R
4
716
0
6
47

U
0
0
400
2
9

N
0
0
0
20
2

1
12
60
8
5898

NBTree

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3770
7
1
0
22

R
6
710
0
6
27

U
0
0
407
0
33

N
0
0
0
5
1

6
15
53
25
5890

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3778
3
0
0
17

R
1
711
1
0
10

U
0
0
413
0
24

N
0
0
1
29
4

3
18
46
7
5918

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

3772
2
0
0
22

1
709
3
0
32

0
0
405
0
27

0
0
0
30
3

9
21
53
6
5889

SMORBF

D
P
R
U
N

99.74
0.27
0.00
0.00
0.37

0.03
96.86
0.65
0.00
0.54

0.00
0.00
87.85
0.00
0.45

0.00
0.00
0.00
83.33
0.05

0.24
2.87
11.50
16.67
98.59

D
98.60
3.96
0.00
2.78
0.67

P
0.05
93.31
0.43
58.33
0.94

R
0.00
0.00
66.16
0.00
0.08

U
0.00
0.00
0.00
0.00
0.00

N
1.35
2.73
33.41
38.89
98.31

D
99.89
0.14
0.00
0.00
0.32

P
0.03
98.63
0.22
0.00
0.35

R
0.00
0.00
89.80
2.78
0.39

U
0.00
0.00
0.00
80.56
0.03

N
0.08
1.23
9.98
16.67
98.91

D
0.00
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.08
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
99.92
100.00
100.00
100.00
100.00

D
94.92
0.41
0.22
0.00
0.22

P
0.05
97.13
0.22
16.67
0.79

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
5.02
2.46
99.57
83.33
99.00

D
87.92
4.64
0.00
0.00
0.65

P
2.30
93.44
0.87
58.33
2.04

R
1.14
0.14
90.67
0.00
3.53

U
0.00
0.00
0.22
13.89
0.65

N
8.65
1.78
8.24
27.78
93.12

D
96.17
2.60
0.00
0.00
0.10

P
2.22
94.81
0.00
0.00
0.47

R
0.00
0.00
88.94
2.78
0.45

U
0.00
0.00
0.00
77.78
0.07

N
1.61
2.60
11.06
19.44
98.91

D
98.23
2.60
0.22
0.00
0.70

P
0.34
91.94
0.00
16.67
1.36

R
0.00
0.00
82.43
0.00
1.04

U
0.00
0.00
0.00
61.11
0.10

N
1.43
5.46
17.35
22.22
96.80

D
99.95
0.14
0.00
0.00
0.25

P
0.03
98.50
0.00
0.00
0.03

R
0.00
0.00
92.19
0.00
0.39

U
0.00
0.00
0.00
94.44
0.03

N
0.03
1.37
7.81
5.56
99.30

D
99.95
7.38
0.43

P
0.03
84.70
0.43

R
0.00
1.91
80.91

U
0.00
0.00
0.22

N
0.03
6.01
18.00

Acierto
D
D
P
R
U
N

P
3729
29
0
1
40

R
2
683
2
21
56

U
0
0
305
0
5

N
0
0
0
0
0

51
20
154
14
5872

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3778
1
0
0
19

R
1
722
1
0
21

U
0
0
414
1
23

N
0
0
0
29
2

3
9
46
6
5908

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
0
0
0
0
0

U
3
0
0
0
0

N
0
0
0
0
0

3779
732
461
36
5973

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3590
3
1
0
13

R
2
711
1
6
47

U
0
0
0
0
0

N
0
0
0
0
0

190
18
459
30
5913

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3325
34
0
0
39

R
87
684
4
21
122

U
43
1
418
0
211

N
0
0
1
5
39

327
13
38
10
5562

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3637
19
0
0
6

R
84
694
0
0
28

U
0
0
410
1
27

N
0
0
0
28
4

61
19
51
7
5908

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3715
19
1
0
42

R
13
673
0
6
81

U
0
0
380
0
62

N
0
0
0
22
6

54
40
80
8
5782

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3780
1
0
0
15

R
1
721
0
0
2

U
0
0
425
0
23

N
0
0
0
34
2

1
10
36
2
5931

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
3780
54
2

R
1
620
2

U
0
14
373

N
0
0
1

1
44
83

D
P
R

U
N

0
70

5
79

1
43

1
0

29
5781

U
N

0.00
1.17

13.89
1.32

2.78
0.72

2.78
0.00

80.56
96.79

FrecCNS
Clonalg

Acierto
D
D
P
R
U
N

P
2924
142
1
0
408

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

858
590
460
36
5565

Genetico

D
P
R
U
N

D
77.31
19.40
0.22
0.00
6.83

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
22.69
80.60
99.78
100.00
93.17

D
83.87
33.74
0.22
38.89
0.69

P
1.59
12.30
3.47
2.78
1.00

R
1.19
1.50
7.81
0.00
0.32

U
0.37
0.41
0.22
2.78
0.22

N
12.98
52.05
88.29
55.56
97.77

D
99.84
0.00
0.22
0.00
0.23

P
0.00
99.32
0.22
5.56
0.27

R
0.00
0.00
73.97
2.78
0.03

U
0.00
0.00
0.00
58.33
0.00

N
0.16
0.68
25.60
33.33
99.46

D
99.29
1.09
0.00
0.00
0.22

P
0.24
96.99
0.00
0.00
0.17

R
0.00
0.00
90.89
0.00
0.23

U
0.00
0.00
0.00
75.00
0.02

N
0.48
1.91
9.11
25.00
99.36

D
99.81
0.00
0.00
0.00
0.22

P
0.08
98.09
0.00
0.00
0.33

R
0.00
0.14
87.64
2.78
0.60

U
0.00
0.00
0.00
75.00
0.05

N
0.11
1.78
12.36
22.22
98.79

Acierto
D
D
P
R
U
N

P
3172
247
1
14
41

R
60
90
16
1
60

U
45
11
36
0
19

N
14
3
1
1
13

491
381
407
20
5840

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3776
0
1
0
14

R
0
727
1
2
16

U
0
0
341
1
2

N
0
0
0
21
0

6
5
118
12
5941

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3755
8
0
0
13

R
9
710
0
0
10

U
0
0
419
0
14

N
0
0
0
27
1

18
14
42
9
5935

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3775
0
0
0
13

R
3
718
0
0
20

U
0
1
404
1
36

N
0
0
0
27
3

4
13
57
8
5901

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3781
0
0
0
2

R
0
732
0
0
0

U
0
0
452
0
3

N
0
0
0
36
0

1
0
9
0
5968

D
P
R
U
N

D
99.97
0.00
0.00
0.00
0.03

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
98.05
0.00
0.05

U
0.00
0.00
0.00
100.00
0.00

N
0.03
0.00
1.95
0.00
99.92

17
9
49
4
5926

D
P
R
U
N

D
99.47
0.41
0.00
0.00
0.23

P
0.08
98.08
0.00
13.89
0.33

R
0.00
0.27
89.37
0.00
0.17

U
0.00
0.00
0.00
75.00
0.05

N
0.45
1.23
10.63
11.11
99.21

D
99.87
0.41
0.00
2.78
0.27

P
0.08
99.04
0.22
11.11
0.30

R
0.00
0.00
90.02
0.00
0.08

U
0.00
0.00
0.00
61.11
0.05

N
0.05
0.55
9.76
25.00
99.30

D
99.79
0.14
0.00
0.00
0.13

P
0.00
98.50
0.22
2.78
0.08

R
0.00
0.00
92.41
0.00
0.05

U
0.00
0.00
0.00
83.33
0.02

N
0.21
1.37
7.38
13.89
99.72

C4.5
D
D
P
R
U
N

P
3762
3
0
0
14

R
3
717
0
5
20

U
0
2
412
0
10

N
0
0
0
27
3

NBTree

Acierto
D
D
P
R
U
N

P
3777
3
0
1
16

R
3
725
1
4
18

U
0
0
415
0
5

N
0
0
0
22
3

2
4
45
9
5931

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3774
1
0
0
8

R
0
721
1
1
5

U
0
0
426
0
3

N
0
0
0
30
1

8
10
34
5
5956

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

3780
0
0
0
9

1
727
0
0
15

0
0
420
0
3

0
0
0
34
0

1
5
41
2
5946

SMORBF

D
P
R
U
N

99.95
0.00
0.00
0.00
0.15

0.03
99.32
0.00
0.00
0.25

0.00
0.00
91.11
0.00
0.05

0.00
0.00
0.00
94.44
0.00

0.03
0.68
8.89
5.56
99.55

D
99.37
0.55
0.00
0.00
0.40

P
0.03
97.13
0.43
11.11
0.92

R
0.00
0.27
82.43
2.78
0.08

U
0.00
0.00
0.00
0.00
0.00

N
0.61
2.05
17.14
86.11
98.59

D
99.92
0.00
0.00
0.00
0.05

P
0.00
99.86
0.00
0.00
0.03

R
0.00
0.00
95.44
0.00
0.10

U
0.00
0.00
0.00
91.67
0.00

N
0.08
0.14
4.56
8.33
99.82

D
0.37
0.00
0.00
0.00
0.02

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
99.63
100.00
100.00
100.00
99.98

D
0.00
0.27
43.02
28.00
0.05

P
62.16
97.95
0.87
24.00
1.53

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.27
43.02
28.00
0.05

N
37.84
1.50
13.10
20.00
98.37

D
85.75
0.14
0.00
0.00
0.18

P
2.19
96.58
0.43
2.78
2.44

R
0.32
1.23
91.76
2.78
6.09

U
2.22
1.78
0.87
88.89
5.32

N
9.52
0.27
6.94
5.56
85.95

D
99.15
0.14
0.00
0.00
0.22

P
0.05
98.22
0.43
8.33
0.80

R
0.00
0.00
94.14
8.33
0.49

U
0.00
0.00
0.00
69.44
0.02

N
0.79
1.64
5.42
13.89
98.48

D
95.80
0.41
0.00
5.56
0.62

P
0.77
97.40
0.22
8.33
1.44

R
0.03
0.14
89.59
2.78
2.34

U
0.05
0.00
0.00
66.67
0.15

N
3.36
2.05
10.20
16.67
95.45

D
99.95
0.00
0.00
0.00
0.00

P
0.00
100.00
0.00
0.00
0.00

R
0.00
0.00
97.40
0.00
0.00

U
0.00
0.00
0.00
100.00
0.00

N
0.05
0.00
2.60
0.00
100.00

D
98.94
3.42
0.00

P
0.13
93.44
0.22

R
0.00
0.41
87.20

U
0.00
0.00
0.00

N
0.93
2.73
12.58

Acierto
D
D
P
R
U
N

P
3758
4
0
0
24

R
1
711
2
4
55

U
0
2
380
1
5

N
0
0
0
0
0

23
15
79
31
5889

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3779
0
0
0
3

R
0
731
0
0
2

U
0
0
440
0
6

N
0
0
0
33
0

3
1
21
3
5962

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
14
0
0
0
1

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

3768
732
461
36
5972

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
2
348
14
3

R
23
717
7
12
91

U
0
0
0
0
0

N
0
2
348
14
3

14
11
106
10
5865

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3243
1
0
0
11

R
83
707
2
1
146

U
12
9
423
1
364

N
84
13
4
32
318

360
2
32
2
5134

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3750
1
0
0
13

R
2
719
2
3
48

U
0
0
434
3
29

N
0
0
0
25
1

30
12
25
5
5882

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3623
3
0
2
37

R
29
713
1
3
86

U
1
1
413
1
140

N
2
0
0
24
9

127
15
47
6
5701

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3780
0
0
0
0

R
0
732
0
0
0

U
0
0
449
0
0

N
0
0
0
36
0

2
0
12
0
5973

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
3742
25
0

R
5
684
1

U
0
3
402

N
0
0
0

35
20
58

D
P
R

U
N

0
32

4
53

2
30

15
0

15
5858

U
N

0.00
0.54

11.11
0.89

5.56
0.50

41.67
0.00

41.67
98.07

FrecC4.5
Clonalg

Acierto
D
D
P
R
U
N

P
3035
265
4
6
25

R
0
41
0
0
1

U
11
29
37
5
24

N
0
0
0
0
0

736
397
420
25
5923

Genetico

D
P
R
U
N

D
80.25
36.20
0.87
16.67
0.42

P
0.00
5.60
0.00
0.00
0.02

R
0.29
3.96
8.03
13.89
0.40

U
0.00
0.00
0.00
0.00
0.00

N
19.46
54.23
91.11
69.44
99.16

D
82.34
11.89
0.22
2.78
0.95

P
0.56
50.14
0.65
36.11
4.49

R
0.00
0.00
16.05
0.00
0.12

U
0.11
3.01
0.00
25.00
0.08

N
17.00
34.97
83.08
36.11
94.36

D
99.92
1.50
0.00
0.00
0.62

P
0.00
96.31
0.00
2.78
0.60

R
0.00
0.00
78.09
5.56
0.17

U
0.00
0.00
0.00
77.78
0.02

N
0.08
2.19
21.91
13.89
98.59

D
99.63
1.09
0.22
0.00
0.25

P
0.05
94.54
0.00
0.00
0.32

R
0.00
0.14
87.20
5.56
0.42

U
0.00
0.00
0.00
72.22
0.02

N
0.32
4.23
12.58
22.22
99.00

D
99.81
0.27
0.00
0.00
0.25

P
0.16
96.99
0.00
0.00
0.64

R
0.00
0.00
91.11
0.00
0.75

U
0.00
0.14
0.43
86.11
0.02

N
0.03
2.60
8.46
13.89
98.34

D
99.95
0.00
0.00
0.00
0.03

P
0.00
100.00
0.00
0.00
0.02

R
0.00
0.00
97.83
0.00
0.13

U
0.00
0.00
0.00
100.00
0.00

N
0.05
0.00
2.17
0.00
99.82

D
99.81
0.68
0.22
0.00
0.45

P
0.11
94.26
0.00
16.67
0.35

R
0.00
0.14
88.29
5.56
0.40

U
0.00
0.00
0.22
66.67
0.10

N
0.08
4.92
11.28
11.11
98.69

D
99.74
3.96
0.00
0.00
0.42

P
0.00
93.72
0.22
0.00
0.27

R
0.03
0.00
90.24
5.56
0.44

U
0.00
0.00
0.22
88.89
0.05

N
0.24
2.32
9.33
5.56
98.83

D
99.74
0.41
0.22
0.00
0.12

P
0.03
97.81
0.22
0.00
0.15

R
0.00
0.00
93.49
0.00
0.28

U
0.00
0.00
0.22
91.67
0.03

N
0.24
1.78
5.86
8.33
99.41

Acierto
D
D
P
R
U
N

P
3114
87
1
1
57

R
21
367
3
13
268

U
0
0
74
0
7

N
4
22
0
9
5

643
256
383
13
5636

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3779
11
0
0
37

R
0
705
0
1
36

U
0
0
360
2
10

N
0
0
0
28
1

3
16
101
5
5889

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3768
8
1
0
15

R
2
692
0
0
19

U
0
1
402
2
25

N
0
0
0
26
1

12
31
58
8
5913

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3775
2
0
0
15

R
6
710
0
0
38

U
0
0
420
0
45

N
0
1
2
31
1

1
19
39
5
5874

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3780
0
0
0
2

R
0
732
0
0
1

U
0
0
451
0
8

N
0
0
0
36
0

2
0
10
0
5962

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3775
5
1
0
27

R
4
690
0
6
21

U
0
1
407
2
24

N
0
0
1
24
6

3
36
52
4
5895

NBTREE

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3772
29
0
0
25

R
0
686
1
0
16

U
1
0
416
2
26

N
0
0
1
32
3

9
17
43
2
5903

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3772
3
1
0
7

R
1
716
1
0
9

U
0
0
431
0
17

N
0
0
1
33
2

9
13
27
3
5938

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

3776
0
0
0
8

0
721
0
0
18

0
0
429
0
24

0
0
0
35
0

6
11
32
1
5923

SMORBF

D
P
R
U
N

99.84
0.00
0.00
0.00
0.13

0.00
98.50
0.00
0.00
0.30

0.00
0.00
93.06
0.00
0.40

0.00
0.00
0.00
97.22
0.00

0.16
1.50
6.94
2.78
99.16

D
99.79
0.14
0.00
0.00
0.50

P
0.03
94.26
0.43
19.44
0.72

R
0.00
0.14
75.92
2.78
0.15

U
0.00
0.00
0.00
27.78
0.00

N
0.19
5.46
23.64
50.00
98.63

D
49.88
0.07
0.00
0.00
0.07

P
0.09
49.83
0.00
0.00
0.07

R
0.00
0.00
48.55
1.52
0.28

U
0.00
0.00
0.00
43.94
0.00

N
50.03
50.10
51.45
54.55
99.58

D
0.00
0.00
0.00
0.00
0.00

P
0.00
0.00
0.00
0.00
0.00

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
100.00
100.00
100.00
100.00
100.00

D
99.74
0.55
0.00
0.00
0.33

P
0.08
97.27
1.74
52.78
1.76

R
0.03
0.27
83.08
2.78
0.37

U
0.00
0.00
0.00
0.00
0.00

N
0.16
1.91
15.18
44.44
97.54

D
82.34
0.68
0.00
0.00
0.45

P
5.34
95.63
1.08
8.33
4.84

R
1.61
1.78
89.80
8.33
4.80

U
0.53
1.23
0.43
77.78
1.26

N
10.18
0.68
8.68
5.56
88.65

D
99.10
0.41
0.00
0.00
0.39

P
0.05
97.54
0.00
0.00
0.49

R
0.05
0.14
90.02
5.56
0.85

U
0.00
0.00
0.22
83.33
0.02

N
0.79
1.91
9.76
11.11
98.26

D
98.12
0.14
0.00
0.00
0.47

P
0.58
96.04
0.43
11.11
1.93

R
0.00
0.14
83.95
11.11
1.62

U
0.00
0.27
0.22
69.44
0.10

N
1.30
3.42
15.40
8.33
95.88

D
99.92
0.00
0.00
0.00
0.00

P
0.00
99.86
0.00
0.00
0.00

R
0.00
0.00
97.11
0.00
0.03

U
0.00
0.00
0.00
100.00
0.00

N
0.08
0.14
2.89
0.00
99.97

D
99.10
3.96
0.00

P
0.34
89.62
0.22

R
0.26
0.82
81.13

U
0.00
0.27
0.00

N
0.29
5.33
18.66

Acierto
D
D
P
R
U
N

P
3774
1
0
0
30

R
1
690
2
7
43

U
0
1
350
1
9

N
0
0
0
10
0

7
40
109
18
5891

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3771
1
0
0
4

R
7
728
0
0
4

U
0
0
435
1
17

N
0
0
0
29
0

3782
732
461
36
5973

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
0

R
0
0
0
0
0

U
0
0
0
0
0

N
0
0
0
0
0

3782
732
461
36
5973

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3772
4
0
0
20

R
3
712
8
19
105

U
1
2
383
1
22

N
0
0
0
0
0

6
14
70
16
5826

Naive Bayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3114
5
0
0
27

R
202
700
5
3
289

U
61
13
414
3
287

N
20
9
2
28
75

385
5
40
2
5295

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3748
3
0
0
23

R
2
714
0
0
29

U
2
1
415
2
51

N
0
0
1
30
1

30
14
45
4
5869

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3711
1
0
0
28

R
22
703
2
4
115

U
0
1
387
4
97

N
0
2
1
25
6

49
25
71
3
5727

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3779
0
0
0
0

R
0
731
0
0
0

U
0
0
437
0
2

N
0
0
0
36
0

3
1
13
0
5969

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
3748
29
0

R
13
656
1

U
10
6
374

N
0
2
0

11
39
86

D
P
R

U
N

8
44

4
70

2
41

7
3

15
5815

U
N

22.22
0.74

11.11
1.17

5.56
0.69

19.44
0.05

41.67
97.35

FrecNB
Clonalg

Acierto
D
D
P
R
U
N

P
3022
167
2
7
10

R
0
34
0
0
0

U
7
105
20
4
61

N
0
0
0
0
0

753
426
439
25
5902

Genetico

D
P
R
U
N

D
79.90
22.81
0.43
19.44
0.17

P
0.00
4.64
0.00
0.00
0.00

R
0.19
14.34
4.34
11.11
1.02

U
0.00
0.00
0.00
0.00
0.00

N
19.91
58.20
95.23
69.44
98.81

D
85.19
60.25
3.90
58.33
5.61

P
0.00
8.47
1.30
0.00
1.82

R
0.00
0.00
24.73
0.00
0.82

U
0.00
0.00
0.00
8.33
0.00

N
14.81
31.28
70.07
33.33
91.75

D
95.00
12.02
0.22
2.78
1.09

P
0.48
64.75
0.00
13.89
0.85

R
0.00
0.55
65.51
2.78
0.65

U
0.00
0.00
0.22
55.56
0.03

N
4.52
22.68
34.06
25.00
97.37

D
95.61
2.19
0.22
5.56
0.85

P
0.05
89.21
0.87
13.89
0.75

R
0.00
0.82
64.86
5.56
0.75

U
0.00
0.00
0.00
50.00
0.03

N
4.34
7.79
34.06
25.00
97.61

D
94.45
1.91
0.00
2.78
0.75

P
0.03
66.80
0.00
13.89
0.65

R
0.00
0.41
62.69
2.78
0.69

U
0.00
0.00
0.43
63.89
0.07

N
5.53
30.87
36.88
16.67
97.84

D
95.40
1.09
0.00
2.78
0.60

P
0.13
92.08
0.65
13.89
0.49

R
0.00
0.41
73.97
5.56
0.95

U
0.00
0.00
0.00
75.00
0.00

N
4.47
6.42
25.38
2.78
97.96

D
95.51
2.05
0.22
5.56
0.80

P
0.13
89.75
0.43
16.67
0.70

R
0.00
0.41
71.80
5.56
0.90

U
0.00
0.00
0.43
69.44
0.07

N
4.36
7.79
27.11
2.78
97.52

D
95.32
5.74
0.22
2.78
0.82

P
0.29
86.20
0.43
16.67
0.89

R
0.00
0.41
71.80
5.56
0.89

U
0.00
0.00
0.43
66.67
0.07

N
4.39
7.65
27.11
8.33
97.34

D
95.56
2.87
0.22
5.56
0.85

P
0.08
87.98
0.65
13.89
0.69

R
0.00
0.41
68.11
5.56
0.79

U
0.00
0.00
0.22
52.78
0.00

N
4.36
8.74
30.80
22.22
97.67

Acierto
D
D
P
R
U
N

P
3222
441
18
21
335

R
0
62
6
0
109

U
0
0
114
0
49

N
0
0
0
3
0

560
229
323
12
5480

Furia

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3593
88
1
1
65

R
18
474
0
5
51

U
0
4
302
1
39

N
0
0
1
20
2

171
166
157
9
5816

Part

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3616
16
1
2
51

R
2
653
4
5
45

U
0
6
299
2
45

N
0
0
0
18
2

164
57
157
9
5830

Ripper

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3572
14
0
1
45

R
1
489
0
5
39

U
0
3
289
1
41

N
0
0
2
23
4

209
226
170
6
5844

RNDF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3608
8
0
1
36

R
5
674
3
5
29

U
0
3
341
2
57

N
0
0
0
27
0

169
47
117
1
5851

C4.5

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3612
15
1
2
48

R
5
657
2
6
42

U
0
3
331
2
54

N
0
0
2
25
4

165
57
125
1
5825

NBTREE

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3605
42
1
1
49

R
11
631
2
6
53

U
0
3
331
2
53

N
0
0
2
24
4

166
56
125
3
5814

CART

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3614
21
1
2
51

R
3
644
3
5
41

U
0
3
314
2
47

N
0
0
1
19
0

165
64
142
8
5834

SMOPoly

D
P
R
U
N
Acierto

D
P
R
U
N

3610
18
0
1
49

4
646
2
5
57

0
3
337
2
74

0
0
1
20
1

168
65
121
8
5792

SMORBF

D
P
R
U
N

95.45
2.46
0.00
2.78
0.82

0.11
88.25
0.43
13.89
0.95

0.00
0.41
73.10
5.56
1.24

0.00
0.00
0.22
55.56
0.02

4.44
8.88
26.25
22.22
96.97

D
93.10
2.87
0.87
0.00
0.64

P
0.05
78.96
0.43
58.33
1.10

R
0.00
0.14
56.18
0.00
0.97

U
0.00
0.00
0.00
0.00
0.00

N
6.85
18.03
42.52
41.67
97.29

D
95.08
1.50
0.00
5.56
0.89

P
0.21
89.34
0.87
16.67
0.52

R
0.00
0.27
67.90
5.56
0.82

U
0.00
0.00
0.00
41.67
0.00

N
4.71
8.88
31.24
30.56
97.77

D
0.00
0.00
0.00
0.00
0.03

P
0.00
0.00
0.22
0.00
0.02

R
0.00
0.00
0.00
0.00
0.00

U
0.00
0.00
0.00
0.00
0.00

N
100.00
100.00
99.78
100.00
99.95

D
95.48
1.78
0.22
5.56
0.72

P
0.08
88.25
0.65
58.33
0.72

R
0.00
1.64
54.23
0.00
0.40

U
0.00
0.00
0.00
0.00
0.00

N
4.44
8.33
44.90
36.11
98.16

D
87.10
9.70
0.00
0.00
0.23

P
0.21
85.11
3.69
44.44
3.08

R
0.00
0.27
57.48
0.00
1.10

U
0.00
0.27
0.22
25.00
0.03

N
12.69
4.64
38.61
30.56
95.55

D
94.13
3.01
0.00
2.78
0.62

P
0.40
84.15
0.43
13.89
0.59

R
0.00
0.41
55.75
0.00
0.79

U
0.00
0.96
0.22
55.56
0.08

N
5.47
11.48
43.60
27.78
97.92

D
90.24
5.87
0.00
0.00
0.27

P
1.37
83.88
0.65
16.67
1.10

R
0.05
1.23
72.67
5.56
1.72

U
0.00
0.00
0.22
52.78
0.02

N
8.33
9.02
26.46
25.00
96.89

D
95.45
1.37
0.00
2.78
0.57

P
0.05
91.67
0.87
13.89
0.44

R
0.00
0.27
72.67
5.56
0.80

U
0.00
0.00
0.00
72.22
0.00

N
4.49
6.69
26.46
5.56
98.19

D
95.29
15.71
0.65

P
0.05
57.92
0.00

R
0.00
0.41
53.36

U
0.00
0.00
0.00

N
4.65
25.96
45.99

Acierto
D
D
P
R
U
N

P
3521
21
4
0
38

R
2
578
2
21
66

U
0
1
259
0
58

N
0
0
0
0
0

259
132
196
15
5811

CSV-RBF

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3596
11
0
2
53

R
8
654
4
6
31

U
0
2
313
2
49

N
0
0
0
15
0

178
65
144
11
5840

CSV-SIGM

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
0
0
0
0
2

R
0
0
1
0
1

U
0
0
0
0
0

N
0
0
0
0
0

3782
732
460
36
5970

PML

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3611
13
1
2
43

R
3
646
3
21
43

U
0
12
250
0
24

N
0
0
0
0
0

168
61
207
13
5863

NaiveBayes

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3294
71
0
0
14

R
8
623
17
16
184

U
0
2
265
0
66

N
0
2
1
9
2

480
34
178
11
5707

TAN

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3560
22
0
1
37

R
15
616
2
5
35

U
0
3
257
0
47

N
0
7
1
20
5

207
84
201
10
5849

RBFNet

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3413
43
0
0
16

R
52
614
3
6
66

U
2
9
335
2
103

N
0
0
1
19
1

315
66
122
9
5787

KNN-1

D
P
R
U
N
Acierto

D
D
P
R
U
N

P
3610
10
0
1
34

R
2
671
4
5
26

U
0
2
335
2
48

N
0
0
0
26
0

170
49
122
2
5865

KNN-50

D
P
R
U
N
Acierto

D
D
P
R

P
3604
115
3

R
2
424
0

U
0
3
246

N
0
0
0

176
190
212

D
P
R

U
N

2
73

16
38

0
57

2
2

16
5803

U
N

5.56
1.22

44.44
0.64

0.00
0.95

5.56
0.03

44.44
97.15

Matrices de Confusin para el Tercer


Estudio a nivel de 20 Categoras de
Ataques

ALL
Furia

Acierto
a b c d e f g h i
j
k l m n o p q r s t
a 36 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 1 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 35 0 0 0 0 3 0 0 0 0 1 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 3 0 0 0 0 36 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 38

KNN-1
a b c d e f g h i
j
k l m n o p q r s t
a 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
C4.5
a b c d e f g h i
j
k l m n o p q r s t
a 36 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 35 0 0 0 0 4 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 1 0 0 0 0 38 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 38 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
RandomF
a b c d e f g h i
j
k l m n o p q r s t
a 38 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
Smo
a b c d e f g h i
j
k l m n o p q r s t
a 33 0 0 0 1 0 0 0 2 0 0 0 1 0 0 2 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 3 0 36 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 37 0 0 0 0 2 0 0 0 0 0 0
j
0 0 0 0 1 0 0 0 0 38 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 25 0 0 0 14 0 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 37 0 0 0
r
1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 19 20 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
Tan

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto

a b c d e f g h i
j
k l m n o p q r s t
a 37 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 32 0 0 0 0 7 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 8 0 31 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 4 0 0 0 0 35 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t

a b c d e f g h i
j
k l m n o p q r s t
a 32 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 2 1 1
b
0 38 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 1 35 0 0 0 0 3 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 1 0 0 0 0 0 0 1 0 0 36 0 1 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 5 0 0 2 0 32 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t

CFS
Furia

a
92.31
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
89.74
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
92.31
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44

a
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
92.31
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
89.74
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
10.26
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00

q
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
84.62
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
7.69
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
2.56
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
92.31
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00
0.00
64.10
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
35.90
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
5.13
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
48.72
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
51.28
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
94.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
82.05
0.00
0.00
0.00
0.00
10.26
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
20.51
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
79.49
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
17.95
0.00
0.00
0.00
0.00
89.74
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
2.56
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
82.05
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00

b
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
2.56
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
89.74
0.00
0.00
2.56
0.00
12.82
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
92.31
0.00
5.13
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
7.69
0.00
0.00
2.56
0.00
82.05
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

Acierto

a = Normal
b = Neptune
c = Smurf
d = Apache2
e = Processtable
f = Back
g = Mailbomb
h = teardrop
i = Satan
j = Mscan
k = Ipsweep
l = Portsweep
m = Nmap
n = Saint
o = Gess_passwd
p = WarezM
q = WarezC
r = Snmpguess
s = Snmpgetattack
t = httptunnel

KNN-1

Acierto
a b c d e f g h i
j
k l m n o p q r s t
a 38 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 37 0 0 0 0 2 0 0 0 0 0 0
j
0 1 0 0 0 0 0 0 0 38 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 3 0 0 0 0 36 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39

C4.5
a b c d e f g h i
j
k l m n o p q r s t
a 33 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 0 1 2 1
b
0 38 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 37 0 0 0 0 2 0 0 0 0 0 0
j
0 1 0 0 0 0 0 0 0 38 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 4 0 0 0 0 0 0 1 0 1 33 0 0 0 0 0 0 0 0
m 0 1 0 0 0 0 0 0 0 0 1 0 37 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 6 0 0 0 1 32 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
RandomF
a b c d e f g h i
j
k l m n o p q r s t
a 37 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0
b
0 38 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 36 0 0 0 0 3 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 2 0 0 0 0 37 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
Smo
a
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t

b c d e f g h i
j
k l m n o p q r s t
4 0 0 0 1 23 3 0 2 0 0 0 0 0 0 0 2 3 0 1
0 38 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 6 0 33 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 36 0 0
0 0 0 0 0 0 0 0 38 0 0 0 0 0 0 0 0 1 0 0
0 0 0 0 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 37 0 2 0 0 0 0 0 0 0
0 2 0 0 0 0 0 0 2 0 0 35 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 36 0 0 0 0 3 0 0
0 0 0 0 0 0 0 0 24 0 0 0 14 1 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 2 0 0 0 0 37 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 18 21 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 23 0 0 0
1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 37 0 0
0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 31 4 3
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39

Tan
a b c d e f g h i
j
k l m n o p q r s t
a 30 0 0 0 0 0 1 0 2 0 0 0 0 0 0 0 1 2 2 1
b
0 38 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 35 0 0 0 0 4 0 0 0 0 0 0
j
0 0 0 0 2 0 0 0 0 36 1 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 38 1 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 1 0 0 38 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 6 0 0 0 0 33 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
CNS
Furia

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t

a
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
92.31
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
84.62
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
10.26
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
2.56
0.00
15.38
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
2.56
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
84.62
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
2.56
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
82.05
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
94.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
92.31
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
10.26
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00

b
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
15.38
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
2.56
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
58.97
0.00
0.00
0.00
0.00
84.62
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
7.69
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00

i
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
5.13
0.00
61.54
0.00
0.00
0.00
0.00
2.56
0.00

j
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
89.74
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
92.31
35.90
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
46.15
41.03
0.00
0.00
0.00

q
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
53.85
58.97
0.00
0.00
0.00

r
7.69
0.00
0.00
0.00
0.00
0.00
0.00
92.31
2.56
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
94.87
79.49
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
10.26
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
7.69
100.00

a
76.92
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
2.56
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
89.74
0.00
0.00
2.56
0.00
15.38
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
92.31
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
10.26
0.00
0.00
0.00
0.00
84.62
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
87.18
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
2.56
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
87.18
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
30.77
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
69.23
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
10.26
0.00
0.00
0.00
0.00
92.31
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44

a
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

Acierto
a b c d e f g h i
j
k l m n o p q r s t
a 34 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 2 0 1 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 34 0 0 1 0 4 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 38 0 1 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 12 0 27 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 3 0 0 0 0 36 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 38

KNN-1
a b c d e f g h i
j
k l m n o p q r s t
a 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
C4.5

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto

a b c d e f g h i
j
k l m n o p q r s t
a 36 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 1
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 33 0 0 1 0 5 0 0 0 0 0 0
j
0 0 0 0 1 0 0 0 0 38 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 20 0 19 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 4 0 0 0 1 34 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
RandomF
a b c d e f g h i
j
k l m n o p q r s t
a 36 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 1
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 33 0 0 1 0 5 0 0 0 0 0 0
j
0 0 0 0 1 0 0 0 0 38 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 20 0 19 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 4 0 0 0 1 34 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
Smo
a
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t

b c d e f g h i
j
k l m n o p q r s t
8 0 0 1 1 22 2 1 2 0 0 0 0 0 0 2 0 0 0 0
0 38 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 32 0 7 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 38 0 0 1 0 0 0 0 0 0 0 0
0 0 0 0 3 0 0 0 0 34 0 0 0 0 2 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 3 0 0 0 36 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 20 0 19 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 22 0 14 2 0 1 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 1 0 0 0 0 38 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 36 3 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8 31 0 0 0
2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 36 1 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 20 19 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39

Tan
a b c d e f g h i
j
k l m n o p q r s t
a 36 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 1
b
0 38 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 38 0 0 0 1 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 31 0 0 1 0 7 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 38 0 1 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 1 0 0 38 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 15 0 24 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 5 0 0 0 0 34 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
C4.5
Furia

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t

a
92.31
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
84.62
0.00
0.00
0.00
0.00
10.26
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
51.28
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
48.72
2.56
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
12.82
0.00
0.00
0.00
0.00
87.18
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
92.31
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
84.62
0.00
0.00
0.00
0.00
10.26
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
51.28
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
48.72
2.56
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
12.82
0.00
0.00
0.00
0.00
87.18
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
20.51
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00

b
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
2.56
0.00
0.00
82.05
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
2.56
2.56
0.00
0.00
100.00
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
56.41
0.00
0.00
17.95
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
5.13
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
2.56
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
56.41
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
87.18
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
51.28
35.90
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
92.31
0.00
5.13
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
48.72
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00

p
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
92.31
20.51
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
7.69
79.49
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
92.31
51.28
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
48.72
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
92.31
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
2.56
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
79.49
0.00
0.00
2.56
0.00
12.82
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
38.46
0.00
0.00
0.00
0.00
2.56
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
2.56
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
61.54
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
17.95
0.00
0.00
0.00
0.00
87.18
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
89.74
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56

b
2.56
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
2.56
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
89.74
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
92.31
12.82
0.00
0.00
0.00
2.56
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
7.69
0.00
0.00
0.00
7.69
84.62
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
2.56
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44

a
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
100.00
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00
0.00

s
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
2.56
100.00
0.00

t
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

a
89.74
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

b
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

c
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

d
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

e
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

f
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

g
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

h
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

i
5.13
0.00
0.00
0.00
0.00
0.00
0.00
0.00
89.74
0.00
0.00
0.00
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00

j
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

k
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
94.87
0.00
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00

l
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

m
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
5.13
0.00
97.44
20.51
0.00
0.00
0.00
0.00
0.00
0.00

n
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
10.26
0.00
0.00
0.00
0.00
76.92
0.00
0.00
0.00
0.00
0.00
0.00

o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00

p
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00

q
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00

r
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00
2.56
0.00

s
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
97.44
0.00

t
2.56
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
100.00

Acierto
a b c d e f g h i
j
k l m n o p q r s t
a 35 1 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 1 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 35 0 0 1 0 3 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 37 0 2 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 36 3 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 1 0 0 0 5 33 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 38 0
t
1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 38

KNN-1
a b c d e f g h i
j
k l m n o p q r s t
a 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 38 1 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 38 1 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
C4.5
a b c d e f g h i
j
k l m n o p q r s t
a 35 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 1 1
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 35 0 0 0 0 4 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 37 0 2 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 1 0 38 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 1 0 0 0 8 30 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 38 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
RandomF
a

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto

a 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 37 2 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 38 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
Smo
a b c d e f g h i
j
k l m n o p q r s t
a 23 0 0 0 0 9 2 0 2 0 0 0 1 0 0 2 0 0 0 0
b
0 38 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 3 0 36 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0
j
0 0 0 0 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 37 0 2 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 24 0 0 0 14 1 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 37 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 37 1 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 19 20 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
Tan
a b c d e f g h i
j
k l m n o p q r s t
a 34 0 0 0 1 0 0 0 2 0 0 0 0 0 0 2 0 0 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 31 0 0 0 0 8 0 0 0 0 0 0
j
0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 37 0 2 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 0 0 25 14 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 4 0 0 0 1 34 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0
r
0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 38 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
NaiveBayes
Furia
a b c d e f g h i
j
k l m n o p q r s t
a 14 0 0 0 1 9 3 0 1 1 0 0 0 0 0 0 2 6 1 1
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
4 0 0 6 0 29 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 12 0 0 8 0 0 0 0 1 1 0 17
j
0 0 0 0 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0
k
0 4 0 0 0 0 0 0 0 0 26 0 9 0 0 0 0 0 0 0
l
0 1 0 0 0 0 0 0 2 0 0 36 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 4 0 32 0 0 0 0 0 3 0
n
0 0 0 0 0 0 0 0 5 0 6 4 8 0 0 0 0 1 0 15
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 21 18 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 30 0 0 0
r
0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 38 0 0
s
0 0 0 0 0 0 0 0 4 0 0 0 0 0 0 0 0 17 18 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39
KNN-1
a b c d e f g h i
j
k l m n o p q r s t
a 23 0 0 0 1 10 2 0 1 0 0 0 0 0 0 0 0 2 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
0 0 0 6 0 33 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 23 0 0 0 0 15 0 0 0 1 0 0
j
0 0 0 0 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 38 0 1 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 6 0 0 33 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 11 0 24 4 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 8 0 10 0 0 21 0 0 0 0 0 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 30 9 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 11 28 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 3 0 0 0 2 0 0 0 0 17 17 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 6 0 0 0 0 0 33
C4.5
a b c d e f g h i
j
k l m n o p q r s t
a 21 0 0 0 1 9 2 0 2 1 0 0 0 0 0 0 0 2 1 0
b
0 37 0 0 0 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
5 0 0 6 0 28 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 21 0 0 0 0 15 0 0 0 1 2 0
j
0 0 0 0 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 38 0 1 0 0 0 0 0 0 0
l
0 4 0 0 0 0 0 0 6 0 1 28 0 0 0 0 0 0 0 0
m 0 1 0 0 0 0 0 0 0 0 12 0 19 4 0 0 0 0 3 0
n
0 0 0 0 0 0 0 0 7 0 10 0 1 19 0 0 0 1 1 0
o
0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0 0 0 0
p
3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 19 17 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 30 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 17 21 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 6 0 0 0 0 0 33
RamdomF
a b c d e f g h i
j
k l m n o p q r s t
a 25 0 0 0 1 8 2 0 0 0 0 0 0 0 0 1 0 2 0 0
b
0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
c
0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
d
0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
e
0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
f
2 0 0 6 0 31 0 0 0 0 0 0 0 0 0 0 0 0 0 0
g
0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0 0
h
0 0 0 0 0 0 0 39 0 0 0 0 0 0 0 0 0 0 0 0
i
0 0 0 0 0 0 0 0 21 0 0 0 0 15 0 0 0 1 2 0
j
0 0 0 0 2 0 0 0 0 37 0 0 0 0 0 0 0 0 0 0
k
0 0 0 0 0 0 0 0 0 0 38 0 1 0 0 0 0 0 0 0
l
0 0 0 0 0 0 0 0 6 0 0 33 0 0 0 0 0 0 0 0
m 0 0 0 0 0 0 0 0 0 0 11 0 24 4 0 0 0 0 0 0
n
0 0 0 0 0 0 0 0 7 0 10 0 0 21 0 0 0 0 1 0
o
0 0 0 0 0 0 0 0 0 1 0 0 0 0 38 0 0 0 0 0
p
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 30 9 0 0 0
q
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 11 28 0 0 0
r
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 39 0 0
s
0 0 0 0 0 0 0 0 1 0 0 0 2 0 0 0 0 17 19 0
t
0 0 0 0 0 0 0 0 0 0 0 0 0 6 0 0 0 0 0 33
Smo
a b c d e f g h i
j
k l m n o p q r s t
a 15 0 0 0 2 12 2 0 2 0 0 0 0 0 0 0 2 3 1 0

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
Acierto
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t

100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

0.00
0.00
0.00
0.00
100.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00