Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Chat PDF
Chat PDF
presenta
RAL SANTIAGO MONTERO
Director de tesis: Dr. Cornelio Yez Mrquez
Codirector de tesis: Dr. Juan Luis Daz de Len Santiago
Mxico, D. F.
Junio de 2003
Agradecimientos
Al pueblo de Mxico
Al Instituto Politcnico Nacional
Al Centro de Investigacin en Computacin
Dedicatoria
A Lucia, Fernanda y Rodrigo.
A mi madre.
En memoria de mi padre.
ndice
Resumen .................................................................................................................................
Abstract...................................................................................................................................
Glosario ..................................................................................................................................
ndice de tablas y figuras .........................................................................................................
1
Introduccin................................................................................................................1
1.1. Objetivo.................................................................................................................1
1.2. Motivacin ............................................................................................................2
1.3. Planteamiento del problema ...................................................................................3
1.4. Contribuciones.......................................................................................................4
1.5. Organizacin de la tesis .........................................................................................4
Antecedentes ...............................................................................................................6
2.1 Memorias asociativas..............................................................................................6
2.1.1. Conceptos bsicos de memorias asociativas................................................6
2.1.2. Lernmatrix de Steinbuch ............................................................................9
2.1.3. Linear Associator de Anderson-Kohonen ................................................. 10
2.1.4. Memoria asociativa Hopfield.................................................................... 12
2.2 Reconocimiento de patrones ................................................................................. 16
2.2.1. Conceptos bsicos del reconocimiento de patrones ................................... 16
2.2.2. Clasificacin de patrones..........................................................................17
2.2.3. Clasificadores de mnima distancia........................................................... 19
2.2.4. Enfoque neuronal .....................................................................................23
2.2.5. Enfoque probabilstico-estadstico ............................................................27
2.2.6. Enfoque sintctico-estructural .................................................................. 29
2.2.7. Gnesis del enfoque asociativo para clasificacin de patrones .................. 35
vi
4.5. Producto interno y producto externo de vectores .................................................. 42
4.5.1. Producto interno....................................................................................... 42
4.5.2. Producto externo ...................................................................................... 43
4.5.3. Producto de una matriz y un vector........................................................... 43
4.6. Traslacin de ejes ................................................................................................43
5
Desarrollo.................................................................................................................. 47
5.1. El CHA................................................................................................................ 48
5.1.1. Algoritmo del CHA.................................................................................. 48
5.2. El CHAT ............................................................................................................. 54
5.2.1. Interpretacin terica del CHAT............................................................... 55
5.2.1. Algoritmo del CHAT................................................................................ 55
Disquisiciones experimentales.................................................................................. 61
6.1. Bases de datos...................................................................................................... 61
6.1.1. Iris plants database ................................................................................... 62
6.1.2. Wine recognition data .............................................................................. 62
6.1.3. Contaceptive method choice..................................................................... 63
6.1.4. Credit Approval........................................................................................64
6.2. Metodologa.........................................................................................................64
6.3. Estudio comparativo entre el CHAT y otros algoritmos de clasificacin...............65
6.3.1. Iris plants database ...................................................................................65
6.3.2. Contraceptive method choice.................................................................... 69
6.3.3. Credit Approval........................................................................................ 74
6.3.4. Wine recognition data .............................................................................. 77
Apndice A: Simbologa.................................................................................................... 84
Apndice B: CHAT 1.0., manual de uso ........................................................................... 86
Apndice C: KNN 1.0., manual de uso ............................................................................. 91
Bibliografa........................................................................................................................ 95
Resumen
En este trabajo de tesis se muestra la creacin de un nuevo algoritmo para la
clasificacin de patrones en el dominio real, eficiente y de baja complejidad
computacional, denominado Clasificador Hbrido Asociativo con Traslacin (CHAT).
Con el CHAT se establece un nuevo enfoque en la clasificacin de patrones, el enfoque
asociativo.
El CHAT est basado en la combinacin ingeniosa de dos modelos de memorias
asociativas, la Lernmatrix y el Linear Associator. El CHAT combina los principios de
lgebra de matrices que utiliza el Linear Associator y el criterio de clasificacin de la
Lernmatrix; superando ampliamente las limitaciones que presentan dichas memorias
asociativas en el que este nuevo clasificador se basa.
En el presente trabajo de tesis se prueba el CHAT con diferentes bases de datos
publicas. Los resultados experimentales muestran un alto rendimiento en la clasificacin
de los patrones contenidos en estas bases de datos.
El CHAT puede rivalizar con los clasificadores ms utilizados en las tareas de
discriminacin de patrones; adems, cuenta con caractersticas deseables en un
clasificador, como son: eficacia, bajo costo computacional y baja dependencia de
factores heursticos. Lo anterior hace del CHAT una herramienta til para el rea de
Reconocimiento de Patrones, con posibilidades reales de convertirse en un factor
importante para el desarrollo de esta rea en el mbito de la investigacin nacional.
viii
Abstract
The creation of a new algorithm for the classification of patterns in the real domain is
presented in this thesis, efficient an with low computational complexity and it is called
Associative Hybrid Classifier with translation (CHAT). With the CHAT algorithm, a new
approach for the classification of patterns its creates, the associative approach.
The CHAT algorithm is the combination of operations from two models of associative
memories; the Lernmatrix and the Linear Associator. The CHAT algorithm combine matrix
algebra of the Linear Associator in the learning phase and the criterion of the Lernmatrix in
the recovering phase, overcoming some of the restriction in both models.
In this thesis, the CHAT is tested with different public databases. Experimental results that
the algorithm has high performance in the process of classification of patterns within this
public databases.
The CHAT algorithm can be compared with the most classifiers used on patterns
discrimination. Also, the CHAT algorithm has some ideal characteristics as a classifier:
efficient, with low computational complexity and with low dependence of the heuristics
factors. Thus, the CHAT algorithm is a new classifier as well as useful tool in the area of
Pattern Recognition, with real possibilities to become an important factor to develop in this
area in the national and international research.
Glosario.
Clase: son los grupos o conjuntos de patrones que representan un mismo tipo de concepto
(Marqus de S, 2001; Schrmann, 1996).
Patrones abstractos: son representaciones de conceptos.
Patrones concretos: son representaciones de objetos con una manifestacin fsica.
Patrones: son representaciones abstractas de un objeto en el mundo fsico . Los cuales
exhiben cierta regularidad en una coleccin de observaciones conectadas en el
tiempo, en el espacio o en ambas, y que pueden servir como modelo (Schrmann,
1996).
Rasgos o caractersticas: primitivas o atributos obtenidas de los objetos a travs de una
serie de observaciones, las cuales son susceptibles de ser trasladadas a una medida o
cualidad (Schrmann, 1996).
Reconocimiento de patrones: Es la rama cientfica se encarga de emular la habilidad
humana de reconocer objetos, mediante tcnicas y mtodos que sean implementados
en mquinas desarrolladas y construidas para este fin (Duda, Hart & Stork 2001;
Marqus de S, 2001).
Similaridad : concepto que est presente y forma parte esencial del RP. Se reconoce que
dos objetos se parecen o son similares, por que tienen atributos que les son comunes
y cuyas medidas o cualidades relativas se ajustan a un grado de variacin. Por lo
regular este concepto se aplica, no entre un conjunto de objetos, sino entre un objeto
y su prototipo.
Vector de rasgos o vector de caractersticas: Es la organizacin de rasgos en un vector
columna; que podrn contener valores cualitativos, cuantitativos o ambos (Duda,
Hart & Stork 2001; Kuncheva, 2002; Schrmann, 1996).
Fig. 2.2
Fig. 2.3
Fig. 2.4
Fig. 2.5
Fig. 2.6
Fig. 4.1
Fig. 4.2
Fig. 4.3
Grfica de x+y=25...........................................................................................45
Fig. 4.4
Fig. 4.5
Fig. 6.2
Fig. 6.3
Fig. 6.4
Rendimiento del clasificador C-means difuso, base de datos Iris plants .............. 68
Fig. 6.5
Fig. 6.6
Tabla 6.4 Comparacin del rendimiento de los clasificadores (Iris plants) ......................... 69
Fig. 6.7
Fig. 6.8
Fig. 6.9
Fig. 6.10 Rendimiento del C-means difuso con la base de datos Cmc................................ 72
Fig. 6.11 Rendimiento del C-means difuso usando funciones de disimilaridad.................. 72
Fig. 6.12 Rendimiento del CHAT con la base de datos Cmc ............................................. 73
Captulo 1
Introduccin
En este trabajo de tesis se muestra que las memorias asociativas son tiles en las
tareas de clasificacin de patrones; adems, a partir del resultado principal de la tesis,
que consiste en la creacin de un nuevo algoritmo para clasificar patrones, el CHAT
(Clasificador Hbrido Asociativo con Traslacin), se establece el nacimiento del
nuevo enfoque asociativo para clasificacn de patrones, el cual promete convertirse en
un campo fructfero en esta rea. La base inicial de este trabajo de tesis se sustenta en
dos modelos pioneros de memorias asociativas: la Lernmatrix y el Linear Associator.
El CHAT puede rivalizar con los clasificadores ms utilizados en las tareas de
discriminacin de patrones; adems, cuenta con caractersticas deseables en un clasificador, como son: eficacia, bajo costo computacional y no dependencia determinante
de factores heursticos. Lo anterior hace del CHAT una herramienta til para el rea
de Reconocimiento de Patrones, con posibilidades reales de convertirse en un factor
importante para el desarrollo de esta rea en el mbito de la investigacin nacional e
internacional.
En la seccin 1.1 de este captulo introductorio se plasma el objetivo de la tesis,
y en las secciones 1.2 y 1.3, se incluyen la motivacin que dio lugar a este trabajo de
tesis y el planteamiento del problema, respectivamente. Despus, en la seccin 1.4 se
enuncian las contribuciones originales; para finalizar, en la seccin 1.5, se describe la
organizacin del trabajo escrito.
1.1.
Objetivo
1. Introduccin
1.2.
Motivacin
1. Introduccin
1.3.
1. Introduccin
1.4.
Contribuciones
Una nueva memoria asociativa.
Un nuevo algoritmo para la clasificacin de patrones.
Un nuevo enfoque en el reconocimiento de patrones en tareas de clasificacin.
1.5.
Organizacin de la tesis
Las secciones 1.1., 1.2., 1.3 y 1.4 que ya se han presentado, describen el objetivo,
la motivacin, el planteamiento del problema y las contribuciones. De estas cuatro
secciones, resalta la seccin 1.4., donde se enlistan las aportaciones originales que
ofrece el presente trabajo de tesis.
A continuacin se explica la organizacin del resto del documento de tesis.
El captulo 2 da un panorama de las bases en que se fundamenta la presente tesis
y consta de dos secciones.
La primera seccin est dedicada al rea de memorias asociativas, describiendo los
modelos de memorias asociativas en las que se basa el presente trabajo de tesis; en
la segunda seccin se da un panorama del reconocimiento de patrones, se mencionan
conceptos y definiciones fundamentales para la comprensin del reconocimiento de
patrones, as como de los enfoques ms importantes que atacan la tarea de clasificacin
de patrones.
Dentro del captulo 3, se hace una recopilacin de los trabajos ms recientes relacionados con el tema de esta tesis, tanto en el rea de memorias asociativas como en
el de reconocimiento de patrones.
El captulo 4 incluye las herramientas matemticas que se utilizan dentro del trabajo de tesis. Las matrices, vectores y operaciones entre ellos son descritos en este
captulo, y tambin se menciona el concepto de traslacin de ejes y los operadores
sigma y mximo, junto con ejemplos que los ilustran.
El captulo 5 es la parte medular del trabajo de tesis. Es all donde se lleva a
cabo el desarrollo del nuevo Clasificador Hbrido Asociativo con Traslacin
(CHAT), el cual marca el inicio de un nuevo enfoque en la clasificacin de patrones,
el enfoque asociativo. Este captulo describe el desarrollo del CHAT en dos etapas; la
primera presenta cmo la combinacin ingeniosa de fases de dos memorias asociativas
da como resultado un clasificador, el Clasificador Hbrido Asociativo (CHA), el
cual manifiesta limitaciones; en la segunda etapa se muestra cmo estas limitaciones
son superadas al incluir en el CHA una traslacin de ejes. Esto da por resultado un
clasificador eficaz y eficiente, cualidades buscadas por la comunidad cientfica para un
algoritmo de clasificacin de patrones.
1. Introduccin
Captulo 2
Antecedentes
Este captulo consta de dos secciones. En la seccin 2.1 se describen los conceptos
bsicos sobre memorias asociativas y los dos modelos en que se basa el clasificador
presentado en este trabajo de tesis; en la seccin 2.2, por otro lado, se describe el
rea denominada reconocimiento de patrones, y se explica brevemente cada uno de
los diferentes enfoques, para finalmente mencionar el nuevo enfoque asociativo de reconocimiento de patrones, que se inicia precisamente con esta tesis.
2.1.
Memorias asociativas
2.1.1.
2. Antecedentes
El propsito fundamental de una memoria asociativa es recuperar patrones completos a partir de patrones de entrada que pueden estar alterados con ruido aditivo,
sustractivo o combinado. De acuerdo con esta afirmacin, una memoria asociativa M
puede formularse como un sistema de entrada y salida, idea que se esquematiza a
continuacin:
x M
El patr
on de entrada est representado por un vector columna denotado por x y
el patr
on de salida, por el vector columna denotado por y.
Cada uno de los patrones de entrada forma una asociaci
on con el correspondiente patrn de salida. La notacin para una asociacin es similar a la de una pareja
ordenada; por ejemplo, los patrones x y y del esquema forman la asociacin (x, y).
Para facilitar la manipulacin algebraica de los patrones de entrada y de salida, los
denotaremos con las mismas letras negrillas, x y y, agregndoles nmeros naturales
como superndices para efectos de discriminacin simblica. Por ejemplo, a un patrn
de entrada x1 le corresponder un patrn de salida y1 , y ambos formarn la asociacin
(x1 , y1 ); del mismo modo, para un nmero entero positivo k especfico, la asociacin
correspondiente ser (xk , yk ).
La memoria asociativa M se representa mediante una matriz cuya componente
ij-sima es mij (Palm, Schwenker, Sommer & Strey, 1997); la matriz M se genera a
partir de un conjunto finito de asociaciones conocidas de antemano: este es el conjunto
fundamental de asociaciones, o simplemente conjunto f undamental. Se denota por
p la cardinalidad del conjunto fundamental (p es un nmero entero positivo).
Si es un ndice, el conjunto fundamental se representa de la siguiente manera:
{(x , y ) | = 1, 2, ..., p}
A los patrones que conforman las asociaciones del conjunto fundamental, se les
llama patrones fundamentales.
La naturaleza del conjunto fundamental proporciona un importante criterio para
clasificar las memorias asociativas. Si se cumple que x = y {1, 2, ..., p}, se
dice que la memoria es autoasociativa; de otro modo, la memoria es heteroasociativa
(Kohonen,1972). Para una memoria heteroasociativa se puede afirmar lo siguiente:
{1, 2, ..., p} para el que se cumple que x 6= y .
Es posible que los patrones fundamentales sean alterados con diferentes tipos de
ruido. Para diferenciar un patrn alterado del correspondiente patrn fundamental,
ek es una versin alterada del
usaremos la tilde en la parte superior; as, el patrn x
k
ek se evidenciar en el
patrn fundamental x , y el tipo de alteracin que representa x
contexto especfico donde se use.
e como entrada (
Si al presentarle a la memoria M un patrn alterado x
{1, 2, ..., p}), M responde con el correspondiente patrn fundamental de salida y ,
2. Antecedentes
se dice que la recuperacin es perfecta. Una memoria perfecta es aquella que realiza
recuperaciones perfectas para todos los patrones fundamentales.
Naturalmente, tambin los patrones de salida pueden ser alterados; por ejemplo,
e3 representa una versin alterada de y3 .
si y3 es un patrn fundamental, entonces y
Abundemos en la caracterizacin de los patrones de entrada, de salida y de la
matriz M.
Primeramente se requiere la especificacin de dos conjuntos a los que llamaremos
arbitrariamente A y B. La importancia de estos dos conjuntos radica en que las componenetes de los vectores columna que representan a los patrones, tanto de entrada
como de salida, sern elementos del conjunto A, y las entradas de la matriz M sern
elementos del conjunto B.
No hay requisitos previos ni limitaciones respecto de la eleccin de estos dos conjuntos, por lo que no necesariamente deben ser diferentes o poseer caractersticas especiales. Esto significa que el nmero de posibilidades para escoger A y B es infinito;
a continuacin se ejemplifican algunas de ellas:
A = B = R, donde R es el smbolo que representa al conjunto de los nmeros
reales.
A = R y B = {0, 1}.
A = B = {0, 1}.
A = B = {1, 1}.
A = R y B = {1, 1}.
A = Z y B = {1, 1}, donde Z es el conjunto de los nmeros enteros.
AZyBZ
Ya que se tienen especificados los conjuntos A y B, es necesario establecer las
dimensiones de los patrones, tanto de entrada como de salida.
Sean m, n nmeros enteros positivos. Se denota por n la dimensin de los patrones
de entrada, y por m la dimensin de los patrones de salida; claramente, nada impide
que los valores de m y de n sean iguales. An ms, uno de los requisitos que debe
cumplir una memoria autoasociativa es que la dimensin de los patrones de entrada
sea igual a la dimensin de los patrones de salida; por otro lado, si en una memoria
sucede que m 6= n, es evidente que la memoria debe ser heteroasociativa.
Cada vector columna que representa un patrn de entrada tiene n componentes
cuyos valores pertenecen al conjunto A, y cada vector columna que representa un
patrn de salida posee m componentes cuyos valores pertenecen al conjunto A. Es
decir:
x An y y Am {1, 2, ..., p}
La j-sima componente de un vector columna se indica con la misma letra del vector, pero sin negrilla, colocando a j como subndice (j {1, 2, ..., n} o j {1, 2, ..., m}
segn corresponda). La j-sima componente de un vector columna x se representa
por
2. Antecedentes
xj
Ejemplos:
La
La
La
La
t
y = (y1 , y2 , ..., ym
) =
y1
y2
..
.
ym
Am
las p asociaciones
1
1
2
p
p
n
x , y , x , y , ..., (x , y ) , donde x A y y Am {1, 2, ..., p}.
Si {1, 2, ..., p} tal que x 6= y , la memoria ser heteroasociativa; si m = n
y x = y {1, 2, ..., p}, la memoria ser autoasociativa.
2. Fase de recuperacin. Hallar los operadores adecuados y las condiciones suficientes
para obtener el patrn fundamental de salida y , cuando se opera la memoria M
con el patrn fundamental de entrada x ; lo anterior para todos los elementos del
conjunto fundamental y para ambos modos: autoasociativo y heteroasociativo.
Exhibir y caracterizar, adems, el ruido que puede soportar la memoria en el
e , para entregar una salida perfecta y .
patrn de entrada x
2.1.2.
Lernmatrix de Steinbuch
2. Antecedentes
10
y1
y2
..
.
x1
m11
m21
..
.
x2
m12
m22
..
.
xj
m1j
m2j
..
.
xn
m1n
m2n
..
.
yi
..
.
mi1
..
.
mi2
..
.
mij
..
.
min
..
.
yp
mp1
mp2
mpj
mpn
(2.1)
+ si xi = 1 = yj
si xi = 0 y yj = 1
(2.2)
mij =
0 en otro caso
siendo una constante positiva escogida previamente.
1
si
m
.x
m
.x
j=1 ij j
j=1 hj j
h=1
(2.3)
yi =
0 en otro caso
2.1.3.
Respecto a la creacin de este modelo de memoria asociativa, es pertinente mencionar un hecho curioso, que se ha presentado en personajes dedicados a otras ramas
2. Antecedentes
11
de la ciencia: James A. Anderson y Teuvo Kohonen obtuvieron resultados asombrosamente similares a pesar de que trabajaron independientemente y sin tener noticia uno
del otro, hasta tiempo despus de que aparecieron los artculos; adems, estos autores
tienen formaciones profesionales totalmente diferentes: Anderson es neurofisilogo y
Kohonen es fsico e ingeniero elctrico (Anderson & Rosenfeld, 1990; Kohonen, 1989).
Para presentar el Linear Associator, consideremos de nuevo el conjunto fundamental {(x , y ) | = 1, 2, ..., p} con:
A = {0, 1},
x =
x1
x2
..
.
xn
An
y =
y1
y2
..
.
ym
Am
ym
y1 x1 y1 x2 y1 xj y1 xn
y2 x1 y2 x2 y2 xj y2 xn
..
..
..
..
.
.
.
.
(2.5)
y (x )t =
y x y x y x y xn
i 2
i j
i
i 1
.
..
..
..
..
.
.
.
ym x1 ym x2 ym xj ym xn
p
X
=1
y (x )t = [mij ]mn
(2.6)
p
X
yi xj
(2.7)
=1
p
X
M x =
y (x )t x
(2.8)
=1
2. Antecedentes
12
El Linear Associator tiene una fuerte restriccin: los vectores de entrada x deben
ser ortonormales. Esta condicin de ortonormalidad se puede resumir en la siguiente
expresin:
1 si =
(2.9)
(x )t x = =
0 si 6=
donde es la conocida delta de Kronecker (Moore, 1968).
Si se cumple la condicin que se manifiesta en la expresin 2.9, entonces la recuperacin es perfecta para todo el conjunto fundamental; es decir:
M x = y
(2.10)
Sin embargo, si los vectores de entrada no son ortonormales, suceden dos cosas:
1. el factor (x )t x no es 1
P
2. el trmino 6= y (x )t x no es 0
Este ltimo trmino, llamado cross-talk, representa el ruido producido por la interaccin entre los patrones de entrada, y tiene como consecuencia inmediata que la
recuperacin no es perfecta, excepto si el nmero de patrones almacenados es pequeo
comparado con la dimensin n de los vectores de entrada. Algunos investigadores afirman que ese nmero pequeo de patrones debe estar entre 0,1n y 0,2n (Anderson &
Rosenfeld, 1990; Hassoun, 1995; Ritter, Sussner & Daz-de-Len, 1998).
2.2.
Reconocimiento de patrones
2.2.1.
2. Antecedentes
13
= { 1 , 2 , ..., i }
Como se muestra en el diagrama de la figura 2.2, el RP se puede caracterizar
como un proceso de mapeo de informacin, reduccin de informacin o etiquetado
de informacin (Shalko, 1992). Este mapeo entre el espacio de interpretacin y el
espacio de caractersticas se hace mediante una relacin G para cada clase; lo ideal es
que esta funcin sea biyectiva, pero existen casos, como lo muestran las clases 1 y
2 , que algunos patrones puedan pertenecer a distintas clases a la vez. Esto dificulta
el proceso de asignar un patrn a una clase especfica.
2. Antecedentes
2.2.2.
14
Clasificacin de patrones
i = 1, 2, ...c
2. Antecedentes
15
2.2.3.
Los clasificadores diseados dentro de este enfoque emplean aprendizaje supervisado; generalmente son empleados si el conjunto de patrones de entrenamiento forman
agrupamientos por cada clase existente en un problema dado. Esto da lugar a poder
emplear una funcin de distancia para su clasificacin. Cada clase involucrada en el
problema es representada por un patrn llamado centro del agrupamiento, determinado por la media aritmtica del conjunto de patrones de entrenamiento de cada clase.
Este centro del agrupamiento permite al clasificador determinar una clase determinada
a la cual pertenece un nuevo vector si la distancia es mnima con respecto de los otros
centros de agrupamiento involucrados, representativos de las otras clases.
Existen diversos clasificadores que emplean este mtodo, entre los cuales los ms
conocidos son el clasificador euclidiano, el KNN y el c-Means (Friedman, M, 1999). Se
darn algunos conceptos y definiones que son necesarios para el mejor entendimiento de
este tipo de metodologa; tambin se presenta uno de los clasificadores bsicos dentro
de este enfoque, el clasificador euclideano.
Mtricas
Si tenemos un conjunto de patrones clasificados, es decir, que de antemano sabemos a qu clase pertenecen cada uno de ellos, y tambin supongamos que tenemos
2. Antecedentes
16
otro conjunto de patrones, los cuales no han sido clasificados. Una forma "simple"de
clasificar estos ltimos patrones, es decir no clasificados, es encontrar una funcin que
nos diga con qu clase tienen una mayor similaridad cada uno de ellos. Aunque casi
todos los enfoques de reconocimiento de patrones se basan en esta idea, la funcin est
representada por una mtrica.
Intuitivamente, y dado que los patrones con los que se trabaja tienen todos los
rasgos numricos, un patrn puede verse como un vector en un espacio en Rn , para un
n en particular. Ahora, una mtrica es una forma de medir la distancia entre dos de
estos vectores, as, diremos que un patrn tiene una mayor similaridad a otro cuando
la distancia entre ellos sea menor. Usualmente, la forma ms sencilla de encontrar
esta distancia es con base en el famoso teorema de Pitgoras extendido a un espacio
n-dimensional, que se conoce como distancia euclideana. Sin embargo, no es la nica
forma de medir la distancia entre dos puntos, por lo que en esta seccin nos ocuparemos
de las formas de medir.
Definicin de mtrica
Aunque intuitivamente ya se tiene idea de que una mtrica es una forma de medir
una distancia, la definicin formal es la siguiente:
Definicin 2.3 Sean x, y y z tres puntos en Rn . Una mtrica o norma denominada
d(x, y), es una funcin d : Rn Rn R+ , que cumple con las siguientes propiedades:
1. d(x, y) 0 y d(x, y) = 0 si y slo si x = y.
2. d(x, y) = d(y, x)
3. d(x, y) d(x, z) + d(z, y) (Desigualdad del tringulo).
En general, existe un nmero infinito de funciones que cumplen con la definicin
anterior, y por tanto, la distancia entre dos puntos calculada por una mtrica puede
ser completamente distinta a la calculada por otra. Pensando en funcin de que una
mtrica nos servir para definir la forma en cmo un patrn tienen una mayor similaridad a otro, podemos esperar un funcionamiento radicalmente distinto de un sistema
de clasificacin con base en la mtrica seleccionada.
Las mtricas de Minkowski
Unas de las mtricas ms utilizadas, son las llamadas mtricas de Minkowski.
Minkowski fue un brillante fsico y matemtico Ruso de fines del siglo XIX y principios
del XX que fue maestro de Albert Einstein. Sus trabajos en el campo de la fsica
se enfocaron principalmente a la relatividad, en el continuo espacio-tiempo y a la
electrodinmica y muchos de sus resultados le son atribuidos al propio Einstein. Sus
trabajos en matemticas incluyen las formas cuadrticas, las fracciones continuas y en
la forma en como una figura de una forma puede caber en otra figura de otra forma,
que a la postre sera la base de la Morfologa Matemtica.
2. Antecedentes
17
" n
X
i=1
#1
r
|xi yi |
(2.11)
d1 (x, y) =
" n
X
i=1
#1
n
X
|xi yi |1
i=1
|xi yi |
(2.12)
2. Distancia euclideana. r = 2.
d2 (x, y) =
" n
X
i=1
#1
2
|xi yi |2
(2.13)
3. Distancia infinito. r .
d (x, y) = lm
" n
X
i=1
|xi yi |r
2
1
2
10
d1 (x, y) =
4
P
i=1
#1
= m
ax |xi yi |
i
(2.14)
infinito.
= 1 + 12 + 12 + 5 = 30
d2 (x, y) =
4
P
i=1
|xi yi |
12
i1
h
2
2
2
2 2
= |2 1| + |2 10| + |9 (3)| + |4 (1)|
1
d (x, y) = m
ax |xi yi | = m
ax [|2 1| , |2 10| , |9 (3)| , |4 (1)|]
i
= m
ax [1, 12, 12, 5] = 12
2. Antecedentes
18
El Clasificador Euclideano
El clasificador euclideano es un clasificador que toma precisamente la distancia
euclideana para determinar cundo un patrn es ms similar a otro. La distancia
euclideana es un caso especial de las mtricas de Minkowski para el caso en que r = 2.
Esta norma es, intuitivamente, la que se utiliza para medir una distancia, ya que
equivale a medir el tamao del segmento de recta que une a dos puntos, y es la que
normalmente se utiliza en geometra analtica y en anlisis vectorial. Un patrn puede
ser visto como un vector en Rn , por lo que el anlisis que haremos sobre l ser
puramente vectorial, y es conveniente expresar esta distancia en forma alterna.
x1
y1
x2
y2
(2.15)
i=1
o en forma vectorial:
1
d2 (x, y) = (x y)T (x y) 2
(x y)T
(2.16)
1
2
10
2
" 4
# 12
X
1
d2 (x, y) =
(yi xi )2 = (1 2)2 + (10 (2))2 + (3 9)2 + (1 4)2 2
i=1
= [314] 2 = 17. 72
d2 (x, y) =
1
(y x)T (y x) 2 =
1
1
12
1
12
12
1
12
5
12
5
2. Antecedentes
19
1. 75
4. 3
1
. y 2 = x2 =
. Ahora, como solamente
1 = 2 (x1 + x3 ) =
3. 05
0. 7
tenemos dos clases, una funcin discriminante es suficiente, que sera: d12 (x) = (1
T
2 )T x (1 2 ) 2 (1 +2 ) = 2. 55 2. 98 x + 2. 1263
Finalmente, probaremos el clasificador con todos los vectores:2. 55 6. 05 + 2.
98 3. 75 = 4. 252 5/2 = 2. 1263
1. 2
+ 2. 1263 = 2. 55 1. 2 + 2. 98 3. 0 + 2.
d12 (x1 ) = 2. 55 2. 98
3. 0
1263 = 8. 006 3 > 0 x1 C1
4. 3
d12 (x2 ) = 2. 55 2. 98
+ 2. 1263 = 2. 55 4. 3 + 2. 98 0. 7 + 2.
0. 7
1263 = 6. 752 7 < 0 x2 C2
2. 3
d12 (x3 ) = 2. 55 2. 98
+ 2. 1263 = 2. 55 2. 3 + 2. 98 3. 1 + 2.
3. 1
1263 = 5. 499 3 > 0 x3 C1
2. 7
d12 (x4 ) = 2. 55 2. 98
+ 2. 1263 = 2. 55 2. 7 + 2. 98 1. 5 + 2.
1. 5
1263 = 0. 288 7 < 0 x4 C2
2.2.4.
Enfoque neuronal
En 1943 McCulloch & Pitts (McCulloch & Pitts, 1943) propusieron una teora
general del procesamiento de la informacin basado en redes de interrupcin binaria,
las cuales son llamadas eufemsticamente neuronas, aunque ellas estn lejos de sus
2. Antecedentes
20
contrapartes biolgicas. Cada una de estas neuronas slo puede tomar como valores de
salida 1 o 0, donde 0 representa un estado inactivo de la neurona y 1 un estado activo.
McCulloch & Pitts mostraron que tales redes podan, en principio, implementarse en
sistemas de procesos de cmputo. Frank Rosemblatt present posteriormente en el ao
de 1958 un modelo neural llamado perceptron junto con su regla de aprendizaje, el cual
est basado en el gradiente descendiente. El gradiente modifica una matriz, nombrada
matriz de acoplamiento o pesos, dependiendo del comportamiento de las neuronas.
Sin embargo, la simplicidad de este diseo fue tambin su punto dbil; existen
tareas en RP que un perceptron no es capaz de resolver, como lo mostraron Minsky
& Paper (Minsky & Papert, 1969). Esto provoc que el inters en las redes neuronales
decayera. No fue hasta la aparicin del trabajo de Hopfield (Hopfield,.1982; Hopfield,
1984) que el inters renaciera en este tipo de algoritmos.
Las redes neuronales pueden aplicarse a tareas de clasificacin o regresin; utilizan
tanto el enfoque de entrenamiento supervisado como el no supervisado. La arquitectura
de la red incluye tres tipos de capas, la de entrada, la oculta y la de salida. Este tipo
de redes pueden llegar a ser muy complejas, se caracterizan por tener un conjunto
de pesos los cuales se van modificando, y funciones de activacin con las cuales se
determina cmo la informacin ser transmitida a las capas siguientes (Marqus de
S, 2001).
En el enfoque generalmente existen dos etapas claras: la de entrenamiento, donde
mediante un conjunto de patrones la red va ajustando el conjunto de pesos que tiene
asociados, hasta obtener en la capa de salida una clasificacin correcta de los patrones
de entrenamiento; y la segunda etapa, donde se somete un conjunto de patrones mayor
al conjunto de entrenamiento para probar su rendimiento. Una clara desventaja, ampliamente referida, es el grado de heurstica implicada en el diseo de los clasificadores
bajo este enfoque.
Existen muchos tipos de redes neuronales que funcionan como clasificadores, desde
el simple perceptron hasta las ms avanzadas.
Perceptron
Minsky and Papper (Minsky, M. & Papert, S. (1969) describen al perceptron como
un algoritmo estocstico de gradiente descendente, que intenta la separacin lineal de
un conjunto de datos de entrenamiento n-dimensional.
El perceptron tiene una sola salida y n entradas. El valor que toma la salida
esta determinada por un conjunto de valores, llamados pesos, y los valores de las
entradas. Este valor que toma la salida determina la clase a la cual pertenece un
patrn representado por un vector, cuyos componentes son los valores de las entradas
del perceptron. Es un algoritmo que emplea aprendizaje supervisado.
Un perceptron puede ser representado por un solo nodo que aplica una funcin
escaln a la suma de los productos de pesos y entradas (Kishan, Chilukuri & Sanjay,
1997).
2. Antecedentes
21
x0
x1
x2
.
.
.
w0
w1
w2
f(x0,...,xn)
wn
xn
De la figura 2.4., w0 , w1 , ..., wn son los valores que representan a los pesos del
perceptron y x0 , x1 , ..., xn son los valores del patrn de entrada.
Para espacios n-dimensinales debe existir al menos un hiperplano que pueda separar un conjunto n-dimensionales en regiones. Un hiperplano n dimensional est definido
por la ecuacin:
w0 + w1 x1 + ... + wn xx = 0
El cual podr dividir un espacio n-dimensional en dos regiones. Donde para una
de las regiones que forma el hiperplano:
w0 + w1 x1 + ... + wn xx > 0
Para la otra regin:
w0 + w1 x1 + ... + wn xx < 0
El vector de pesos w ser ajustado a travs de un algoritmo desarrollado por
Rosenblatt (Rosenblatt, 1958) y se demuestra que si los patrones usados para entrenar
el perceptron se pueden agrupar en clases linealmente separables, entonces, el algoritmo
converge. La posicin de la superficie de decisin es un hiperplano entre las dos clases
(Haykin,. 1999).
Algoritmo de entrenamiento para el perceptron.
Un proceso iterativo, llamado algoritmo de entrenamiento para el perceptron, es
usado para obtener de manera automtica los pesos que separan las clases.
Sea w un vector de pesos de la forma:
w = (w1 , w2 , ..., wn )
y x un patrn de entrada de la forma:
x = (x1 , x2 , ..., xn )
Entonces el producto punto w x est definido. Si el producto w x > 0, entonces
la salida ser 1 y 1 si w x < 0.
2. Antecedentes
22
2. Antecedentes
23
Por lo tanto, los pesos no sufrirn cambio alguno. Este mismo resultado se obtiene
para todo el conjunto de esta clase.
2.2.5.
Enfoque probabilstico-estadstico
2. Antecedentes
24
Existen diferentes tipos de clasificadores dentro de este enfoque; desde los paramtricos, como el clasificador Bayesiano, hasta los clasificadores no paramtricos o tambin
llamados modelos de tcnica libre, como el KNN o las ventanas Parzen (Kuncheva,
2000). Todos estos clasificadores y sus variantes estn basados en modelos probabilsticos. Dentro de los clasificadores estadsticos se cuenta con los rboles de decisin y
tablas (Marqus de S, 2000).
El clasificador Bayesiano no forma parte del presente trabajo de tesis, pero su
importancia en el enfoque hace indispensable su mencin. Este clasificador se desarrolla
bajo el marco terico de la probabilidad. Se usan probabilidades a priori, para estimar
la probabilidad a posteriori de que un determinado patrn pertenezca a cierta clase.
Algortimo del clasificador Bayesiano.
1. Obtener una muestra representativa S de los objetos a clasificar.
2. Determinar cada una de las clases Ck que formarn parte del sistema.
3. Determinar, con base en la muestra y en la cardinalidad de cada clase, las probabilidades P (Ck ).
4. Determinar los rasgos tiles que se van a utilizar para clasificar, y elaborar cada
distribucin de probabilidad p(X | Ck ) la cual va a ser dependiente del nmero
y naturaleza de cada rasgo de la variable aleatoria vectorial X.
5. Para clasificar un patrn desconocido de entrada X, aplicar la siguiente regla:
X Ci , si di > dj i 6= j, con dk = ln(P (Ck )) + ln(p(X | Ck ))
(2.17)
2. Antecedentes
25
la clase del k patrn ms cercano, siendo k una constante entera arbitraria. Este proceso
es en trminos computacionales caro, para conjuntos de datos relativamente grandes
(Webb, 1999).
Un hecho importante de mencionar es la mtrica que se emplee en el algoritmo.
Obviamente el resultado de las distancias depender de la mtrica empleada. Normalmente se emplea la mtrica euclidiana, pero se puede emplear cualquier otra (Webb,
1999).
Ejemplo 2.10 Este ejemplo mostrar en funcionamento del KNN, con k = 1 y usando
la mtrica euclidiana.
1. 2
4. 3
2. 3
, x2 =
, x3 =
, con x1 y x3
Sean los vectores x1 =
3. 0
0. 7
3. 1
que pertenecen a la clase
C1 y x2 que pertenece a la clase C2 , el conjuto de patrones
3. 7
prototipo y sea x4 =
el patrn que se desea clasificar
0. 5
De a cuerdo con el algoritmo del KNN:
Primero se calcular la distancia ente el patrn x4 y cada uno de los patrones
prototipo. De acuerdo con 2.16.
12
12
2. 5
T
= (12. 5)1/2 = 3. 53
d(x1 ,x4 ) = (x4 x1 ) (x4 x1 ) = 2. 5 2. 5
2. 5
12
0. 6 2
T
d(x2 ,x4 ) = (x4 x2 ) (x4 x2 ) = 0. 6 0. 2
= (0. 76)1/2 = 0. 8717
0. 2
12
12
1. 4
T
d(x3 ,x4 ) = (x4 x3 ) (x4 x3 ) = 1. 4 2. 6
= (8. 72)1/2 = 2. 95
2. 6
Se ordenan las distancias de menor a mayor:
d(x2 ,x4 )
d(x3 ,x4 )
d(x1 ,x4 )
0. 8717
2. 95
3. 53
2. Antecedentes
2.2.6.
26
Enfoque sintctico-estructural
2. Antecedentes
27
Ejemplo 2.17 Sean w1 = pad, y w2 = re, dos cadenas sobre el mismo alfabeto del
ejemplo anterior. La cadena w = w1 w2 = padre, es la concatenacin de w1 y w2 .
Ejemplo 2.18 Sea V = {a} , donde es el alfabeto de los ejemplos anteriores.
La cerradura de V es V = {, a, aa, aaa, ...}.
La materia prima para trabajar en esta teora son los smbolos y secuencias de
smbolos. Sin embargo, hay que notar que la teora no incluye una semntica o significado de los smbolos y las cadenas. Esto es importante puesto que se nos permite
modelar y procesar ideas sin preocuparnos por el significado que puedan tener las
mismas. El ejemplo ms palpable sobre esta ventaja son las computadoras: una computadora procesa smbolos que pertenecen al alfabeto {0, 1}, y aunque aparentemente
puede hacer muchas funciones, el significado de las mismas se lo da el usuario, no la
mquina.
La siguiente definicin es una de las ms importantes en esta teora, puesto que todo
el desarrollo subsecuente se enfocar a generar y reconocer estos objetos matemticos:
los lenguajes formales.
Definicin 2.19 Un lenguaje formal es un conjunto finito, o infinito contable, de
palabras sobre un alfabeto. Evidentemente .
Ejemplo 2.20 Sea = {a, b}, es el lenguaje definido de la siguiente forma: =
{w|w comienza con una a} = {a, aa, ab, aaa, aab, aba, abb, ...}.
Al igual que podemos concatenar cadenas, tambin se pueden concatenar lenguajes.
Esta propiedad es muy importante, puesto que nos da una idea de cmo se pueden
construir lenguajes complejos a partir de otros ms sencillos. La definicin formal es
la siguiente:
Definicin 2.21 Sean 1 y 2 dos lenguajes. la concatenacin de 1 y 2 , denotada
1 2 = {w|w = w1 w2 , w1 1 y w2 2 }
Ejemplo 2.22 Sea 1 = {a} y 2 = {a, b} , entonces el lenguaje del ejemplo 2.20
se puede representar como la concatenacin de 1 y 2 de la siguiente forma: =
1 2 = {a} {a, b} = {a, aa, ab, aaa, aab, aba, abb, ...}.
Gramticas
Definicin 2.23 Una gramtica G es una tupla (, N, S, P ), donde:
1. es un alfabeto. Los elementos de se llaman comnmente smbolos terminales.
2. N es un conjunto de smbolos llamados no-terminales y N = .
2. Antecedentes
28
2. Antecedentes
29
2. Antecedentes
30
2. Antecedentes
31
As, las mediciones que vamos a tomar como rasgos son a) lneas de tamao fijo
en una direccin; b) vrtices que forman 90 con la otra lnea.
Luego, segn el paso 2 hay que asignar a cada rasgo un smbolo, as, a las lneas
de tamao fijo en una direccin les llamaremos L y a los vrtices que forman 90 con
la otra lnea le llamaremos V . As, podemos darnos cuenta, que para identificar un
cuadrado tenemos que comenzar en un vrtice de tipo V , luego tenemos que encontrar
4 veces la siguiente secuencia: una lnea L y un vrtice V, figura 2.5.
De esta forma, proponemos que la gramtica para este tipo de cadenas sea la que
tiene las siguientes reglas:
S V LV LV LV LV
con N = {S, P } y = {L, V }.
Y un el autmata generado que reconoce este lenguaje sera:
Como se puede notar, aunque la gramtica es muy simple, funciona para reconocer
un tipo de objetos sin importar la rotacin.
2. Antecedentes
2.2.7.
32
Captulo 3
34
Captulo 4
Herramientas matemticas
En virtud de que las memorias asociativas se representan por medio de matrices,
es preciso exponer algunos conceptos ya conocidos sobre las notaciones, el uso de las
matrices y los vectores, que sern usados de manera intensiva en los captulos 5 y 6.
4.1.
Sumatorias
P
En matemticas se introduce la notacin
para facilitar la escritura de la suma
de los elementos de una sucesin y se pueden escribir de la siguiente manera:
am + am+1 + am+2 + ... + an =
n
X
ai
i=m
i3
i=4
i2
i=2
se representa
4. Herramientas matemticas
36
4.2.
8
X
(1)i iai
i=3
Operador mximo
W
El operador mximo se denota con el smbolo
y se aplica a un conjunto de
componentes para dar como resultado el valor mximo de todos ellos.
Ejemplo 4.4 Sea un conjunto de componentes contenidos en un vector de dimensin
5:
6
12
x =
3
8
12
xi = 12
i=0
4.3.
Operaciones matriciales
Notacin 4.5 Las matrices se representan con esta notacin: si m, n y r son nmeros
enteros positivos, A = [aij ]mr representa una matriz de dimensiones m r, cuya ijsima entrada es aij , y B = [bij ]rn representa una matriz de dimensiones r n, cuya
ij-sima entrada es bij .
Definicin 4.6 Una matriz A es un arreglo rectangular de mr nmeros dispuestos
en m renglones y r columnas.
4. Herramientas matemticas
37
a11 a12
a21 a22
..
..
.
.
ai1 ai2
..
..
.
.
am1 am2
a1j
a2j
..
.
aij
..
.
amj
air
a2r
..
.
air
..
.
amr
a11 + b11
a21 + b21
A + B = (aij + bij ) =
..
a12 + b12
a22 + b22
..
.
a1n + b1n
a2n + b2n
..
.
amn + bmn
4.4.
Vectores n-dimensionales
4. Herramientas matemticas
38
b11
b21
b= .
.
.
br1
Se eliminar el subndice 1 que corresponde
vector columna se denotar as:
b1
b2
b= .
..
br
por lo anterior, los vectores se sujetan a las definiciones citadas en las seccin
anterior.
Desde el punto de vista del anlisis vectorial se hace el estudio de los vectores de dos
formas, analtica y geomtrica. En la forma analtica tenemos que un vector se sujeta
a la siguiente definicin cuando el vector es de dimensin dos y se desea representarlo
en el plano bidimensional.
Definicin 4.9 Vector en un plano bidimensional es un par ordenado de nmero
reales (x, y).Donde a los nmeros x, y, se denominan componentes del vector.
Sea el vector bidimensional x el par ordenado de nmeros reales (x, y). Si A es
el punto (x,y) y O es el origen en el plano, entonces el vector x puede representarse
4.5.
4.5.1.
Producto interno
4. Herramientas matemticas
39
b2
a b = a1 a2 ar . = (a1 b1 + a2 b2 + + ar br )
.
.
br
como resultado tenemos un escalar.
4.5.2.
Producto externo
a1
a2
a= .
..
am
b = (b1 , b2 , . . . , bn )
por lo tanto el producto esta definido y esta dado por:
a1
a1 b1 a1 b2
a2
a2 b1 a2 b2
a b = . b1 b2 bn = .
..
.
.
..
.
am
am b1 am b2
dando por resultado una matriz de dimensin m n.
4.6.
a1 bn
a2 bn
..
.
am bn
n
X
aij xj
j=1
4.7.
Traslacin de ejes
Un sistema coordenado nos permite asociar una grfica (concepto geomtrico) con
una ecuacin (concepto algebraico), donde una ecuacin algebraica es un enunciado
en el que se establece la igualdad de dos expresiones, las cuales contienen variables.
4. Herramientas matemticas
40
Ejemplo 4.10 Sea y = 3x2 una ecuacin algebraica donde (x,y) es un punto en R2 .
Si x se sustituye por un conjunto de valores en R podemos obtener la representacin
geomtrica de la ecuacin
y
10
5
0
-5
-2.5
2.5
5
x
-5
-10
-15
y = 3x 2
-2.5
2.5
2.5
-2.5
-5
Figura 4.2:Grfica de
(x 2)2 + (y + 2)2 = 25
Ahora, si elegimos los ejes coordenados de tal manera que su origen sea el centro de
la circunferencia, se tiene una ecuacin ms sencilla, esto es, la ecuacin se transforma
en:
4. Herramientas matemticas
41
x2 + y 2 = 25
5
4
3
2
1
0
-5
-4
-3
-2
-1
-1
5
x
-2
-3
-4
-5
Figura 4.3:Grfica de
x2 + y 2 = 25
Cuando los ejes estn dados en un problema determinado y se desea encontrar ejes
diferentes pero paralelos a los originales, se dice que se hace una traslacin de ejes.
Si (x,y) representa un punto P con respecto a un conjunto de ejes determinado, y
(x, y) es la representacin de P despus de que los ejes son trasladados a un nuevo
origen que tiene coordenadas (h,k) con respecto a los ejes originales, entonces(Leithold,
L. 1998):
x0 = x h y y0 = y k
(4.1)
Ejemplo 4.12 Sean los vectores x, z los pares ordenados de nmeros reales (5, 4)
y (10, 12) de acuerdo con la Definicin 4.8, entonces existen los puntos X, Z con
coordenada (5, 4) y (11, 12). Donde el punto O con coordenada (0,0) es el origen,
entonces los vectores x, z pueden representarse geomtricamente por los segmentos
rectilneos dirigidos OX y OZ respectivamente.
y
10
7.5
2.5
2.5
7.5
10
x
4. Herramientas matemticas
42
-3
-2.5 -2
4
3.5
3
2.5
2
1.5
1
0.5
0
-1.5 -1
-0.5
-0.5
-1
-1.5
-2
-2.5
-3
-3.5
-4
0.5
1.5
2.5
3
x
Captulo 5
Desarrollo
Es aqu, en este captulo, donde se presenta la parte sustantiva del presente trabajo
de tesis.
El captulo est dividido en dos secciones; en la primera, se muestra el desarrollo
de un clasificador de patrones en el dominio real, que da lugar a la creacin de un
nuevo enfoque, el asociativo, para la tarea de clasificacin de patrones, que es una
rama del reconocimiento de patrones.
En la segunda seccin se presenta otra versin del primer clasificador que se ha
creado bajo el enfoque asociativo de clasificacn de patrones; esta nueva versin, a
travs de un proceso de traslacin de ejes, convierte a la primera versin en un clasificador robusto capaz de competir con los clasificadores ms longevos y estudiados,
basados en otros enfoques.
El clasificador de la primera seccin se denomina CHA, Clasificador Hbrido
Asociativo, y est basado en dos memorias asociativas pioneras: la Lernmatrix de
Steinbuch y el Linear Associator de Anderson-Kohonen.
El CHA supera ampliamente las limitaciones que presentan cada una de estas
memorias asociativas, lo cual se logra al combinar las fases de aprendizaje o recuperacin de ambas de forma ingeniosa. El CHA, puede aceptar valores reales en las
componentes de sus vectores de entrada ( a diferencia de la Lernmatrix, que slo
acepta valores binarios, 1 y 0) y a sus vectores de entrada no se les exige que sean
ortonormales (los vectores de entrada del Linear Associator deber ser ortonormales,
para tener recuperacin perfecta en todo su conjunto fundamental). Adems el CHA
es un clasificador que se comporta como una memoria asociativa perfecta, segn los
conceptos y definiciones expuestas en el captulo 2, bajo condiciones ms dbiles que
las que se requieren para las dos memorias asociativas clsicas mencionadas.
Hay algunos casos en que el CHA falla en su tarea de clasificacin. Para superar
estas limitaciones, se ide y dise una nueva versin del CHA, mediante la adicin de
un nuevo paso al algoritmo: la traslacin ingeniosa de los ejes coordenados. La nueva
versin, denominada CHAT, Clasificador Hbrido Asociativo con Traslacin,
se desarrolla y ejemplifica en la segunda seccin.
43
5. Desarrollo
5.1.
44
El CHA
5.1.1.
4. 1
4. 8
y x2 =
x1 =
3. 8
4. 2
Tres patrones pertenecen a la segunda clase:
6. 3
6. 2
, x3 =
x3 =
3. 8
3. 1
y x4 =
7. 0
3. 0
Lo anterior significa, de acuerdo con el inciso 2 del algoritmo, que los patrones de
salida son los siguientes:
5. Desarrollo
45
y =y =
1
0
y y =y =y =
0
1
5
X
=1
y (x ) =
8. 9
19. 5
8. 0
9. 9
(5.1)
El inciso 4 del algoritmo indica que la fase de recuperacin se lleva acabo de acuerdo
con la expresin 2.3.
8. 9
19. 5
8. 9
19. 5
8. 9
19. 5
8. 9
19. 5
8. 9
19. 5
8. 0
9. 9
8. 0
9. 9
8. 0
9. 9
8. 0
9. 9
8. 0
9. 9
4. 1
3. 8
66. 89
42. 33
76. 32
52. 02
1
0
6. 3
25. 67
0
=
3. 8
160. 47
1
6. 2
30. 38
0
=
3. 1
151. 59
1
7. 0
38. 3
0
=
3. 0
166. 2
1
4. 8
4. 2
clase 1
clase 1
clase 2
clase 2
clase 2
Ejemplo 5.2 Ahora probemos el clasificador con dos patrones que no pertencen al
conjunto fundamental:
8. 9
19. 5
8. 9
19. 5
4. 0
83. 6
1
clase 1
6. 0
18. 6
0
8. 0
6. 0
21. 2
0
clase 2
9. 9
4. 0
117. 6
1
8. 0
9. 9
Nota 5.3 Resulta evidente que este problema de clasificacin no puede ser resuelto
por la Lernmatrix de Steinbuch, ya que los patrones de entrada no son binarios, como
lo requiere ese modelo. Por otro lado, tampoco es posible resolverlo por el Linear Associator, debido a que los patrones de entrada no son ortonormales, como lo exige la
expresin 2.9.
Ejemplo 5.4 Cuatro patrones de dimensin 3 con valores reales, aglutinados en dos
clases diferentes:
5. Desarrollo
46
12. 0
10. 0
x1 = 3. 0 y x2 = 1. 0
11. 0
12. 0
2. 0
1. 0
x3 = 8. 0 , y x4 = 9. 0
12. 0
11. 0
Lo anterior significa, de acuerdo con el inciso 2 del algoritmo, que los patrones de
salida son los siguientes:
1
0
1
2
3
4
y y =y =
y =y =
0
1
Para la fase de aprendizaje, de acuerdo con el inciso 3 del algoritmo, se calculan
los trminos y (x )t usando la expresin 2.4 y el clasificador C se obtiene a partir
de las expresiones 2.5 y 2.6:
C=
5
X
=1
22. 0 4. 0 23. 0
y (x ) =
3. 0 17. 0 23. 0
(5.2)
El inciso 4 del algoritmo indica que la fase de recuperacin se lleva acabo de acuerdo
con la expresin 2.3.
12. 0
22. 0 4. 0 23. 0
529.
0
3. 0 =
3. 0 17. 0 23. 0
340. 0
11. 0
10. 0
22. 0 4. 0 23. 0
500. 0
1. 0 =
3. 0 17. 0 23. 0
323. 0
12. 0
2. 0
22. 0 4. 0 23. 0
352. 0
8. 0 =
3. 0 17. 0 23. 0
418. 0
12.
0
1. 0
22. 0 4. 0 23. 0
311. 0
9. 0 =
3. 0 17. 0 23. 0
409. 0
11. 0
1
0
1
0
0
1
0
1
clase 1
clase 1
clase 2
clase 2
Ejemplo 5.5 Ahora probemos el clasificador con dos patrones que no pertencen al
conjunto fundamental:
5. Desarrollo
9. 8
22. 0 4. 0 23. 0
488.
0
1. 4 =
3. 0 17. 0 23. 0
320. 0
11. 6
2. 2
22. 0 4. 0 23. 0
369.
0
7. 7 =
3. 0 17. 0 23. 0
427. 3
12. 6
47
1
0
0
1
clase 1
clase 2
12
12. 6
10
10. 9
1
2
x =
2 y x = 2. 3
4
3. 5
2
1. 8
1
1. 1
2
2. 2
3
4
x =
1 y x = 1. 5
11
10. 6
12
11. 8
1
1. 2
2
1. 9
5
6
x = 13 y x =
13. 2
11
11. 4
1
0. 9
Lo anterior significa, de acuerdo con el inciso 2 del algoritmo, que los patrones de
salida son los siguientes:
1
0
0
1
2
3
4
5
6
, y =y = 1
y y = y = 0
y =y = 0
0
0
1
5. Desarrollo
48
24. 6 20. 9 4. 3 7. 5 3. 8
C=
y (x )t = 2. 1 4. 2 2. 5 21. 6 23. 8
=1
2. 2 3. 9 26. 2 22. 4 1. 9
5
X
(5.3)
El inciso 4 del algoritmo indica que la fase de recuperacin se lleva acabo de acuerdo
con la expresin 2.3.
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
12.
0
10. 0
3. 8
550. 4
1
= 206. 2 0 clase 1
23. 8
2.
0
4. 0
1. 9
211. 2
0
2. 0
12.
6
10. 9
3. 8
580.
75
1
= 196. 43 0 clase 1
23. 8
2.
3
3. 5
1. 9
212. 31
0
1. 8
1. 0
2. 0
3. 8
198.
8
0
1. 1
2. 2
3. 8
203.
83
0
1. 0
2. 0
3. 8
208. 6
0
1. 2
1. 9
3. 8
214. 91
0
Ejemplo 5.8 Ahora probemos el clasificador con tres patrones que no pertencen al
conjunto fundamental :
5. Desarrollo
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
24. 6 20. 9 4. 3 7. 5
2. 1 4. 2 2. 5 21. 6
2. 2 3. 9 26. 2 22. 4
49
11.
4
10. 6
3. 8
549. 64
1
= 216. 51 0 clase 1
23. 8
1.
9
4. 1
1. 9
212. 41
0
2. 3
1.
1
2. 1
3. 8
204. 31
0
= 548. 2 1 clase 2
23. 8
1.
3
10. 5
1. 9
304. 38
0
12. 9
1. 1
2. 5
3. 8
229.
91
0
= 325. 57 0 clase 3
23. 8
13.
8
11. 56
1. 9
634. 95
1
1. 2
Ejemplo 5.10 2 patrones de dimensin 2 con valores reales, aglutinados en dos clases
diferentes:
A la primera clase pertenece el patrn:
2. 1
1
x =
3. 8
A la segunda clase:
2
x =
6. 3
3. 8
Lo anterior significa, de acuerdo con el inciso 2 del algoritmo, que los patrones de
salida son los siguientes:
1
0
1
2
y y =
y =
0
1
5. Desarrollo
50
5
X
=1
2. 1 3. 8
y (x ) =
6. 3 3. 8
(5.4)
2. 1 3. 8
2. 1
18. 85
0
clase 2?
6. 3 3. 8 3. 8 27. 67
1
2. 1 3. 8
6. 3
27. 67
0
clase 2
6. 3 3. 8
3. 8
54. 13
1
Nota 5.11 El ejemplo anterior nos muestra los efectos causados cuando tenemos al
menos un patrn de entrada de magnitud mucho mayor a las magnitudes de los otros
patrones de entrada, el clasificador tiende a asignar los patrones de menor magnitud
a la clase cuyos patrones tienen la mayor magnitud.
5.2.
El CHAT
En esta seccin mostraremos ejemplos, en los que se puede observar cmo el CHA
se transforma en CHAT y as supera las limitaciones mencionadas de las dos memorias asociativas, el Linear Associator y la Lernmatrix y adems, de qu manera se
transforma en un clasificador de alto rendimiento, al agregar la traslacin de ejes.
El ejemplo 5.10 muestra una desventaja para la clasificacin de patrones agrupados
en un mismo cuadrante del plano, con una clase con patrones cuya magnitud es mucho
mayor a la magnitud de los patrones de las otras clases presentes en el problema de
clasificacin. Esto para efectos prcticos representa una gran desventaja, dado que en
el rea de clasificacin de patrones es una constante que los patrones de las clases a
clasificar se encuentren en el mismo plano y con magnitudes diferentes en sus vectores.
La solucin, que en el presente trabajo se realiza para resolver este problema, es
la traslacin de ejes, con el nuevo origen situado en el centroide de los vectores que
representan a los patrones de entrada.
el vector medio de
Sean x1 , x2 , ...x un conjunto de patrones de entrada, y sea x
todos ellos (Gonzlez & Woods, 2001), donde:
1X
x
x
=
p
j=1
(5.5)
5. Desarrollo
51
Trasladando los ejes a un nuevo origen cuyas coordenadas son las del vector medio
de los patrones de entrada del conjunto fundamental, se crea un nuevo conjunto de
0
0
0
patrones trasladados x1 , x2 , ..., xp , donde:
x = x x
(5.6)
5.2.1.
5.2.2.
5. Desarrollo
52
2. 1
1
x =
3. 8
A la segunda clase:
2
x =
6. 3
3. 8
1X 1
x =
x
=
p
2
j=1
2. 1
3. 8
6. 3
3. 8
4. 2
=
3. 8
0
2. 1
4. 2
2. 1
=
x1 =
3. 8
3. 8
0. 0
6. 3
4. 2
2. 1
20
x =
=
3. 8
3. 8
0. 0
Lo anterior significa, de acuerdo con el inciso 2 del algoritmo, que los patrones de
salida son los siguientes:
1
0
10
20
y y =
y =
0
1
Para la fase de aprendizaje, de acuerdo con el inciso 3 del algoritmo, se calculan
los trminos y (x )t usando la expresin 2.4 y el clasificador C se obtiene a partir
de las expresiones 2.5 y 2.6:
C=
5
X
=1
2. 1 0
y (x ) =
2. 1 0
(5.7)
El inciso 4 del algoritmo indica que la fase de recuperacin se lleva acabo de acuerdo
con la expresin 2.3.
5. Desarrollo
53
2. 1
2. 1
2. 1
2. 1
0
2. 1
4. 41
1
clase 1
0 0. 0 4. 41
0
0
2. 1
4. 41
0
clase 2
0
0. 0
4. 41
1
Ejemplo 5.13 2 patrones de dimensin 3 con valores reales, aglutinados en dos clases
diferentes:
A la primera clase pertenece el patrn:
2. 0
x1 = 3. 0
6. 0
A la segunda clase:
6. 0
x2 = 8. 0
10. 0
Lo anterior significa, de acuerdo con el inciso 2 del algoritmo, que los patrones de
salida son los siguientes:
1
0
1
2
y y =
y =
0
1
Para la fase de aprendizaje, de acuerdo con el inciso 3 del algoritmo, se calculan
los trminos y (x )t usando la expresin 2.4 y el clasificador C se obtiene a partir
de las expresiones 2.5 y 2.6:
C=
5
X
=1
2. 0 3. 0 6. 0
y (x ) =
6. 0 8. 0 10. 0
(5.8)
2. 0
2. 0 3. 0 6. 0
49.
0
0
3. 0 =
clase 2?
6. 0 8. 0 10. 0
96. 0
1
6.
0
6. 0
2. 0 3. 0 6. 0
96.
0
0
8. 0 =
clase 2
6. 0 8. 0 10. 0
200. 0
1
10. 0
Probemos el clasificador con otros patrones desconocidos pero que pertenecen a las
clases involucradas en el ejemplo.
A la primera clase pertenece el patrn:
5. Desarrollo
A la segunda clase:
54
1. 9
x3 = 3. 8
5. 5
6. 4
4
x = 7. 2
9. 7
1. 9
2. 0 3. 0 6. 0
48. 2
0
3. 8 =
clase 2?
6. 0 8. 0 10. 0
96. 8
1
5. 5
6. 4
2. 0 3. 0 6. 0
92. 6
0
7. 2 =
clase 2
6. 0 8. 0 10. 0
193. 0
1
9. 7
x = 3. 0
6. 0
A la segunda clase:
6. 0
x2 = 8. 0
10. 0
Se realiza la traslacin de los vectores de entrada, de acuerdo con 5.5, entonces
tenemos que:
p
2. 0
6. 0
4. 0
1 X 1
x =
3. 0 + 8. 0 = 5. 5
x
=
p j=1
2
6. 0
10. 0
8. 0
donde de acuerdo con 5.6 los patrones de entrada ahora son:
2. 0
4. 0
2. 0
0
x1 = 3. 0 5. 5 = 2. 5
6. 0
8. 0
2. 0
5. Desarrollo
55
6. 0
4. 0
2. 0
0
x2 = 8. 0 5. 5 = 2. 5
10. 0
8. 0
2. 0
Lo anterior significa, de acuerdo con el inciso 2 del algoritmo, que los patrones de
salida son los siguientes:
1
0
10
20
y y =
y =
0
1
Para la fase de aprendizaje, de acuerdo con el inciso 3 del algoritmo, se calculan
los trminos y (x )t usando la expresin 2.4 y el clasificador C se obtiene a partir
de las expresiones 2.5 y 2.6:
C=
5
X
=1
2. 0 2. 5 2. 0
y (x ) =
2. 0
2. 5
2. 0
(5.9)
El inciso 4 del algoritmo indica que la fase de recuperacin se lleva acabo de acuerdo
con la expresin 2.3.
2,0
2. 0 2. 5 2. 0
14.
25
1
2. 5 =
clase 1
2. 0
2. 5
2. 0
14. 25
0
0
2.
2. 0
2. 0 2. 5 2. 0
14. 25
0
2. 5 =
clase 2
2. 0
2. 5
2. 0
14. 25
1
2. 0
6. 4
4
x = 7. 2
9. 7
1. 9
4. 0
2. 1
0
x3 = 3. 8 5. 5 = 1. 7
5. 5
8. 0
2. 5
5. Desarrollo
56
6. 4
4. 0
2. 4
0
x4 = 7. 2 5. 5 = 1. 7
9. 7
8. 0
1. 7
El inciso 4 del algoritmo indica que la fase de recuperacin se lleva acabo de acuerdo
con la expresin 2.3.
2. 1
2. 0 2. 5 2. 0
13. 45
1
1. 7 =
clase 1
2. 0
2. 5
2. 0
13. 45
0
2.
5
2. 4
2. 0 2. 5 2. 0
12. 45
0
1. 7 =
clase 2
2. 0
2. 5
2. 0
12. 45
1
1. 7
Captulo 6
Disquisiciones experimentales
En este captulo se muestra experimentalmente el rendimiento del CHAT: Clasificador Hbrido Asociativo con Traslacin, ante conjuntos de patrones contenidos
en 4 bases de datos pblicas; estos patrones estn agrupados en clases. Los aspectos
de inters que se tomaron en cuenta para realizar los experimentos son los mismos que
se han registrado en la literatura sobre clasificadores, donde el punto de inters radica
esencialmente en el porcentaje de clasificacin correcta del conjunto de patrones contenidos en las bases respectivas. Las bases de datos pblicas se encuentran en la UCI
Machine Learning Data Bases Repository, del ICS, de la universidad de California,
Irvine: http://ftp.ics.uci.edu/pub/machine-learning-databases.
Las bases de datos que fueron usadas en los experimentos son:
-Iris plants database.
-Wine recognition data.
-Contraceptive method choice (cmc).
-Credit approval database.
En cada una de las bases de datos, un rengln representa un patrn, con la primera
columna sealando la clase a la cual pertenece el patrn de la fila respectiva. Las subsecuentes columnas en la misma fila contienen datos que representan las caractersticas
del objeto.
Los experimentos se llevaron a cabo en una PC genrica con procesador Pentium
II a 350MHz, 128 MBytes de RAM y un disco duro de 6 Gbytes, con sistema operativo
Windows 2000 de Microsoft. El programa se realiz en el lenguaje C++ y se utiliz
el compilador de Borland, C++ Builder 5 . Las bases de datos se almacenaron en
archivos secuenciales, as como los resultados obtenidos de la clasificacin.
6.1.
Base de datos
57
6. Disquisiciones experimentales
6.1.1.
58
Esta es tal vez la base de datos ms conocida que se encuentra en la literatura del
reconocimiento de patrones. Usada por Fisher (Fisher, 1936), es un clsico en el campo
y una referencia frecuente hasta nuestros das (Duda, Hart, & Strork, 2001; Gonzalez
& Woods, 2001). El conjunto de datos contiene 3 clases de 50 instancias cada una,
donde cada clase hace referencia a un tipo de planta de iris (Iris Setosa, Iris Versicolor
e Iris Virginia). Cada patrn que representa una planta de iris tiene 4 atributos, ms
uno que representa la clase. En esta base de datos los rasgos que representan el largo
y ancho de los ptalos estn altamente correlacionados.
Informacin de los atributos
Rasgos
1
2
3
4
5
Descripcin
Clase: 1:Iris Setosa,2:Iris Versicolour, 3:Iris Virginia
Largo del spalo en centmetros
Ancho del spalo en centmetros
Largo del ptalo en centmetros
Ancho del ptalo en centmetros
Tabla 6.1: Descripcin de rasgos (Iris plants).
6.1.2.
Esta base de datos presenta los resultados de un anlisis qumico de vinos producidos en una misma regin de Italia pero que provienen de diferentes cultivos (Forina,
et al, 1991). Los patrones estn agrupados en 3 clases con una distribucin de 59 patrones para la clase 1, 71 patrones para la clase 2 y 48 patrones para la clase 3. El
anlisis determina las cantidades de 13 constituyentes encontrados en cada uno de los
tres tipos de vinos. En el contexto de clasificadores, es un buen problema para probar
un nuevo clasificador.
6. Disquisiciones experimentales
59
Descripcin
Clase
Alcohol
cido mlico
Cenizas
Alcalinidad de la ceniza
Magnesio
Total de fenoles
Flavonoides
Fenoles No-flavonoides
Proanthocyanins*
Intensidad del color
Matiz
OD280/OD315 de vino diluido*
Proline*
6.1.3.
6. Disquisiciones experimentales
60
Descripcin
Clase
Edad
Grado educativo
Grado educativo de la pareja
Nmero de nios ya concebidos
Religin
Trabajo
Ocupacin de la pareja
ndice del estandar de vida
Riesgo de vida
6.1.4.
6.2.
Metodologa
Se forma un vector de rasgos (tambin conocido como vector patrn o vector
caracterstico) con dimensin igual al nmero de caractersticas representadas
en el patrn; dado que la primera columna de la base de datos seala la clase,
no se incluir en el vector de rasgos.
Cada componente del vector de rasgos toma sus valores de cada uno de los valores
contenidos en el patrn, respetando el orden ya establecido. Este procedimiento
se hace con cada uno de los patrones de la base de datos.
Posteriormente se obtiene del conjunto de vectores un vector prototipo o vector
medio (Gonzalez & Woods, 2001).
Una vez obtenido el vector medio, en el punto terminal de este vector establecido
por sus n-componentes se determina el centroide del conjunto de vectores de
rasgos.
Mediante este centroide se hace una traslacin de todos los vectores de rasgos,
respetando el orden de la base de datos original.
6. Disquisiciones experimentales
61
Trasladados los vectores de rasgos, se toma un subconjunto de vectores de caractersticas de forma aleatoria de cada una de las clases involucradas; cada clase
aportar al conjunto fundamental un nmero igual de vectores de rasgos para ser
utilizados en la fase de aprendizaje y en la fase de recuperacin del Clasificador
Hbrido Asociativo con Traslacin.
Ya que se ha obtenido el CHAT en la fase de aprendizaje, se someten al clasificador los vectores de rasgos uno a uno y se procede a la clasificacin, obteniendo
en cada caso un nmero que representa la clase.
Una vez obtenidos todos los resultados se procede a realizar un anlisis de stos,
donde se establece como clasificacin correcta, si la clase resultante es igual a
la clase ya establecida para cada uno de los vectores de rasgos sometidos a la
clasificacin; calculando as un porcentaje de clasificaciones.
6.3.
6.3.1.
6. Disquisiciones experimentales
62
94
.6
7
95
.3
.0
0
91
.3
3
92
90
.0
0
92
90
87
.3
3
88
.0
0
88
.6
7
Porcentaje
96
.6
7
.0
0
95
.3
3
96
3
95
.3
93
.3
3
92
.6
7
94
93
.3
3
96
.0
0
3
95
.3
3
93
.3
3
95
.3
96
96
.0
0
98
88
86
84
82
1
10
11
12
13
14
15
16
Clasificacin
Fig. 6.1: Rendimiento del 1-NN ante la base de datos Iris plants.
17
18
19
20
6. Disquisiciones experimentales
63
Rendimiento3-KNN
95
.3
3
88
.6
7
90
.6
7
92
.6
7
92
.0
0
89
.3
3
89
.3
3
87
.3
3
93
.3
3
94
.0
0
94
.0
0
92
.6
7
89
.3
3
89
.3
3
91
.3
3
88
.0
0
85
80
.6
7
Porcentaje
90
92
.6
7
92
.0
0
95
93
.3
3
100
80
75
70
1
10
11
12
13
14
15
16
17
18
19
20
Clasificacin
Fig 6.2: Rendimiento del 3-NN, con la base de datos Iris plants.
100.00%
%
%
%
%
%
%
%
%
%
% %
.33 8.67 9.33 9.33 9.33 9.33 8.67 8.67 9.33 9.33 9.13
9
8
8
8
8
8
8
8
8
8
8
8
60.00%
40.00%
20.00%
Prueba
Fig. 6.3: Rendimiento del clasificador C-means.
Prom.
10
0.00%
1
Eficiencia
80.00%
6. Disquisiciones experimentales
100.00%
89
64
%
%
% %
%
%
%
%
%
%
%
.33 9.33 9.33 9.33 0.00 9.33 9.33 9.33 9.33 9.339.40
8 8
8
8
8
8
9
8
8
8
Eficiencia
80.00%
60.00%
40.00%
20.00%
Prom.
10
0.00%
Prueba
Prom.
10
%
%
%
%
%
%
%
% %
% %
.00 6.00 4.00 6.00 6.00 6.00 6.00 6.00 5.33 4.00 5.53
6
9
9
9
9
9
9
9 9
9
9
9
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
40.00%
30.00%
20.00%
10.00%
0.00%
Eficiencia
Prueba
Fig 6.5: Rendimiento del clasificador C-means difuso usando funciones de disimilaridad.
6. Disquisiciones experimentales
65
98
.67
RendimientodelCHM
97
.00
95
.33
97
.00
95
.33
95
.00
95.00
95
.00
95
.33
95
.67
95
.00
96.00
97
.00
96
.67
97
.33
97
.33
97
.33
96
.33
96
.33
Porcentaje
97.00
98
.00
98.00
97
.67
98
.00
99.00
94.00
93.00
1
10 11 12 13 14 15 16 17 18 19 20
Clasificacin
Fig 6.6: Rendimiento del CHAT con la base de datos Iris plants.
110
Porcentaje
100
90
80
70
60
1-NN
3-NN
C-means
C-meansdif.
C-meansDFD
CHAT
Peorrendimiento
96.67
87.33
95.33
80.67
89.33
88.67
90
89.33
96
94
98.67
95
Promedio
93.3
90.79
89.13
89.4
95.53
96.56
Mejorrendimiento
Mejorrendimiento
Clasificador
Peorrendimiento
Promedio
Los resultados obtenidos mostrados en la tabla 6.4 nos permiten ver que el rendimiento para la mejor clasificacin fue para el CHAT; adems, vemos que el rendimiento
6. Disquisiciones experimentales
66
6.3.2.
30
.59
36
.32
35
.91
33
.91
32
.39
33
.89
33
.97
36
.20
37
.92
33
.21
35
.40
35
40
.91
41
.20
40
.82
41
.80
33
.36
40
39
.19
38
.35
45
44
.29
50
45
.10
Rendimiento1-KNN
Porcentaje
30
25
20
15
10
5
0
1
10 11 12 13 14 15 16 17 18 19 20
Clasificacin
6. Disquisiciones experimentales
67
37
39
.02
38
.42
40
.2
. 17
.10
42
.14
41
.51
31
.21
34
34
.2
7
36
.57
37
.6
37
40
34
.04
.19
32
35
.66
.57
.55
42
.45
42
39
40
38
45
.43
42
.2
.74
Rendimiento3-KNN
Porcentaje
30
25
20
15
10
5
0
1
10
11
12
13
14
15
16
17
18
19
20
Clasificacin
Prueba
Fig. 6.9: Rendimiento del C-means con la base de datos Cmc.
Prom.
10
%
%
%
%
%
.00 5.99 4.47
4%
.80
.42
3
35
3
33
1.8
33
3
%
.90
21
%
.75
22
%
%
%
.80 3.80 3.42
3
33
3
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
40.00%
30.00%
20.00%
10.00%
0.00%
Eficiencia
68
Prom.
10
6% 5%
7%
% 2%
% 40.1 40.5
4
7.4
8
.45 .8
.
3
34 34
34
%
.40
31
%
.10
22
% 89% 5%
.84 37.
.4
4
3
34
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
40.00%
30.00%
20.00%
10.00%
0.00%
Eficiencia
6. Disquisiciones experimentales
Prueba
Fig. 6.10: Rendimiento del C-means difuso con la base de datos Cmc.
100.00%
90.00%
E ficiencia
80.00%
70.00%
60.00%
50.00%
51
28
2 % 57.
0
.
.
36
40.00%
88
.
51
91
.
52
84
%
4
5.
%
22
1
.9
34
.
52
%
75
%
.
50
10
%
41
% .
9 2 47
48
30.00%
20.00%
10.00%
Prueba
Fig. 6.11: Rendimiento del C-means difuso usando funciones de disimilaridad.
Prom.
10
0.00%
6. Disquisiciones experimentales
69
RendimientodelCHM
.34
.01
55
53
. 83
57
.66
.01
55
.30
58
.86
57
.98
55
. 66
58
.48
.79
10
40
30
20
10
0
1
11
12
13
14
15
16
17
18
19
Clasificaciones
60
50
Porcentaje
Porcentaje
45
50
51
53
.14
54
.89
58
.05
.47
49
53
.77
57
.40
.06
57
.60
58
54
60
58
.65
70
40
30
20
10
1-NN
3-NN
C-means
C-meansdif.
C-meansDFD
CHAT
Mejorrendimiento
45.1
42.74
35.99
40.16
57.28
58.86
Peorrendimiento
Promedio
30.59
37.23
31.21
38.1
21.9
31.84
22.1
34.82
34.91
47.48
45.01
55.47
Clasificador
Mejorrendimiento
Peorrendimiento
Promedio
20
6. Disquisiciones experimentales
70
Los resultados obtenidos mostrados en la tabla 6.5 nos permiten ver que nuevamente el rendimiento para la mejor clasificacin fue para el CHAT; adems vemos que
el rendimiento en general nunca es menor al 45 %. En cambio, para los clasificadores
basados en el algoritmo KNN, el rendimiento baj hasta el 31 %, mientras que para
las variantes del C-means se reportan rendimientos de slo el 21 %.
6.3.3.
Los patrones se agrupan en dos clases dentro de la base de datos: + y -, para fines
de poder operarar los programas que implementan los clasificadores KNN y CHAT
se ha asignado 1 a la clase + y 2 a la clase -. Cada patrn en la base de datos est
compuesto por 15 rasgos, 6 de los cuales son numricos y estos son los nicos que se
utilizaron para los clasificadores implementados, eliminando 4 rasgos booleanos y 5
nominales.
Se realizaron 20 pruebas de clasificacin en el caso del 1-NN, 3-NN y CHAT,
dejando de forma inalterada los resultados obtenidos para el C-means, C-means difuso
y C-means usando funciones de disimilaridad.
Rendimiento1-KNN
66
. 39
. 57
52
58
.47
.70
44
47
49
.90
62
. 25
.47
65
.0
.76
59
. 36
. 97
58
45
50
66
. 37
61
.77
65
. 67
.74
50
.28
60
Porcentaje
65
61
57
.25
59
.9
.95
66
70
.79
80
40
30
20
10
0
1
10
11
12
13
14
15
16
Clasificacin
17
18
19
20
6. Disquisiciones experimentales
71
55
.11
61
.36
60
.86
60
.13
49
.00
61
.00
38
.47
37
.33
45
.93
50
.14
50
Porcentaje
51
.27
53
.55
54
.41
60
.32
60
63
.80
70
58
.85
61
.61
57
.03
61
.52
55
.81
Rendimiento3-KNN
40
30
20
10
10 11 12 13 14 15 16 17 18 19 20
Clasificacin
100.00%
Eficiencia
80.00%
60.00%
.8
50
1%
%
1% .81% .81% .81% .81% .81% .81% .81%
.81
1% 50.8
8
50
50
50
50
50
50
50
50
.
50
40.00%
20.00%
Prueba
Prom.
10
0.00%
6. Disquisiciones experimentales
72
Eficiencia
100.00%
80.00%
60.00%
% 5%
%
%
%
%
% 5%
% 7%
.65 0.65 .65% 0.65 0.81 50.6
.65 0.65 50.6 0.65 50.6
0
0
5
5
5
5
5
5
5
50
40.00%
20.00%
Prom.
10
0.00%
Prueba
Fig. 6.16: Rendimiento del C-means difuso con la base de datos Credit.
100.00%
Eficiencia
80.00%
60.00%
40.00%
%
%
%
%
6%
6%
1%
7% 37% .46
7%
7%
46 .37
.4
.4
37
3
.
.
.
.3
.3 40.2
.
1
1
1
1
9
9
9
9
9
9
4
4
4
4
3
3
3
3
3
3
20.00%
Prueba
Fig. 6.17: Rendimiento del C-means difuso usando funciones de disimilaridad.
Prom.
10
0.00%
6. Disquisiciones experimentales
73
.40
61
.17
61
.53
61
.17
61
.56
61
.53
61
.33
61
.53
61
.53
61
.17
61
.17
61
.2 0
61
70
61
.53
61
.56
61
.07
61
.17
61
.56
61
.17
RendimientodelCHM
60
38
.83
38
.44
40
30
20
10
0
1
10
11
12
13
14
15
16
17
18
19
Clasificaciones
70
60
50
Porcentaje
Porcentaje
50
40
30
20
10
Mejorrendimiento
Peorrendimiento
Promedio
1-NN
3-NN
C-means
C-meansdif.
C-meansDFD
66.79
63.8
50.81
50.65
41.46
61.58
44.47
58.33
37.33
54.88
50.81
50.81
50.65
50.67
39.37
40.21
38.44
59.08
Clasificador
Mejorrendimiento
Peorrendimiento
Promedio
CHAT
20
6. Disquisiciones experimentales
74
Para esta base de datos el mejor resultado fue para el 1-NN con el 66.79 %, seguido
por el 3-NN. El clasificador CHAT se mantiene muy cerca de estos dos clasificadores
y es muy superior a las variantes de C-means. Pero como se observa en las grficas, el
rendimiento del CHAT en casi constante para todas las clasificaciones.
6.3.4.
60
.92
72
.53
73
.31
.11
66
. 08
71
.63
72
74
.50
62
67
.93
67
.98
68
. 83
75
56
.49
70
69
. 62
73
.26
69
.96
69
.13
80
.49
70
. 21
68
.88
66
.34
73
.85
Rendimiento1-KNN
Porcentaje
50
40
30
20
10
0
1
10
11
12
13
14
15
16
Clasificacin
17
18
19
20
6. Disquisiciones experimentales
75
17
18
55
9
80
59.
55.
59
83
57.
59.
8
50
66.
4
73.
9
73.
29
73.
24
69.
3
73.
93
74.
8
3
69.
0
8
47.
83
60
Porcentaje
72.
72
74.
37
73.
93
73.
24
60.
8
70
68.
68
72.
80
68
Rendimiento3_KNN
40
30
20
10
0
1
10
11
12
13
14
15
16
19
20
Clasificacin
120.00%
Eficiencia
100.00%
%
%
%
96
% .96
%
.96
6% 8%
% 96.
% 51%
.26 96
.26
96
1
%
7
2
2
2.2 91.8
5
7
8
.
.
9
9
9
.
2
.
88
88
87
86
80.00%
60.00%
40.00%
20.00%
Prueba
Fig. 6.21: Rendimiento del C-means difuso usando funciones de disimilaridad.
Prom.
10
0.00%
6. Disquisiciones experimentales
76
96
.48
96
.48
96
.48
96
.82
94
.30
93
.95
94
.37
93
.48
93
.48
94
.11
95
92
.04
93
92
91
90
89
1
10
11
12
13
14
15
16
17
18
19
Clasificaciones
110
100
90
80
Porcentaje
Porcentaje
94
.31
95
.15
94
.86
96
96
.48
96
.48
96
.48
96
.48
97
94
96
.82
98
97
.1
RendimientodelCHM
70
60
50
40
30
20
Mejorrendimiento
Peorrendimiento
Promedio
1-NN
3-NN
C-meansDFD
CHAT
75.49
58.49
74.81
47.83
96.96
86.27
97.17
92.04
69.55
67.55
91.88
95.31
Clasificador
Mejorrendimiento
Peorrendimiento
Promedio
20
6. Disquisiciones experimentales
77
Captulo 7
7.1.
Conclusiones
1. Los experimentos sugieren que las memorias asociativas, combinadas adecuadamente, pueden funcionar como clasificadores de patrones, no solamente en casos
raros o aislados, sino en la clasificacin de patrones contenidos en bases de datos
pblicas, probadas reiteradamente con mtodos de clasificacin reconocidos. La
eficiencia que presentan los clasificadores asociativos se encuentra a la altura de
los clasificadores ms longevos, estudiados y probados que existen actualmente
basados en otros tipos de enfoque.
2. En este trabajo se da a conocer un producto original basado en el paradigma de
memorias asociativas.
3. Con este nuevo producto original, denominado CHAT, Clasificador Hbrido
Asociativo con Traslacin, se agrega un nuevo clasificador, dentro del rea
del reconocimiento de patrones.
4. Se inicia con este trabajo un nuevo enfoque en la clasificacin de patrones: el
enfoque asociativo.
5. Los resultados experimentales dan evidencia de la utilidad prctica del CHAT
en procesos de clasificacin.
6. El CHAT, a travs de los resultados experimentales, presenta un rendimiento semejante al de otros clasificadores y en la mayora de los casos superior a
78
79
7.2.
Trabajo futuro
Es esta seccin presentaremos ideas tentativas que pueden ser atacadas de manera
directa a fin de contribuir al desarrollo del CHAT y del nuevo enfoque asociativo para
clasificacin de patrones. Se explica brevemente cada idea, y se incluyen una o varias
referencias bibliogrficas que le permitirn al investigador interesado, introducirse en
el tema.
1. Encontrar la base terica en la cual se sustenta el buen funcionamiento del
CHAT (Duda, Hart, & Stork, 2001; Gill, Murray & Wright, 1989; Grimaldi,
1998; Grossman, 1996).
2. Hacer un estudio comparativo ms amplio del CHAT con otros clasificadores
basados en diferentes enfoques ( Abe, 2001; ar
unas, 2001; Shalko, 1992;).
3. Experimentar el CHAT en combinacin con otros clasificadores, ya sea recibiendo los resultados de otros o iniciando el proceso de clasificacin (Acharya &
et. al., 2003; Kittler & Alkoot, 2003; Kuncheva, 2002; Lu & Tan, 2002; Murua,
2002; Nicola, Masulli & Sperduti, 2002).
4. Realizar trabajos que busquen optimizar el algoritmo propuesto (Bandyopadhyay
& Maulik, 2002; Demeniconi, Peng & Gunopulos, 2002; Ho, Liu, & Liu, 2002;
Huang, & et. al., 2002; Rueda & Oommen, 2002; Wu, Ianekiev & Govindaraju,
2002).
5. Investigar sobre la combinacin del CHAT con alguna o algunas memorias asociativas recientes o pasadas (Daz-de-Len & Yez 1999; Ritter, Diaz-de-Leon
& Sussner, 1999; Ritter, Sussner, & Diaz-de-Leon, 1998; Yez-Mrquez, 2002;
Yez-Mrquez & Diaz de Len, 2001a; Yez-Mrquez & Diaz de Len, 2001b).
80
6. Probar exhaustivamente el CHAT con ms bases de datos y comparar los resultados con otros clasificadores (Ayaquica-Martnez, 2002; Kuncheva, 2000; Marqus de S, 2001).
7. Llevar a cabo experimentos en los que el CHAT acepte patrones con rasgos no
numricos.
Apndice A
Simbologa
memorias
,
M
W
mij
B
x
y
A
(x, y)
(xk , yk )
{(x , y ) | = 1, 2, ..., p}
ek
x
xj
(x )t
n
m
p
mW
ij
V
ij
5
4
memorias asociativas
operadores originales en que se basan las memorias
memoria asociativa, memoria asociativa morfolgica max
memoria asociativa morfolgica min
ij-sima componente de la memoria asociativa M
conjunto al que pertenecen las componentes mij
pertenencia de un elemento a un conjunto
vector columna que corresponde a un patrn de entrada
vector columna que corresponde a un patrn de salida
conjunto al que pertenecen las componentes de x y y
asociacin de un patrn de entrada con uno de salida
asociacin de la k-sima pareja de patrones
conjunto fundamental
versin alterada del patrn fundamental xk
j-sima componente de un vector columna x
transpuesto del vector x
dimensin de los patrones de entrada
dimensin de los patrones de salida
nmero de parejas del conjunto fundamental
incremento en mij
operador mximo
operador mnimo
producto usual entre vectores o matrices
producto cruz (entre conjuntos)
delta de Kronecker (afecta a los ndices i y j)
producto mximo (entre matrices)
producto mnimo (entre matrices)
81
A. Simbologa
(x, y)
(x, y)
P = [pij ]mr
d
d
e
e
82
operacin binaria con argumentos x y y
operacin binaria con argumentos x y y
matriz P de dimensiones m r y componente ij-sima pij
cuantificador universal
cuantificador existencial
operador max
operador max
operador min
operador min
smbolo que representa a las dos operaciones d y e
memorias tipo V
memorias tipo
operacin para calcular la distancia de Hamming
operacin lgica or exclusiva
Apndice B
Figura 1: Presentacin
Dentro de esta ventana slo se aprecia una opcin; este comando despliega dos
opciones, donde la primera configura y opera el CHAT de forma manual, lo cual
quiere decir que se opera con un conjunto fundamental definido previamente y que
deber ser obtenido de un archivo secuencial. La segunda opcin configura y opera
el CHAT para utilizar un conjunto fundamental escogido de forma aleatoria en cada
clasificacin. Esto se muestra en la figura 2.
Figura 2.
83
B.0.1.
84
Forma manual.
Figura 3
Al ingresar a la ventana de configuracin debemos indicarle al programa, la ubicacin de los archivos secuenciales que contendrn al conjunto fundamental y a la base
de datos a clasificar; adems de ingresar la ruta de los archivos, tenemos qu determinar tres parmetros, los cuales tienen una etiqueta que indica el tipo de variable. La
ventana de configuracin se muestra en la figura 4.
85
Figura 4
Para poder indicar la ruta de los archivos basta con aplicar el botn adjunto a cada
barra, lo que hace que se muestre una ventana donde podemos buscar la direccin
donde se ubican los archivos secuenciales, figura 5.
Figura 5
Una vez ubicada la ruta de cada uno de los archivos secuenciales, sta es presentada
dentro de las barras, como se muestra en la figura 6.
86
Figura 6
Ya obtenida la ruta de los archivos se procede a configurar los parmetros propios
del CHAT. En la figura 6 vemos descritas las diferentes variables a ingresar.
Dependiendo de las caractersticas de la base de datos a clasificar los datos pueden
variar. Este programa puede configurar el CHAT para recibir n clases; los patrones
pueden tener cualquier dimensin, y la variable para los patrones en la fase de aprendizaje tomar de forma equitativa el nmero de patrones para cada clase. Las variables
pueden quedar configuradas como se muestra en la figura 7.
Figura 7
87
B.0.2.
Forma automtica.
Figura 8
Aqu podemos observar los diferentes parmetros necesarios para la operacin del
programa; para poder ingresar la ruta como la mostrada en la figura 8 basta con aplicar
el botn adjunto a la barra, este botn hace mostrar la ventana de bsqueda de ruta,
figura 5. Las dems variables se ingresan de forma manual o a travs de los botones
adjuntos a cada barra.
Terminado el proceso de ingreso de variables, al hacer clic en el botn Aplicar,
el programa realiza el nmero de clasificaciones asignadas con diferentes conjuntos
fundamentales aleatorios.
Si se desea realizar una nueva serie de clasificaciones, se procede a cerrar la ventana,
regresando a la ventana principal e iniciar el proceso nuevamente.
Apndice C
Figura 1.
Dentro de la ventana de la figura 1 se observan dos botones; el botn Aplicar abre
una ventana con la cual podremos configurar las distintas variables y rutas que usar
el clasificador implementado para clasificar, como lo muestra la figura 2.
88
89
Figura 2.
La ventana de la figura 2 nos permite ingresar todos los parmetros necesarios para
la clasificacin mediante el KNN. Para ingresar la ruta del archivo que contiene la base
de datos, basta con hacer clic en el botn adjunto a la barra Edit1; este botn har
que se muestre la ventana de bsqueda de ruta, la cual nos permitir viajar a travs
de los diferentes directorios. La ventana se muestra en la figura 3.
Figura 3.
Ya ubicado el archivo, se selecciona y se hace clic en el botn Aceptar ; este botn
coloca la ruta del archivo en la barra Edit1 y nos regresa a la ventana de configuracin,
la cual ya muestra la ruta en la barra, figura 4.
90
Figura 4.
El siguiente paso es colocar todos los parmetros en sus diferentes casillas. El programa recibe un factor K que puede estar entre 1 y 100, igual rango para el nmero de
clases, dimensin del patrn, patrones de entrenamiento y clasificaciones. Un ejemplo
se muestra en la figura 5.
Figura 5.
La clasificacin se realiza mediante el botn as designado, y el programa procede a
mostrar para este ejemplo la ventana con los resultados de la clasificacin; en la figura
6 se muestra la ventana de porcentaje para la configuracin anterior al clasificar la
clase 1 de la base de datos Iris plant.
91
Figura 6
Finalmente, el resultado de la mejor clasificacin y el conjunto de patrones prototipos con los cuales se logr este porcentaje, son mostrados en las barras de la ventana
de configuracin, figura 7.
Figura 7.
Bibliografa
[1] Abe, S. (2001). Pattern classification, Neuro-Fussy Methods and their Comparison, Grat Britain: Springer-Verlag.
[2] Acharya, U. R. & et. al. (2003). Classification of Herat rate data using artificial
neural network and fuzzy equivalence relation, Pattern Recognition, 36 (2003),
61-81.
[3] Ammeraal, L. (1997). STL for C++ programmers, USA: John Wiley & Sons.
[4] Amari, S. (1977). Neural theory of association and concept-formation, Biological
Cybernetics, 26, 175-185.
[5] Anderson, J. A. (1972). A simple neural network generating an interactive memory, Mathematical Biosciences, 14, 197-220.
[6] Anderson, J. A. & Rosenfeld, E. (Eds.) (1990). Neurocomputing: Fundations of
Research, Cambridge: MIT Press.
[7] Anderson, J. A., Silverstein, J., Ritz, S. & Jones, R. (1977). Distinctive features,
categorical perception, and probability learning: some applications of a neural
model, Psichological Review, 84, 413-451.
[8] Anderson, J. R. & Bower, G. (1977). Memoria Asociativa, Mxico: Limusa.
[9] Ayaquica-Martnez, I. O. (2002). Algoritmo C-means usando funciones de disimilarida, Tesis de maestra, CIC-IPN, Mxico.
[10] Bandyopadhyay, S. & Maulik, U. (2002). Ecient prototy reordering in nearest
neighbor classifation, Pattern Recognition, 35 (2002), 2791-2799.
[11] Daconta, C. M. (1995). C++ pointers andDynamic memory manayement, USA:
John Wiley & Sons.
[12] Dasarathy, B. V. (1991). Nearest Neighbor (NN) Norms: NN pattern Classification
Techniques, USA:IEEE Computer Society Pres
[13] Demeniconi, C., Peng J. & Gunopulos, D. (2002). Locally Adaptive Metric
Nearest-Neighbor Classification, IEEE Transations on Pattern Anlisis and Machine Intellegence, vol. 24, no. 9,1281-1285.
92
BIBLIOGRAFA
93
[14] Daz-de-Len, J. L. & Yez, C. (1999). Memorias asociativas con respuesta perfecta y capacidad infinita, Memoria del TAINA99, Mxico, D.F., 23-38.
[15] Daz-de-Len, J. L., Yez-Mrquez, C. & Snchez-Garfias, F. A. (2003a), Reconocimiento de patrones. Enfoque probabilstico-estadstico, IT 83, Serie Verde,
CIC-IPN, Mxico.
[16] Daz-de-Len, J. L., Yez-Mrquez, C. & Snchez-Garfias, F. A. (2003b), Clasificador euclideano de patrones, IT 80, Serie Verde, CIC-IPN, Mxico.
[17] Dietel, H. M. & Dietel, P. J. (1999). Como programar en C++, Mxico: Pearson.
[18] Duda, R. O., Hart, P. E. & Stork, D. G. (2001). Pattern Classification, USA: John
Wiley & Sons.
[19] Eckel, B: (1995). Thinking in C++, USA: Prentice Hall.
[20] Fisher, R. A., (1936). The use of multiple measurements in taxonomic problems,
Anual Eugenics, 7, Part II, 179-188.
[21] Friedman, M. & Kandel, A. (2000). Introduction to Pattern Recognition (Statistical, Structural, Neural and Fuzzy logic Approaches), Singapore, World Scientific.
[22] Forina, M. et al, (1991), An extendible Package for Data Exploration, Classification and Correlation. Institute of Pharmaceutical and Food Analisys and Technologies, Via Brigata Salerno, 16147 Genoa, Italy.
[23] Gill, P. E., Murray, W. & Wright, M. H. (1989). Numerical Linear Algebra and
Optimization, vol. 1, USA: Adisson Wesley.
[24] Gonzlez, R. C. & Woods, R. E. (2001). Digital Image Processing,USA: Prentice
Hall.
[25] Grimaldi, R. P. (1998). Matemticas discreta y combinatoria, Mxico: Addison
Wesley.
[26] Grossman, S. I. (1996). Algebra lineal, Mxico: McGraw-Hill.
[27] Haykin, S. (1999). Neural Networks, A Comprehensive Foundation, USA: Prentice
Hall.
[28] Haralick, R. M., Sternberg, S. R. & Zhuang, X. (1987). Image analysis using
mathematical morphology, IEEE Transactions on Pattern Analysis and Machine
Intelligence, PAMI-9, 4, 532-550.
[29] Hassoun, M. H. (Ed.) (1993). Associative Neural Memories, New York: Oxford
University Press.
[30] Hassoun, M. H. (1995). Fundamentals of Artificial Neural Networks, Cambridge:
MIT Press.
BIBLIOGRAFA
94
[31] Ho, S. Y., Liu, C. C. & Liu, S. (2002). Disign of an optimal nearest neighbor
classifier using an intelligent genetic algorithm, Pattern Recognition Letters, 23
(2002), 1495-1503.
[32] Hopfield, J.J. (1982). Neural networks and physical systems with emergent collective computational abilities, Proceedings of the National Academy of Sciences,
79, 2554-2558.
[33] Hopfield, J.J. (1984). Neurons with graded respose have collective computational
properties like those of two-state neurons, Proceedings of the National Academy
of Sciences, 81, 3088-3092.
[34] Huang, Y. S., & et. al. (2002). Prototype optimization for nearest-neighbor classification, Pattern Recognition, 35 (2002), 1237-1245.
[35] Kittler, J. & Alkoot, F.M. (2003). Sum vesus Vote Fusion in Multiple Classifier
Systems, IEEE Transations on Pattern Anlisis and Machine Intellegence, vol.
25, no. 1, 110-115.
[36] Kishan, M., Chilukuri, K. M. & Sanjay, R. (1997). Elements of Artificial Neural
Networks, USA: MIT Press.
[37] Kohonen, T. (1972). Correlation matrix memories, IEEE Transactions on Computers, C-21, 4, 353-359.
[38] Kohonen, T. (1974). An adaptive associative memory principle, IEEE Transactions on Computers, C-24, 4, 444-445.
[39] Kohonen, T. (1987). Content-Addressable Memories, Berlin: Springer-Verlag.
[40] Kohonen, T. (1989). Self-Organization and Associative Memory, Berlin: SpringerVerlag.
[41] Kohonen, T. (1997). Self-Organizing Maps, Berlin: Springer.
[42] Kohonen, T. & Ruohonen, M. (1973). Representation of associated data by matrix
operators, IEEE Transactions on Computers, C-22, 701-702.
[43] Kuncheva, L. I. (2000). Fuzzy Classifier Design, Germany: Physica-Verlag.
[44] Kuncheva, L. I. (2002). A theoritical Study on Six Classifier Fusion Strategies,
IEEE Transations on Pattern Anlisis and Machine Intellegence, vol. 24, no. 2,
281-286.
[45] Lang, S. (1976). Algebra lineal, Mxico: Fondo Educativo Interamericano.
[46] Leithold, L. (1994). Matemticas previas al clculo, Mxico: Harla.
[47] Lewis, R. H. & Papadimitriou, C. H. (1998). Element of the theory of compatation,
USA: Prentice-Hall.
BIBLIOGRAFA
95
[48] Lu, Y. & Tan, C. L. (2002). Combination of mltiple classifiers using probabilistic
dictionary and its application to pastcode recognition, Pattern Recognition, 35
(2002), 2823-2832.
[49] Marqus de S, J. P. (2001). Pattern Recognition, Concepts, Methods and Application, Germany: Springer.
[50] McCulloch, W. & Pitts, W. (1943). A logical calculus of the ideas immanent in
nervous activity, Bulletin of Mathematical Biophysics, 5, 115-133.
[51] McEliece, R., Posner, E., Rodemich, E. & Venkatesh, S. (1987). The capacity
of the Hopfield associative memory, IEEE Transactions on Information Theory,
IT-33, 4, 461-482.
[52] Minsky, M. & Papert, S. (1969). Perceptrons, Cambridge: MIT Press.
[53] Murua, A. (2002). Upper Bounds for Error Rates of Linear Combinations of Classifiers, IEEE Transations on Pattern Anlisis and Machine Intellegence, vol. 24,
no. 5, 591-602.
[54] Nakano, K. (1972). Associatron-A model of associative memory, IEEE Transactions on Systems, Man, and Cybernetics, SMC-2, 3, 380-388.
[55] Nicola, G., Masulli, F. & Sperduti, A. (2002). Theorical and experimental anlisis
of a two-stage system for classification, IEEE Transations on Pattern Anlisis and
Machine Intellegence, vol 24, no. 7, 893-904.
[56] Pal, S. (1999). Neuro - Fuzzy, Pattern Recognition: Methods in Soft Computing,
USA: John Wiley & Sons.
[57] Palm, G., Schwenker, F., Sommer F. T. & Strey, A. (1997). Neural associative
memories, In A. Krikelis & C. C. Weems (Eds.), Associative Processing and Processors, (pp. 307-326). Los Alamitos: IEEE Computer Society.
[58] Pandya, A. S. (1996). Pattern recognition with neural networks in C++, Great
Britain: Springer-Verlag.
[59] Rosenblatt, F. (1958). The Perceptron: A probabilistic model for information
storage and organization in the brain, Psychological Review, vol. 65, 386-408.
[60] Pitas, I. (2000). Digital Image Processing Algorithms and Applications, J. Wiley
Sons, Inc.
[61] Ritter, G. X., Sussner, P. & Diaz-de-Leon, J. L. (1998). Morphological associative
memories, IEEE Transactions on Neural Networks, 9, 281-293.
[62] Ritter, G. X., Diaz-de-Leon, J. L. & Sussner, P. (1999). Morphological bidirectional associative memories, Neural Networks, 12, 851-867.
[63] Rueda, L. & Oommen, B. J. (2002). On optimal pairwise linear classifiers for normal distributions the two-dimensional case, IEEE Transations on Pattern Anlisis
and Machine Intellegence, vol. 24, no. 2, 274-273 .
BIBLIOGRAFA
96