INSTITUTO TECNOLGICO AUTNOMO DE MXICO

REDES NEURONALES

ADALINE Y MADALINE

Isadora Antoniano Villalobos

Sal Murillo Alemn
Julio lvarez Monroy
Arturo Garmendia Corona
Eduardo Martnez Moreno
Ulises Jurez Miranda

Dr. ngel Fernando Kuri Morales

29-08-2002

ADALINE Y MADALINE
Introduccin e Historia

Desde hace miles de aos se ha estudiado el cerebro humano con en fin de modelar su
funcionamiento, pero fue con el avance de la electrnica que esta idea tom fuerza.

El primer paso se dio en 1943 con el neurofisilogo Warren McCulloch y el matemtico

Walter Pitts quienes escribieron un documento en el cual explicaban el posible
funcionamiento de las neuronas e hicieron un modelo simple de una red neuronal con
circuitos elctricos.

En 1949, Donald Hebb apoya el concepto de neurona y su funcionamiento escribiendo un

libro titulado The Organization of Behavior en el cual comenta la actividad existente en
las neuronas cada vez que son usadas.

En la dcada de 1950, con el avance de las computadoras, se hizo posible simular una red
neuronal. Nathanial Rochester, de los laboratorios de investigacin de la IBM, dio el primer
paso en la simulacin de la red neuronal, pero desafortunadamente fracaso. Posteriormente
se hicieron otras simulaciones ya con xito.

En 1959, Bernard Widrow y Marcian Hoff de la universidad de Stanford desarrollaron un

modelo llamado ADALINE y MADALINE. ADALINE proviene de ADAptive LINear
Element y MADALINE de Multiple ADAptive LINear Element (Many Adalines).
ADALINE fue desarrollado para el reconocimiento de patrones binarios, por ejemplo
predecir el siguiente bit en una lnea telefnica. En la figura 1 podemos observar la
representacin de una ADALINE y su analoga con una Neurona.

ADALINE funciona tomando la suma de los pesos de las entradas y produce una salida con
0 o 1 dependiendo si pasa o no un umbral, esto haciendo analoga al funcionamiento de una
neurona que se dispara si la actividad total procedente de las conexiones con las otras
neuronas sobrepasa un nivel.
Varias ADALINE pueden ser organizadas en capas de tal manera que se obtengan grandes
arquitecturas formando una red MADALINE la cual produce funciones ms complicadas.
MADALINE fue la primera red neuronal aplicada a un problema real, se uso como un filtro
para eliminar el eco en las lneas telefnicas.

En los aos siguientes el neuro-bilogo Frank Rosenblatt comenz a trabajar con el

perceptrn. Se encontr que una simple capa de perceptrones era suficiente para clasificar
un conjunto de valores continuos en una de dos clases.
Desafortunadamente el perceptrn estaba limitado y fue probado por Marvin Minsky y
Seymour Papert durante los aos de desilusin en el libro Perceptrons.

Durante los prximos 20 aos se dejo atrs el estudio de las redes neuronales y fue hasta
1982 con John Hopfield que se retom el inters en la materia. Hopfield present un
documento a la Academia Nacional de Ciencias en el cual a travs de anlisis matemtico
mostraba como las redes neuronales funcionan y para que podran servir.

ADALINE

ADALINE que por sus siglas en ingls significa ADAptive LINear Element es un
dispositivo que consta de un solo elemento de procesamiento, por lo que
tcnicamente no es una red. Sin embargo es un elemento muy importante, ya que de
l se derivan redes ms complejas. En la siguiente figura se muestran los elementos
de una ADALINE.

ADAptive LINear Element

Una ADALINE consiste de un ALC (Adaptive Linear Combiner) y un cuantizador (funcin

bipolar de salida). Se alimenta con un vector de entrada (valores observados) y con una
entrada constante igual a 1 denominada sesgo (bias). Posteriormente se efecta una suma
ponderada de los valores de entrada con sus pesos asociados; si el resultado es positivo, la
salida del ADALINE es 1, en caso contrario es 0 (o -1). En consecuencia ADALINE slo
resuelve adecuadamente problemas binarios linealmente separables.
Algoritmo de Entrenamiento

El entrenamiento del ADALINE est basado en la regla LMS (Least Mean Square) que
busca minimizar el error cuadrtico medio por medio de la regla delta.

Dado un vector de entrada (x0, ..., xn) donde x0 =1, el correspondiente valor de pesos (w 0, ...,
wn) y el valor deseado de salida d, el error cuadrtico es el siguiente:
2
n

E d (t ) Wi (t ) X i (t )
i 1

El objetivo del mtodo es minimizar dicho error mediante la modificacin del vector de
pesos (w0, ..., wn) sumndole un w de tal forma que nos acerquemos al error mnimo en la
direccin del gradiente negativo, es decir, lo ms rpidamente posible.

El procedimiento de derivacin se presenta a continuacin:

2
n
n
E d (t ) 2d (t ) Wi (t )X i (t ) Wk (t )X k (t )
2

i 1 k 1

E n

2 d (t ) Wk (t )X k (t ) X i (t )
Wi k 1

Por lo que el error local ser reducido ms rpidamente si se ajustan los pesos de acuerdo a
la regla delta:

n

W1 (t 1) d (t ) Wk (t ) X k (t ) X i (t )
k 1

El algoritmo de entrenamiento se presenta a continuacin:

1.Inicializar pesos (w1, ..., wn) y threshold (w0)

2.Presentar vector de entrada (x1,...,xn) y la salida deseada d(t)
3.Calcular la salida
n
y (t ) Fh wi (t ) * xi (t ) donde Fh(a) = 1 s a>0 y
i 0 = -1 s a<=0
4. Adaptar los pesos

n

wi (t 1) wi (t ) * d (t ) wk (t ) * xk (t ) * xi (t )
k 0

donde 0 < i < n y es la tasa de aprendizaje

5. Repetir los pasos 2 a 4 hasta que las salidas reales y las deseadas sean iguales para todos
los vectores del conjunto de entrenamiento

Siguiendo este mtodo se garantiza que, para un conjunto de entrenamiento adecuado,

despus de un nmero finito de iteraciones el error se reduce a niveles aceptables. El
nmero de iteraciones necesarias y el nivel de error deseado depende de cada problema
particular.
MADALINE (Multiple ADAptive LINear Element)

Fue una de las primeras redes neuronales multicapa entrenable con mltiples elementos
adaptivos.
Esta estructura fue diseada despus de ADALINE, para ir mas all de la solucin de
problemas linealmente separables.

Consta de una capa de ADALINES y una funcin de mayora cuya respuesta binaria
depende de las respuestas de las ADALINES.

El algoritmo de entrenamiento es el siguiente.

1.Inicializar pesos (w1, ..., wn) y threshold (w0)

2.Presentar vector de entrada (x1,...,xn) y la salida deseada dk(t)
3.Calcular la salida

n donde Fh(a) = 1 si a>0 y

yk (t ) Fh wki (t ) * xi (t ) = -1 si a<=0
i 0 yk(t) es la salida del Adaline k
4.Determinar la salida del Madaline

M(t)=Fmayora(yk(t))
5. Determinar el error y actualizar los pesos
Si M(t) = salida deseada no se actualizan
de otro modo, los elementos Adaline compiten y se actualiza el ganador, es decir al
ADALINE con salida errnea mas cercana a cero en su salida original (y).

n

wci (t 1) wci (t ) * d (t ) wcl (t ) * xl (t ) * xi (t )
l 0
donde 0 < i < n y es la tasa de aprendizaje. c representa al Adaline ganador

6. Repetir los pasos 2 a 5 hasta que las salidas reales y las deseadas sean iguales para todos
los vectores del conjunto de entrenamiento

Ntese que se utiliza la misma regla delta que en el entrenamiento de ADELINES , ya que
los pesos modificados corresponden a estas ltimas.
El inconveniente de la MADALINE es que el proceso de entrenamiento es muy lento pues
se modifican una sola ADALINE en cada iteracin

Bibliografa:
1."Neural Networks. Algorithms, Applications and Programming Techniques
James A. Freeman & David M. Skapura
Addison-Wesley, 1991

2. http://www.csee.wvu.edu/classes/cpe320/presentations/adaline-madaline-
rule.pdf

3.http://www.comp.utas.edu.au/units/kxa252/tutorials/NNetworks.pdf

4.http://www.bioss.sari.ac.uk/tele/newtech/newann.htm

5.http://www.hh.se/staff/denni/SLS_stuff/Lecture_4.ppt

6.http://nn.uidaho.edu/ee578/class2.pdf

7.http://wwww.dacs.dtic.mil/techs/neural/neural4.html

8. http://www.cz3.nus.edu.sg/~chenk/cz3205/notes4_4.htm