Documentos de Académico
Documentos de Profesional
Documentos de Cultura
ADALINEYMADALINE2
ADALINEYMADALINE2
REDES NEURONALES
ADALINE Y MADALINE
29-08-2002
ADALINE Y MADALINE
Introduccin e Historia
Desde hace miles de aos se ha estudiado el cerebro humano con en fin de modelar su
funcionamiento, pero fue con el avance de la electrnica que esta idea tom fuerza.
En la dcada de 1950, con el avance de las computadoras, se hizo posible simular una red
neuronal. Nathanial Rochester, de los laboratorios de investigacin de la IBM, dio el primer
paso en la simulacin de la red neuronal, pero desafortunadamente fracaso. Posteriormente
se hicieron otras simulaciones ya con xito.
ADALINE funciona tomando la suma de los pesos de las entradas y produce una salida con
0 o 1 dependiendo si pasa o no un umbral, esto haciendo analoga al funcionamiento de una
neurona que se dispara si la actividad total procedente de las conexiones con las otras
neuronas sobrepasa un nivel.
Varias ADALINE pueden ser organizadas en capas de tal manera que se obtengan grandes
arquitecturas formando una red MADALINE la cual produce funciones ms complicadas.
MADALINE fue la primera red neuronal aplicada a un problema real, se uso como un filtro
para eliminar el eco en las lneas telefnicas.
Durante los prximos 20 aos se dejo atrs el estudio de las redes neuronales y fue hasta
1982 con John Hopfield que se retom el inters en la materia. Hopfield present un
documento a la Academia Nacional de Ciencias en el cual a travs de anlisis matemtico
mostraba como las redes neuronales funcionan y para que podran servir.
ADALINE
ADALINE que por sus siglas en ingls significa ADAptive LINear Element es un
dispositivo que consta de un solo elemento de procesamiento, por lo que
tcnicamente no es una red. Sin embargo es un elemento muy importante, ya que de
l se derivan redes ms complejas. En la siguiente figura se muestran los elementos
de una ADALINE.
El entrenamiento del ADALINE est basado en la regla LMS (Least Mean Square) que
busca minimizar el error cuadrtico medio por medio de la regla delta.
Dado un vector de entrada (x0, ..., xn) donde x0 =1, el correspondiente valor de pesos (w 0, ...,
wn) y el valor deseado de salida d, el error cuadrtico es el siguiente:
2
n
E d (t ) Wi (t ) X i (t )
i 1
El objetivo del mtodo es minimizar dicho error mediante la modificacin del vector de
pesos (w0, ..., wn) sumndole un w de tal forma que nos acerquemos al error mnimo en la
direccin del gradiente negativo, es decir, lo ms rpidamente posible.
2
n
n
E d 2 (t ) 2d (t ) Wi (t )X i (t ) Wk (t )X k (t )
i 1 k 1
E n
2 d (t ) Wk (t )X k (t ) X i (t )
Wi k 1
Por lo que el error local ser reducido ms rpidamente si se ajustan los pesos de acuerdo a
la regla delta:
n
W1 (t 1) d (t ) Wk (t ) X k (t ) X i (t )
k 1
n
wi (t 1) wi (t ) * d (t ) wk (t ) * xk (t ) * xi (t )
k 0
5. Repetir los pasos 2 a 4 hasta que las salidas reales y las deseadas sean iguales para todos
los vectores del conjunto de entrenamiento
Fue una de las primeras redes neuronales multicapa entrenable con mltiples elementos
adaptivos.
Esta estructura fue diseada despus de ADALINE, para ir mas all de la solucin de
problemas linealmente separables.
Consta de una capa de ADALINES y una funcin de mayora cuya respuesta binaria
depende de las respuestas de las ADALINES.
n
donde Fh(a) = 1 si a>0 y
yk (t ) Fh
w
i 0
ki (t ) * xi (t )
= -1 si a<=0
yk(t) es la salida del Adaline k
4.Determinar la salida del Madaline
M(t)=Fmayora(yk(t))
n
wci (t 1) wci (t ) * d (t ) wcl (t ) * xl (t ) * xi (t )
l 0
donde 0 < i < n y es la tasa de aprendizaje. c representa al Adaline ganador
6. Repetir los pasos 2 a 5 hasta que las salidas reales y las deseadas sean iguales para todos
los vectores del conjunto de entrenamiento
Ntese que se utiliza la misma regla delta que en el entrenamiento de ADELINES , ya que
los pesos modificados corresponden a estas ltimas.
El inconveniente de la MADALINE es que el proceso de entrenamiento es muy lento pues
se modifican una sola ADALINE en cada iteracin
Bibliografa:
2. http://www.csee.wvu.edu/classes/cpe320/presentations/adaline-madaline-
rule.pdf
3.http://www.comp.utas.edu.au/units/kxa252/tutorials/NNetworks.pdf
4.http://www.bioss.sari.ac.uk/tele/newtech/newann.htm
5.http://www.hh.se/staff/denni/SLS_stuff/Lecture_4.ppt
6.http://nn.uidaho.edu/ee578/class2.pdf
7.http://wwww.dacs.dtic.mil/techs/neural/neural4.html
8. http://www.cz3.nus.edu.sg/~chenk/cz3205/notes4_4.htm