Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Redes Neuronales
Redes Neuronales
REDES NEURONALES
2. 1. INTRODUCCION
2.2. HISTORIA
1943 - Teora de las Redes Neuronales Artificiales. Walter Pitts junto a Bertran
Russell y Warren McCulloch intentaron explicar el funcionamiento del cerebro
humano, por medio de una red de clulas conectadas entre s, para experimentar
ejecutando operaciones lgicas. Partiendo del menor suceso psquico (estimado por
ellos): el impulso todo/nada, generado por una clula nerviosa.
El bucle "sentidos - cerebro - msculos", mediante la retroalimentacin produciran
una reaccin positiva si los msculos reducen la diferencia entre una condicin
percibida por los sentidos y un estado fsico impuesto por el cerebro. Tambin
definieron la memoria como un conjunto de ondas que reverberan en un circuito
cerrado de neuronas. [13]
1949 - Donald Hebb. Escribi un importante libro: La organizacin del
comportamiento, en el que se establece una conexin entre psicologa y fisiologa.
Fue el primero en explicar los procesos del aprendizaje (que es el elemento bsico
de la inteligencia humana) desde un punto de vista psicolgico, desarrollando una
regla de como el aprendizaje ocurra. Aun hoy, este es el fundamento de la mayora
de las funciones de aprendizaje que pueden hallarse en una red neuronal. Su idea
fue que el aprendizaje ocurra cuando ciertos cambios en una neurona eran
activados. Tambin intent encontrar semejanzas entre el aprendizaje y la actividad
nerviosa. Los trabajos de Hebb formaron las bases de la Teora de las Redes
Neuronales. [14]
1950 - Karl Lashley. En sus series de ensayos, encontr que la informacin no era
almacenada en forma centralizada en el cerebro sino que era distribuida encima de
l. [13]
1956 - Congreso de Dartmouth. Este Congreso frecuentemente se menciona para
indicar el nacimiento de la inteligencia artificial. Durante el congreso se forj el
trmino "inteligencia artificial". Asistieron, entre otros, Minsky, Simon y Newell. [13]
1957 - Frank Rosenblatt. Comenz el desarrollo del Perceptron. Esta es la red
neuronal ms antigua; utilizndose hoy en da para aplicacin como identificador de
patrones. Este modelo era capaz de generalizar, es decir, despus de haber
aprendido una serie de patrones poda reconocer otros similares, aunque no se le
hubiesen presentado en el entrenamiento. Sin embargo, tena una serie de
limitaciones, por ejemplo, su incapacidad para resolver el problema de la funcin
OR-exclusiva y, en general, era incapaz de clasificar clases no separables
linealmente, este tema acerca del perceptrn se describe con detalle en la seccin
2.10.2. Perceptron Simple. [13]
1959 - Frank Rosenblatt: Principios de Neurodinmica. En este libro confirm que,
bajo ciertas condiciones, el aprendizaje del Perceptron converga hacia un estado
finito (Teorema de Convergencia del Perceptron).[14]
1960 - Bernard Widroff/Marcian Hoff. Desarrollaron el modelo Adaline (ADAptative
LINear Elements). Esta fue la primera red neuronal aplicada a un problema real
(filtros adaptativos para eliminar ecos en las lneas telefnicas) que se ha utilizado
comercialmente durante varias dcadas. [13]
1961 - Karl Steinbeck: Die Lernmatrix. Red neuronal para simples realizaciones
tcnicas (memoria asociativa). [14]
1969 - En este ao surgieron crticas que frenaron, hasta 1982, el crecimiento que
estaban experimentando las investigaciones sobre redes neuronales. Minsky y
Papera, del Instituto Tecnolgico de Massachussets (MIT), publicaron un libro
Perceptrons. Probaron (matemticamente) que el Perceptrn no era capaz de
resolver problemas relativamente fciles, tales como el aprendizaje de una funcin
linealmente no separable. Esto demostr que el Perceptrn era muy dbil, dado que
las funciones linealmente no separable son extensamente empleadas en
computacin y en los problemas del mundo real. A pesar del libro, algunos
investigadores continuaron su trabajo. Tal fue el caso de James Anderson, que
desarroll un modelo lineal, llamado Asociador Lineal, que consista en unos
elementos integradores lineales (neuronas) que sumaban sus entradas. Este
modelo se basa en el principio de que las conexiones entre neuronas son
reforzadas cada vez que son activadas. Anderson dise una potente extensin del
Asociador Lineal, llamada Brain State in a Box (BSB). [14]
1974 - Paul Werbos. Desarroll la idea bsica del algoritmo de aprendizaje de
propagacin hacia atrs (backpropagation); cuyo significado qued definitivamente
aclarado en 1985. [13]
1985 - John Hopfield. Provoc el renacimiento de las redes neuronales con su libro:
Computacin neuronal de decisiones en problemas de optimizacin. [14]
1986 - David Rumelhart/G. Hinton. Redescubrieron el algoritmo de aprendizaje de
propagacin hacia atrs (backpropagation). A partir de 1986, el panorama fue
alentador con respecto a las investigaciones y el desarrollo de las redes neuronales.
En la actualidad, son numerosos los trabajos que se realizan y publican cada ao,
las aplicaciones nuevas que surgen (sobretodo en el rea de control) y las
empresas que lanzan al mercado productos nuevos, tanto hardware como software
(sobre todo para simulacin). [13]
2.3. NEURONA BIOLGICA
nervioso.
Es
una
clula
alargada,
Las neuronas son muy variadas en morfologa y tamao. Pueden ser estrelladas,
fusiformes, piriformes. Pueden medir no ms de cuatro micras o alcanzar las 130
micras. Tambin son muy variadas en cuanto a las prolongaciones: las dendritas y
el cilindroeje o axn. Las dendritas, de conduccin centrpeta, pueden ser nicas o
mltiples.
Por otra parte ante una estimulacin ms intensa disminuye el intervalo entre
pulsos, por lo que la neurona se disparar a mayor frecuencia cuanto mayor sea el
nivel de excitacin. Es decir ante un estmulo mayor la frecuencia de respuesta
aumenta hasta que se alcanza una saturacin conforme se acerca a la frecuencia
mxima
Funcin de salida FI (aI (t-1), que proporciona la salida actual yI (t) = FI(aI (t-1) de la
neurona i en funcin de su estado de activacin.
es la ms comn.
Sern robustas i tolerantes a fallos. En el cerebro mueren todos los das gran
cantidad de neuronas sin afectar sensiblemente a su funcionamiento.
Aprendizaje supervisado.
Aprendizaje no supervisado.
Las
redes
con
aprendizaje
no
supervisado
(tambin
conocido
como
Una tcnica similar emple Hopfield para demostrar que su modelo de red
completamente interconectada era estable en de que la matriz de pesos sinpticos
fuese simtrica y de diagonal nula.
Esta tcnica es tambin la que Cohen, Grossberg y Kosko han aplicado en los
teoremas citados para demostrar la estabilidad de una amplia clase de redes
neuronales realimentadas, autoasociativas y heteroasociativas. As, el teorema de
Cohen-Grossber
determina
las
condiciones
de
estabilidad
para
redes
El enunciado completo de los teorema as como el desarrollo y la explicacin de ellos se pueden ver
en
http://www.nsi.edu/users/izhikevich/publications/arbib.pdf
3
Para mas informacin sobre el mtodo de Lyapunov, ver el articulo Sobre el Mtodo de Lyapunov
en http://www.red -mat.unam.mx/foro/volumenes/vol010/volten_2.html
2.7.
Por lo tanto, los ANS, como los ordenadores convencionales, son mquinas
universales, por lo que para resolver un determinado problema, cualquiera de las
dos aproximaciones sera perfectamente vlida, en principio.
La cuestin que entonces surge es, dado un problema, cul de las dos alternativas,
procesamiento neuronal o convencional, resulta ms eficiente en su resolucin.
Estudiando en el campo de las redes neuronales los aspectos relacionados con la
complejidad computacional, en varios estudios se deduce que los problemas que
requieren un extenso algoritmo o que precisan almacenar un gran nmero de datos,
aprovechan mejor la estructura de una red neuronal que aquellos otros que
requieren algoritmos cortos. As, un ordenador digital resulta ms eficiente en la
ejecucin de tareas aritmticas y lgicas, mientras que un ANS resolver mejor
problemas que deban tratar con grandes bases de datos que almacenen ingentes
cantidades de informacin, y en los que existan muchos casos particulares, como
sucede en los problemas de reconocimiento de patrones en ambiente natural.
De esta manera podemos concluir que un estilo de computacin no es mejor que el
otro, simplemente para cada problema particular se deber elegir el mtodo ms
adecuado, y en el caso de problemas muy complejos, stos deberan ser separados
en partes, para resolver cada una mediante el mtodo ms idneo.[12]
Las aplicaciones ms habituales de las redes neuronales son las relacionadas con
clasificacin, estimacin funcional y optimizacin; en general, el del reconocimiento
de patrones suele considerarse como un denominador comn. Se pueden sealar,
entre otras, las siguientes reas de aplicacin de los sistemas neuronales:
reconocimiento del habla, reconocimiento de caracteres, visin, robtica, control,
procesamiento de seal, prediccin, economa, defensa, bioingeniera, etc.
Asimismo, se estn aplicando ANS para incorporar aprendizaje en los sistemas
borrosos y a la confeccin de sistemas expertos conexionistas. Un rea de intenso
En esta parte del capitulo se trataran los modelos de redes mas populares, as como
sus principales algoritmos, se inicia con los modelos mas sencillos, esto con el fin de
ir introduciendo los conceptos necesarios para describir el perceptron y el algoritmo
denominado backpropagation que servirn de base terica para la experimentacin
hecha en el capitulo 4. No se desarrollaran las redes neuronales no supervisadas
debido a que no son redes diseadas para la forma en que se predicen series de
tiempo, principal objetivo de este trabajo.
Por lo tanto, cada neurona i del asociador lineal lleva a cabo la suma ponderada de
las entradas con sus pesos sinpticos. Es decir esta neurona calcula el potencial
postsinptico por medio de la convencional suma ponderada, cantidad a la que
aplica finalmente una funcin activacin de tipo identidad.
Si bien este tipo de aprendizaje es simple y local, su importancia radica en que fue
pionero tanto en neurociencias como en neurocomputacin, de ah que otros
algoritmos mas complejos lo tomen como punto de partida.
Si los pesos de partida son nulos, el valor final de W para las p asociaciones ser:
conjunto fuente de la unidad A, y las conexiones pueden ser tanto excitatorias como
inhibitorias. [13]
separables (es decir, cuyas regiones de decisin pueden ser separadas mediante
una nica condicin lineal o hiperplano Sea una neurona tipo perceptrn de dos
entradas, x1 y x2 con salida y, cuya operacin se define por lo tanto
o bien
representa una recta (hiperplano, si trabajamos con n entradas) que divide el plano
(espacio) en dos regiones, aquellas para las que la neurona proporciona una salida
0 o 1, respectivamente (Figura 2.11). Luego, efectivamente, una neurona tipo
perceptrn representa un discriminador lineal, al implementar una condicin lineal
que separa dos regiones en el espacio, que representan dos diferentes clases de
patrones.
Figura 2.11: Regin de decisin correspondiente a un perceptrn simple con dos neuronas
de entrada
limitaciones, lo que result decisivo para que muchos de los recursos que se
estaban invirtiendo en redes neuronales se desviasen hacia otros campos ms
prometedores entonces, como era en la poca el de la inteligencia artificial. A finales
de los sesenta ya se apuntaba como solucin a las limitaciones del perceptrn
introducir capas ocultas, pero el problema resida en que si bien se dispona de un
algoritmo de aprendizaje para el perceptrn simple, el denominado algoritmo del
perceptrn (se explicara el algoritmo en la siguiente seccin), no se dispona de
ningn procedimiento que permitiese obtener automticamente los pesos en uno
multicapa, con neuronas ocultas.
Este problema denominado de asignacin de crdito a las neuronas sin conexin
directa con el exterior (consistente en cmo medir la contribucin al error en la
salida de la red neuronal de cada uno de los nodos ocultos que precisamente no
tienen una conexin directa con ella) fue resuelto no mucho ms tarde por Paul
Werbos, pero fue preciso esperar hasta mediados de los aos ochenta para que el
grupo PDP junto con otros grupos de forma independiente) redescubriera un
algoritmo similar que denominaron back-propagation o BP, y diera a conocer a la
comunidad internacional su gran potencial para la resolucin de problemas
prcticos.[12]
Sea un conjunto de p patrones xU , u.=1,,p, con sus salidas deseadas tU . Tanto las
entradas como las salidas solamente pueden tomar los valores -1 o 1 (o bien, 0 o 1,
segn se definan los niveles lgicos). Se tiene una arquitectura de perceptrn
simple, con pesos iniciales aleatorios, y se requiere que clasifique correctamente
todos los patrones del conjunto de aprendizaje (lo cual es posible solamente si son
linealmente separables).
Se decidir del siguiente modo, ante la presentacin del patrn u-simo, si la
respuesta que proporciona el perceptrn es correcta, no se actualizaran los pesos;
si es incorrecta, segn la regla de Hebb de la seccin 2.9.1.1. Se tiene
2.10.3. ADALINE
doptivo), este
con i = 1, ,m.