Redes Neuronales Apunte

Desarrollos Inteligentes
Redes Neuronales
CAPTULO 2
REDES NEURONALES
El genio es uno por ciento de inspiracin y un
noventa y nueve por ciento de transpiracin
Thomas A. Edison
Objetivo
El estudiante comprender los conceptos de redes
neuronales as como diferentes topologas y modelos
de redes neuronales.
Redes Neuronales
Redes Neuronales.
Las redes neuronales artificiales o sistemas neuronales artificiales, representan
un rea importante de la Inteligencia Artificial (IA), aunque tambin existen
otras disciplinas en las que se incluyen trabajos relativos, entre ellas estn la
electrnica, fsica, biologa, y la psicologa.
En el presente captulo se estudian las redes neuronales artificiales (RNAs)
desde la perspectiva de la I A, en principio se presentan algunos conceptos
principales siendo el modelo de McCulloch y Pitts el medio por el cual se
introduce al lector en este campo. Posteriormente se revisan algunas topologas,
sus tcnicas de aprendizaje y los mtodos de entrenamiento.
Un modelo significativo lo constituye la red Backpropagation (BPN), debido
a que ha sido aplicado por los investigadores y desarrolladores en la mayora de
sus proyectos, por ello se le ha designado para su anlisis una seccin
especfica.
Resulta conveniente asimismo estudiar otros modelos de RNAs con el propsito
de ampliar el conocimiento de las redes neuronales y no permanecer con la idea
de que la red BPN es la nica a utilizar en los desarrollos inteligentes, un de
ellos es el modelo de Cohonen.
Se concluye este captulo con la presentacin de diversas aplicaciones.
2.1 Modelo de Mc Culloch Pitts.

Los trabajos desarrollados por Warren Sturgis McCulloch y Walter Pitts en el
Departamento de Psiquiatra de la Universidad de Illinois en Chicago, durante el
perodo de 1941 a 1952,
establecieron una base importante para el
conocimiento de las redes neuronales. En 1943 publican A logical Calculus of

the ideas Immanent in Nervous Activity, y en 1947 How We Know Universals:
Redes Neuronales
The Perception of Auditory and Visual Forms. Posteriormente en 1952

McCulloch se incorpora al laboratorio de investigaciones electrnicas del
Massachusets Institute of Technology, en donde investig acerca de un modelo
de red neuronal para examinar el sistema de percepcin visual en el ojo de la
rana y el procesamiento de la informacin en el cerebro.
En estos
artculos, McCulloch y Pitts analizan los procesos de cmputo
realizados por las neuronas, no se ocupan de los aspectos fisiolgicos y

morfolgicos de las neuronas, mas bien se enfocan a estudiar las caractersticas
y capacidades computacionales del modelo que proponen, caracterizndolo
como un dispositivo lgico; de esta forma, el modelo neuronal es planteado a
travs de un modelo matemtico.
McCulloch y Pitts parten de cinco consideraciones acerca del comportamiento
de las neuronas:
1. La actividad neuronal es un proceso "todo o nada".
2. Un cierto nmero fijo de sinpsis debe ser excitado dentro de un perodo de
adicin latente en orden de excitar una neurona en cualquier intervalo de
tiempo, y este nmero es independiente de la actividad previa y la posicin de la
neurona.
3. El nico retardo significativo dentro del sistema es el retardo sinptico.
4. La actividad de cualquier sinpsis inhibitoria previene absolutamente la
excitacin de la neurona en ese intervalo de tiempo.
5. La estructura de la red no cambia con el tiempo.
( htpp://proton.ucting.udg.mx/somi/memorias/cibernetica/cib_20.pdf)
Como puede verse, han aparecido algunos trminos que es conveniente
clarificar, a continuacin se establecen algunas conceptualizaciones pertinentes.
McCulloch y Pitts se basan en el cerebro biolgico tal como se encuentra en los
seres vivos, entre ellos el hombre y algunos animales. Las clulas que
Redes Neuronales
conforman estos rganos son llamadas neuronas, cada unidad presenta una
serie de conexiones con otras neuronas mediante una serie de pequeas
ramificaciones llamadas dendritas operando a manera de entradas de seales,
cada clula realiza una transformacin de las entradas generando as una seal
de salida, la cual es enviada a travs de un componente llamado axn a otras
neuronas, el punto preciso de contacto entre el axn y la dendrita se le denomina
sinapsis, as conectadas las neuronas conforman estructuras similares al
concepto de una red.
A este conjunto de consideraciones y conceptualizaciones es lo que se ha dado
en llamar modelo de neurona de McCulloch y Pitts, de este modelo se pueden
obtener algunos razonamientos explicativos:
La neurona de McCulloch y Pitts es un modelo lgico binario, ya que solo
puede exhibir uno de dos estados. Las entradas pueden ser de dos tipos: las
excitatorias que operan en forma positiva para que se presente el disparo, es
decir la seal de salida, y las inhibitorias que operan en forma negativa
oponindose al disparo. Hay un lapso de tiempo dado fijo para la integracin de
las entradas sinpticas, basado en el retardo sinptico observado; esto le da a la
neurona su carcter de trabajo en tiempo discreto.
Efectan una serie de simplificaciones a la actividad neuronal, como son el
considerar que cada entrada sinptica tiene una misma significancia (mismo
peso), que no existen ciclos de realimentacin en la red, y que existe un valor
lmite de acumulacin de energa entrante (umbral) de valor discreto y fijo, el
cual si es rebasado permite que la neurona dispare su seal de salida.
Redes Neuronales
2.1.1 Representacin y funcionalidad del modelo.

El proceso de clculo en una neurona se puede mostrar utilizando una
representacin grfica como se muestra en la figura 2.1.
Figura 2.1 Representacin grfica de una neurona y sus tipos de conexiones.

(http://es.wikipedia.org/neurona_de_McCulloch-Pitts)
Matemticamente esto se puede expresar mediante:
O = s(red)
En donde:
es la suma pesada.
Xi
es el valor de la i-sima entrada (input).
Wi
es el peso (weights) de la conexin entre la i-sima entrada y la neurona.
es el valor umbral (threshold)
O es la salida (output) de la neurona.
S es la funcin no-lineal conocida como funcin de activacin.

La funcin de activacin que se usa es:
Redes Neuronales
Un ejemplo de su funcionamiento lo podemos tener si consideramos una

neurona de este tipo con dos sinpsis excitatorias a su entrada, considerando
unitario el peso de cada una de estas, y un valor umbral de 2.
Es decir:
Si
W1 =w2 = 1
=2
Se pueden presentar las siguientes situaciones:
x1
x2
red
s(red)
-2
-1
-1
Se tendr por lo tanto un comportamiento lgico de una compuerta tipo AND.
2.1.2 Algunas conclusiones respecto al modelo.

McCulloch y Pitts en su trabajo establecieron lo siguiente:
"La regla "todo o nada" de la actividad nerviosa es suficiente para asegurar
que la actividad de cualquier neurona puede ser representada como una
Redes Neuronales
proposicin. Las relaciones fisiolgicas que existen entre las actividades

nerviosas corresponden, desde luego, a relaciones entre las proposiciones; y la
utilidad de la representacin depende de la identidad de estas relaciones con
aquellas de la lgica de proposiciones".
Resulta claro que si con una neurona se puede obtener el comportamiento de
una proposicin lgica, entonces con una red de neuronas se puede efectuar el
clculo de una proposicin lgica compleja. Sugiere esto que el cerebro era
potencialmente un dispositivo lgico y computacional.
Es conveniente clarificar en este momento, que los trabajos de McCulloch y
Pitts fueron desarrollados en una poca en que an no se contaba con los
adelantos cientficos en neurofisiologa, como para poder contar con principios
de funcionamiento inico y elctrico de la actividad neuronal, y poder
establecer que el comportamiento de las neuronas naturales son ms bien de un
convertidor frecuencia-voltaje que como simples compuertas lgicas. Sin
embargo el potencial de este trabajo sigue siendo de importancia vital, pues su
influencia en los modelos subsecuentes de RNAs es innegable.
2.2 Topologas.
El nmero de modelos y tipos de RNAs se ha incrementado considerablemente
a tal grado que es necesario establecer una clasificacin de ellas, para efectuar
una taxonoma se requiere realizar una descripcin formal de la topologa de las
redes, es decir su arquitectura o estructura, que consiste en la organizacin de
las neuronas en la red mediante capas, el nmero de estas capas, el nmero de
neuronas por capa, el grado de conectividad y el tipo de conexiones entre
Redes Neuronales
neuronas; asimismo es conveniente definir un modelo genrico de RNA, en la

presente seccin estableceremos estos elementos.
2.2.1 Modelo genrico de RNA.
Definicin formal de una RNA.
Una definicin formal utiliza el concepto de grafo, el cual se establece como un
objeto consistente de un conjunto de nodos o vrtices, ms un conjunto de
conexiones (links) entre ellos. Una forma de representar el grafo es, dibujando
los nodos como crculos y las conexiones como lneas o flechas.
Definicin: Una red Neuronal artificial es un grafo dirigido, con las siguientes
propiedades:
1)A cada nodo i se asocia una variable de estado Xi.
2)A cada conexin (i,j) de los nodos i,j se asocia un peso Wij .
3)A cada nodo i se asocia un umbral i.
4)Para cada nodo i se define una funcin fi(Xj,Wij, i) que depende de los pesos
de sus conexiones, del umbral y de los estados de los nodos j a l conectados.
Esta funcin proporciona el nuevo estado del nodo.
(Martn del bro, 2007,pp24)
Una red neuronal artificial (RNA) est configurada principalmente por un
conjunto de elementos de proceso (EP), los cuales simulan el comportamiento
de las neuronas naturales del cerebro, tales elementos se encuentran integrados
por capas, siendo as posible tener en una red neuronal una capa de entrada, una
o ms capas ocultas y una capa de salida ; se tienen conexiones entre neuronas,
cada neurona o elemento de proceso, recibe un conjunto de seales de entrada,
las cuales pueden provenir de otras neuronas como es el caso de las capas
ocultas y de salida ( ver figura 2.1), o bien provenir de algn dispositivo externo
Redes Neuronales
como es el caso de las neuronas de la capa de entrada, y generan una seal de

salida, la cual es el resultado de su proceso interno.
Figura 2.2.1 Arquitectura general de una red neuronal
Los conectores entre neuronas permiten la conectividad y representan otra

parte importante en la topologa de las RNAs, los cuales pueden conectar
neuronas de capas diferentes, de la misma capa o a una neurona consigo misma,
las conexiones pueden ser totales o parciales entre capas.
A cada conector entre neuronas se le asocia un factor de peso (W), el cual
simula la sinapsis de las neuronas naturales, la cual es el punto de conexin
entre una neurona y otra, y que se le atribuyen propiedades importantes para el
aprendizaje.
Redes Neuronales
El elemento central de una RNA es el elemento de proceso (EP) o neurona, que

es en donde se realiza el proceso individual, el cual consiste en obtener primero
el clculo de su entrada neta (Netaj ), mediante la expresin siguiente :
n
Netaj = Wi *Xi
i=1
En donde : Wi es el peso de la conexin de entrada que
proviene de la i-sima neurona.
Xi es la seal de entrada que proviene de la
i-sima neurona.
n es el nmero de neuronas de entrada.
Posteriormente se obtiene la seal de salida (Yj) de la neurona, mediante la
aplicacin de una funcin de activacin (treshold)
f(Netaj ), de la siguiente manera:
Yj = f(Netaj )
En donde:
f(Netaj ) es la funcin de activacin de la
j-sima neurona.
Al definir la topologa y configuracin de una red neuronal, se deben establecer
todos y cada uno de estos elementos, es decir, se debe especificar:
- De cuantas capas constar la red.
- Cuantas neuronas se incluirn en cada capa.
- Cual ser la conectividad en la red.
- Qu funcin de activacin se utilizar.
- Qu modelo de aprendizaje se utilizar.
- Y como estar codificada la informacin de entrada
y de salida de la red.
(Hilera Gonzlez Jos Ramn,1995,)
Redes Neuronales
2.2.2 Tipos de redes neuronales artificiales.

En atencin a diferentes aspectos de las RNAs, pueden establecerse diferentes
tipos de arquitecturas neuronales, a continuacin se indican algunas formas de
clasificacin:
En relacin a su estructura en capas, se pueden dividir en redes monocapa
(constan de una sola capa) y redes multicapa (cuyas neuronas se organizan en
mltiples capas).
Considerando el flujo de datos en el sistema, se pueden tener redes
unidireccionales (en la cuales el flujo es solamente en la direccin que v de las
neuronas de entrada hacia las de salida, tambin llamadas feedforward), y
redes recurrentes o realimentadas (la informacin puede fluir en cualquier
sentido, incluido el de la salida hacia la entrada por eso se denominan
feedback).
Atendiendo a la operacin de una RNA como a la de una memoria capaz de
asociar un cierto patrn de entrada con algn patrn de salida, se puede hablar
de una red autoasociativa (si el patrn de entrada es el mismo que el de salida),
o una red heteroasociativa (si el patrn de entrada es diferente al de salida).
El mecanismo de aprendizaje es otro aspecto que permite clasificar las RNAs,
el aprendizaje es el proceso mediante el cual una red modifica sus pesos en
funcin a una informacin de entrada, es as que dependiendo de la naturaleza
de la regla de aprendizaje se pueden tener redes neuronales con aprendizaje
supervisado o redes con aprendizaje no supervisado; la diferencia entre ambos
consiste en la existencia o no de un agente externo(supervisor) que controle
dicho proceso, si coexisten los dos tipos entonces se tendr una red hbrida, y si
se establece un proceso intermedio entre ambos se tendr una red de aprendizaje
reforzado.
Redes Neuronales
Otro criterio relacionado tambin con el aprendizaje, lo constituye el hecho si la

red puede aprender durante su funcionamiento normal lo cual define a las
redes con aprendizaje en lnea ( On Line), o bien si el aprendizaje implica la
desconexin de la red, es decir opera en otro modo del normal (denominado Of
Line ).
Tambin se pueden clasificar las RNAs en funcin de la forma de
representacin de la informacin de entrada y la de salida, algunas solo
permiten ciertos conjuntos de valores discretos dando as lugar a las redes
binarias, otras pueden manejar valores numricos reales en entradas y salidas lo
cual constituye el tipo analgico, asimismo se pueden tener modelos que
trabajan con representaciones de datos difusos obtenindose as las redes difusas
(fuzzy).
2.3 Tcnicas de aprendizaje.

Con el propsito de revisar algunas de las tcnicas de aprendizaje, tomaremos
como ejemplos algunos de los modelos de redes ms tpicos como son las redes
unidireccionales organizadas en capas con aprendizaje supervisado.
Un concepto importante lo constituye el de aprendizaje, la corriente
conductista
en Psicologa establece que:
El aprender consiste en una
modificacin de la conducta, de tal manera que ante un estmulo A la respuesta

ya no es X , sino Y (Gutierrez Saenz Ral, 1996, pp 22). Esta definicin
establecida no en el contexto de las redes neuronales, aplica de una manera casi
completa a los procesos y tcnicas de aprendizaje utilizadas en ellas.
Redes Neuronales
En la presente seccin se tratarn los siguientes aspectos relacionados con las

tcnicas de aprendizaje: El mecanismo bsico de aprendizaje en las RNAs, las
reglas de aprendizaje ms comunes y los paradigmas
de las arquitecturas
empleados en ellas.
2.3.1 El mecanismo bsico de aprendizaje.
Como se estableci en la seccin 2.1, una red neuronal consiste de un conjunto
de elementos de proceso (EP) denominados neuronas, las cuales se encuentran
agrupadas en subconjuntos llamados capas, cada elemento j recibe un
conjunto de entradas Xi, las cuales provienen de cada una de las neuronas i
pertenecientes a la capa anterior, a cada una de estas entradas se le asocia un
valor numrico Wij llamado peso de conexin entre las neuronas i y la j
segn se muestra en la figura 2.3.1.
Figura 2.3.1 Elemento de proceso de una red neuronal
Redes Neuronales
La neurona j-sima realiza su proceso sumando los productos de los valores de

entrada Xi por los pesos Wij, obteniendo as el valor denominado Neta.
n
Neta = Wij * Xi
i=0
A este valor obtenido de Neta, se le aplica la funcin f conocida como
funcin de transferencia, obtenindose as el valor de salida Yj.
Yj = f(Neta)
Se utilizan diferentes tipos de funciones de transferencia, por ejemplo: la

funcin escaln, el sigmoide, el seno, o algunas funciones lineales.
Esta
funcin es definida en tiempo de diseo y no se cambia dinmicamente sino que

se mantiene fija.
Sin embargo los pesos Wij son variables, ellos son ajustados dinmicamente
para producir un cierto valor de salida Yj , esta modificacin de los pesos es lo
que constituye la esencia del aprendizaje en una sola neurona, ajustar los pesos
a nivel de toda una red conforma el comportamiento inteligente del sistema
emulando el acto de aprender.
El proceso de ajuste de los pesos se debe realizar siguiendo una frmula
matemtica denominada regla de aprendizaje, la cual representa la clave para
realizar el objetivo deseado, a dicho proceso se le conoce como
entrenamiento.
Aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en
respuesta a una entrada externa (McCord Nelson Marilyn,1991, pp131) .
Redes Neuronales
2.3.2 Reglas de aprendizaje ms comunes

Los investigadores han continuado desarrollando nuevas reglas de aprendizaje,
sin embargo existen algunas que normalmente se utilizan. A continuacin se
revisarn algunas de estas.
Regla de Hebb
Esta regla es un modelo clsico de aprendizaje, fue establecida por Donald
Hebb en 1949, esta basado en una forma
de aprendizaje en las neuronas
biolgicas, y que se puede enunciar de la siguiente manera:

Si un axn presinptico causa la activacin de cierta neurona postsinptica, la
eficacia de la sinapsis que las relaciona se refuerza
(Martn del Bro Bonifacio, 2007, pp 44)
Lo cual aplicado a un elemento de proceso en una RNA, se podra establecer de
la siguiente manera:
La modificacin al peso Wij que conecta la neurona i con la j, de un instante t a
otro instante t + t , expresado mediante:
Wij (t + t) = Wij(t) + Wij
El incremento Wij se calcula de una manera proporcional al producto de la
entrada Xi por la salida Yj segn se indica en la siguiente expresin:
Wij = XiYj
En donde es un parmetro de proporcionalidad denominado ritmo de
aprendizaje, que puede ser un valor entre 0 y 1.
Regla delta
Est basada en la idea de continuar modificando el refuerzo de las conexiones
para reducir la diferencia entre el valor de la salida deseada y el valor de la
salida actual de una neurona, a esta regla tambin se le conoce como regla de
Redes Neuronales
Widrow Hoff utilizada en el modelo de red ADALINE e introducida por

Widrow en 1959. Tambin se aplica en la regla LMS (Least Mean Squares).
Regla del Gradiente descendente
Esta regla representa un enfoque matemtico para minimizar el error entre la
salida actual y la deseada. Los pesos son modificados por una cantidad
proporcional a la primera derivada del error con respecto al peso.
Ley de aprendizaje de Kohonen
Desarrollada por Teuvo Cohonen e inspirada por el aprendizaje en sistemas
biolgicos, es empleada solamente en aprendizaje no supervisado, en este
modelo las neuronas compiten por la oportunidad de aprender, el elemento con
la mayor salida es declarado ganador, y tiene la capacidad de inhibir a sus
competidores y excitar a sus vecinos. Solamente el ganador puede proporcionar
una salida, y junto con sus vecinos puede modificar sus pesos.
El tamao de la vecindad puede variar dinmicamente, inicialmente se emplean
valores grandes y posteriormente se va reduciendo el rango de valores.
Regla de aprendizaje Back Propagation
Esta tcnica es la generalizacin ms comnmente utilizada de la regla delta,
involucra dos fases: La primera fase conocida como fordward phase ocurre
cuando se presenta una entrada a la red, la cual es propagada por toda la red
hacia delante en direccin de la capa de salida ; la segunda llamada Backward
phase se realiza hacia atrs, de la capa de salida hacia la capa de entrada, el
error es el que se propaga, es decir, los pesos se ajustan de acuerdo al valor de
error cometido.
Esta tcnica ser analizada en detalle posteriormente.
Redes Neuronales
Regla de Grossberg
Stephen Grossberg estableci una regla de aprendizaje combinando el
aprendizaje Hebbiano con el olvido biolgico.
Cada red neuronal es hecha de instars y outstars, un instar es una neurona
recibiendo muchas entradas, un outstar es una neurona enviando su salida a
muchas otras neuronas. Si la actividad entrante y saliente de una neurona es alta,
los pesos cambiarn significativamente, sin embargo si ambas seales de
entrada y salida son pequeas, entonces los pesos sern modificados en valores
muy pequeos, los cuales pueden ser considerados como conexiones sin
importancia y pueden ser olvidados. El tipo de red neuronal a la que se aplica
esta regla es la ART.
2.4 Mtodos de entrenamiento.
Entrenamiento es el proceso mediante el cual una red neuronal aprende. El
formador provee a la red con ejemplos de las respuestas deseadas, a los cuales
se les conoce como patrones de entrenamiento, la diferencia entre la salida
obtenida y la salida deseada representa la pauta y medida de ajuste de los pesos
de conexin, esto se realiza utilizando una regla de aprendizaje, posteriormente
se prueba con ejemplos sin salidas para los cuales la red debe crear grupos con
caractersticas similares, a estos patrones se les denomina patrones de prueba.
El entrenamiento podra incluir actividades como proveer acceso a bases de
datos en donde radican los patrones de entrenamiento, colocar objetos frente a
sensores de algn tipo, o bien presentar imgenes.
Despus del entrenamiento, el sistema est listo para utilizarse. Dependiendo de
la tarea a ser realizada, la red podra
almacenar los valores de los pesos
ptimos, y deshabilitar el proceso de aprendizaje, e iniciar la siguiente fase que

es la de operacin, esto se realiza en la mayora de las redes neuronales, excepto
para aquellas en las cuales se debe continuar ajustando los pesos para adaptarse
Redes Neuronales
a condiciones cambiantes, tal como sistemas que efectan procesos de control

en tiempo real.
Cuando se disea una red, se parte de un cierto modelo de neurona y de una
cierta arquitectura de la red, para que esta resulte operativa es necesario
entrenarla, siendo as requerido utilizar un mtodo apropiado. El entrenamiento
se puede realizar en dos niveles, el ms utilizado es el modelado de las sinapsis,
que consiste en modificar los pesos de conexin siguiendo una cierta regla de
aprendizaje, la cual busca optimizar una funcin de error o costo que mide la
eficacia de operacin de la red.
Otros sistemas neuronales consideran un nivel mayor de aprendizaje, el cual
consiste en la creacin o destruccin de neuronas modificando inclusive la
arquitectura de la red.
En la presente seccin se revisarn algunos de los mtodos bsicos de
entrenamiento en general y se analizarn ejemplos especficos ilustrativos de
entrenamiento, ya que en secciones posteriores se estudiarn a profundidad los
mtodos que se aplican con ms frecuencia.
Aprendizaje supervisado
En el aprendizaje supervisado se presenta a la red un conjunto de patrones junto
con la salida deseada, y en forma iterativa se van ajustando los pesos sinpticos
hasta que la salida obtenida observe un error mnimo aceptable.
Si E(W) es una funcin de los pesos W, que representa el error esperado de la
salida de la red.
En el aprendizaje supervisado se pretende estimar una funcin f desconocida tal
que f: n m la cual representa a la red, a partir de muestras o patrones
Redes Neuronales
(X,Y) siendo X n, Y m , por medio de la minimizacin iterativa de E(W)

utilizando algn algoritmo del tipo de descenso por el gradiente (Martn del
Bro Bonifacio, 2007, pp 27).
Aprendizaje no supervisado
En este mtodo la red no utiliza influencia externa para ajustar sus pesos, en
lugar de ello se tiene un sistema de monitoreo interno de la ejecucin del
sistema, el cual observa tendencias en las seales de entrada y efecta
adaptaciones de acuerdo a la funcin de la red, para ello debe contar con alguna
informacin de cmo debe organizarse ella misma. Un ejemplo puede ser una
red que aprende a desplazar un objeto mvil en un ambiente dinmico.
Un algoritmo de entrenamiento no supervisado podra enfatizar la cooperacin
entre clusters (grupos) de neuronas, cada cluster trabajara en conjunto con
otro cluster y tratar de estimularlo segn se presente la seal de entrada. Otra
manera de operar podra ser por competencia entre los clusters, de tal manera
que se aumente o disminuya la actividad en algunos de ellos segn sea la
entrada que se presente, as se podran obtener clusters especializados en cierto
tipo de seales entrantes (McCord Nelson Marilyn, Illingwhorth W.T., 1991,
pp132) .
En el aprendizaje no supervisado se presenta a la red un conjunto de patrones
sin adjuntar la salida deseada. La red por medio de la regla de aprendizaje
estima p(X), la cual es una funcin de densidad de probabilidad de los patrones
X de entrada, siendo X n . A partir de p(X) puede reconocer regularidades en
el conjunto de entradas, extraer rasgos, o agrupar patrones segn su similitud.
Un ejemplo tpico de este tipo de aprendizaje es el de los mapas
autoorganizados.
Redes Neuronales
Aprendizaje hibrido
En este mtodo de aprendizaje se combinan ambos tipos de entrenamiento, el
supervisado y el no supervisado, los cuales tienen lugar normalmente en
distintas capas de neuronas. El modelo de contra-propagacin es un ejemplo de
esta forma de entrenamiento (Martn del Bro Bonifacio, 2007, pp 28).
Aprendizaje reforzado
Es un tipo de aprendizaje que se puede ubicar entre el supervisado y el
autoorganizado. Se emplea informacin sobre el error cometido, pero existe un
nica seal de error, no se suministra la salida deseada, tambin se denomina
aprendizaje por premio-castigo.
2.5
Back Propagation.
La red de propagacin hacia atrs (BPN) fue inicialmente propuesta por

Werbos en 1974, posteriormente por Parker en 1982 y finalmente ha sido
desarrollada, formalizada y popularizada por David Rumelhart, Hinton y
Williams en 1986 ; este modelo es el que mayor aplicacin tiene en la
actualidad para resolver problemas que requieran el reconocimiento de patrones
complejos, o bien el aprendizaje de la asociacin entre patrones dados de
ejemplos y sus clases correspondientes, en la entrada puede haber tramas
incompletas o con ruido, y la red debe asociarlas con mayor aproximacin.
En esta seccin estudiaremos con detalle este tipo de red neuronal y su mtodo
de entrenamiento asociado.
Redes Neuronales
La red Backpropagation (propagacin hacia atrs)

La red BPN debe su nombre al algoritmo de aprendizaje que se utiliza, el cual
est basado en una regla denominada Delta generalizada que es una versin
simplificada del mtodo de gradiente descendente, actualmente se desarrollan
trabajos tendientes a mejorar la velocidad de convergencia y la posibilidad de
eliminar problemas de llegar a mnimos locales durante el entrenamiento,
traducindose esto en mejores algoritmos para sta red.
La estructura de la red BPN consiste en una capa de entrada con n neuronas,
una capa de salida con m neuronas y una o ms capas ocultas con cualquier
nmero de neuronas cada una. Cada neurona de una capa oculta recibe sus
entradas desde todas las neuronas de la capa anterior, y enva su salida a todas
las neuronas de la capa siguiente, las neuronas de la capa de entrada reciben
cada una un componente del patrn de entrada y lo transmiten directamente a
todas y cada una de las neuronas de la primera capa oculta (si no hay capas
ocultas, lo envan a la capa de salida), las neuronas de la capa de salida reciben
sus entradas de todas las neuronas de la ltima capa oculta y transmiten su
salida hacia el exterior directamente.
No se tienen conexiones entre neuronas de una misma capa, ni tampoco
conexiones hacia atrs de una capa a otra, ni retroalimentacin de una neurona
consigo misma, existiendo la posibilidad de tener unidades de polarizacin o de
tendencia en todas las capas menos en la de entrada.
El funcionamiento de la red BPN se da de la siguiente manera:
Suponiendo que en principio ya se ha entrenado debidamente, es decir la red ya
puede asociar perfectamente (o aproximadamente) tramas de entrada con sus
correspondientes tramas de salida, los pesos W de conexin ya se han
determinado aceptablemente.
Redes Neuronales
Para la explicacin siguiente supondremos que tenemos una red de tres capas
(sin prdida de generalidad), una capa de entrada, una capa de salida y una capa
oculta.
Se presenta una trama de entrada X, sus componentes son recibidos por las
neuronas de la capa de entrada (se tienen n neuronas), la propagacin hacia
adelante se contina determinando la entrada neta a las neuronas de la capa
oculta mediante la frmula siguiente:
Neta hi = X1We1hi + X2We2hi + . . . + XnWenhi + h
Para i = 1,m
En donde :
Xj
Representa la entrada j-sima a la neurona

i-sima de la capa oculta h.
We1hi Representa el peso de conexin de la k-sima

neurona de entrada a la i-sima neurona de la
capa oculta h.
h
Es el factor de tendencia o polarizacin de la capa

oculta h.
La funcin de activacin muy frecuentemente utilizada en la red BPN es la

funcin sigmoide dada por la siguiente expresin:
y = f(Neta) = 1/(1+e-Neta)
Aplicando esta funcin en cada neurona de la capa oculta, se obtiene la seal de
salida dada por los valores siguientes:
yi = f(Neta hi )
Redes Neuronales
Para i = 1,m
Siendo f la funcin sigmoide.

Las seales yi se propagan hacia la capa de salida, ahora la entrada neta a las
neuronas de la capa de salida son determinadas mediante la expresin siguiente:
Neta oj = Wh1oj Yh1 + Wh2oj Yh2+ . . . + Whmoj Yhm + 0

Para j= 1,s
En donde:
Wwhoj Es el peso de conexin de la neurona k-sima de
la capa oculta a la unidad j-sima de salida.
Yhk
Es la salida de la neurona k-sima de la capa

oculta .
Es el nmero de neuronas en la capa de salida.
Es el valor de tendencia para la capa de salida.
Finalmente las seales de salida Y son obtenidas nuevamente aplicando la

funcin f sigmoide de la siguiente manera:
Yk = f(Neta ok )
Para k = 1,s
Esta seal de salida Y, es el vector que se debe corresponder con el vector de

entrada X del mapeo que ha aprendido la red durante su entrenamiento.
La regla Delta Generalizada utilizada en el entrenamiento de la red BPN.
Redes Neuronales
Para entrenar una red, cuya fase se mostrar a continuacin, se deben tener los
siguientes elementos:
- Un conjunto de datos correspondientes a patrones de entrenamiento dados por
los vectores Xp, Dp para p = 1,np siendo np el nmero total de patrones
con que se cuenta.
- Un conjunto de datos de prueba denominados patrones de prueba Xd, Dd
para d= 1,nd siendo nd el nmero total de patrones.
Los pasos a seguir para el entrenamiento de la red se dan a continuacin,

utilizando para ello la regla de aprendizaje denominada Delta Generalizada,
que no es otra que el mtodo de gradiente descendiente
(Hilera Gonzlez Jos
Ramn, 1995):
1.
Inicializar los pesos de conexin de la red Wih y Who .
2.
Presentar un patrn de entrada Xp a la capa de entrada, y mantener su

correspondiente salida deseada Dp.
3.
Propagar hacia adelante la seal de entrada Xp mediante los siguientes

pasos :
. Calcular las entradas netas a la capa oculta: Netah
. Calcular la salida de la capa oculta Yhr.
. Calcular las entradas netas a la capa de salida Netah.
. Calcular la salida de la capa de salida Y.
4.
Redes Neuronales
Calcular el error () de todas las neuronas de la red :
Para las neuronas de la capa de salida:

opk = (Dpk - Ypk )f(Netaok )
Considerando que la funcin f es el sigmoide, entonces el error se
determina de la siguiente manera:
opk = (Dpk - Ypk ) Ypk (1-Ypk )
Por otra parte, para las neuronas de la capa oculta, el error se calcula
mediante:
hpj = (1 - Xpj ) Xpj opk Wo kj
En donde:
k = 1,s
5.
j = 1,m.
Actualizar los pesos :
. De la capa de salida Who mediante la siguiente expresin :

Who (t+1) = Who (t) + opk Y pk
. De la capa oculta Wih mediante la expresin:
Wih (t+1) = Wih (t) + hpj X pi
6.
Calcular el error cuadrtico dado por la la expresin :

Ep = (1/2)(pk)2
k
para k=1,np
Si Ep es menor que un cierto valor de error aceptable predeterminado,

entonces terminar, si no ir al paso 2.
Redes Neuronales
2.6 Modelo de Cohonen.

As como BackPropagation es el tipo de red neuronal mas utilizada en los
modelos supervisados, el de Kohonen es uno de los ms populares modelos no
supervisados o autoorganizados, estos ltimos se caracterizan porque en su
entrenamiento se presentan patrones que solo contienen datos de entrada sin
incluir las salidas deseadas, adems de no requerir un entrenador externo que
indique si la red neuronal est operando debidamente, pues no existen salidas
deseadas, sino que la red por s misma debe descubrir caractersticas comunes
de los datos, regularidades o tendencias y categoras, de tal manera que durante
su entrenamiento la red incorpore a su estructura interna, por esto se conoce
tambin a este modelo como mapa autoorganizado de Kohonen.
En esta seccin se ver con cierta profundidad lo concerniente a los mapas
autoorganizados de Kohonen. En cuanto a su conceptualizacin, clasificacin,
entrenamiento y aplicacin.
Los mapas autoorganizados
Durante la dcada de los ochenta el fsico finlands Teuvo Cohonen desarroll
los mapas autoorganizados SOM ( Self Organizing Maps) o bien SOFM ( Self
Organizing Feature Maps), como una continuacin de la lnea de investigacin
de las redes competitivas iniciada por Von der Malsburg (Martn del Bro
Bonifacio, 2007, pp 88).
Se puede observar que en el cortex del cerebro de los animales superiores se
presentan zonas en donde las neuronas detectoras de rasgos, se distribuyen
topolgicamente ordenadas, de tal manera que cada zona posee grupos de
neuronas que representan de alguna manera una parte sensora del organismo,
como pueden ser las manos, la vista, el odo, etc. Caracterstica que los mapas
de Kohonen tratan de reproducir.
Redes Neuronales
La arquitectura de las redes SOFM est constituida por dos capas de neuronas,
la primera capa que es la de entrada o sensorial esta formada por m neuronas,
una por cada variable de entrada comportndose como buffers que distribuyen
la seal proveniente del exterior hacia las neuronas de la segunda capa en forma
unidireccional.
La segunda capa est integrada por neuronas que conforman el mapa de rasgos
y por tanto ser la capa de salida, que es en donde se realizan los clculos, sus
neuronas se organizan en una estructura rectangular de nxn elementos, a cada
una se le suelen asociar los ndices i,j.
Cada neurona de entrada (k = 1, m), est conectada a todas las neuronas del
mapa de salida (i,j) mediante pesos sinpticos Wkij como se muestra en la
figura 2.6.1.
(Valluru B. Rao, Hayagriva V. Rao, 1995)
Figura 2.6.1 Arquitectura de una red SOFM.

La idea comn de estos modelos es el agrupamiento de patrones, ya que
desarrollan clusters (grupos) de neuronas asociadas a dichos patrones.
Redes Neuronales
Clasificacin de las redes autoorganizadas

Como ya se mencion anteriormente este tipo de modelos tienen entrenamiento
no supervisado y de acuerdo a la regla de aprendizaje, pueden clasificarse en
dos grandes categoras: Los mapas autoorganizados Hebbianos y las redes
competitivas.
Los mapas autoorganizados Hebbianos como su nombre lo indica utilizan para
su aprendizaje una regla tipo Hebb, algunas emplean este modelo directamente,
otras derivan reglas diferentes pero basadas en este tipo de modelo de
aprendizaje. Estas redes se caracterizan por tener una cantidad numerosa de
neuronas de salida que pueden activarse simultneamente.
Otro grupo importante de modelos autoorganizados son las redes no
supervisadas competitivas, cuya caracterstica esencial consiste en que
solamente una neurona o sus vecinas pueden activarse. Durante el proceso
operativo de estas redes se realiza una competencia entre las neuronas, la
ganadora tiene la capacidad de inhibir a las dems por eso tambin se conocen a
este tipo de modelo como redes WTA (Winner Take All). En cuanto a su proceso
de entrenamiento, tambin se lleva a cabo mediante competencia, las neuronas
ganadoras refuerzan sus conexiones sinpticas.
Algoritmo de aprendizaje autoorganizado

En principio es importante sealar que no se tiene un algoritmo de aprendizaje
nico para los modelos SOM, existen diversos con variantes en diferentes
aspectos, sin embargo la solucin a la que se llega no debe de diferir en forma
significativa. A continuacin se muestra un algoritmo tpico (Martn del Bro
Bonifacio, 2007, pp 92):
Redes Neuronales
Paso 1. Inicializar los pesos sinpticos Wij.

En el instante t = 0, se pueden inicializar de varias
formas:
- En forma aleatoria
- Valores nulos
- Con un valor preestablecido
Paso 2. Presentar un patrn X(t) de entrada.
Paso 3. Cada neurona i-sima (con coordenadas i,j en el mapa)
calcula la similitud entre su vector de peso sinptico Wij y el
actual vector X de entrada. Un criterio muy comn de
similitud lo constituye la distancia Euclidiana:
n
|Wij X| = d (Wij,X) = (Wijk Xk)2
k=1
Paso 4. Determinar la neurona ganadora c, cuya distancia sea la
2
menor de todas.
Paso 5. Actualizar los pesos sinpticos
Se actualizan los pesos de la neurona ganadora como los
de sus vecinas, para ello se utiliza alguna regla como la
siguiente:
Wijk(t + 1) = Wijk(t)+ (t)*h(|i c| , t)*(Xk(t) Wijk(t))
En donde:
(t) Es un parmetro llamado ritmo de aprendizaje en t.
disminuye a medida que avanza t, pudiese
utilizarse la expresin (t) = (0)*(1 t/T)
Siendo T el nmero total de iteraciones
(0) el valor inicial de
h(.) Se denomina funcin de vecindad, ya que establece
cuales son las neuronas vecinas de c. Depende de la
distancia entre la neurona i y la ganadora c, valiendo
cero cuando i no pertenece a la vecindad de c.
5
Redes Neuronales
Al igual que , h puede disminuirse a medida que t
Avanza.
Paso 6. Si se ha alcanzado el nmero mximo T de iteraciones

establecido, entonces el proceso termina. En caso contrario
volver al paso 2.
El nmero mximo de iteraciones T debe ser suficientemente grande para
proporcionar resultados estadsticos aceptables, valores de 500 iteraciones por
neurona de salida suelen ser adecuadas.
El ritmo de aprendizaje debe ser menor a 1.0 y mayor a 0.
La funcin de vecindad h(|i c|,t) permite establecer si una neurona i pertenece
a la vecindad de c en un iteracin determinada t. La funcin de vecindad es
simtrica y centrada en c, uno de sus argumentos es la distancia entre la neurona
i-sima con coordenadas (i,j) y la neurona ganadora c cuyas coordenadas las
denominaremos (c1,c2), de esta manera la distancia d se puede expresar segn
la siguiente frmula:
d=
|i c| = ((i-c1)2 + (j c2)2)1/2
Se tienen diferentes tipos de funciones de vecindad h(.), la ms simple es del

tipo escaln definida de la siguiente manera:
H(i-c,t) = 0, si d> R(t)
H(i-c,t) = 1, si d<= R(t)
En donde R(t) es el radio de vecindad actual, puede variar con t, se inicia con
cierto valor Ro grande que no sobrepase la mitad del mapa en un lado y debe
terminar con un valor final Rf = 1, se puede utilizar la siguiente expresin:
R(t) = Ro + (Rf Ro)*(t / T)
Otras funciones de vecindad pueden ser:
Redes Neuronales
- Gaussiana
- Funcin pipa
- Sombrero mexicano
- Rectangular
Procesamiento de datos en una red SOM
Una vez entrenada la red, entra a la fase de operacin normal, en ella se
mantienen los pesos fijos y se efectan las siguientes operaciones:
- Cada neurona (i,j) calcula la similitud entre el vector de pesos Wij con el
vector de entrada X, esto de acuerdo con la medida de distancia o criterio de
similitud establecido.
- Se declara ganadora a la neurona c cuyo vector de pesos Wc es ms similar al
vector de entrada X.
d(Wc, X) = min{ d(Wij,X)}
ij
Aplicaciones de las redes no supervisadas

De acuerdo al procesamiento de datos de este tipo de redes, y a su arquitectura,
se pueden utilizar para realizar varios tipos de tareas entre ellas se encuentran
las siguientes:
- Anlisis de similitud entre patrones. Se pretende establecer el grado de
similitud entre el patrn de entrada actual y el promedio de los presentados
anteriormente.
Redes Neuronales
- Anlisis de componentes principales. Se desea establecer una asociacin

entre los pesos sinpticos de un conjunto de neuronas de salida con los rasgos
ms sobresalientes del espacio sensorial.
- Clustering (Agrupamiento o clasificacin). Cada neurona de salida representa
una categora de patrones, los cuales al presentarse a la red, esta en su operacin
activa a solamente una neurona, obtenindose as la indicacin de a qu grupo
pertenece el patrn de entrada presentado.
- Memoria asociativa. Es un caso general del de Clustering, en este caso no
solamente se establece a qu categora pertenece el patrn de entrada, sino que
tambin se puede desplegar informacin prototipo de la clase.
- Codificacin. Es similar al caso anterior, solo que en esta ocasin se despliega
no informacin prototipo, sino una etiqueta codificada.
- Mapas de rasgos. Las neuronas de salida se ordenan geomtricamente ( en
forma de matriz bidimensional), realizando una proyeccin del espacio sensorial
de entrada pero preservando la topologa del espacio original y reduciendo sus
dimensiones o eliminando rasgos insignificantes.
Generalmente realizan tareas de clasificacin de patrones, sin embargo tambin
pueden ser tiles en tareas como: aproximacin funcional, procesamiento de
imgenes, anlisis estadstico, optimizacin combinatorial, monitorizacin de
procesos, representacin de funciones de densidad de probabilidad y minera de
datos.
2.7 Otros modelos
Redes Neuronales
En las secciones anteriores se han tratado algunos de los modelos ms comunes

representativos de las redes neuronales, sin embargo es conveniente completar
el panorama con otros modelos que pueden ser tambin importantes desde la
perspectiva histrica y terica prctica, se vern a continuacin los modelos
Adaline, el Perceptrn y para concluir se revisar un tipo de red realimentada
como es el modelo de Hopfield.
Modelo de Hopfield
El fsico norteamericano J. J. Hopfield desarroll a principios de los aos
ochenta una arquitectura de red neuronal similar a las denominadas como
memorias asociativas, siendo su propuesta muy importante porque inyect en su
momento nuevos impulsos para el avance de la investigacin en este campo.
Las redes de Hopfield son el modelo clsico de red recurrente, su arquitectura
consiste en una nica capa de neuronas, todas ellas conectadas entre s en forma
completa y permitiendo la comunicacin en ambas direcciones ( ver figura
2.7.1), funciona como una memoria asociativa pudiendo almacenar hasta 0.138
N ejemplos de entrenamiento, siendo N el nmero de elementos de proceso de
la red, cada neurona tiene une estado interno Ui y otro externo Vi, la relacin
entre ambos estados viene dada por la siguiente expresin:
n
Ui(t + 1) = Wij*Vj(t) + Ii
j=1
1 si Ui > 0
Vi(t + 1) = f(Ui) =
0 si Ui <= 0
En donde:
Ii es el valor de entrada a la neurona i, con valores binarios (0,1) o (-1,+1).
f(.) es la funcin de transferencia entre los estados internos y externos.
Redes Neuronales
Figura 2.7.1 Arquitectura de la memoria de Hopfield

Sin conexiones de realimentacin.
Tiene conexiones bidireccionales con pesos simtricos Wij = Wji que tienen
valores continuos (nmeros reales), todas las unidades son de entrada y de
salida.
La neurona i calcula el potencial postsinptico Hi de acuerdo a la expresin:
Hi(t) = Wij*Ij(t) i
j
Siendo un umbral de disparo.
Finalmente se aplica al potencial Hi la funcin f (.) que puede ser de tipo
escaln o bien si se emplean valores discretos -1, +1, se puede utilizar la
funcin de transferencia signo: f(x) = sign(x) con valores +1 significa activada y
-1 desactivada. De esta manera se obtiene la salida digital de la neurona i Yi(t):
Yi(t) = f(Hi(t))
En principio para t = 0, cada neurona i recibe del exterior un valor de entrada Ii.
La red interrumpe su comunicacin con el exterior y procesa las entradas
recibidas, para tiempos sucesivos t + 1, las entradas de cada neurona son el
estado en el que se sitan en el instante anterior t. Normalmente se considera el
Redes Neuronales
estado X de un red de Hopfield en t como el estado de activacin de sus

neuronas X(t):
X(t) = ( X1(t), X2(t), ..., Xn(t))
El proceso finalizar cuando se alcance un estado estable X* que cumpla con la
condicin siguiente: X(t + 1) = X(t).
El objetivo del entrenamiento de una red de Hopfield es almacenar un conjunto
de patrones Xp en forma de estados estables, de tal manera que cuando se
presente un patrn de entradas X se obtenga una salida X* que sea uno de los
estados estables de la red que coincida con uno de los patrones Xp almacenados.
El aspecto interesante de operacin de una memoria autoasociativa radica en
que si se presenta en la entrada un patrn con ruido, la memoria asocie el estado
ms prximo al patrn original sin ruido utilizado en el entrenamiento.
Considerando que la regla de activacin se puede enunciar como se indica a
continuacin:
Xi(t + 1) = f(Hi(t))= 1 si Hi(t) > 0 => Xi = Xi(t+1) Xi(t) 0
Xi(t + 1) = f(Hi(t))= 0 si Hi(t) < 0 => Xi = Xi(t+1) Xi(t) 0
Por lo tanto:
Hi(t)* Xi(t) 0 es decir: ( Wij*Ij(t) i)* Xi(t) 0
Se define el incremento de energa de la red Ei al valor obtenido de esta
expresin, por lo que se tiene:
Ei = - ( Wij*Xj(t) i))* Xi(t)
La cual debido a su forma geomtrica, se considera <= 0
A partir de la expresin anterior se puede definir la energa de una neurona i
especfica mediante la frmula:
Redes Neuronales
Ei = -Xi(t)* ( Wij*Xj(t) i)
La energa de la red completa se obtiene sumando la energa de cada una de las
neuronas, considerando que la matriz de pesos es simtrica (Wij = Wji) y que la
diagonal principal es nula (Wii = 0):
n n
n
E = -(1/2)* WijXiXj + i*Xi
i=1 j=1
i=1
La energa de la red siempre estar limitada a un valor, por lo que la red siempre
llegar a un estado de mnima energa, que ser un mnimo local
correspondiente a un estado estable.
Entrenamiento de la red de Hopfield
El aprendizaje de la red consistir en lograr que almacene como estados estables
el conjunto de mnimos locales en la funcin de energa, y por tanto encontrar el
conjunto de pesos sinpticos W que hace que tenga como mnimos locales los
patrones de entrenamiento.
Si se utiliza la regla de Hebb y suponemos que las neuronas son de tipo Ising (es
decir sus estados de activacin son -1 y +1) con umbrales nulos, a partir de un
conjunto p de patrones, la regla de aprendizaje ser la siguiente:
p
Wij = (1/n) Xik*Xjk
K=1
Redes Neuronales
2.8 Aplicaciones Diversas.

La mayora de las aplicaciones de las RNAs, se ubican en alguna de las
siguientes categoras:
(http://www.dacs.dtic.mil/tech/neural/neural.title.html)
-
Prediccin
Clasificacin
Asociacin de datos
Conceptualizacin de datos
Filtracin de datos
En la presente seccin se describirn en forma panormica estas categoras.
Prediccin.
En este tipo de aplicaciones se utilizan valores de entrada para predecir alguna
salida, por ejemplo en las predicciones climatolgicas, en el caso de la bolsa de
valores pronosticar el comportamiento del mercado, identificacin de personas
con riesgo de algn tipo de cncer,etc.
Algunos de los tipos de redes neuronales que se han utilizado para resolver estos
problemas son:
Back Propagation
Mapas autoorganizados dentro de Back-Propagation
Delta Bar Delta
Delta Bar Delta extendida
Bsqueda Aleatoria dirigida
Redes Neuronales de Alto Orden
Redes Neuronales
Clasificacin.
Se trata de identificar a qu clase de objeto pertenecen los datos de entrada que
se presentan a la red, tal es el caso tpico de reconocimiento de patrones como
puede ser entrar una imagen e identificar el objeto que ah se presenta.
Las redes utilizadas en este caso son:
-
LVQ (Learning Vector Quantization)
Counter-Propagation
Redes Neuronales Probabilsticas
Asociacin de datos.
Muy similar a la clasificacin de datos pero tambin reconoce datos que
contienen errores o ruido, como puede ser en los OCR en donde no solamente se
trata de reconocer el caracter que ha sido escaneado, sino tambin identificar
cundo el escner est trabajando en forma inapropiada.
Algunas redes aplicadas para estos casos son:
-
Hopfield
Mquina de Boltzman
Red de Hamming
BAM (Bidirectional Asociative Memory)
Redes Neuronales
Conceptualizacin de datos.
En estas aplicaciones se analizan las entradas con el propsito de inferir
relaciones que permitan integrarlas en grupos, por ejemplo en el caso de extraer
de una base de datos los nombres de aquellas personas que tienen cierta
probabilidad de adquirir un producto en particular.
Las redes neuronales para estos casos son:
-
ART (Adaptive Resonante Network)
SOM (Self Organizing Map)

Filtracin de datos.
Se trata de suavizar una cierta seal de entrada, como en el caso de la
eliminacin del ruido en una lnea telefnica.
Las redes para este tipo de problemas son:
Recirculacin
Adaline
Redes Neuronales
PREGUNTAS
1. McCulloch y Pitts parten de cinco consideraciones acerca del comportamiento de las
neuronas, Cules son?.
2. Proporcione una definicin de red neuronal artificial.
3.Considerando el flujo de datos en el sistema, Cmo se pueden clasificar las redes
neuronales artificiales?.
4. Atendiendo a la operacin de una RNA como a la de una memoria capaz de asociar un
cierto patrn de entrada con algn patrn de salida. De qu tipos de redes se puede
hablar?.
5. La corriente conductista en Psicologa establece una definicin de aprendizaje que aplica
de una manera casi completa a los procesos y tcnicas de aprendizaje utilizadas en las redes
neuronales. Qu dice esa definicin?.
6. Esta regla es un modelo clsico de aprendizaje, fue establecida por Donald Hebb en
1949, esta basado en una forma de aprendizaje en las neuronas biolgicas. De qu manera
se puede enunciar ?.
7. En qu consiste el aprendizaje supervisado?.
8. En qu consiste el aprendizaje no supervisado?.
9. Quin propuso inicialmente la red de propagacin hacia atrs y cuando?, Quin
posteriormente la continu y cuando? Y Quin posteriormente la desarroll, la formaliz,
la populariz y cuando?.
10. Describa cmo est constituida la arquitectura de las redes SOFM.
Redes Neuronales
RETROALIMENTACIN SOBRE LAS PREGUNTAS

1. McCulloch y Pitts parten de cinco consideraciones
acerca del
comportamiento de las neuronas:

1. La actividad neuronal es un proceso "todo o nada".
2. Un cierto nmero fijo de sinpsis debe ser excitado dentro de un
perodo de adicin latente en orden de excitar una neurona en cualquier
intervalo de tiempo, y este nmero es independiente de la actividad
previa y la posicin de la neurona.
3. El nico retardo significativo dentro del sistema es el retardo
sinptico.
4. La actividad de cualquier sinpsis inhibitoria previene absolutamente
la excitacin de la neurona en ese intervalo de tiempo.
5. La estructura de la red no cambia con el tiempo.
2. Una red Neuronal artificial es un grafo dirigido, con las siguientes
propiedades:
1) A cada nodo i se asocia una variable de estado Xi.
2) A cada conexin (i,j) de los nodos i,j se asocia un peso Wij .
3) A cada nodo i se asocia un umbral i.
4) Para cada nodo i se define una funcin fi(Xj,Wij, i) que depende de
los pesos de sus conexiones, del umbral y de los estados de los nodos j a
l conectados. Esta funcin proporciona el nuevo estado del nodo.
3. Considerando el flujo de datos en el sistema, se pueden tener redes
unidireccionales (en la cuales el flujo es solamente en la direccin que va de las
neuronas de entrada hacia las de salida, tambin llamadas feedforward), y
redes recurrentes o realimentadas (la informacin puede fluir en cualquier
Redes Neuronales
sentido, incluido el de la salida hacia la entrada por eso se denominan

feedback).
4. Atendiendo a la operacin de una RNA como a la de una memoria capaz de
asociar un cierto patrn de entrada con algn patrn de salida, se puede hablar
de una red autoasociativa (si el patrn de entrada es el mismo que el de salida),
o una red heteroasociativa (si el patrn de entrada es diferente al de salida).
5. Un concepto importante lo constituye el de aprendizaje, la corriente
conductista
en Psicologa establece que:
El aprender consiste en una
modificacin de la conducta, de tal manera que ante un estmulo A la respuesta

ya no es X, sino Y (Gutierrez Saenz Ral, 1996, pp 22). Esta definicin
establecida no en el contexto de las redes neuronales, aplica de una manera casi
completa a los procesos y tcnicas de aprendizaje utilizadas en ellas.
6. Esta regla es un modelo clsico de aprendizaje, fue establecida por Donald

Hebb en 1949, esta basado en una forma
de aprendizaje en las neuronas
biolgicas, y que se puede enunciar de la siguiente manera:

Si un axn presinptico causa la activacin de cierta neurona postsinptica, la
eficacia de la sinapsis que las relaciona se refuerza.
7. En el aprendizaje supervisado se presenta a la red un conjunto de patrones
junto con la salida deseada, y en forma iterativa se van ajustando los pesos
sinpticos hasta que la salida obtenida observe un error mnimo aceptable.
8. En este mtodo la red no utiliza influencia externa para ajustar sus pesos, en
lugar de ello se tiene un sistema de monitoreo interno de la ejecucin del
sistema, el cual observa tendencias en las seales de entrada y efecta
adaptaciones de acuerdo a la funcin de la red, para ello debe contar con alguna
informacin de cmo debe organizarse ella misma.
Redes Neuronales
9. La red de propagacin hacia atrs (BPN) fue inicialmente propuesta por

Werbos en 1974, posteriormente por Parker en 1982 y finalmente ha sido
desarrollada, formalizada y popularizada por David Rumelhart, Hinton y
Williams en 1986.
10. La arquitectura de las redes SOFM est constituida por dos capas de
neuronas, la primera capa que es la de entrada o sensorial esta formada por m
neuronas, una por cada variable de entrada comportndose como buffers que
distribuyen la seal proveniente del exterior hacia las neuronas de la segunda
capa en forma unidireccional.
La segunda capa est integrada por neuronas que conforman el mapa de rasgos
y por tanto ser la capa de salida, que es en donde se realizan los clculos, sus
neuronas se organizan en una estructura rectangular de nxn elementos, a cada
una se le suelen asociar los ndices i,j.
Cada neurona de entrada (k = 1, m), est conectada a todas las neuronas del
mapa de salida (i,j) mediante pesos sinpticos Wkij.
Redes Neuronales
EJERCICIOS
1. Desarrolle los clculos necesarios para entrenar un clasificador lineal que
realice las operaciones lgicas AND y OR.
2.Qu problemas se presentan para que el clasificador lineal del ejercicio 1
realice la operacin lgica XOR?Porqu?.
3. Disee una red BPN tal que pueda realizar todas las operaciones lgicas
AND, OR, NOT y XOR.
Redes Neuronales
REFERENCIAS WEB:
Htpp://proton.ucting.udg.mx/somi/memorias/cibernetica/cib_20.pdf
Fecha de acceso: 27/Nov/07
El modelo neuronal de McCulloch y Pitts.
http://www.geocities.com/fuentesr_99/ia.pdf
fecha: 27 / nov/07
tema: Redes neuronales
http://es.wikipedia.org/neurona_de_McCulloch-Pitts
fecha: 29/ Nov / 07
tema: modelo de Mcculloch y Pitts.
http://www2.uca.es/dept/leng_sist_informaticos/preal/23041/transpas/HMapasdeKohonen/ppframe.htm
fecha: 12 / Ene/08
tema: modelo de Kohonen
http://www.dacs.dtic.mil/tech/neural/neural.title.html
fecha: Oct/07
tema: Aplicaciones diversas
Redes Neuronales
BIBLIOGRAFA.
Gutierrez Saenz Ral, (1996).- Introduccin a las didctica,
Esfinge
Hilera Gonzlez Jos Ramn, Martnez Hernando Vctor Jos
,(1995).- Redes Neuronales Artificiales. Addison-Wesley
Iberoamericana, E.U.A.
McCord Nelson Marilyn, Illingworth W.T., (1991).- A practical guide to neural
nets. Addison-Wesley, Massachusetts, U.S.A.
Martin del bro Bonifacio, Sanz Molina Alfredo, (2007).- Redes neuronales y
sistemas borrosos, Alfaomega Ra-ma, Mxico D.F.
Valluru B. Rao, Hayagriva V. Rao, (1995) .- C++ Neural Networks and Fuzzy
Logic. MIS:PRESS, USA.

Redes Neuronales Apunte

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Redes Neuronales Apunte

Cargado por

Copyright:

Formatos disponibles

Desarrollos Inteligentes

2.1 Modelo de Mc Culloch Pitts.

establecieron una base importante para el

conocimiento de las redes neuronales. En 1943 publican A logical Calculus of

The Perception of Auditory and Visual Forms. Posteriormente en 1952

artculos, McCulloch y Pitts analizan los procesos de cmputo

realizados por las neuronas, no se ocupan de los aspectos fisiolgicos y

2.1.1 Representacin y funcionalidad del modelo.

Figura 2.1 Representacin grfica de una neurona y sus tipos de conexiones.

es el valor de la i-sima entrada (input).

es el peso (weights) de la conexin entre la i-sima entrada y la neurona.

es el valor umbral (threshold)

O es la salida (output) de la neurona.

S es la funcin no-lineal conocida como funcin de activacin.

Un ejemplo de su funcionamiento lo podemos tener si consideramos una

Se tendr por lo tanto un comportamiento lgico de una compuerta tipo AND.

2.1.2 Algunas conclusiones respecto al modelo.

proposicin. Las relaciones fisiolgicas que existen entre las actividades

neuronas; asimismo es conveniente definir un modelo genrico de RNA, en la

como es el caso de las neuronas de la capa de entrada, y generan una seal de

Figura 2.2.1 Arquitectura general de una red neuronal

Los conectores entre neuronas permiten la conectividad y representan otra

El elemento central de una RNA es el elemento de proceso (EP) o neurona, que

2.2.2 Tipos de redes neuronales artificiales.

Otro criterio relacionado tambin con el aprendizaje, lo constituye el hecho si la

2.3 Tcnicas de aprendizaje.

en Psicologa establece que:

El aprender consiste en una

modificacin de la conducta, de tal manera que ante un estmulo A la respuesta

En la presente seccin se tratarn los siguientes aspectos relacionados con las

Figura 2.3.1 Elemento de proceso de una red neuronal

La neurona j-sima realiza su proceso sumando los productos de los valores de

Se utilizan diferentes tipos de funciones de transferencia, por ejemplo: la

funcin es definida en tiempo de diseo y no se cambia dinmicamente sino que

2.3.2 Reglas de aprendizaje ms comunes

de aprendizaje en las neuronas

biolgicas, y que se puede enunciar de la siguiente manera:

Widrow Hoff utilizada en el modelo de red ADALINE e introducida por

almacenar los valores de los pesos

ptimos, y deshabilitar el proceso de aprendizaje, e iniciar la siguiente fase que

a condiciones cambiantes, tal como sistemas que efectan procesos de control

(X,Y) siendo X n, Y m , por medio de la minimizacin iterativa de E(W)

La red de propagacin hacia atrs (BPN) fue inicialmente propuesta por

La red Backpropagation (propagacin hacia atrs)

Representa la entrada j-sima a la neurona

We1hi Representa el peso de conexin de la k-sima

Es el factor de tendencia o polarizacin de la capa

La funcin de activacin muy frecuentemente utilizada en la red BPN es la

Siendo f la funcin sigmoide.

Neta oj = Wh1oj Yh1 + Wh2oj Yh2+ . . . + Whmoj Yhm + 0

Es la salida de la neurona k-sima de la capa

Es el nmero de neuronas en la capa de salida.

Es el valor de tendencia para la capa de salida.

Finalmente las seales de salida Y son obtenidas nuevamente aplicando la

Esta seal de salida Y, es el vector que se debe corresponder con el vector de

La regla Delta Generalizada utilizada en el entrenamiento de la red BPN.

Los pasos a seguir para el entrenamiento de la red se dan a continuacin,

(Hilera Gonzlez Jos

Inicializar los pesos de conexin de la red Wih y Who .

Presentar un patrn de entrada Xp a la capa de entrada, y mantener su

Propagar hacia adelante la seal de entrada Xp mediante los siguientes

Calcular el error () de todas las neuronas de la red :

Para las neuronas de la capa de salida: