CAPITULO 2

FUNDAMENTOS DE LAS RNA

Tomado de [Wasserman 89]

Se han desarrollado RNA´S con una gran variedad de configuraciones. En este

punto hablaremos de los elementos comunes a todas las arquitecturas.

2.1 CONCEPTOS BASICOS DE REDES NEURONALES BIOLOGICAS.

Como ya hemos dicho, la estructura de las Redes Neuronales Artificiales se basa

vagamente en la estructura del cerebro. Se supone que un modelo más exacto podría
presentar características más sorprendentes, pero la construcción de este modelo
requiere información y tecnología con la que aún no se cuenta.

EL CEREBRO HUMANO.

El cerebro sigue siendo un misterio. Se han descubiero algunas "rutas"

existentes en él, y se han definido sus partes principales, pero aún no hay un esquema
completo.
La bioquímica cerebral es un secreto. Se sabe algo acerca del comportamiento
electromecánico y cada vez salen a la luz nuevos niveles de complejidad. Enseguida
hablaremos de una manera muy general de la estructura y función cerebral.

ORGANIZACION DEL CEREBRO HUMANO

+ Contiene más de 100 billones (1011)de elementos de proceso llamados neuronas.

Estos se comunican a través del cuerpo por medio de hileras nerviosas, las cuales
forman cerca de 100 trillones (1014) de conexiones llamadas sinapsis.
+ Esta red es responsable de todos los fenómenos de pensamiento, emoción y
conocimiento y de realizar funciones sensoriales y motoras.
+ El cerebro contiene una densa capa de vasos sanguíneos que proveen de oxígeno
y nutrientes a las neuronas y otros tejidos. El flujo de sangre se conecta al sistema
circulatorio por medio de un sistema de filtrado bastante efectivo; una barrera entre el
cerebro y la sangre protege a este último de substancias tóxicas que están en la
sangre. Este aislamiento se lleva a cabo gracias a la poca permeabilidad de los
vasos sanguíneos del cerebro y también por medio de una tupida cantidad células
que rellenan y dan forma al cerebro. Esta barrera es una protección, pero complica la
administración de drogas medicinales.
+ El cerebro es el más alto consumidor de energía del cuerpo humano. Siendo sólo 2%
de la masa del cuerpo, consume más del 20% de oxígeno. Incluso cuando dormimos
el consumo continúa.
+ El cerebro consume cerca de 20 watts de energía; es muy eficiente comparado con
una computadora.

2.1
LA NEURONA BIOLOGICA

La neurona (figura 2.1) es el bloque fundamental de construcción del sistema

nervioso. Esta es una célula similar a otras del cuerpo con ciertas especializaciones.

Figura 2.1 Componentes de una neurona biológica

Una neurona está compuesta de 3 partes fundamentales:

- cuerpo
- dendritas
- axon

Las dendritas reciben señales de otras células en puntos de conexión llamadas

sinapses. De acá, las señales se pasan al cuerpo de la célula, donde son
esencialmente "promediadas" con otras señales. Si este promedio en un determinado
tiempo es suficientemente grande, la célula es excitada, mandando un pulso a través
del axon a otras células. No obstante esta simplicidad en su operación, las neuronas
realizan la mayoría de las actividades cerebrales. Internamente existe un complicado
sistema electroquímico de comunicación y control. Enseguida se explica con algún
detalle cada componente.

2.2
EL CUERPO.

Las células de un adulto no se regeneran, deben durar toda la vida, lo que

requiere que sus componentes sean reemplazados contínuamente . Esta actividad de
mantenimiento se lleva a cabo en el cuerpo, donde una fábrica química construye una
variedad de moléculas. El cuerpo también controla la energía del neurón y regula otras
actividades. La capa externa del cuerpo tiene la capacidad única de generar impulsos
nerviosos; una función vital. Hay cientos de tipos de neuronas, el diámetro del cuerpo
es entre 5 a 100 micras.

LAS DENTRITAS.

Las dentritas son ramas que salen del cuerpo. Estas poseen algunas
conexiones sinápticas en donde se reciben señales que generalmente vienen de otros
axones. Hay un número significativo de conexiones sinápticas de axon a axon, axon a
cuerpo y dentrita a dentrita.
A diferencia de los circuitos eléctricos comunes, no hay conexión física en las
sinapses, sino que un espacio separa los químicos especiales que son liberados por el
axon y se transmiten hacia la dentrita. Estos químicos se llaman neurotransitores.
Algunos neuro-transitores son "activadores" y otros son inhibidores.

EL AXON.

Puede ser tan corto como 0.1 mm. ó tan largo como 1 mt. El axón tiene varias
ramas cerca de la punta, cada una terminando con una sinapse desde donde la señal
se trasmite, así el neurón puede generar pulsos que pueden activar o inhibir otras
neuronas (cientos o miles), las cuales a su vez son activadas por cientos o miles de
otras neuronas. De esta manera es como la conectividad de las neuronas, más que su
complejidad funcional, da la capacidad de procesamiento al cerebro humano.
La conexión sináptica es un pequeño bulbo que contiene estructuras esféricas
llamadas vesículas sinápticas, las cuales contienen un gran número de moléculas
neurotransmisoras. Además de este proceso de activación neuronal, algunas neuronas
que han sido activadas muy débilmente transmiten ciertos signos electromagnéticos a
través de su interior con cierta respuesta. Podemos decir que son "locales" pues el
impulso muere después de cierta distancia.

LA MEMBRANA CELULAR

La comunicación cerebral es de dos tipos: química a través de las sinapses y

eléctrica dentro de la neurona. La maravillosa y compleja acción de la membrana
celular crea la habilidad de la célula de producir y transmitir aún ambos tipos de
señales.
La membrana celular tiene cerca de 5 nanometros de espesor y consiste de dos
capas de moléculas lípidas. En la membrana existen varios tipos de proteínas que se
pueden clasificar en 5 grupos: bombas, canales, receptores, enzimas y proteínas
estructurales.

2.3
 Las bombas mueven iones a través de la membrana para mantener
concentraciones. Los canales permiten selectivamente el paso de iones y controlan un
flujo a través de la membrana. Algunos canales se abren o cierran dependiendo del
potencial eléctrico de la membrana; otros se controlan químicamente.
Los receptores reconocen y unen varios tipos de moléculas y son muy
específicos. Las enzimas en las membranas aceleran una gran variedad de reacciones
químicas. La concentración de sodio en una neurona es 10 veces más baja que en sus
alrededores y la concentración de potasio es 10 veces más alta. Estas concentraciones
tienden a nivelarse por medio de "fugas" en la célula debido a poros en las membranas.
Para mantener las concentraciones una proteína llamada "bomba de sodio"
contínuamente saca sodio de la célula y mete potasio. Se pueden mover cientos de
millones de iones de potasio por segundo. La combinación de estos dos químicos es
responsable de crear y mantener el equilibrio dinámico químico que constituye el estado
de reposo de un neurón.
La concentración iónica causa que en el interior de la célula se genere un
potencial de -70 milivolts con respecto a sus alrededores. Para que la célula se
"encienda" o sea activada, las entradas sinápticas deben reducir este nivel a
aproximadamente -50 milivolts. Cuando esto ocurre, los niveles de sodio y potasio se
invierten repentinamente, en un milisegundo el interior de la célula se vuelve 50 milivolts
positivo con respecto al medio ambiente externo. Este cambio de polaridad se transmite
a través del axon y a sus conexiones. Cuando el pulso llega a la terminal del axon, se
abren canales de calcio con voltaje controlado, esto acciona la liberación de moléculas
neuro-transmitoras y el proceso continúa a otras células. Después de generar un
potencial, la célula entra en un período de varios milisegundos en el cual regresa a su
estado de reposo en preparación para otro pulso .
Los investigadores han encontrado una gran complejidad bioquímica en el
cerebro. Se cree que más de 30 substancias trabajan como neuro-transmisores y hay
un gran número de receptores con diferentes modos de respuesta. Además, la acción
de una molécula neurotransmisora depende del tipo de receptor en la membrana
sináptica. El mismo neurotransmisor puede ser activador en una sinapsis e inhibidor en
otra.
Se ha tratado de alcanzar un patrón simple que unifique estas o otras muchas
observaciones, pero la mayoría de los descubrimientos crean más dudas de las que
resuelven. El cerebro humano es muy difícil de modelar, no existen matemáticas
suficientemente complejas para hacerlo y probablemente nunca las haya.

2.2 EL NEURON ARTIFICIAL

El funcionamiento de un neurón artificial es simple. Básicamente consiste en

aplicar un conjunto de entradas, cada una representando la salida de otro neurón, o un
entrada del medio externo, realizar una suma ponderada con estos valores, y “filtrar”
este valor con una función.

2.4
 F OUT

Figura 2.1. Cálculo de la salida de

un neurón artificial.

Muchos autores representan a los neurones con un circulo, como muestra la fig. 2.3

X
1 W
1

W2
X2 SALIDA

Wn

Xn

Figura 2.3. El Neurón Artificial

Las entradas, que podemos llamar vector X, corresponden a las señales que
llegan a la sinápsis de una neurona biológica. Cada señal se multiplica por un peso que
tiene asociado , W 1,W 2 ... W n. Los pesos los podemos llamar vector W. Cada peso
corresponde a la "intensidad" o fuerza de la conexión de una sinápsis en un neurón
biológico. Estas multiplicaciones se suman. Este "sumador" corresponde vagamente a
el cuerpo de una neurona biológica . Como podemos observar, esta es una suma
algebraica de las entradas ponderadas, entonces queda que

NET = X1 W 1 + X2 W 2 + X3 W 3 + ... Xn W n
ó representado en notación matricial:

NET = XW

FUNCIONES DE ACTIVACION

2.5
 La que hemos llamado señal NET generalmente se procesa por medio de una
función de activación F, la cual producirá una señal que será la salida del neurón, que
llamaremos OUT:

OUT = F(NET)

Un ejemplo de una función de activación puede ser una función lineal:

OUT = K(NET) K = Constante

ó una función umbral:

OUT = 1 si NET > T donde T es un valor de umbral

0 si no

Figura 2.3 Función umbral

F también puede ser alguna otra función que simule mejor las características no
lineales de transferencia de una neurona biológica.

Si F reduce el rango de NET de manera que OUT nunca se salga de algún límite,
independientemente de lo grande que sea NET, entonces F es una función "squash".
Una función squash muy popular es la "sigmoide" o función logística.

1
F(X) =
1 + e -X

2.6
 Figura 2.4. Función sigmoide ó logística.

Utlilizando la notación del neurón artificial, tendríamos que:

1
OUT = - NET
(1 + e )

Podemos pensar que la función de activación determina la ganancia no lineal del

neurón. Esta ganancia se puede definir como la razón de cambio en OUT con respecto
a cambio en NET.
Nótese que en los valores pequeños de NET el cambio de OUT es alto, mientras
que para un valor de NET muy grande, el cambio en OUT es mínimo. Grossberg
(1973) encontró que este tipo de funciones no lineales resuelven un problema de
saturación y ruido muy común en las RNA.
Otra función muy común es la tangente hiperbólica (figura 2.5). La forma es
similar y es usada por biólogos como un modelo matemático de activación nervioso.
Está dada por:

OUT = Tanh (NET)

2.7
 Figura 2.5 Función tangente hiperbólica

La función tangente hiperbolica es simétrica en el origen, y a diferencia de la

función sigmoide, tanh puede dar valores negativos, lo cual es útil en algunos modelos.
Nótese que este modelo de neurón simplificado no considera el tiempo en ningún
punto, sino que supone una salida instantánea. En otras palabras, no considera
funciones de sincrónica.

2.3 REDES NEURONALES DE UN NIVEL (O DE UNA CAPA)

Como podemos ver el modelo de neurón artificial es sencillo; el poder de las

RNA se obtiene de las conexiones entre neurones.
Los neurones se relacionan entre si formando redes que pueden llegar a ser tan
complejas como el neocognitrón, o tan simples como el perceptrón. En general, se
pueden identificar capas o niveles en una red. El modelo mas simple es el de una capa.
La fig. 2.6 muestra una RNA de una capa.

2.8
 X1 W11
Y1
W 12
W13

W21
W 22 Y2
X2

W23

W31
W32
X3 Y3
W33

NODOS DE
ENTRADA
(no hacen nada)

Figura 2.6 Red neuronal de 1 nivel.

En la fig. 2.6 se muestran los siguientes valores:

W = matriz de m renglones y n columnas

m = número de entradas
n = número de salidas
X = Vector renglón que contiene los valores de entrada

Sea N el vector de todas los valores NET y

N = XW
Y = F(N)
Y representa al vector de salida de la red.
Por ejemplo, si n = 3 (ver figura 2.6) entonces calcularíamos Y de la siguiente
forma:

Y1 = F(x1w11 + x2w21 + x3w31)

2.9
 Y2 y Y3 se pueden calcular de manera similar. En notación matricial tenemos
que:

W 11 W 12 W13 
X1X2 X3  W 21 W 22 W23 

W 31 W 32 W33 

X1W 11 + X 2 W 21 + X3 W 31, X1 W12 + X 2 W 22 + X 3 W 32 X 1 W13 + X 2 W 23 + X 3 W 33   Y

2.10
2.4 REDES NEURONALES DE VARIOS NIVELES

X1 Y1

X2

Y2

X3

X4

NIVEL DE NIVELES NIVEL DE

ENTRADA ESCONDIDOS SALIDA

(a) 1 Ni vel escondi do

(b) 2 Ni vel es escondidos

Figura 2.7. Ejemplos de RNA de varios niveles.

Es importante hacer notar que algunos autores no se ponen de acuerdo con

respecto al número de capas que se dice tiene una red. Esto es

2.11
porque algunos cuentan el nivel de entrada como una capa, y otros no. El libro de texto
utilizado para el curso [Wasserman, 89] no considera la capa de neurones de entrada
como uno de los niveles de la red.
En una red con varios niveles o capas, la función de activación debe ser no
lineal, ya que de no ser así una red con varios niveles equivaldría a una red con un
nivel. Esta afirmación puede demostrarse de la siguiente manera:
Si F es una función lineal, entonces la salida del primer nivel de la red esta dada
por:
OUT 1 = F (X  W1 )
Si F es lineal,
OUT 1 = K1  X W1

y en la salida del 2do. nivel de la red neuronal tenemos :

OUT 2 = F(OUT1 W2) = F(K1  X W1 W2 ) = K X(W1W2)

2

este resultado equivaldria a tener solo un nivel, ya que siempre podemos hallar valores
para una W 3 = W1  W2

2.5 REDES RECURRENTES.

Las redes que hemos visto hasta ahora no presentan retroalimentación. Este tipo
de redes se conocen como no recurrentes o "alimentadas hacia adelante" (feed-forward
neural networks). También hay otros tipos de redes que presentan retroalimentación,
esto es, la salida de sus neurones se utilizan como otra entrada ya sea a sí mismos o a
otros en el mismo nivel. En este tipo de redes la salida de la red se determina por las
entradas y por valores en salidas previas. Estas redes presentan propiedades parecidas
a la memoria corta de los humanos.
Los algoritmos de aprendizaje de las redes recurrentes se pueden representar
por medio de ecuaciones diferenciales o ecuaciones en diferencia. Cuando se trabaja
con máquinas analógicas la primera representación es deseable.

2.6 TIPOS DE ENTRENAMIENTO.

Esta es una de la partes más ingeniosas y sorprendentes de los sistemas

neuronales artificiales. Una red es entrenada de manera que un conjunto de valores de
entrada produce la salida deseada.

Durante el entrenamiento, los pesos W se van ajustando gradualmente, hasta

encontrar aquellos que generen las salidas deseadas.
Hay dos tipos de entrenamiento de RNA: entrenamiento supervisado y entrenamiento
no supervisado.

ENTRENAMIENTO SUPERVISADO.

2.12
 En este tipo de entrenamiento se requiere que cada vector de entrada esté
relacionado con una salida deseada representando cada vector. Al par de vectores
representando los valores de entrada y salida deseada se le llama el par de
entrenamiento. (Ver fig. 2.8)

DATOS DE
ENTRADA

ENTRENAMI ENTO

SALI DA P ESOS
DESEADA

Figura 2.8 Entrenamiento Supervisado.

Cada vector de entrada se aplica a la red, la correspondiente salida (dada por los
pasos de la red) se calcula y se compara con la salida deseada. La diferencia o error se
da a la red y los pasos se cambian de acuerdo a algoritmos que minimizan este error.
Diferentes vectores de entrenamiento se aplican a la red secuencialmente hasta que el
error en el conjunto de aprendizaje es suficientemente pequeño.
Por ejemplo supongamos que queremos enseñar a una red que aprenda la tabla
del OR exclusivo (XOR).
Representando al problema del XOR por medio de una caja negra, tenemos:

A RE D
NEURONAL A XOR B
B

Sabemos que la tabla de verdad de XOR está dada por:

A B A +B

0 0 0
0 1 1
1 0 1
1 1 0

2.13
 Para este problema, una red con entrenamiento supervisado debería utilizar el
siguiente conjunto de entrenamiento:

C = { Xi, Yi } para i = 1,4

DATOS DE ENTRADA SALIDA DESEADA

X1 = { 0,0 } Y1 = { 0 }
X2 = { 0,1 } Y 2 = { 1}
X3 = { 1,0 } Y 3 = { 1}
X4 = { 1,1 } Y 4 = { 0}

ENTRENAMIENTO NO SUPERVISADO

El entrenamiento supervisado es poco común desde el punto de vista biológico. Por

ejemplo, muchas de las actividades que se ejecutan en el cerebro de un recién nacido
no son aprendidas a través de un "vector de salida " que explícitamente se muestre a
su cerebro.

DATOS DE
ENTRADA

ENTRENAMI ENTO

P ESOS

CLASES

Figura 2.9 Entrenamiento no Supervisado

El entrenamiento no supervisado se caracteriza porque no requiere de un vector

de salida (ver figura 2.9). Los pesos de la RNA se van modificando de manera que
produzcan vectores de salida que sean consistentes, esto es, se espera que entradas
similares produzcan las mismas salidas. Kohonen (1984) fue uno de los creadores de
este tipo de entrenamiento.
Matemáticamente hablando, el proceso de entrenamiento no supervisado extrae
propiedades estadísticas del conjunto de entrenamiento.

2.14
 ALGORITMOS DE ENTRENAMIENTO

La mayoría de los algoritmos de entrenamiento están basados en los conceptos

propuestos por D. O. Hebb (1961) [Wasserman 89]. Hebb propuso
un modelo de aprendizaje no supervisado en el cual la fuerza de la conexión sináptica
(el peso) se incrementa si el neuron fuente y destino son activados. De esta forma las
rutas más usadas entre neuronas se fortalecen. El fenómeno de hábito y repetición
toma sentido utilizando este método.
En un neurón artificial que usa el método de Hebb se incrementan los pesos con
respecto al producto de excitación de la fuente y el destino:

W ij (n + 1) = W ij (n) +  OUT i OUTj

W i j (n ) = es el vector del peso del neurón i al neurón j
antes de aj uste.
W ij (n + 1) = vector de peso del neurón i al neurón j después del ajuste
 = es el coeficiente de aprendizaje ó razón de aprendizaje.
OUT i = Sal ida del neurón i .
OUT j = Sal ida del neurón j .

Hoy en día hay algoritmos más efectivos de aprendizaje que el propuesto por
Hebb. Lo que haremos de hoy hasta que termine el curso será estudiar los algoritmos y
arquitecturas más populares .

2.15