2. Introduccin.

Si nos pidiesen calcular la raz cuadrada de 5 con tres decimales de precisin y sin usar calculadora ni lpiz ni papel diramos
que no somos capaces de realizarlo. Sin embargo, esta tarea es una operacin rutinaria y muy sencilla para un ordenador. No obstante,
tareas como coger una moneda al vuelo que lanzamos al aire o reconocer una cara en una fotografa que son acciones cotidianas para
nosotros son tareas realmente duras para un ordenador. Es decir, tareas de reconocimiento de patrones, control de dispositivos,
clasificacin de objetos, etc. que suponen gran cantidad de clculo y tiempo para un ordenador pueden ser realizadas de forma
instantnea por un ser vivo, no necesariamente un ser humano.

Ejemplo: El sonar de un murcilago.

El murcilago debe determinar la velocidad relativa, tamao y la posicin del obstculo a travs de su sonar. Todo el
proceso de extraccin de informacin ocurre en un cerebro del tamao de un garbanzo en un tiempo que es la envidia de los ingenieros
que trabajan en sonar y radar.

De estas observaciones nos surge la cuestin que va ha suponer el nacimiento de las Redes Neuronales Artificiales o ANS
(Artificial Neural Systems).Qu parmetros hacen posible la supremaca del cerebro en unas determinadas tareas frente a las
computadoras?.

Curiosamente, las neuronas son mucho ms simples, lentas y menos fiables que una CPU, y a pesar de ello, existen problemas
difcilmente abordables mediante un computador convencional que el cerebro resuelve eficazmente (reconocimiento del habla, visin de
objetos inmersos en ambiente natural (Ver figura 1), respuestas ante estmulos de entorno, etc.).

Por lo tanto, la idea que subyace en los ANS es que para abordar el tipo de problemas que el cerebro resuelve con eficiencia,
puede resultar conveniente construir sistemas que simulen la estructura de las redes neuronales biolgicas con el fin de alcanzar una
funcionalidad similar.

5.1. Modelo genrico de neurona artificial.

Como hemos comentado, una neurona es un procesador elemental tal que a partir de un vector de entrada procedente del
exterior o de otras neuronas, proporciona una nica respuesta o salida (Fig. 4).

Figura 4. Modelo genrico de una neurona artificial.

Los elementos que constituyen dicha neurona son:

1
 Entradas: x (t). Las variables de entrada y salida pueden ser binarias (digitales) o continuas (analgicas) dependiendo del
modelo de aplicacin.

Pesos sinpticos: w . Representan la intensidad de interaccin entre cada neurona presinptica j y la neurona postsinptica i.Regla

de propagacin: (w , x (t)). Proporciona el valor del potencial postsinptico, h (t), de la neurona i en funcin de sus pesos y
entradas.

Es decirh (t) = (w , x (t)) La funcin ms habitual es de tipo lineal, y se basa en una suma ponderada de las entradas con los pesos
sinpticos

h (t) = =w

El peso sinptico w define en este caso la intensidad de interaccin entre la neurona presinptica j y la postsinptica i. Dada
una entrada positiva, si el peso es positivo tender a excitar a la neurona postsinptica, si el peso es negativo tender a inhibirla. As, se
habla de sinapsis excitadoras (peso positivo) e inhibidoras (peso negativo).

Funcin de activacin o de transferencia: f . Proporciona el estado de activacin actual, a ,

de la neurona i en funcin de su estado anterior, a , y de su potencial postsinptico actual. Es decir

En muchos modelos de ANS se considera que el estado actual de la neurona no depende de su estado anterior, sino
nicamente del actual

La funcin de activacin se suele considerar determinista, y en la mayor parte de los modelos es montona creciente y

continua. La forma de las funciones de activacin ms empleadas en los ANS se muestra en la siguiente tabla, donde
representa el potencial postsinptico e el estado de activacin.

2
 Figura 5. Funciones de activacin habituales.

Funcin de salida: . Proporciona la salida actual, , de la neurona i en funcin de su estado de activacin actual,

. Muy frecuentemente la funcin de salida es simplemente la identidad , de modo que el estado de activacin de la
neurona se considera como la propia salida. Es decir

Por tanto, la operacin de la neurona i puede expresarse de la siguiente forma

Por ltimo, veamos como podra ser la interconexin entre varias neuronas:

3
 Figura 6. Interconexin entre una neurona

Presinptica y una neurona postsinptica.

5.2. Modelo estndar de neurona artificial.

Considerando que la regla de propagacin es la suma ponderada y que la funcin de salida es la identidad, la neurona estndar
consiste en:

Un conjunto de entradas .

Unos pesos sinpticos asociados a las entradas.

Una regla de propagacin . La ms comn suele ser .

Una funcin de activacin que representa simultaneamente la salida de la neurona y su estado de

activacin.

Todos estos elementos quedan recogidos en la siguiente ilustracin que pone de manifiesto el modelo considerado.

Figura 7. Modelo de neurona estndar.

Con frecuencia se aade al conjunto de pesos de la neurona un parmetro adicional, , que denominaremos umbral, que se
resta del potencial postsinptico, por lo que el argumento de la funcin de activacin queda

4
 De forma equivalente, si hacemos que los ndices i y j comiencen por 0 y definiendo y (constante)
podemos obtener el comportamiento de la neurona a travs de:

Tan slo nos quedara determinar que funcin de activacin tendra la neurona para determinarla por completo. Dichas
funciones son las mostradas en la tabla de la figura 5.
A continuacin mostraremos algunos de los tipos ms usuales de neuronas.

5.2.1. Dispositivos de umbral.

Consideraremos que las entradas son digitales, por ejemplo , y la funcin de activacin es la escaln
(Heavside), definida entre 0 y 1, se tiene

Como cuando ,y cuando , se tiene

Es decir, si el potencial de membrana supera un valor umbral (umbral de disparo), entonces la neurona se activa, si no lo
supera, la neurona no se activa. Este es el modelo de neurona del Perceptrn original o dispositivo de tipo umbral.

McCulloch y Pitts demostraron en 1943 que mediante redes basadas en este modelo de neurona se poda realizar cualquier
funcin lgica.

5.2.2. Neurona sigmoidea.

Las entradas pueden ser tanto digitales como analgicas y las salidas exclusivamente analgicas. Tomando como funcin de
activacin una sigmoidea (Fig. 5), la cual se puede definir de las dos formas siguientes en funcin del intervalo considerado.

, con ]

5
 , con ]

Este es el modelo usado para el perceptrn multicapa.

6. Arquitectura de Redes Neuronales.

6.1. Definiciones Bsicas.

Se denomina arquitectura a la topologa o estructura en la que las distintas neuronas constituyentes de la red neuronal se
asocian. En un ANS, los nodos se conectan por medio de sinapsis; esta estructura de conexiones sinpticas determina el comportamiento
de la red. Las conexiones sinpticas son direccionales, es decir, la informacin slo puede fluir en un sentido (desde la neurona
presinptica a la neurona postsinptica).

En general, las neuronas se suelen agrupar en unidades estructurales denominadas capas. Dentro de una capa las neuronas
pueden agruparse formando grupos neuronales. Dentro de una misma capa o agrupacin, las neuronas suelen ser del mismo tipo. El
conjunto de una o ms capas constituye una red neurona.l.

Podemos distinguir tres tipos de capas: (Ver figura 14)

Capa de entrada: compuesta por neuronas que reciben datos o seales procedentes del entorno.

Capa de salida: aquella cuyas neuronas proporcionan la respuesta de la red neuronal.

Capa oculta: aquella que no tiene una conexin directa con el entorno.

Las conexiones entre las enuronas pueden ser excitatorias o inhibidoras, segn el signo del peso sinptico asociado a la
conexin. Si dicho peso sinptico es negativo, entonces tendremos una conexin inhibitoria, si por el contrario ste es positivo estaremos
frente a una conexin excitatoria. Esta distincin no suele usarse demasiado, ya que el peso y su magnitud vendrn determinados en cada
instante por el algoritmo de entrenamiento.

Las conexiones pueden clasificarse tambin en conexiones intracapa y conexiones intercapa. Las primeras se corresponden
con las conexiones entre las neuronas de una misma capa y, la segunda se corresponde a las conexiones entre neuronas de distintas capas.

6.2. Definicin formal de Red Neuronal.

Para obtener una definicin de red neuronal tenemos que hacer uso del concepto matemtico de grafo. A travs de este
trmino, podemos definir una red neuronal de la siguiente forma:

Una red neuronal es un grafo dirigido con las siguientes propiedades:

6
 1) A cada nodo i se le asocia un variable de estado .

2) A cada conexin (i, j) de los nodos i y j se el asocia un peso .

3) A cada nodo i se le asocia un umbral .

4) Para cada nodo i se define una funcin , que depende de los pesos de sus conexiones,
del umbral y de los estados de los nodos j a l conectados. Esta funcin proporciona el nuevo estado del
nodo.

6.3. Tipos de Redes Neuronales.

Una vez vistos los elementos bsicos de toda red neuronal, se pasar a enumerar las diferentes estructuras en las que dichos
elementos se pueden asociar.

6.3.1. Red Neuronal Monocapa.

Se corresponde con la red neuronal ms sencilla ya que se tiene una capa de neuronas que proyectan las
entradas a una capa de neuronas de salida donde se realizan los diferentes clculos. (Ver figura 9).

Figura 9. Red Neuronal Monocapa.

6.3.2. Red Neuronal Multicapa.

Es una generalizacin de la anterior, existiendo un conjunto de capas intermedias entre la capa de entrada y la de salida (capas
ocultas). Este tipo de red puede estar total o parcialmente conectada. (Ver figura 10).

Figura 10. Red Neuronal Multicapa.

6.3.3. Red Neuronal Recurrente.

7
 Este tipo de red se diferencia de las anteriores en la existencia de lazos de realimentacin en la red. Estos lazos pueden ser
entre neuronas de diferentes capas, neuronas de la misma capa o, entre una misma neurona. Esta estructura la hace especialmente
adecuada para estudiar la dinmica de los sistemas no lineales. (Ver figura 11).

Figura 11. Red Neuronal Recurrente7. Modos de operacin: Recuerdo y Aprendizaje.

7.1. Fase de APRENDIZAJE. Convergencia.

Puede definirse el aprendizaje como el proceso por el que se produce el ajuste de los parmetros libres de la red a partir de un
proceso de estimulacin por el entorno que rodea a la red. En la mayora de los casos el aprendizaje consiste simplemente en determinar
un conjunto de pesos sinpticos que permita a la red realizar correctamente el tipo de procesamiento deseado.

Al construir un sistema neuronal, se parte de un cierto modelo de neurona y de una determinada arquitectura de red,
establecindose los pesos sinpticos iniciales como nulos o aleatorios. Para que la red resulte operativa es necesario entrenarla. El
entrenamiento o aprendizaje se puede llevar a cabo a dos niveles:

1) A travs del modelado de las sinpsis; que consiste en modificar los pesos sinpticos siguiendo una cierta regla
de aprendizaje, construida normalmente a partir de la optimizacin de una funcin de error o coste, que mide la eficacia actual
de la operacin de la red.

Si denominamos al peso que conecta la neurona presinptica j con la postsinptica i en la iteracin t, el

algoritmo de aprendizaje, en funcin de las seales que en el instante t llegan procedentes del entorno, proporcionar el valor

que da la modificacin que se debe incorporar en dicho peso, el cual quedar actualizado de la forma:

El proceso de aprendizaje es usualmente iterativo, actualizndose los pesos de la manera anterior, una y otra vez,
hasta que la red neuronal alcanza el rendimiento deseado.

2) A travs de la creacin o destruccin de neuronas; en el cual se lleva a cabo una modificacin de la propia
arquitectura de la red.

8
 Los tipos de aprendizaje que pueden distinguirse son:

Supervisado.

No supervisado o Autoorganizado.

Hbrido.

Reforzado.

Los algoritmos de aprendizaje se basan usualmente en mtodos numricos iterativos que tratan de reducir una funcin de
coste, lo que puede dar lugar a veces a problemas en la convergencia del algoritmo. En un sentido riguroso, la convergencia es una
manera de comprobar si una determinada arquitectura, junto a su regla de aprendizaje, es capaz de resolver un determinado problema.

En el proceso de aprendizaje es importante distinguir entre el nivel de error alcanzado al final de la fase de aprendizaje para el
conjunto de datos de entrenamiento, y el error que la red ya entrenada comete ante patrones no utilizados en el aprendizaje, lo cual mide
la capacidad de generalizacin de la red. Interesa ms una buena generalizacin que un error muy pequeo en el entrenamiento, pues ello
indicar que la red ha capturado el mapping subyacente en los datos.

7.1.1. Aprendizaje SUPERVISADO.

En el aprendizaje supervisado se presenta a la red un conjunto de patrones, junto con la salida deseado u objetivo, e
iterativamente sta ajusta sus pesos hasta que la salida tiende a ser la deseada, utilizando para ello informacin detallada del error que se
comete en cada paso. De este modo, la red es capaz de estimar relaciones entrada/salida sin necesidad de proponer una cierta forma
funcional de partida. Es decir, si E[W] es una funcin que representa el error esperado de la operacin de la red, expresado en funcin de

sus pesos sinpticos W, se pretende estimar una cierta funcin multivariables a partir de muestras (

tomadas aleatoriamente por medio de la minimizacin iterativa de E[W] mediante aproximacin estocstica
(las tcnicas de aproximacin estocstica estiman valores esperados a partir de cantidades aleatorias observadas).

7.1.2. Aprendizaje NO SUPERVISADO o AUTOORGANIZADO.

El aprendizaje no supervisado se puede describir genricamente como la estimacin de la funcin densidad de probabilidad

que describe la distribucin de patrones (espacio de entrada).

En este tipo de aprendizaje se presentan a la red multitud de patrones sin adjuntar la respuesta que deseamos. La red, por

medio de la regla de aprendizaje, estima , a partir de lo cual podemos reconocer regularidades en el conjunto de entradas, extraer
rasgos o agrupar patrones segn su similitud (clustering).

9
7.1.3. Aprendizaje HBRIDO.

En este caso existen en la red los dos tipos de aprendizaje bsicos, supervisado y autoorganizado, normalmente en distintas
capas de neuronas.

7.1.4. Aprendizaje REFORZADO.

Se sita a medio camino entre al aprendizaje supervisado y el autoorganizado. Como en el primero, se emplea informacin
sobre el error cometido, pero en este caso existe una nica seal de error, que representa un ndice global del rendimiento de la red
(solamente le indicamos lo bien o lo mal que est actuando). Como en el caso del no supervisado, no se suministra explcitamente la
salida deseada.

7.2. Fase de RECUERDO o EJECUCIN. Estabilidad.

Una vez que el sistema ha sido entrenado, el aprendizaje se desconecta, por lo que los pesos y la estructura quedan fijos,
estando la red neuronal ya dispuesta para procesar datos.

En las redes unidireccionales, ante un patrn de entrada, las neuronas responden proporcionando directamente la salida del
sistema. Al no existir bucles de realimentacin, no existe ningn problema en relacin con su estabilidad. Por el contrario, las redes con
realimentacin son sistemas dinmicos no lineales, que requieren ciertas condiciones para que su respuesta acabe convergiendo a un
estado estable o punto fijo. Existe una serie de teoremas generales que establecen las condiciones que aseguran la estabilidad de la
respuesta en una amplia gama de redes neuronales en ciertas condiciones.

Para demostrar la estabilidad del sistema, dichos teoremas se basan en el mtodo de Lyapunov. Dicho mtodo constituye una
manera asequible de estudiar la estabilidad de un sistema dinmico. Consiste en tratar de encontrar una funcin energa del sistema, que
disminuya siempre en su operacin, entonces el sistema es estable.

8. Clasificacin de los modelos de redes neuronales artificiales.

Dependiendo del modelo de neurona concreto que se utilice, de la arquitectura o topologa de conexin, y del algoritmo de
aprendizaje, surgirn distintos modelos de redes neuronales.

10
 Figura 12. Clasificacin de los ANS por el tipo
de aprendizaje y la arquitectura.

9. El Perceptrn Simple (Rosenblatt, 1959).

Este modelo neuronal fue introducido por Rosenblatt a finales de los aos cincuenta. La estructura del perceptrn se inspira
en las primeras etapas de procesamiento de los sistemas sensoriales de los animales (por ejemplo, el de visin), en los cuales la
informacin va atravesando sucesivas capas de neuronas, que realizan un procesamiento progresivamente de ms alto nivel.

El perceptrn simple es un modelo neuronal unidireccional, compuesto por dos capas de neuronas, una de entrada y otra de
salida (Figura 19). La operacin de una red de este tipo, con n neuronas de entrada y m neuronas de salida, se puede expresar de la
siguiente forma:

Figura 13. Perceptrn simple y funcin de

transferencia de su neurona .

11
 Las neuronas de entrada no realizan ningn cmputo, nicamente envan la informacin (en principio consideraremos
seales discretas {0, 1}) a las neuronas de salida. La funcin de activacin de las neuronas de la capa de salida es de tipo escaln (Ver
Figura 5). As, la operacin de un perceptrn simple puede escribirse

con H(.) la funcin Heavside o escaln..

Por tanto, concluimos aadiendo que el perceptrn simple est formado por dispositivos de umbral y, por tanto, son tiles
para la representacin de funciones booleanas.

Ejemplo: Sea el perceptrn que se muestra en la figura 14, tal que su salida es

Figura 14. Perceptrn que implementa una puerta

lgica NAND de dos entradas.

Las entradas y constituyen un plano, de tal forma que si lo

representamos y marcamos los posibles valores de las entradas obtenemos el resultado mostrado en la ilustracin 15.

Figura 15. A) Patrones que pertenecen a dos clases. B) Lmite de decisin determinado por entrenamiento.

12
Dando valores lgicos a y podemos construir la siguiente tabla de verdad:

0 0 1
0 1 1
1 0 1
1 1 0

Podemos comprobar que se trata de la funcin lgica NAND.

NOTA: Puede demostrarse que un nodo de tipo umbral solamente puede implementar funciones linealmente separables, como
la NAND. La XOR (OR-Exclusiva) no es linealmente separable, por lo que no puede ser implementada por un nodo sencillo como el
anterior.

Ejemplo: Sea la red de dos capas con dos nodos en la capa de entrada, tal que las entradas son binarias. Desearamos que la
red fuera capaz de responder a las entradas de tal modo que la salida fuera la funcin XOR de las entradas. (Figura 16)

Figura 16. Perceptrn y tabla de comportamiento de la funcin lgica XOR.

13
 Para ilustrar el funcionamiento de la funcin lgica XOR (OR-Exclusiva), veamos la siguiente tabla que pone de manifiesto su
funcionalidad.

0 0 0
0 1 1
1 0 1
1 1 0

Nuevamente podemos ver como las entradas constituyen un plano en el que se pueden colocar los posibles valores de las

entradas (Figura 17). De esta forma podemos observar que no hay forma de encontrar valores para , y tal que la
representacin de la salida de la red consiga separar el plano en dos regiones como mximo. Esto es para poder clasificar los puntos de
una regin como pertenecientes a la clase que posee una salida de 1, y los de otra regin como pertenecientes a la clase que posee una
salida nula. Esto se debe a que la sencilla unidad de umbral lineal no es capaz de llevar a cabo correctamente la funcin XOR.

Figura 17. Plano con la solucin

alcanzada por el perceptrn anterior.

Para tratar de resolver esta dificultad tenemos que acudir al concepto de hiperplanos.

En el espacio tridimensional, un plano es un objeto de dos dimensiones. Un nico plano puede descomponer el espacio
tridimensional en dos regiones distintas; dos planos en tres o cuatro regiones distintas, dependiendo de sus orientaciones relativas, y as
sucesivamente. Por extensin, en un espacio n-dimensional, los hiperplanos son objetos de (n-1) dimensiones.

Hay muchos problemas reales que implican la separacin de regiones de puntos de un hiperplano en categoras individuales o
clases, que deben distinguirse de otras clases. Una forma de hacer estas distinciones consiste en seleccionar hiperplanos que
descompongan el espacio en regiones adecuadas. Esta tarea es bastante difcil de llevar a cabo en espacio de muchas dimensiones. Sin
embargo, ciertas redes neuronales pueden aprender la descomposicin adecuada, as que no es preciso determinarla por anticipado.

14
 En un espacio general n-dimensional, la ecuacin de un hiperplano se puede escribir de la forma

En donde los son constantes, con al menos un , y los son las coordenadas del espacio.

Continuando con el ejemplo de la XOR veamos como podemos encontrar una solucin aproximada. Si observamos la figura
17 vemos que podramos obtener una solucin si descomponemos el espacio en tres regiones tal y como se pone de manifiesto en la
figura 18. Una regin pertenecera a una de las clases de salida, y las otras dos perteneceran a la segunda clase de salida.

Figura 18. Solucin que se desea

alcanzar.

En la figura 19 podemos encontrar un dispositivo de umbral o perceptrn que lleva a

cabo tal descomposicin.

Figura 19. Perceptrn con el que se alcanza la solucin deseada.

15
 La adicin de dos unidades de capa oculta, o capa intermedia, dan a la red la flexibilidad necesaria para resolver el problema.
De hecho, la existencia de esta capa oculta nos da la capacidad de construir redes que puedan resolver problemas complejos.

16
17