Clase 2

Clase 2

Redes Neuronales
Verena Mercado Polo
Ing. Electricista. Especialista y Magister

II-2019
 Redes Neuronales Artificiales
 Las redes neuronales son más que otra forma de emular ciertas
características propias de los humanos, como la capacidad de
memorizar y de asociar hechos.
 Una red neuronal es “un sistema para el tratamiento de la información,
cuya unidad básica de procesamiento está inspirada en la célula
fundamental del sistema nervioso humano: la neurona”.
 Las Redes Neuronales Artificiales (RNA) están inspiradas en la biología,
esto significa que están formadas por elementos que se comportan de
manera análoga a las neuronas (en las funciones más elementales) y
están organizadas de una forma similar a la del cerebro.
 Redes Neuronales Artificiales
 LA NEURONA BIOLÓGICA
 Fue Ramón y Cajal (1888) quién descubrió la estructura celular
(neurona) del sistema nervioso. Defendió la teoría de que las neuronas
se interconectaban entre sí de forma paralela, y no formando un
circuito cerrado como el sistema sanguíneo.
 Una neurona consta de un cuerpo celular (soma) de entre 10 y 80 µm,
del que surge un denso árbol de ramificaciones (dendritas) y una fibra
tubular (axón) de entre 100 µm y un metro.
 Redes Neuronales Artificiales
Una neurona es un procesador de información muy simple:
 Canal de entrada: dendritas.
 Procesador: soma.
 Canal de salida: axón.

 La conexión entre neuronas se llama sinapsis. No es una conexión física,

si no que hay unos 2 mm de separación. Son conexiones
unidireccionales, en la que la transmisión de la información se hace de
forma eléctrica en el interior de la neurona y de forma química entre
neuronas; gracias a unas sustancias específicas llamadas
neurotransmisores.
 No todas las neuronas son iguales, existen muchos tipos diferentes
según el número de ramificaciones de sus dendritas, la longitud del
axón y otros detalles estructurales. Sin embargo, como hemos visto,
todas ellas operan con los mismos principios básicos.
 Redes Neuronales Artificiales
Elementos Básicos
Ejemplo de una red neuronal totalmente conectada

Está constituida por neuronas interconectadas y arregladas en tres capas

(esto último puede variar). Los datos ingresan por medio de la “capa de
entrada”, pasan a través de la “capa oculta” y salen por la “capa de salida”.
Cabe mencionar que la capa oculta puede estar constituida por varias capas.
 Redes Neuronales Artificiales
MODELO DE NEURONA ARTIFICIAL
El modelo de Rumelhart y McClelland (1986) define un elemento de
proceso (EP), o neurona artificial, como un dispositivo que a partir de un
conjunto de entradas, 𝑥𝑖 (i=1...n) o vector 𝑥, genera una única salida 𝑦.

Esta neurona artificial consta de los siguientes elementos:

• Conjunto de entradas o vector de entradas 𝑥 , de n componentes
• Conjunto de pesos sinápticos wij. Representan la interacción entre la neurona
presináptica j y la postsináptica i.
• Regla de propagación d(wij,xj(t)): proporciona el potencial postsináptico, hi(t).
• Función de activación ai(t)=f(ai(t-1), hi(t)): proporciona el estado de activación de la
neurona en función del estado anterior y del valor postsináptico.
• Función de salida Fi(t): proporciona la salida yi(t), en función del estado de activación.
 Redes Neuronales Artificiales
Elementos Básicos
Función de entrada (input function):
La neurona trata a muchos valores de entrada como si fueran uno solo; esto
recibe el nombre de entrada global. Por lo tanto, ahora nos enfrentamos al
problema de cómo se pueden combinar estas simples entradas (ini1, ini2, ...)
dentro de la entrada global, gini.
Esto se logra a través de la función de entrada, la cual se calcula a partir del
vector entrada. La función de entrada puede describirse como sigue:

𝑖𝑚𝑝𝑢𝑡𝑖 = 𝑁𝑖1 . 𝑤𝑖1 * 𝑁𝑖2 . 𝑤𝑖2 *…….. 𝑁𝑖𝑛 . 𝑤𝑖𝑛

donde: * representa al operador apropiado (por ejemplo: máximo,

sumatoria, producto, etc.), n al número de entradas a la neurona Ni y wi
al peso.
 Redes Neuronales Artificiales
Elementos Básicos
Función de entrada (input function):
Algunas de las funciones de entrada más comúnmente utilizadas y conocidas
son:
 Redes Neuronales Artificiales
Elementos Básicos
Función de activación (activation function).
• Una neurona biológica puede estar activa (excitada) o inactiva (no
excitada); es decir, que tiene un “estado de activación”. Las neuronas
artificiales también tienen diferentes estados de activación; algunas de
ellas solamente dos, al igual que las biológicas, pero otras pueden
tomar cualquier valor dentro de un conjunto determinado.

• La función activación calcula el estado de actividad de una neurona;

transformando la entrada global (menos el umbral, Θi) en un valor
(estado) de activación, cuyo rango normalmente va de (0 a 1) o de (–1
a 1). Esto es así, porque una neurona puede estar totalmente inactiva
(0 o –1) o activa (1).
 Redes Neuronales Artificiales
Elementos Básicos
Función de salida (output function).
• El último componente que una neurona necesita es la función de
salida. El valor resultante de esta función es la salida de la neurona i
(outi); por ende, la función de salida determina que valor se transfiere
a las neuronas vinculadas.
• Si la función de activación está por debajo de un umbral determinado,
ninguna salida se pasa a la neurona subsiguiente. Normalmente, no
cualquier valor es permitido como una entrada para una neurona, por
lo tanto, los valores de salida están comprendidos en el rango [0, 1] o
[-1, 1]. También pueden ser binarios {0, 1} o {-1, 1}.
Dos de las funciones de salida más comunes son:
 Redes Neuronales Artificiales
MODELO DE NEURONA ARTIFICIAL
Las señales de entrada y salida pueden ser señales binarias (0,1 – neuronas de
McCulloch y Pitts), bipolares (-1,1), números enteros o continuos, variables
borrosas, etc.
La regla de propagación suele ser una suma ponderada del producto escalar del
vector de entrada y el vector de pesos:

ℎ𝑖 (𝑡) = 𝑤𝑖𝑗 𝑥𝑗

También se usa a menudo la distancia euclídea entre ambos vectores:

2
ℎ𝑖 (𝑡) = 𝑥𝑗 − 𝑤𝑖
Existen otro tipo de reglas menos conocidas como la distancia de Voronoi, de
Mahalanobis, etc.
 Redes Neuronales Artificiales

MODELO DE NEURONA ARTIFICIAL

La función de activación no suele tener en cuenta el estado anterior de la
neurona, sino sólo el potencial ℎ𝑖 (𝑡). Suele ser una función determinista
𝑦, casi siempre, continua y monótona creciente. Las más comunes son la
función signo ( +1 si ℎ𝑖 𝑡 > 0 , −1 en caso contrario), la función
semilineal y las funciones sigmoides:
 Redes Neuronales Artificiales

MODELO DE NEURONA ARTIFICIAL

La función de salida suele ser la identidad. En algunos casos es un valor
umbral (la neurona no se activa hasta que su estado supera un
determinado valor).
Con todo esto, el modelo de neurona queda bastante simplificado:
 Redes Neuronales Artificiales
RED NEURONAL ARTIFICIAL
 Una red neuronal artificial (RNA) se puede definir (Hecht – Nielssen
93) como un grafo dirigido con las siguientes restricciones:
 Los nodos se llaman elementos de proceso (EP).
 Los enlaces se llaman conexiones y funcionan como caminos
unidireccionales instantáneos
 Cada EP puede tener cualquier número de conexiones.
 Todas las conexiones que salgan de un EP deben tener la misma señal.
 Los EP pueden tener memoria local.
 Cada EP posee una función de transferencia que, en función de las
entradas y la memoria local produce una señal de salida y/o altera la
memoria local.
 Las entradas a la RNA llegan del mundo exterior, mientras que sus
salidas son conexiones que abandonan la RNA.
 Redes Neuronales Artificiales
ARQUITECTURA DE LAS RNA
 La arquitectura de una RNA es la estructura o patrón de conexiones
de la red. Es conveniente recordar que las conexiones sinápticas son
direccionales, es decir, la información sólo se transmite en un sentido.
 En general, las neuronas suelen agruparse en unidades estructurales
llamadas capas. Dentro de una capa, las neuronas suelen ser del mismo
tipo. Se pueden distinguir tres tipos de capas:
 De entrada: reciben datos o señales procedentes del entorno.
 De salida: proporcionan la respuesta de la red a los estímulos de la
entrada.
 Ocultas: no reciben ni suministran información al entorno
(procesamiento interno de la red).
 Redes Neuronales Artificiales
ARQUITECTURA DE LAS RNA
 Generalmente las conexiones se realizan entre neuronas de distintas
capas, pero puede haber conexiones intracapa o laterales y
conexiones de realimentación que siguen un sentido contrario al de
entrada-salida.

a) Red Neuronal b) Red Neuronal multicapa de b) Red Neuronal multicapa

monocapa propagación hacia adelante recurrente-Perceptrón
multicapa
 Redes Neuronales Artificiales
ARQUITECTURA DE LAS RNA
 El perceptrón multicapa es la Red Neuronal Artificial más conocida y
con un mayor número de aplicaciones. Los primeros trabajos
relacionados fueron publicados en 1959 por Rosenblatt. El perceptrón
o neurona artificial, por el hecho de estar formado por una única
neurona, tiene una utilización limitada a la clasificación de patrones. Sí
se expande esta capa de salida con más de una neurona se podrán
clasificar más de dos clases aunque con la limitación de que estas deben
ser linealmente separables (Minsky y Papert, 1969).
 Redes Neuronales Artificiales
APRENDIZAJE DE LAS RNA
 Es el proceso por el que una RNA actualiza los pesos (y, en algunos
casos, la arquitectura) con el propósito de que la red pueda llevar a
cabo de forma efectiva una tarea determinada.
 Hay tres conceptos fundamentales en el aprendizaje:

Paradigma de • Información de la que dispone la

aprendizaje: red.

Regla de • Principios que gobiernan el

aprendizaje: aprendizaje.

Algoritmo de • Procedimiento numérico de

aprendizaje: ajuste de los pesos.
 Redes Neuronales Artificiales
APRENDIZAJE DE LAS RNA
 Existen dos paradigmas fundamentales de aprendizaje:

• La red trata de minimizar un error

entre la salida que calcula y la salida
Supervisado: deseada (conocida), de modo que la
salida calculada termine siendo la
deseada.

• La red conoce un conjunto de

No supervisado o patrones sin conocer la respuesta
autoorganizado: deseada. Debe extraer rasgos o
agrupar patrones similares.
 Redes Neuronales Artificiales
APRENDIZAJE DE LAS RNA
 En cuanto a los algoritmos de aprendizaje, tenemos cuatro tipos:
• Reducción del gradiente, retropropagación,
Minimización del
etc. La modificación de pesos está orientada
error:
a que el error cometido sea mínimo.

• Para redes estocásticas, donde se

Boltzmann:
contemplan parámetros aleatorios.

• Cuando el disparo de una célula activa otra,

Hebb: el peso de la conexión entre ambas tiende a
reforzarse (Ley de Hebb).

• Sólo aprenden las neuronas que se acercan

Competitivo:
más a la salida deseada.
 Redes Neuronales Artificiales
Ventajas de las Redes Neuronales
Entre las ventajas se incluyen:
 Aprendizaje Adaptativo. Capacidad de aprender a realizar tareas
basadas en un entrenamiento o en una experiencia inicial.
 Auto-organización. Una red neuronal puede crear su propia
organización o representación de la información que recibe mediante
una etapa de aprendizaje.
 Tolerancia a fallos. La destrucción parcial de una red conduce a una
degradación de su estructura; sin embargo, algunas capacidades de la
red se pueden retener, incluso sufriendo un gran daño.
 Operación en tiempo real. Los cómputos neuronales pueden ser
realizados en paralelo; para esto se diseñan y fabrican máquinas con
hardware especial para obtener esta capacidad.
 Fácil inserción dentro de la tecnología existente. Se pueden obtener
chips especializados para redes neuronales que mejoran su capacidad
en ciertas tareas. Ello facilitará la integración modular en los sistemas
existentes.
 Redes Neuronales Artificiales
APRENDIZAJE DE LAS RNA
 Los algoritmos, y en general el proceso de aprendizaje, son complejos y
suelen llevar bastante tiempo computacionalmente hablando.
 Su ventaja es que una vez ha aprendido, la red puede congelar sus pesos
y funcionar en modo recuerdo o ejecución.
Perceptrón Multicapa
El modelo más importante (por su antigüedad y utilidad) de red neuronal.
Este modelo, se basa en el perceptrón simple y resuelve de forma
eficiente problemas de clasificación y reconocimiento de patrones.
 Redes Neuronales Artificiales
Perceptrón Simple
 El Perceptrón Simple (Rosenblatt, 1959), consta de una red con una
capa de salida de n neuronas y otra de salida con m neuronas.
 Utiliza señales binarias, tanto de entrada como de salida de las
neuronas y su función de activación es de tipo signo.
 Como regla de propagación se usa la suma ponderada del producto
escalar por el vector de entrada, debiendo superarse un cierto
umbral 𝜃𝑖
1 𝑠𝑖 𝑤𝑖𝑗 𝑥𝑗 > 𝜃𝑖
𝑦𝑖 =
0 𝑠𝑖 𝑤𝑖𝑗 𝑥𝑗 ≤ 𝜃𝑖

La regla de aprendizaje es una variante de la ley de Hebb:

∆𝑤𝑖 = 𝜀 𝑦′𝑖 − 𝑦𝑖 𝑥𝑖
Siendo 𝜀 el factor de aprendizaje (una constante empírica que determina la facilidad
con la que la red aprende) e y’i la salida deseada.