Redes Neuronales

Introduccin

Jos Manuel Quero Reboul

Dpto. Ingeniera Electrnica
Universidad de Sevilla
 Indice

Motivacin
Arquitectura
Leyes de Aprendizaje
Aplicaciones
 DILEMA
1 cerebro=1/10 calculadora de
CALCULO

Aritmtica
bolsillo
Visin 1 cerebro=1000 supercomputadores

Datos cerebro mucho peor

MEMORIA

Direccionada por cerebro mucho mejor

contenido
Arquitectura Von Newman
BUS
BUS

CPU
CPU MEM
MEM E/S
E/S E/S
E/S

Unico nodo de procesamiento (800Mhz)

Bus de
dedatos:
datos:Cuello
Memoria
Bus pasivade
Cuello deBotella
Botella(Secuencialidad)
(Secuencialidad)
Baja conectividad
 Cerebro

1010 neuronas (10ms)

104 dendritas
1014 pesos de conexin
Los pesos almacenan y
procesan
 Definicin
Computacin neuronal:
Computacin
Computacin enen redes
redes masivas
masivas paralelas
paralelas de
de
procesadores
procesadores simples
simples yy no
no lineales,
lineales, que
que
almacenan
almacenan todo
todo su
su contenido
contenido enen los
los pesos
pesos
de
de conexin
conexin

Propiedades:
Eliminacin del cuello de botella
Inteligencia artificial llevada al lmite
 Indice

Motivacin
Arquitectura
Leyes de Aprendizaje
Aplicaciones
 Neurona Artificial
Ley de Propagacin
neti = Wij I j Ley de Activacin
j a (t + 1) = F (a (t ), net1 (t ), net 2 (t ),...)

Funcin de Salida
o = f (a )

Patrn de Conectividad

Ley de Aprendizaje
Entorno wij (t + 1) = g ( wij (t ), neti (t ), a (t ), o(t ))
 Funcin de activacin

(s)
1

1
Funcin sigmoidal: (x) = __________
1 + e -x
 Red neuronal
salidas
Topologas:

neuronas Monocapa
Multicapa

capas Redes forward

Redes recurrentes
pesos
Redes realimentadas
Redes de funciones
radiales
entradas
 Indice

Motivacin
Arquitectura
Clasificacin
Leyes de Aprendizaje
Aplicaciones
 Aprendizaje
El conocimiento es obtenido a partir de la
experiencia y almacenado en los pesos
Tipos de aprendizajes:
Preprogramadas
Ley de Hebbs
Aprendizaje competitivo
Aprendizaje supervisado
La red extrae y copia la estructura interna del
conocimiento del entorno
 Leyes de Aprendizaje

dW
o = f (W T I ) = W& = () I ()W
dt

W :Vector de pesos (), () :Funciones escalares (W,I,o)

I : Seales de entrada o :salida

Funcin de Tranferencia no lineal

 Leyes de Aprendizaje
Justificacin
1) Ley de Hebb: Cuanto mayor sea la excitacin,
() I
mayor ser el refuerzo de la conexin
2) Factor de Olvido: Proporcional a la propia magnitud ()W
Condiciones (estabilidad dinmica)
1) si o(t ) acotada W (t ) finita t
2) si I 0 W (t )
/ 0 t
 Indice

Motivacin
Arquitectura
Clasificacin
Leyes de Aprendizaje
Aplicaciones
 Propiedades de las RN
Procesamiento de un gran conjunto de datos
Baja densidad de informacin
Robustez ante fallo en estructura
Robustez ante inconsistencia en los datos de
entrada
Datos y reglas de procesamiento confundidos en
las conexiones
Procesamiento altamente paralelo
Capacidad de Autoorganizacin. Adaptabilidad
Cuando usar Redes Neuronales?
Cuando se quiere desarrollar un modelo
(funcional, clasificador, prediccin de serie
temporal,...)
Ejemplos
Finanzas: Modelos de mercado
Ingeniera: Modelado de procesos y control
adaptativo
Medicina: Diagnosis
Cuando usar Redes Neuronales?

En anlisis de datos con baja densidad de

informacin
Ejemplos:
Reconocimiento de imgenes
Reconocimiento de firmas
Anlisis de encuestas
Prediccin meteorolgica
 Redes Neuronales
Aprendizaje Supervisado
 Indice
Perceptrn
Regla delta
Perceptrn Multicapa
Retropropagacin
Ejemplos
 Perceptrn
Memoria Asociativa
n
o = f h w j i j
w1
i1
-
w2 j =1
i2 +
wn
in i1
A
Interpretacin Geomtrica A
A B
w0
i1 = i0 + A
w1 w1
A B i0

B
Recta de Decisin B
 Perceptrn
Aprendizaje Supervisado: Regla

d (t ), o(t ) { 1,1}
dwi
= [d (t ) o(t )]ii (t ) 0 i n 1
dt

Aprendizaje a partir de wi aleatorios

Problema: Oscilacin ante entradas no separables
Ejemplo: funcin XOR
Patron de Entrada Patron de Salida
1 0
00 0
01 1
10 1
11 0 0 1
 Perceptrn
Solucin: Aadir una dimensin adicional

Patron de Entrada Patron Intermedio Patron de Salida

00 000 0
01 010 1
10 100 1
11 111 0

Nodos de representacin interna

0 1

1
 Indice
Perceptrn
Regla delta
Perceptrn Multicapa
Retropropagacin
Ejemplos
 Perceptrn Multicapa
Regiones de Clases Regiones de
Estructura Problema XOR Decisin Generales
Decisin Complejas
Una capa A B
Semiespacios
A
limitados por B
hiperplanos B A

Dos capas Regiones A B

convexas A
abiertas o B
B A
cerradas

Tres capas Arbitrarias.

A B
Complejidad
A
limitada por
B
el nmero B A
de nodos
 Perceptrn Multicapa
n
oi = f ( neti ) neti = wij i j
j =1

Capa de OR
Salida
oi = f (neti )

AND 1
1
f ( x) =
Capas 1 + ex 0
Ocultas

HIPERPLANOS
Capa de 1
1 e x
Entrada f ( x) =
1 + e x
-1
 Indice
Perceptrn
Regla delta
Perceptrn Multicapa
Retropropagacin
Ejemplos
 Perceptrn Multicapa
Retropropagacin
Capa de OR
Salida (Regla generalizada)
p wij (t + 1) = j ii capa i previa a j

AND
f j(net pj )(d j o j ) Capa de Salida
j = f (net ) w Capas Ocultas
Capas pj k ij
j k
Ocultas

HIPERPLANOS
Capa de
Entrada
 Perceptrn Multicapa
Retropropagacin: Demostracin
1
E Ep =
2
Error Cuadrtico Mdio (d pj o pj )
p 2 p j

Regla de la cadena E p E p net pj Cambio de la excitacin la

= (1)
w ji net pj w ji variar el peso de conexin

Segundo Trmino Cambio del error al variar

la excitacin en j
net pj
= ( w ji o pi ) =o pi (2)
w ji w ji i

Primer Trmino
E p
Definamos pj (3) Sustituyendo (2) y (3)en (1) p w ji = pj o pj
net pj

Queda determinar qu es pj para cada neurona

 Perceptrn Multicapa
E p E p o pj Cambio de la salida por
Regla de la cadena pj = =
net pj o pj net pi cambiar la excitacin

Cambio del error al variar

Segundo Trmino la salida
o pj
Dado que o pj = f (net pj ) = f (net pj ) Derivada de la funcin de salida
net pj

Primer Trmino
E
Para neurona de salida. Dado que E p = 1 (d pj o pj ) 2 p = (d pj o pj )
2 j o pj

pj = f (net pj )(d pj o pj )
 Perceptrn Multicapa
Para neurona oculta.
E p E p net pk E p E p
= = ki pi
w o = wkj = pk wkj
o pj k net pk o pj k net pk o pj i k net pk k

Cmo afecta a la Conexin con la

de la capa previa
capa previa neurona previa
pj = f (net pj ) pk wkj
k

net j
1 e
Particularizando o pj = opj = f (net j ) = = o pj (1 o pj )
1+ e
net j
(1 + e ) net j 2

o j (1 o j )(d j o j ) Capa de Salida

j = i (1 i ) w
j k ij Capas Ocultas
j k
 Indice
Perceptrn
Regla delta
Perceptrn
Multicapa
Retropropagacin
Ejemplos