INTRODUCCIN A REDES

NEURONALES ARTIFICIALES TEORA

Y APLICACIONES

Dr. Hctor Allende

Departamento de Informtica
Universidad Tcnica Federico Santa Mara

Captulo 1

Basic Neural Dynamics

The ANN Books
R.M. Kristev 1998
http://www.inf.utfsm.cl/~hallende/
redes neuronales/novedades

FAQ NN: "ftp://ftp.sas.com/pub/neural/FAQ.html"

Profesor: Hctor
Allende

Redes Neuronales Artificiales

Inteligencia Computacional ?
Computational Intelligence
Combinacin:
Ciencias de la Computacin
Neuro-Fisiologa
Filosofa (Teora del conocimiento y lgica)

Creacin de Mquinas que puedan

Pensar en el sentido del test de Turin

Corteza Cerebral Humana:

11

Aproximadamente 10 neuronas
1000 a 10.000 Synapsis por neurona
Comunicacin tren de impulsos electroquimicos ( mensaje modulado)
Proceso Cognitivo
tiempo (milisegundos)
Operacin Masiva Paralela
Secuencial en 100 Etapas

Clula Nerviosa

Soma:
Dendritas:
Axn:
Sinapsis:

Info. Hereditaria + Plasma +

Generacin Seales
Recepcin Seales Impulsos
Transmisin de Seales
Interfaz Neuronal (Inhibitoria, Excitatoria)

Breve Historia
1943 W.McCulloch, W. Pitts: Modelo ANN ( El Perceptrn )
1959 Bernard Widrow ( SU): Filtro Adaline (Adaptative Linear
Neuron) y el Madaline (Multiple Adaline) Basado en ( ANN)
1969 Minsky y Papert: El Perceptrn (limitaciones).
1982 J. Hopfield: Memoria Asociativa Redes de Hopfield".
1986 Rumulhart, Hunton y Williams : redescubren el BPL
algoritmo de "back-propagation learning" ( Paul Werbor, 1974)
1989 K. Hornik, M. Stinchcombe, H. White: Multi-FANN y
Aproximacin Universal
Profesor:

Redes Neuronales

Red neuronal artificial (ANN)

ANN: Es un sistema dinmico compuesto por redes
paralelas y distribuidas de procesadores elementales, con
la capacidad de aprender y almacenar conocimiento.
Arquitectura
Interaccin
Funcin de proceso

ANN: SM sobre-parametrizado
Profesor:

Redes Neuronales

Aplicaciones de las ANN

Resolver problemas Complejos

Hacer generalizaciones
Establecer Relaciones no evidentes
Anlisis de sistemas complejos
Percepcin
Comprensin y Aprendizaje
Generacin de nuevo conocimiento

Aplicaciones de las ANN

Telecomunicaciones
Informtica
Minera
Energa
Finanzas
Transporte
Salud

Aplicaciones de las ANN

Clasificacin
Pre-procesamiento de datos
Reconocimiento de patrones
Aproximacin de funciones
Prediccin de Series de Tiempo
Optimizacin Combinatorial
Control

Modelo Neuronal:
Mc Culloch & Pitts 1943

w1i

...

0
1

0
1

bi

0 x (t)
1 i

wni
n

xi(t) =1 w xj(t-1)
j=1

Profesor:

ij

bi

Redes Neuronales

11

ANN y Neuronales Biolgicas

Neurona y Conecciones Sinpticas

Procesador Elemental

Neuronas: El aprendizaje se produce mediante la variacin de la

efectividad de las sinapsis, de esta manera cambia la influencia que unas
neuronas ejercen sobre otras.
ANN: La regla de aprendizaje usada indica como se ajustan los pesos de
las conexiones en funcin del vector entrada

Profesor:

Redes Neuronales

12

Analogas
Clulas Biolgicas

Redes Neuronales Artificiales

Neuronas

Unidades de proceso

Conexiones Sinpticas

Conexiones Ponderadas

Efectividad de las Sinapsis

Peso de las conexiones

Efecto exitatorio o inhibitorio

Signo del Peso

Estimulo Total

Entrada total Ponderada

Activacin Tasa de disparo

Funcin de Activacin Salida

Profesor:

Redes Neuronales

13

Procesador Elemental.
PE: Es una unidad bsica de procesamiento
la que posee mltiples entradas y solo una salida.
Cada entrada xi es ponderada por un factor (peso) wi
y se calcula la suma ponderada de las entradas:

w x

i i

a netai

Luego es aplicada una transformacin mediante la

funcin de activacin :

salida f ( a )

Profesor:

Redes Neuronales

14

Procesador elemental.

xi

a=netai

wi

Input

f(a)
Output

Unidad de
agregacin

Profesor:

f
Unidad de
Activacin

Redes Neuronales

15

Procesador elemental.
ANN Feedforward: Se construye colocando las
neuronas en capas y conectando las salidas de una
capa con las entradas de las neuronas de la
prxima capa.
Capas de una red:
Capa de entrada Zona sensorial ( S)
Capa de salida Zona de Respuesta ( R)
Capas ocultas Zona de asociacin ( A)
Profesor:

Redes Neuronales

16

ANN: Aprendizaje y Generalizacin Mtodos Actuales

Supervisado

Tipos de Aprendizaje

No - Supervisado
Hbridos
FeedForward
Single, Multiple
Recurrentes

Tipos de Funcin de Transicin: deterministas, probabilistas

Tipo de Algoritmo de Aprendizaje: BPL, PPL, LM, etc

Profesor: Hctor
Allende

Redes Neuronales Artificiales

17

Feedforward Neural Network

Profesor:

Redes Neuronales

18

Redes Feedforward
FANN La capa 0 no realiza procesamiento alguno, solo distribuye
las entradas a la capa siguiente

x1

Profesor:

x2

Redes Neuronales

19

Modelo de Turing
xi(0) {0,1}
n

xi(t) =1 w xj(t-1)
ij

bi

j=1

i=1,...,n

W (conectividad de la NN)
b = (bi ) vector de umbrales
Profesor:

Redes Neuronales

wij
20

Arquitectura

En funcin de la conectividad de las capas, podemos hablar de redes

recurrentes (feed-back) y redes no recurrentes o redes en cascada (feedforward).
Lo ms usual es disponer las unidades en forma de capas, pudindose
hablar de redes de una capa oculta, o de ms de dos capas ocultas (redes
multicapa

Profesor:

Redes Neuronales

21

Neuronas y Redes simples.

ANN Recurrente: La salida de una neurona
es la entrada de neuronas de capas
anteriores (feedback).
Feedback lateral: La salida de una neurona
es la entrada de otra neurona en la misma
capa.

Profesor:

Redes Neuronales

22

Neuronas y Redes simples.

Parmetros de la Red: Los pesos {wi}.
Aprendizaje o entrenamiento: Es el
procedimiento mediante el cual los pesos
son ajustados.
Conjunto de entrenamiento: Conjunto de
datos que consiste vectores de entrada
asociado con vectores de salida deseada:
{(xi,yi)}.
Profesor:

Redes Neuronales

23

Neuronas como funciones

Las neuronas transforman una entrada no
acotada x(t) en el tiempo t en una seal de
salida acotada f(x(t)).
La funcin de activacin o funcin de seal: f
Velocidad de la seal:
f df da f ' a
da dt
Profesor:

Redes Neuronales

24

Funciones de Activacin
Funciones
Tipo Sigmoide

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2

0.4

0.1
0
-1

-0.5

0.5

0.2

Funciones
Base Radial
Profesor:

0.0
-2.45

-1.64

-0.82

0.00

Redes Neuronales

0.82

1.64

2.45

3.27

4.09

25

Funciones de activacin comunes

Funcin de activacin logstica:
1
f (a)
ca
1 e
Es montamente creciente para c >0

df
f '
cf (1 f ) 0
da
Profesor:

Redes Neuronales

26

Funciones de activacin comunes

Profesor:

Redes Neuronales

27

Funciones de activacin comunes

Tangente hiperblica:
e ca e ca
f ( a ) tanh(ca ) ca
e e ca

donde c>0.

Profesor:

f ' c(1 f ) 0
2

Redes Neuronales

28

Funciones de activacin comunes

Threshold (umbral)

c>0

1
1 si a c

f (a ) 0 si a 0
ca e.t.o.c.

0
f ' (a)
c

Profesor:

si a ( ,0) (1 / c, )
etoc

Redes Neuronales

29

Funciones de activacin comunes

Distribucin exponencial:
f (a ) max(0.,1 e ca )

c>0.
f ' (a ) ce ca

a0

f ' ' c 2 e ca

Profesor:

Redes Neuronales

30

Funciones de activacin comunes

Razn polinomial:

f (a ) max 0.,
n
ca

c0
n

n 1

cna n 1
f '
n 2
(c a )

Profesor:

Redes Neuronales

31

Funciones de activacin comunes

Pulse-coded: Consiste en un tren de pulsos
exponencialmente ponderados
t

f (t )

g ( s )e

s t

ds

1
g (t )
0
Profesor:

si el pulso ocurre en t
e.t.o.c
Redes Neuronales

32

NN: Preguntas Abiertas

Tamao de las muestras
Cuntas Neuronas
Cuantas Capas
Tipo de Arquitectura ( Seleccin del Modelo ANN)
Tipo de Aprendizaje
Algoritmos de Aprendizaje
Cundo usar ANN
Profesor:

Redes Neuronales

Modelador
33

Aplicaciones NN
Optimizacin Combinatorial
Aprendizaje y Generalizacin:
Memorias Asociativas (Bsico)
Redes Multicapas

Pattern Recognition
Prediccin y Pronsticos
Aproximacin de Funciones

Modelos de Difusin de Informacin

Arquitecturas Paralelas
Profesor:

Redes Neuronales

34

Test de Turing:
Un computador merece ser
llamado inteligente si puede
hacer pensar a un ser humano
que es otro ser humano

Estructura y Formas de Conexin

Funcin de Activacin
Se suele distinguir entre funciones lineales, en las que la salida es proporcional
a la entrada; funciones de umbral, en las cuales la salida es un valor discreto (tpicamente
binario 0/1) que depende de si la estimulacin total supera o no un determinado valor de
umbral; y funciones no lineales, no proporcionales a la entrada.

Caracteristicas

Aprendizaje inductivo
Generalizacin
.Abstraccin tolerancia al ruido:
Procesamiento paralelo
Memoria Distribuida

Redes Asincronicas v/s Sincronicas

Metodos deterministas v/s Estaticos

Profesor:

Redes Neuronales

36

Funcionamiento Basico

La arquitectura ms usada en la actualidad de una red neuronal consistira en:

Una primera capa de entradas, que recibe informacin del exterior.
Una serie de capas ocultas (intermedias), encargadas de realizar el trabajo de la red.
Una capa de salidas, que proporciona el resultado del trabajo de la red al exterior.
El nmero de capas intermedias y el nmero de neuronas de cada capa depender del
tipo de aplicacin al que se vaya a destinar la red neuronal.

Profesor:

Redes Neuronales

37